AWS re:Invent 2024 臺灣站聚焦於生成式 AI、資料策略與基礎設施技術三大領域

AWS re:Invent 2024 全球大會中發表多種新技術，特別聚焦於生成式人工智慧、資料策略及基礎設施技術三大領域，加上涵蓋模型和應用程式的創新，協豚企業運用生成式 AI。



Amazon Web Services（AWS）在 2024年12月舉辦的 AWS re:Invent 2024 全球大會，會中發表一系列新技術，隨後於 1月17日在臺北舉辦臺灣站活動，會中將聚焦於生成式人工智慧（AI）、資料策略及基礎設施技術三大領域，加上涵蓋模型和應用程式的全方位創新，協助企業運用生成式 AI，重塑雲端創新體驗。


AWS re:Invent 2024 全球大會中發表多種新技術


AWS 強化生成式 AI 的三層技術堆疊

隨著生成式 AI 成為各行業的焦點，許多企業都想要利用，而在生成式 AI 領域中，AWS 強化基礎設施、模型和應用程式三層技術堆疊，幫助企業更輕鬆、更經濟實惠地將生成式AI應用於實際業務場景。此次活動便特別著重於生成式 AI 而推出多種新技術，有 Amazon Nova 六款基礎模型，生成式 AI 基礎模型託管服務 Amazon Bedrock 增加 100多種模型，並推出 AI 安全防護機制、多代理合作（multi-agent collaboration）和模型蒸餾等重大更新，以提升推論的準確性、成本和回應速度。

另外生成式 AI 支援助理 Amazon Q 更加深入軟體開發和商業應用場景，並為傳統工作負載轉型提供新方式。而完全託管的機器學習平台 Amazon SageMaker AI 將協助客戶更快、更輕鬆地建構、訓練及部署模型。


Amazon Nova 六款基礎模型可大幅降低模型成本

新推出的 Amazon Nova 可大幅降低基礎模型成本，包括 Nova Micro、Nova Lite、Nova Pro 和 Nova Premier 基礎模型，更有可產成高品質圖片的 Nova Canvas 和高品質影片的 Nova Reel。其中 Amazon Nova Micro、Lite 和 Pro 的應用成本比 Amazon Bedrock 中表現最佳的模型至少降低75%，同時也是 Amazon Bedrock 上相同等級的模型中，速度最快的模型。


Amazon Bedrock 平台全面升級

全面升級的 Amazon Bedrock 平台讓 AWS 成為首家提供 Luma AI 和 poolside 模型的雲端服務供應商，並且新增Stability AI 的最新模型，並可透過新推出的 Amazon Bedrock Marketplace 為客戶提供 100多個熱門、新興及專業模型。同時 Amazon Bedrock 推出低延遲最佳化推論、模型蒸餾、提示詞快取等功能，大幅提升推論效率。另外還支援 GraphRAG 等知識庫功能，提升資料運用能力。而透過自動推理檢查（Automated Reasoning checks）功能和多代理合作等創新，進一步提升 AI 安全性，並推動智慧代理發展。

Amazon Q 擴展應用場景，其中 Amazon Q Developer 增加三款新的智慧代理，可自動執行單元測試、產生文字檔及程式碼檢查流程，並與 GitLab 深度整合，擴展應用場景。轉型功能可加速 Windows .NET、VMware 和大型主機工作負載的遷移和現代化，縮短轉型時間並降低成本。強化Amazon Q Business 和 Amazon Q in QuickSight 的洞察能力，並能將複雜的工作流程自動化。

Amazon SageMaker 的四項 AI 創新包括 Amazon SageMaker HyperPod 新的訓練配方（recipe）功能、彈性訓練計畫和任務治理以及在 Amazon SageMaker 中使用 AWS 合作夥伴的熱門 AI 應用程式。這些功能可協助客戶更快開始訓練熱門模型，透過彈性訓練計畫節省許多時間，最多可降低成本達達40%。

現在有越來越多客戶不再使用多種資料分析工具，而是將分析、機器學習和生成式 AI 互相結合來獲取洞察。AWS 推出的新一代 Amazon SageMaker 提供新的統一編輯器，為客戶提供單一的資料和 AI 開發環境，用戶可在其中尋找和使用組織中的所有資料，為各種常見的資料應用案例選擇最佳工具，並與不同團隊和角色合作，以擴展資料和 AI 專案。


Amazon SageMaker 新的 Amazon SageMaker Unified Studio 可輕鬆尋找和使用組織內的所有資料資源


透過整合零 ETL（zero-ETL）與 SaaS 應用程式即可在 Amazon SageMaker Lakehouse 和 Redshift 中分析合作夥伴的資料

新一代 Amazon SageMaker 將快速 SQL 分析、PB 級資料處理、資料探索和整合、模型開發和訓練以及生成式 AI 等功能統一至單一平台。透過新的 Amazon SageMaker Unified Studio，即可輕鬆尋找和使用組織內的所有資料資源，並藉由 Amazon Q Developer 選擇最適合的工具處理資料。Amazon SageMaker Catalog 和內建的治理功能可確保資料、模型和開發套件合規。此外透過整合零 ETL（zero-ETL）與 SaaS 應用程式，客戶無需建構複雜的資料管道，即可在 Amazon SageMaker Lakehouse 和雲端資料倉儲 Amazon Redshift 中分析合作夥伴的資料。

新推出的 Amazon SageMaker Lakehouse 可實現資料湖、資料倉儲、營運資料庫和企業應用程式資料的統一管理，支援客戶使用熟悉的 AI 和 ML 工具，或是以相容於 Apache Iceberg 的查詢引擎以使用和處理資料。


新推出採用 AWS Trainium2 晶片的 Trn2 執行個體


AWS Trainium2 自行開發的晶片擁有極高的性能


組合二個機櫃共四組 Server 的EC2 Trn2 UltraServers 伺服器

基礎設施是運作 AI 應用的關鍵，為此 AWS 也推出新的硬體相關產品為各類工作負載提供更強大的底層架構支援。首先是運用 AWS 自行開發的 Trainium2 晶片而推出 Amazon Elastic Compute Cloud（Amazon EC2）Trn2 執行個體已可使用，相較於目前 GPU 執行個體性價比提升30%至40%。其中配備 64個 Trainium2 晶片 的 EC2 Trn2 UltraServers 伺服器提供高達 83.2 Petaflops浮點運算力，是單一執行個體的四倍。AWS 亦宣告將用 3nm 製程的 AWS Trainium3 晶片預計在 2025年末上線，預估叢集效能可提升四倍。

網路基礎設施也升級，第二代 UltraCluster 網路架構，也稱為 10p10u 網路，支援超過 20,000個 GPU 同步工作，頻寬達 10Pb/s，延遲低於10ms，將使模型訓練時間縮短至少15%。


專為 Iceberg 表格最佳化的 S3 Tables

在儲存方面，雲端可大規模擴展的物件儲存服務的 Amazon Simple Storage Service（Amazon S3）新增 Metadata 中繼資料功能，以自動獲取和即時更新資料。另外還推出專為 Iceberg 表格最佳化的 S3 Tables 儲存類型，可提升查詢效能三倍，交易處理能力提升十倍。

資料庫服務亦有新突破，新的無伺服器分散式 SQL 資料庫Amazon Aurora DSQL 採用 active-active 架構並具備自動故障修復功能，支援應用程式在任意端點進行讀寫。不僅提供 99.999% 的多區域可用性，還能擁有近乎無限的可擴展性，且無需進行資料庫分區（sharding）或執行個體升級。快速 NoSQL 鍵值資料庫 Amazon DynamoDB global tables 新增支援橫跨多區域的強大一致性，進一步升級分散式資料庫服務。

另外在資料中心上也有多項新設計，透過簡化電力分配和機械系統，使基礎設施可用性達 99.9999%，並減少受電力影響的機架數達 89%。創新的「液體到晶片」冷卻系統整合空氣和液體冷卻，使機械能耗降低 46%，更讓每個站點運算能力增加 12%。