PR：IBM Cloud成為首家使用Intel Gaudi 3的服務供應商

IBM是第一家向客戶提供Intel  Gaudi 3人工智慧加速器的雲端服務供應商，此舉旨在讓強大的人工智慧功能更易於訪問，並直接解決專用人工智慧硬體的高成本問題。對Intel而言，在IBM Cloud上的推出標誌著Gaudi 3的首次大規模商業使用，並為市場帶來了選擇。透過利用IBM Cloud上的Intel Gaudi 3，兩家公司旨在幫助客戶以經濟高效的方式測試、創新和使用GenAI解決方案。

根據研究公司Gartner最近的預測預計到2025年，全球生成式人工智慧（GenAI）的支出總額將達到6,440億美元，較2024年成長76.4%。研究發現GenAI將對IT支出市場的各個方面產生變革性影響，這表明未來人工智慧技術將越來越成為企業運營和消費產品中不可或缺的一部分。

對於許多企業客戶來說，當GenAI等工具能夠自動執行任務、改善工作流程並推動創新時，其好處是顯而易見的。但使用人工智慧應用程式需要強大的運算能力，通常需要昂貴的專用處理器，這可能會阻礙許多企業從人工智慧中受益。

Gaudi 3 AI加速器專門設計用於幫助滿足 GenAI、大型模型推理和模型微調的爆炸性增長的需求，同時支援開放的開發框架。 Gaudi 3也非常適合多模態大型語言模型 (LLM) 和檢索增強生成 (RAG)。

Gaudi 3也被整合到IBM更廣泛的AI基礎設施產品中。客戶現在可以透過IBM虛擬私有雲 (VPC) 上的IBM雲端虛擬伺服器使用Gaudi 3。從2025年下半年開始，客戶也將能夠跨架構使用。預計本季將提供對Red Hat OpenShift和IBM watsonx AI平台的支援。

Intel Gaudi 3 AI加速器旨在透過平衡性能和價格來應對成本挑戰。由Intel委託研究公司Signal65開展的全新AI推理測試發現在運行有較大上下文規模的Meta的 Llama-3.1-405B-Instruct-FP8模型時，Gaudi 3的成本效益（每美元性能）比競爭對手高出92%。

成本效率是一個關鍵指標，因為它允許企業以相同的投資進行更多的人工智慧處理，或以更低的成本進行相同數量的處理。效能提升旨在降低希望部署或微調模型的公司的成本障礙，特別是隨著GenAI的採用而不斷擴大。

吞吐量或效能測量是指加速器每次可以執行的AI處理量也稱為每秒令牌數。 Gaudi 3的AI處理速度比競爭對手快得多。在IBM Granite-3.1-8B-Instruct模型上，與競爭對手相比，在運行Meta的Llama-3.1-405B-Instruct-FP8模型時，Gaudi 3為小型AI工作負載每秒提供的令牌數增加了43%，在大型上下文大小下每秒提供的令牌數增加了36%。

消息來源