Arm 執行長主題演講聚焦代理式 AI 趨勢並展示多款採用 AGI CPU 伺服器相關產品

隨著代理式 AI 快速發展，許多負載對 CPU 的要求也不斷提升，Arm 執行長 Rene Haas 在台北國際電腦展中特別聚焦於代理式 AI 趨勢以及 Arm AGI CPU 的生態系。



代理式 AI 的正在急速成長，而代理式 AI 的工作負載會持續在各種工具、服務與資料來源間進行協調，並分派任務、執行程式，許多工作都在模型本身之外完成。根據計算，代理式 AI 執行時有許多時間花在 CPU 驅動的工具上，即說明 CPU 在 AI 基礎設施中的重要性日益提升。


Arm 執行長 Rene Haas

正因為 AI 時代下後端伺服器／資料中心擔負重要任務，Arm 也首度為資料中心開發自家的 AGI CPU，在代理式 AI 熱潮之下，擁有高效能以及更高能源效率的產品，更能讓系統快速處理、調度與協調相關作業。


Arm AGI CPU

採用 TSMC 3nm 製程且封裝尺寸不小的 Arm AGI CPU 在今年三月正式推出，目前有數款選擇，核心數包括 64、128 與 136個，運算核心採用 Armv9.2 架構的 Neoverse，搭配 DDR5 記憶體，同時具有高達 96 Lanes 的 PCIe Gen6 ，並可支援雙插槽的系統設計。


採用 Arm AGI CPU 的 Supermicro(左)與Lenovo(右)伺服器


Supermicoro 5U 伺服器

Supermicoro 四組雙 Arm AGI CPU 伺服器



永擎(ASRock Rack)推出採用 Arm AGI CPU 伺服器

在會場中便展示多家合作夥伴推出採用 Arm AGI CPU 的伺服器產品，包括 Supermicro、聯想(Lenovo)以及永擎(ASRock Rack)，其中 Supermicro 今日宣布推出一系列支援 AGI CPU 伺服器產品，包括氣冷的 2U 雙插槽伺服器、針對 GPU 最佳化的 5U 伺服器以及液冷多節點機種。

在 Rene Haas 的演講中也宣布 Oracle Cloud Infrastructure （OCI）加入 Arm AGI CPU 生態系，擴大支援的陣營。目前採用  AGI CPU 合作夥伴，涵蓋超大規模雲端服務供應商、AI 模型供應商、企業與雲端基礎設施，突顯市場對專為代理式 AI 打造的基礎設施需求日益提升。


Supermicro 打造的液冷 ORv3 機櫃共有20,672個Arm AGI 核心

由於 Arm AGI CPU 具有高能效特色，相較於傳統 x86 CPU ，每機櫃可提供超過 2 倍的效能，協助雲端服務供應商與 AI 基礎設施營運商在符合功耗與散熱限制下，大幅提升運算密度。預估每部署 1GW 的 AI 基礎設施容量，Arm  AGI CPU 可協助營運商節省高達 100 億美元的資本支出，隨著代理式 AI 持續加快採用，經濟效益將更可觀。


Arm 執行長 Rene Haas(左)與 NVIDIA 執行長黃仁勳

更多品牌加入 Arm AGI CPU 下也同時加速 Arm Neoverse 的發展，例如 Google 近期宣布將以 Axion 作為其最新TPU 系統的主節點，取代 x86 CPU、AWS 持續擴大 Graviton 部署。


NVIDIA 執行長黃仁勳

更重要是 NVIDIA 的 Arm 架構 Vera 平台目前已部署於多家客戶，包括 OpenAI、Anthropic、SpaceX 等，而新推出的 RTX Spark，其 Grace CPU 的 20個運算核心，也是採用 Arm Cortex-X925 10個搭配 Cortex-A725 10個所組成。