AMD 式發表了新一代Instinct MI350系列,包括MI350X和旗艦級MI355X,電晶體數量高達1,850億個。
今天AMD正式推出了Instinct MI350系列HPC/AI GPU,搭載採用台積電3nm製程的全新CDNA4架構。
該晶片本身擁有1850億個電晶體管,提供MI350X和速度更快的MI355X兩種版本,並支援風冷和液冷兩種配置。新晶片支援最新的FP6和FP4 AI資料類型,並配備大量HBM3e。相較之下,採用台積電4nm製程的NVIDIA B300晶片則擁有高達2,080億個電晶體。
MI350系列晶片共包含256個運算單元和128個處理器,總計16,384個核心。這些核心數量低於MI325和MI300系列,後者包含304個計算單元,最大核心數為19,456個。這些計算單元被劃分為八個區域,每個區域都有各自的XCD(擴展區域),每個XCD包含32個計算單元。 XCD採用台積電的N3P製程,雙IO晶片採用台積電的N6製程。 IOD包含128個HBM3E頻道、Infinity快取和第四代Infinity Fabric Link。
僅就AI運算能力的提升而言,AMD聲稱Instinct MI350系列提供20 PFLOP的FP4/FP6運算能力,效能比上一代提升了4倍。 HBM3e記憶體技術可帶來更快的資料傳輸速度,兩種型號均擁有288GB的超大容量。此外晶片上還配備了256MB的全新Infinity Cache。
記憶體採用8個堆疊,每個堆疊包含36GB記憶體容量,共12-Hi堆疊。這些晶片還配備了UBB8,這是一種新的快速AI基礎設施部署標準,可以更快地部署風冷和液冷。
談到AMD為其MI355X提供的競爭指標,該晶片提供8TB/s的總記憶體頻寬、79 TFLOP的FP64運算能力、5 PFLOP的FP16運算能力、10 PFLOP的FP8運算能力以及20 PFLOP的FP6/4運算能力。這些數字是採用Instinct MI355X晶片的旗艦級1400W配置得出的。需要注意的是MI350X和MI355X都使用相同的晶片,但355X 的TDP額定值更高。
AMD展示了使用Llama 3.1 405B(吞吐量)的推理性能實現了35倍的巨大飛躍,這是一個巨大的提升。
對於完整的MI350系列平台,新的Instinct生態系統將提供多達8個MI355系列GPU,有2.3TB的HBM3e記憶體、64TB/s的總頻寬、0.63 PFLOP的FP64、81 PFLOP的FP8和161 PFLOP的FP64、81 PFLOP的FP8和161 PFLOP的計算效能。
配備液體散熱的完整機架將容納128-96個Instinct MI350系列GPU,配備高達36TB的HBM3e、2.6 Exaflops的FP4計算能力、1.3 Exaflops的FP8計算能力。
有了官方指標,我們可以討論AMD提供的一系列AI測試中的實際效能指標。我們再次從MI355X與MI300X的效能比較開始,新晶片的AI效能提高了2.8倍到4.2倍:
還有另一個指標將AMD Instinct MI355X與各種流行的AI工作負載(例如DeepSeek R1、Llama 4和Llama 3.1)進行比較,而新晶片的表現完全擊敗了MI300X 系列:
Instinct MI355X也與競爭對手的B200和GB200伺服器進行了比較,結果顯示效能提升了1.2到1.3倍。在Llama 3.1 405B的FP4模式下,新款Instinct AI晶片的效能與NVIDIA價格高得多的Blackwell GB200伺服器相當,這進一步提升了AMD的CP值目標。
AMD也表示Instinct MI350系列GPU與NVIDIA的B200解決方案相比,可以多產生40%的Tokens。
AMD表示Instinct MI350系列今天推出,並將於2025年第三季開始透過各個合作夥伴發售,但下一代MI400系列已在籌備中,計劃於2026年推出。
消息來源 |