AMD跑大型語言模型終於YES MI300X對比NVIDIA H100/H200毫不遜色

於AI算力領域，NVIDIA長期佔據主導地位，但AMD最新GPU產品Instinct MI300X於效能上終於展現出了與NVIDIA H100、H200相抗衡的實力。

據《The Information》發表的評測報告，AMD MI300X於AI推理基準測試中的表現與NVIDIA H100相當，顯示出AMD於高效能AI運算領域的進步。

評測報告由MLCommons提供數據，於測試中，AMD MI300X及NVIDIA H100、H200皆進行了測試。

結果顯示，於AI推理任務中，MI300X效能與H100不相上下，加上對GPU成本及系統總成本的估算，說MI300X能媲美H100、H200亦不為過。

值得注意的是，測試僅使用了來自Meta的Llama 2 70B，儘管測試存在侷限性，但此一結果仍然顯示，MI300X於處理大型AI模型方面具有強大的潛力。

業界人士亦對AMD於AI領域的發展前景抱持樂觀態度，Cohere共同創辦人Aidan Gomez指出，其相信AMD、Trainium等平台很快即會進入主流市場。

訊息來源