AMD在最近的Advancing AI主題演講中強調了伺服器CPU對資料中心領域的重要性,並聲稱沒有正確的組合會影響效能。
我們之前很少討論伺服器CPU產品對AI運算領域的重要性,因為除了AI加速器之外,處理器在訓練/推理場景中也發揮著至關重要的作用。在過去幾季中AMD團隊一直在積極拓展其在資料中心(DC)領域的影響力,尤其是其EPYC伺服器CPU產品,這也是該公司發展成為重要參與者的原因。在Advancing AI主題演講中,AMD執行副總裁Forrest Norrod深入探討了在伺服器領域擁有平衡的CPU + GPU組合的重要性。
AMD官方將Intel第五代Xeon 8592+處理器與其EPYC 9575F伺服器CPU進行了比較,這兩款處理器均搭載了Instinct MI300X AI加速器,並展示瞭如果客戶端沒有合適的CPU平台,性能差異會有多大。在深入研究測試之前,讓我們先評估一下CPU選擇的公平性。 AMD當然選擇了其最新的EPYC 9005 CPU系列,將其與近兩年前推出的Xeon 8592+進行比較。就規格而言,這兩款CPU均提供64核心/128線程配置,TDP也相近;因此對比結果至少是均衡的。
該公司分享的測試結果顯示,採用可能更出色的EPYC 9005平台,在Llama 3.1 8B AI模型的多項測試中,平均性能提升了6%,而且隨著參數數量的增加,這一差異甚至超過了17%。測試主要涉及多個推理工作負載,顯示選擇合適的伺服器CPU選項對整體效能影響巨大。測試與Instinct MI300X AI加速器同時進行,但我懷疑優化是否在其中發揮了作用。
無論AMD的標準如何,該公司顯然在伺服器CPU領域獲得了廣泛採用,因為該公司的市佔率在短短幾年內攀升至驚人的數字。
消息來源 |