AMD支援的Frontier超級電腦使用3K的37K MI250X GPU實現了高達1兆參數的LLM運行

採用AMD技術並配備Instinct MI250X GPU的Frontie 超級電腦已實現1兆參數LLM運行，可與ChatGPT-4相媲美。

Frontier超級電腦是世界領先的超級電腦，也是目前唯一正在運行的Exascale超級電腦。該機器由AMD的EPYC和Instinct硬體提供支援，不僅提供頂級的HPC性能，而且還是地球上第二高效的超級電腦。個人在Arxiv上提交的一份報告顯示Frontier超級電腦已經達到了透過超參數調優訓練高達1兆參數的能力，樹立了新的行業標竿。

在深入討論關鍵問題之前，讓我們先快速回顧一下 Frontier超級電腦的功能。ORNL的超級電腦採用AMD第三代EPYC Trento CPU和Instinct MI250X GPU加速器從頭開始設計。它安裝在美國田納西州橡樹嶺國家實驗室 (ORNL)，由能源部 (DOE) 營運。目前它使用8,699,904個核心實現了1.194 Exaflop/s。HPE Cray EX架構結合了針對HPC和AI最佳化的第三代AMD EPYC CPU、AMD Instinct 250X加速器和Slingshot-11互連。Frontier能夠在Top500.org超級電腦排行榜上保持第一名，可見其統治力。

Frontier取得的新記錄是實施有效策略來培訓LLM並最有效地使用機上硬體的結果。團隊透過220億、1750億、1兆個參數的測試，取得了顯著的成果，這些數據是對模型訓練過程進行最佳化和微調的結果。這項成果是透過使用多達3,000個AMD MI250X AI加速器來實現的，儘管它是一種相對過時的硬體，但仍顯示出其強大功能。

更有趣的是整個Frontier超級電腦配備了37,000個MI250X GPU，因此可以想像使用整個GPU池為LLM提供動力時的效能。AMD也即將在全新超級電腦中使用其MI300 GPU加速器，並擁有強大的ROCm 6.0生態系統，進一步加速人工智慧效能。

對於220億、1750億和1兆參數，我們分別實現了38.38%、36.14%和31.96%的GPU吞吐量。對於1750億參數模型和1兆參數模型的訓練，我們分別在1024和3072 MI250X GPU上實現了100%的弱縮放效率。我們還為這兩個模型實現了89%和87%的強大擴展效率。

- Arvix

伺服器和資料中心領域的未來充滿機遇，值得注意的是Frontier目前使用的硬體在業界並不是相對較新的。隨著生成式人工智慧領域的不斷進步，市場顯然需要更多的運算能力來向前發展，這就是為什麼為該領域設計的硬體的進步對於下一代發展至關重要。

消息來源