AMD ROCm 7發布：MI350支援，新增AI演算法，重點關注推理，效能提升3.5倍

AMD正式推出其新一代開放軟體技術ROCm 7，進一步加快AI和開發人員的工作效率。

隨著ROCm 7的發布，AMD終於在其ROCm 6軟體的基礎上取得了進步。 ROCm 6軟體本身在過去幾年以及自AI計算出現以來也經歷了多次更新。以下是AMD 在 ROCm 7中重點關注的一些主要功能：

• 最新演算法和模型
• 擴充AI的進階功能
• MI350系列支援
• 叢集管理
• 企業能力
  

AMD表示ROCm將更專注於其軟體堆疊中不斷增強的推理能力。 ROCm 7將包含vLLM v1、llm-d、SGLang等增強框架，並專注於提供各種最佳化，例如分散式推理、預先填充和分解。 ROCm 7新增的核心和演算法包括GEMM自動調優、MoE、注意力機制和採用Python的核心創作。

AMD已經宣布其MI350系列支援FP6和FP4 ，ROCm 7也完全支援FP8、FP6、FP4和混合精度等高級資料類型。

在效能方面，AMD表示推理是ROCm 7最大的重點領域，在AI工作負載中效能提升高達3.5倍。我們可以看到與ROCm 6相比，Llama 3.1 70B效能提升高達3.2倍，Qwen2-72B效能提升高達3.4倍，Deep Seek R1效能提升高達3.8倍。

在DeepSeek R1中，AMD也將在Instinct MI355X GPU上運行的ROCm 7與在NVIDIA Blackwell B200平台上運行的CUDA進行了比較。與NVIDIA的CUDA相比，ROCm 7在DeepSeek R1（FP8吞吐量）中的吞吐量效能提高了30%。

至於訓練效能，ROCm 7仍然比ROCm 6有顯著提升，比Llama 2 70B、Llama 3.1 8B和Quen 1.5 7B提升了3倍。

全新ROC 軟體也將擴展到企業AI，提供完整的點到點解決方案、安全的資料整合和便利的部署。該軟體將與GPU、CPU和DPU協同工作，並支援各種工作負載，重點是GenAI工作負載。

最後AMD將於今年稍後在採用Ryzen的筆記型電腦和工作站上開放ROCm支援，並在今年下半年提供內建Linux和完整的Windows支援。

消息來源