在AI市場上NVIDIA佔據了95%的市佔率,這不僅是他們的AI顯卡硬體性能強大,還得益於CUDA的軟體生態更完善,畢竟16年來積累了400多萬開發者,這是NVIDIA最大的護城河。AMD想在AI市場上搶佔更多市佔率,除了明年推出效能40PFlops的MI400加速卡之外,還要在軟體生態上取得突破,這方面就得靠AMD的ROCm軟體了,而且還是開源開放的生態。
今年6月AMD官宣了最新的ROCm 7軟體,專為效能、相容性和靈活性而設計,在推理和訓練方面提供了重大增強,支援許多開箱即用的最新AI模型,並將AMD開放生態系統從雲端擴展到邊緣。在日前的財報會議上CEO蘇姿豐也提到了ROCm 7的許多優點,強調在這一財季中AMD取得了重大進展,提高了ROCm7的性能、易用性並擴大了其採用範圍。
蘇姿豐表示我們發布了ROCm7,對整個軟體的每一層都進行了重大升級,與上一代相比,推理和訓練效能提升了3倍以上,並增加了對大規模訓練、分散式推理和低精度資料類型的支援。
為了加強與開發者的合作,AMD推出了ROCm夜間建置版本,並擴大了即時運算基礎設施的存取範圍,包括推出了AMD首個開發者雲端,該雲端提供預先配置的容器,可即時存取AMD GPU。
在先前的發表會上,AMD也提供了ROCm7的實測結果,在Llama 3.1 70B車型上效能提升3.2倍,Qwen2-72B上效能提升3.4倍,而DeepSeek R1效能提升3.8倍。在訓練任務上,Llama 2 70B、Llama 3.1 8B、Qwen 1.5 7B模型上平均表現提升3倍。
今年內ROCm7還會持續提升生態支持,加入對Ryzen平台筆記型/工作站的支援,完整支援Linux系統,還會正式加入對Windows系統的支援,可以說之前備受開發者吐槽的問題正在逐步解決。
消息來源
|