利用 AMD Ryzen AI 和 Radeon RX 7000 硬體體驗本地端 LLM 的 Meta Llama 3

通過 LM Studio 可利用 AMD Ryzen AI 和 Radeon RX 7000 等硬體設備體驗本地端的 Meta Llama 3 大型語言功能。

AMD AI 策略著重於透過廣泛的訓練和推論運算引擎組合、開放且成熟的軟體功能來支援產業體系，並透過共同創新培育 AI 產業體系。

透過搭載 AMD Ryzen AI 的 AI PC 或 AMD Radeon RX 7000 系列顯示卡，玩家無需任何程式開發的技能，即可完全在本地體驗 Meta 近期發佈的 Llama 3 模型，其為 Meta 迄今為止功能最強的開源模型，在 HumanEval、GPQA、GSM-8K、MATH 和 MMLU 基準測試中取得出色的成績。Llama 3 具備 80 億和 700 億參數模型，前者適用於客戶使用案例，後者適用於更多的資料中心和雲端使用案例。

AMD Ryzen 7040 系列行動處理器（Ryzen 5 7540U 和 Ryzen 3 7440U 處理器除外）和 AMD Ryzen 8040 系列行動處理器（Ryzen 5 8540U 和 Ryzen 3 8440U 處理器除外）配備了專為處理新興 AI 工作負載而設計的神經網路處理器（NPU）。高達 16 NPU TOPS（每秒兆次運算）的處理效能讓使用者以卓越的能源效率執行 AI 工作負載。AMD Ryzen AI APU 更包括 CPU 和 iGPU，用於處理隨需（on-demand）任務。

玩家可參考AMD 部落格文章的步驟，一步一步安裝 LM Studio 與 Meta Llama 3 大型語言功能。



source: community.amd.com