AMD剛剛將邊緣AI提升到了一個全新的水平,隨著最近的驅動程式更新,該公司現在為PC用戶帶來了對大型LLM的支援。
AMD確實是透過其XDNA引擎將大規模AI運算導入消費級設備的領先公司之一。 AMD的APU產品(例如Strix Point和Strix Halo系列中的產品)提供了業內最高的AI效能,而現在AMD已將邊緣AI提升到了一個新的水平。該公司最新的Adrenalin Edition 25.8.1驅動導入了對高達128B參數LLM模型的支援,這將使消費級設備能夠支援Meta的Llama 4 Scout等模型,這堪稱一項獨一無二的成就。
有趣的是透過AMD的可變顯示記憶體 (VGM),消費者可以為iGPU提供高達96GB的顯示記憶體,從而支援大型模型在本地運行。由於上述Llama模型是採用MoE的實現,因此它在運行時僅使用170億個參數,但儘管如此,消費者仍然可以獲得不錯的TPS數據,從而使LLM可以用作功能強大的AI助手。
更重要的是AMD在模型上下文大小方面取得了巨大的進展。雖然消費級處理器的行業標準大約是4096個令牌,但AMD成功將其提升了數倍,達到了256,000個令牌,從而可以更好地控制工作流程,並且無需擔心效能問題。 AMD的這些數字意義非凡,它們表明AI運算熱潮確實已經蔓延到了消費級PC。
目前搭載Strix Halo平台的設備有限,而且不太容易買到,有些設備的價格甚至超過了2,000美元。然而AMD在AI計算方面的進步確實令人欣喜,它讓每個人都能擁有AI力量,儘管你需要花費不菲的錢才能買到目前市面上的設備。
AMD官方訊息
消息來源 |