LLM Runner Llamafile的更新為AMD Ryzen AVX-512 CPU帶來10倍效能提升

Llamafile的最新更新利用其AVX-512功能將AMD Ryzen CPU的效能提高了10倍。

Phoronix報告稱Llamafile的最新更新現在支援AVX-512指令集，允許支援AVX-512的CPU在使用該軟體時見證效能的巨大提升。據報導AMD的Zen4 Ryzen CPU將在新的更新中體驗到十倍的快速速度，最終使該工具的LLM效能更有效率。

對於那些不了解Llamafile的人來說，它可以使用單一執行檔進行部署，該檔案將LLM模型與運行它所需的程式庫結合起來。 Mozilla Ocho開發了該工具，旨在透過利用CPU和GPU執行，讓更多受眾能夠接觸到LLM。該工具在開發人員中受到了巨大的歡迎，特別是因為它消除了訪問LLM所需的高成本解決方案，但目前Llamafile 仍處於早期階段；因此其中存在一些不準確的地方，我們相信一旦Edge運算的發展勢頭強勁，這些問題就會很快得到解決。

新的性能升級尚未經過測試，但Phoronix表示他們計劃將來在AMD和Intel系統上測試新的Llamafire 0.7。您可以在此處透過GitHub存取最新版本。請注意AMD的 Ryzen CPU是唯一支援AVX-512指令的消費級晶片，而Intel則放棄了支援，因為這會影響其Xeon晶片的銷售。對於想要運行利用AVX-512的應用的用戶來說，這為 AMD的Ryzen平台提供了優勢。

消息來源