AMD推出開源專案GAIA，實現本地大模型高效運行

AMD宣布推出專為本機運行大語言模型（LLM）設計的開源應用GAIA，目前支援Windows平台。 GAIA是一款生成式AI應用，可在Windows PC上實現在地化私密運行LLM，並針對Ryzen AI 300系列處理器進行了最佳化。此應用透過NPU提升AI任務效能，並支援混合部署量化LLM。

GAIA採用ONNX TurnkeyML的Lemonade SDK開發，採用檢索增強生成（RAG）技術，支援Llama、Phi等主流模型。其四大功能模組包括Chaty聊天機器人、Clip影片搜尋專家、Joker笑話產生器和Simple Prompt測試工具。

AMD提供一般版和混合版安裝方案，普通版相容於任意Windows設備，混合版專為Ryzen AI 300系列最佳化。 GAIA的本地化處理確保資料隱私，回應延遲降低至毫秒級，並支援離線運行。本專案採用MIT開源協議，未來或擴展至多平台支援。

消息來源