AMD 探討本地端 CPU 對於代理 AI 的重要性

生成式 AI 藉由 LLM 語言模型所提供的 Chatbot 聊天功能，這都是用戶輸入字詞、靠著雲端 GPU 產生輸出，也就是 Tokens In, Tokens Out。但現在 AI 正轉變成為代理 AI，就像是 ChatGPT 也提供了各種代理的功能可使用。



代理 AI 的模式，則是使用者輸入指令例如「報稅」，Cloud GPU 推論後，將指令丟給本地端 CPU 執行、Cloud GPU 參與推論、本地端 CPU 執行直到任務完成，最終使用者得到相應的結果。

也就是說這類雲端行是的代理 AI，雖說主要的 AI 推論工作還是倚賴雲端的 GPU 伺服器，但 AI 推論後的執行指令迴圈的工作還是要交給本地端 CPU 負責。



因此在代理 AI 的時代，本地端 CPU 也有一定的重要性，從以前止負責輸入文字、語音等提示，然後代理 AI 實際執行是藉由本地端 CPU 將 Tokens 轉換成 Action。

而這類的代理 AI 像是 ChatGPT Codex、Perplexity、Claude Cowork 與 Claude Desktop 等主流的應用都是如此。



因此 AMD 提到使用 Zen 5 核心架構的 x86 CPU 能夠提供更好的代理 AI 任務完成速度。AMD 比較最新的 Ryzen AI Max+395、Ryzen AI 9 HX 470 與 4 年前的 Ryzen 7 Pro 6850U 等筆電處理器。

測試使用多 Agent、重度 Codex 開發工作流程中，最新的 Ryzen AI Max+395 其 CPU 輸出效能可提升 6x 倍，而 Ryzen AI 9 HX 470 也有著 3x 倍速的提升。



因此再代理 AI 時代，當用戶在本地端執行多個代理 AI 功能時，本地端的 CPU 效能就相對重要，畢竟各位可在雲端中購買更多的 Tokens，但本地端 CPU 很難再次購買更多的 CPU。





source: amd.com