AMD 3D V-Cache將Ryzen處理器變成了一款出乎意料的AI利器，效能比非X3D CPU提升了88%

AMD的3D V-Cache CPU在AI測試中相比非X3D產品有了巨大的提升，這表明它們最適合RAG pipelines。

我們知道人工智慧有兩種實作方式：第一種是線性模型（LLM），目前是最受歡迎的模型。線性模型是在大量資料集上預先訓練的人工智慧模型，有不同的參數大小。但當線性模型需要對未經訓練的資料進行回應時，其限制就顯現出來了。

這就是RAG（檢索增強生成）發揮作用的地方。 RAG AI模型使用外部資料庫來檢索外部查詢的答案。這可以提供更詳細的答案，但速度可能比LLM（大型語言模型）稍慢。

RAG AI嚴重依賴向量資料庫搜尋。儘管GPU由於其高度並行性而成為AI處理的主要元件，但大部分向量搜尋仍在CPU上執行。請求越多，CPU發生故障的可能性就越高，進而導致系統出現AI瓶頸。

隨著智慧體人工智慧工作負載的日益普及，CPU處理能力的重要性將與GPU運算能力不相上下。隨著工作流程越來越依賴搜索，我們需要更強大的CPU來解決延遲瓶頸問題。在這些場景中，具有更高快取配置的CPU尤其重要。 HNSW（分層可導航小世界）搜尋演算法就是一個例子，當GPU用於執行LLM推理時，它依賴CPU。 CPU上更大的快取可以減少HNSW檢索圖所需的時間，進而提升AI效能。

為了驗證這個理論是否正確，GiggleHD在一系列CPU 運行了X3D RAG測試，其中包括AMD最新的Ryzen 9000X3D系列。結果從一開始就顯而易見。

總括來說，本次展會充分展現了高快取配置晶片的效能，尤其是AMD的3D V-Cache系列，它們不僅擁有強大的遊戲效能，還能作為強大的AI RAG晶片使用。這些晶片的主要亮點在於其強大的向量搜尋、索引建置和並發處理能力。

消息來源