Panmnesia推出CXL Protocol，允許AI GPU以最小延遲利用DRAM或SSD

KAIST新創公司Panmnesia推出了一項尖端IP，可使用PCIe上的CXL協定將外部記憶體新增至AI GPU，從而打破了記憶體容量的障礙。

目前的AI加速器僅限於板載記憶體，因為製造商只能壓縮有限數量的HBM。隨著資料集的不斷增長和對電力的需求，該行業正在專注於配備更多的AI GPU，但考慮到它佔用的金額和製造資源，這種方法從長遠來看是不可持續的。有鑑於此由韓國KAIST支援的公司Panmnesia推出了一款CXL IP，可以讓GPU利用DRAM甚至 SSD的記憶體，從內建的HBM進行擴展。

為了橋接連接，CXL利用PCIe鏈路，確保消費者廣泛採用。然而有一個問題。傳統的AI加速器缺乏必要的系統來直接連接並利用CXL進行記憶體擴展，而UVM（統一虛擬記憶體）等解決方案速度相當慢，這從一開始就達不到目的。

不過作為解決方案，Pamnesia開發了自己的符合CXL 3.1標準的Root Complex晶片，該晶片有多個端口，透過PCIe匯流排將GPU連接到外部儲存器，並且HDM（主機管理設備記憶體）解碼器充當橋樑連接之間，管理記憶體分配和翻譯。

有趣的是Pamnesia決定將他們的解決方案 (CXL-Opt) 與三星和Meta開發的原型進行測試，他們將其稱為CXL-Proto。令我們驚訝的是CXL-Opt顯著降低了往返延遲，即資料從GPU傳輸到記憶體並返回的時間。 CXL-Opt的延遲為兩位數ns，而CXL-Proto的延遲為250ns。除此之外CXL-Opt 的執行時間遠低於UVM解決方案，因為它的IPC效能速度是UVM的3.22倍。

Panmnesia的解決方案可以在市場上取得巨大進步，因為它充當堆疊HBM晶片和轉向更高效解決方案之間的中介。鑑於該公司是首批擁有創新CXL IP的公司之一，如果這項技術獲得關注，Panmnesia將受益匪淺。

消息來源