高通公司發布了其最新的AI晶片,旨在擴展到專用的機架級AI推理解決方案,但有趣的是它們採用了行動記憶體。
高通從一家專注於行動領域的公司一路走來,近年來這家位於聖地牙哥的晶片製造商已拓展至消費運算和人工智慧基礎設施等新領域。如今該公司宣布推出其最新的AI200和AI250晶片解決方案,這些解決方案專為機架級配置而設計。這不僅標誌著新玩家進入了由NVIDIA和AMD主導的領域,而且高通還透過利用專注於行動領域的LPDDR記憶體找到了獨特的解決方案。
在深入探討新發布的AI晶片的具體細節之前,我們先來比較一下LPDDR記憶體與更傳統的HBM解決方案的差異。高通的新產品在加速器封裝中提供高達768GB的 LPDDR,遠高於業界HBM的容量。這項合作之所以吸引人,主要原因在於它降低了資料傳輸的能耗和成本,這是該公司稱之為近記憶體方法的關鍵優勢。以下是該公司採用LPPDR而非HBM所獲得的傳統改進:
- 功率效率(每比特更低功耗)
- 比現代HBM模組便宜
- 高記憶體密度(非常適合推理)
- 與HBM相比,散熱較少,熱效率較高
雖然這種實作聽起來很樂觀,但高通的機架級解決方案與NVIDIA/AMD的主流方案相比仍然略顯不足,原因很簡單,因為不使用HBM會導致記憶體頻寬降低、界面狹窄導致延遲增加,最重要的是在全天候高熱伺服器環境中使用不成熟的記憶體。然而這家位於聖地牙哥的公司旨在為企業提供強大的推理選項,而使用 LPDDR無疑可以實現這一目標,但它確實將這些機架級配置限制在特定的應用中。
除此之外,AI200和AI250晶片解決方案還具有直接液體散熱、PCIe/乙太網路協定以及160kW的機架級功耗,對於現代解決方案而言,這是一個相當低的數字。更重要的是板載晶片採用了該公司的Hexagon NPU,其推理能力正在廣泛擴展,支援高級資料格式以及以推理為中心的功能。
有趣的是許多運算供應商正致力於將強大的推理解決方案推向市場,最近的例子之一是Intel推出的Crescent Island解決方案,以及NVIDIA推出的全新Rubin CPX AI晶片。高通顯然意識到推理領域正日益受到市場關注,因此AI200和AI250晶片解決方案是明智之舉。然而對於現代訓練或大型工作負載而言,這些機架可能是最後的選擇。
消息來源
|