Raja的新職責將是指導SanDisk開發用於AI密集型GPU的HBF(高頻寬快閃記憶體)，因為傳統的HBM記憶體在容量方面存在瓶頸。
Raja Koduri於2023年從Intel圖形部門首席架構師職位退休，如今他肩負著新的使命，致力於提升AI GPU的VRAM容量。 Raja宣布他即將加入知名儲存裝置製造商SanDisk的技術顧問委員會，該委員會還將專注於開發HBF（高頻寬快閃記憶體），為AI GPU提供大容量記憶體解決方案。
Raja與SanDisk的合作意義重大，因為他擁有GPU開發背景，尤其是在運算架構設計方面的經驗，這與SanDisk致力於生產HBF以實現更高容量VRAM的使命完美契合。 SanDisk在新聞稿中宣布成立技術顧問團隊，並分享了Raja Koduri的願景，即消除HBM（高頻寬記憶體）面臨的瓶頸。
當我們開始開發HBM時，我們的重點是提升bandwidth/watt和bandwidth/mm^2（這兩者都是行動裝置的重要限制因素），同時保持與現有解決方案的競爭力。 HBF的重點是大幅提升記憶體容量（per-$, per-watt and per-mm^2），同時提供具有競爭力的頻寬。
- Raja Koduri
雖然HBM發展迅速，為AI超級晶片提供了高記憶體容量，但HBF可以利用矽通孔技術大幅提升記憶體容量。單一HBF堆疊即可實現TB級記憶體容量，而在一個系統中整合八個這樣的堆疊可以幫助AI GPU達到高達4TB的VRAM，同時保留HBM帶來的高頻寬。這有助於克服HBM的局限性，HBM無法滿足密集的AI需求，需要更多時間才能發展。
值得注意的是，SanDisk HBF不會在延遲關鍵型工作負載中與DRAM直接競爭，因為AI推理和大規模模型開發等AI操作需要更大的記憶體容量才能快速獲得結果。在此類操作中更高的容量和頻寬比原始延遲要求更重要，而Raja在開發這種高容量HBF方面將發揮策略性作用。
SanDisk正致力於將HBF打造為一個開放標準的生態系統，這將促進HBF得到更廣泛的產業採用。 Raja豐富的人脈和生態系統建設經驗將協助其完成這項任務，並進一步促進與GPU供應商的合作。
HBF將透過為裝置配備記憶體容量和頻寬功能來徹底改變邊緣AI，支援在本地即時運行的複雜模型。
這項進步將開啟智慧邊緣應用的新時代，從根本上改變人工智慧推理的執行方式和地點。
- Raja Koduri
消息來源 |
收藏
分享
分享
提升卡
置頂卡
沉默卡
喧囂卡
變色卡
顯身卡
