全球首款直接液冷(DLC)！北美最大AI訓練基地配備8192塊AMD MI325X加速卡、2048TB顯示記憶體
AI基礎設施企業TensorWave宣布已經完成了北美地區最大AI訓練基地的建設與使用，採用了多達8192塊AMD Instinct MI325X AI加速卡。同時這也是全球首個已公開的採用直觸液冷散熱的大型AI資料中心。AMD MI325X是去年剛發布的，採用5nm製程，擁有304個計算單元(19456個核心)、1530億個電晶體管，FP8精度算力2.6千萬億次計算每秒，搭配256GB HBM3E高頻寬記憶體，頻寬6TB/s。
雖然AMD最新發布了MI350X、MI355X，但使用尚需時日，MI325X仍然是已落地的最先進的AMD AI加速卡。8192塊放在一個系統內，總核心數就到了幾乎1.6億個，FP8性能達到恐怖的2100億億次浮點每秒。同時記憶體總容量多達2048TB，總頻寬超過2PB/s！
單卡功耗就有1000W，滿載情況下一個小時就是8000多度電，確實需要配液冷，所有節點的GPU都使用了TensorWave自有的晶片直觸液冷循環系統，確保高效帶走熱量。這套系統將以雲端服務的方式，對外提供租賃服務。
這也只是TensorWave更宏大工程的第一階段，預計今年稍後引進AMD MI350X，支援FP4/FP6格式，效能和頻寬更猛，但功耗也將最高達到1400W。
消息來源
頁:
[1]