配備94GB HBM3的NVIDIA H100 NVL GPU是專為ChatGPT設計

NVIDIA剛剛推出了其全新的Hopper H100 NVL GPU，配備94GB HBM3，專為ChatGPT設計。

NVIDIA Hopper GPU驅動的H100 NVL PCIe顯示卡據說有雙GPU NVLINK互連，每個晶片有94GB的HBM3e。GPU能夠隨時隨地處理多達1750億個ChatGPT參數。與配備多達8個GPU的傳統DGX A100伺服器相比，單個伺服器中的四個GPU可以提供高達10倍的速度。

與H100 SXM5配置不同，H100 PCIe提供精簡規格，在GH100 GPU的全部144個SM和H100 SXM上的132個SM中啟用了114個SM。該晶片本身提供3200 FP8、1600 TF16和48 TFLOPs的FP64計算能力。它還有456個Tensor & Texture單元。

由於其較低的峰值計算能力，H100 PCIe應該會以較低的時脈執行，因此TDP為350W，而SXM5版本的TDP為雙倍的700W。但是PCIe卡將保留其80GB記憶體，透過5120位元匯流排，但採用HBM2e版本（>2TB/s頻寬）。

H100的非Tensor  FP32 TFLOP額定值為48 TFLOP，而MI210的峰值額定FP32計算能力為45.3 TFLOP。透過Sparsity與Tensor運算，H100可以輸出高達800 TFLOPs的FP32運算能力。與MI210的64GB相比，H100還擁有更高的80GB記憶體容量。從表面上看NVIDIA正在為其更高的AI/ML功能收取更高的售價。

消息來源