NVIDIA憑藉Blackwell GPU實現了創紀錄的Token速度，並憑藉Meta的Llama 4 Maverick突破了1,000 TPS障礙

NVIDIA透露他們已經成功利用Blackwell架構突破了AI性能障礙，這歸功於一輪優化和硬體能力。

長期以來NVIDIA一直在人工智慧領域不斷取得進展，但該公司最近透過其Blackwell解決方案取得了更大進步。在一篇新的部落格文章中NVIDIA透露他們實現了 1,000 TPS，而使用配備八個NVIDIA Blackwell GPU的單一DGX B200節點也能實現這一目標。這是在Meta的4000億參數Llama 4 Maverick模型上完成的，該模型是該公司最大的產品之一，這表明NVIDIA的AI生態系統對該領域產生了巨大影響。

透過這種配置，NVIDIA現在可以在Blackwell伺服器中實現高達72,000 TPS，而且正如Jensen在Computex主題演講中所說公司現在可以透過展示他們在硬體上在Token輸出方面取得的進展來炫耀他們的人工智慧進步，而NVIDIA似乎完全專注於這方面。至於該公司如何突破TP/s障礙，據透露他們使用TensorRT-LLM和推測解碼草稿模型進行了廣泛的軟體優化，將效能提高了4倍。

在他們的文章中NVIDIA團隊深入探討了他們如何針對大規模LLM優化Blackwell的幾個方面，但其中一個更重要的作用是推測解碼，這是一種技術，其中一個較小、較快的草稿模型預測前方的幾個標記，而主（較大）模型並行驗證它們。 NVIDIA對此的描述如下：

推測解碼是一種流行的技術，用於加速LLM的推理速度，同時不影響生成文本的品質。它透過讓更小、更快的草稿模型預測一系列推測標記來實現這一目標，然後由更大的目標LLM並行驗證這些標記。

加速來自於在一次目標模型更新中產生潛在的多個標記，但代價是額外的草稿模型開銷。

- NVIDIA

該公司採用了EAGLE3的架構，這是一種旨在加速大型語言模型推理的軟體級架構，而不是GPU硬體架構。 NVIDIA表示憑藉這一成就，他們展現了在AI領域的領導地位，而Blackwell現已針對與Llama 4 Maverick一樣大的LLM進行了優化。這無疑是一個巨大的成就，也是讓人工智慧互動更加無縫快速的第一步。

消息來源