(PR)NVIDIA GPU為Meta的下一代Llama 3提供動力，並在包括RTX在內的所有平台上，並優化了AI

NVIDIA宣布Meta的Llama 3 LLM採用NVIDIA GPU打造，並經過最佳化，可在從伺服器到PC的所有平台上運行。

新聞稿： NVIDIA 今天宣布對其所有平台進行最佳化，以加速最新一代大語言模型 (LLM) Meta Llama 3。開放模式與NVIDIA加速運算相結合，使開發人員、研究人員和企業能夠在各種應用程式中進行負責任的創新。

接受過 NVIDIA AI 培訓
Meta工程師在包含24,576個H100 Tensor Core GPU並與Quantum-2 InfiniBand網路連接的電腦叢集上訓練Llama 3 。在NVIDIA的支援下Meta為其旗艦LLM 調整了網路、軟體和模型架構。為了進一步推進生成式人工智慧的最先進水平，Meta最近描述了將其基礎設施擴展到350,000個H100 GPU的計劃。

讓 Llama 3 投入工作
在NVIDIA GPU上加速的Llama 3版本現已推出，可在雲端、資料中心、邊緣和PC中使用。

企業可以使用NVIDIA NeMo對其數據進行微調Llama 3  ，這是適用於LLM的開源框架，是安全且受支援的NVIDIA AI Enterprise平台的一部分。自訂模型可以使用NVIDIA TensorRT-LLM進行推理最佳化，並使用Triton推理伺服器進行部署。

將Llama 3帶到裝置和PC上
Llama 3也在Jetson Orin上運行，用於機器人和邊緣運算設備，打造類似於Jetson AI實驗室中的互動式代理程式。此外適用於工作站和PC的RTX和GeForce RTX GPU可以加快Llama 3上的推理速度。

使用Llama 3獲得最佳效能
為聊天機器人部署LLM的最佳實踐涉及低延遲、良好的讀取速度和最佳GPU使用以降低成本之間的平衡。這樣的服務需要以大約用戶閱讀速度的兩倍（大約10 每秒10個tokens）。

應用這些指標，在使用有700億個參數的Llama 3版本的初始測試中，單一NVIDIA H200 Tensor Core GPU每秒產生約3,000個tokens，足以為約300個併發用戶提供服務。這意味著配備8個H200 GPU的單一NVIDIA HGX伺服器每秒可提供24,000個tokens，透過同時支援2,400多個用戶來進一步優化成本。

對於邊緣設備，有80億個參數的Llama 3版本在Jetson AGX Orin上每秒生成高達40個tokens，在Jetson Orin Nano上每秒生成15個tokens。


推進社區模式
作為一個積極的開源貢獻者，NVIDIA致力於優化社群軟體，幫助使用者應對最棘手的挑戰。開源模型還可以提高人工智慧的透明度，讓使用者廣泛分享人工智慧安全性和彈性方面的工作。

消息來源