有望改寫AI未來！ NVIDIA全新nGPT使訓練速度暴增20倍
根據媒體報導NVIDIA的最新研究可能徹底改變AI的未來，其研究團隊提出了一種名為歸一化Transformer（nGPT）的新型神經網路架構。此架構在超球面（hypersphere）上進行表示學習，能夠大幅提升大型語言模型（LLM）的訓練速度，最高可達20倍，同時維持了模型的精確度。nGPT架構的核心在於將所有向量，包括嵌入、多層感知機（MLP）、注意力矩陣和隱藏狀態，歸一化為單位範數。這種歸一化處理使得輸入的token在超球面表面上移動，每一層模型都透過位移來貢獻最終的輸出預測。
實驗結果表明nGPT在訓練時所需的步驟比標準Transformer模型減少了4到20倍，這加速效果取決於序列長度。例如在1k上下文中，訓練速度提高了4倍；在4k上下文中提高了10倍；而在8k上下文中更是提高了20倍。
研究人員指出nGPT的最佳化路徑從超球面上的點開始，透過位移來貢獻最終的輸出預測，其中位移量由MLP和注意力模組定義。這種方法不僅提高了訓練速度，也增強了模型的穩定性。
消息來源
頁:
[1]