【ITBEAR】科技界迎來一項重大進展，英偉達在AI模型訓練領域取得了突破性成就。該公司最新發(fā)布的Normalized Transformer（nGPT）架構，在保持模型穩(wěn)定性和準確性的同時，大幅縮短了訓練時間，最高可達原來的二十分之一。
nGPT架構的核心在于“超球面學習”概念，通過將關鍵組件映射到超球面表面，確保模型各層在訓練中的平衡，從而創(chuàng)造更穩(wěn)定高效的學習過程。
與傳統(tǒng)的GPT模型相比，nGPT在速度和效率上均表現(xiàn)出色。在OpenWebText數(shù)據(jù)集測試中，nGPT對于長達4000個tokens的文本輸入，所需訓練輪次遠少于傳統(tǒng)模型。
nGPT還將歸一化和表示學習結合成一個統(tǒng)一框架，簡化了模型架構，便于擴展和適應更復雜的混合系統(tǒng)。這一創(chuàng)新設計有望為AI系統(tǒng)的發(fā)展帶來新的突破。
