【ITBEAR】在禪宗的智慧中，“以小見大”的哲學(xué)思想啟示我們，即使是最微小的存在，也蘊(yùn)含著宇宙的真理。如今，這一哲學(xué)理念正在企業(yè)智能化轉(zhuǎn)型的浪潮中得到新的詮釋。
隨著AI技術(shù)的迅猛發(fā)展，企業(yè)紛紛踏上智能化轉(zhuǎn)型的征途。然而，高昂的決策成本、巨大的投入以及難以預(yù)測的效果，成為企業(yè)面前的三大攔路虎。在這一背景下，企業(yè)渴望找到一種更為精簡高效的方式，來實(shí)現(xiàn)智能化的飛躍，正如禪宗中所說的“一葉一菩提”，從微小中領(lǐng)悟宏大的智慧。
早期，AI領(lǐng)域的Scaling Law（規(guī)模定律）曾被視為通往智能巔峰的金鑰匙。ChatGPT從2.0到3.5版本的連續(xù)迭代，更是讓這一理論大放異彩。然而，當(dāng)ChatGPT 4.0似乎觸碰到人類數(shù)據(jù)處理的極限時(shí)，人們開始意識到，單純依賴規(guī)模定律可能并非萬能。
于是，行業(yè)內(nèi)開始深入探討，在通向通用人工智能（AGI）的道路上，除了規(guī)模定律，我們還需要哪些新的策略和方向?？蛻羝谕氖?，大模型能夠像懂自己業(yè)務(wù)的專家一樣，在實(shí)際場景中發(fā)揮實(shí)效，解決實(shí)際問題。因此，大模型的目標(biāo)應(yīng)當(dāng)是追求“智慧”的提升，而不僅僅是參數(shù)的堆砌。
在這一背景下，傳神語聯(lián)推出的“任度數(shù)推分離大模型”猶如一股清流，為行業(yè)帶來了新的曙光。該模型采用雙網(wǎng)絡(luò)架構(gòu)，實(shí)現(xiàn)了推理網(wǎng)絡(luò)與數(shù)據(jù)學(xué)習(xí)網(wǎng)絡(luò)的分離。這一創(chuàng)新模式，使得模型能夠像兩個(gè)協(xié)同聯(lián)動(dòng)的大腦一樣，既支持獨(dú)立訓(xùn)練，也支持聯(lián)合推理，從而大幅提升了模型的效率和性能。
任度數(shù)推分離大模型的雙網(wǎng)絡(luò)架構(gòu)，打破了常規(guī)大模型數(shù)推混合一體的技術(shù)架構(gòu)限制。這一架構(gòu)使得推理網(wǎng)絡(luò)在成熟后，數(shù)據(jù)網(wǎng)絡(luò)仍可以持續(xù)不斷地學(xué)習(xí)新接入的數(shù)據(jù)，而不會(huì)影響推理網(wǎng)絡(luò)的能力。因此，上下文輸入長度不再受限，模型能夠處理更大量的數(shù)據(jù)，實(shí)現(xiàn)更深度的知識理解。
這一架構(gòu)還大大降低了訓(xùn)練和推理的硬件投入成本。由于無需通過大量參數(shù)存儲(chǔ)數(shù)據(jù)來豐富知識，模型可以依靠數(shù)據(jù)網(wǎng)絡(luò)在客戶場景中實(shí)時(shí)學(xué)習(xí)數(shù)據(jù)。這不僅減少了參數(shù)規(guī)模，還使得訓(xùn)練時(shí)間大幅縮短至分鐘級，同時(shí)確保了數(shù)據(jù)的安全性和隱私性。
傳神語聯(lián)創(chuàng)始人何恩培表示，僅依賴規(guī)模定律的大模型路線已遇瓶頸，要真正突破需依靠算法與架構(gòu)的創(chuàng)新。事實(shí)上，在不同算法和框架下，小參數(shù)模型憑借高效算法設(shè)計(jì)，也能展現(xiàn)出強(qiáng)大的性能，甚至在特定指標(biāo)上超越常規(guī)大參數(shù)模型。目前，任度數(shù)推分離大模型已應(yīng)用于一體機(jī)中，并在多項(xiàng)國內(nèi)外測評中脫穎而出。
何恩培堅(jiān)信，“算法制勝”是具有中國特色的技術(shù)路徑之一。在中國市場，大型語言模型尚未充分體現(xiàn)規(guī)模定律的優(yōu)勢，而算法和架構(gòu)的創(chuàng)新才是突破的關(guān)鍵。傳神語聯(lián)將繼續(xù)加大在算法和架構(gòu)方面的研發(fā)投入，以持續(xù)迭代和優(yōu)化大模型的能力，推動(dòng)中國AI技術(shù)的快速發(fā)展。
