ITBear旗下自媒體矩陣:

ChatGPT后浪推前浪,國(guó)產(chǎn)o1大模型加速崛起能否彎道超車?

   時(shí)間:2024-12-02 22:22:35 來源:ITBEAR編輯:快訊團(tuán)隊(duì) 發(fā)表評(píng)論無障礙通道

在ChatGPT問世后的第二年,人工智能領(lǐng)域正經(jīng)歷一場(chǎng)新的變革。OpenAI及其國(guó)內(nèi)同行正試圖超越現(xiàn)有的技術(shù)框架,探索大模型發(fā)展的新路徑。

隨著Scaling Law的局限性逐漸顯現(xiàn),今年9月,OpenAI推出了全新系列模型o1,重新定義了“會(huì)思考的大模型”。OpenAI的CEO奧特曼對(duì)此信心滿滿,認(rèn)為AI的發(fā)展不僅沒有放緩,反而預(yù)示著未來幾年內(nèi)的重大突破。

受到o1發(fā)布的啟發(fā),國(guó)內(nèi)大模型廠商迅速行動(dòng),紛紛效仿并推出了各自的o1類深度思考模型。短短兩個(gè)多月內(nèi),kimi的k0 math、Deepseek的DeepSeek-R1-Lite以及昆侖萬維的“天工大模型4.0”o1版相繼問世,這些模型都著重強(qiáng)調(diào)了大模型的邏輯思考能力。

在沒有OpenAI公開o1具體技術(shù)細(xì)節(jié)的情況下,國(guó)內(nèi)企業(yè)展現(xiàn)出了驚人的研發(fā)速度和技術(shù)實(shí)力。11月16日,月之暗面發(fā)布了k0 math,通過強(qiáng)化學(xué)習(xí)和思維鏈推理技術(shù),顯著提升了數(shù)學(xué)推理能力。四天后,Deepseek推出了DeepSeek-R1-Lite,毫無保留地展示了模型的完整思考過程,其思維鏈長(zhǎng)度可達(dá)數(shù)萬字,并在多項(xiàng)測(cè)試中超越了o1-Preview。

昆侖萬維也不甘落后,于11月27日發(fā)布了天工大模型4.0 o1版,成為國(guó)內(nèi)首款實(shí)現(xiàn)中文邏輯推理的模型。該模型提供了三種版本,包括開源的Skywork O1 Open、優(yōu)化中文支持能力的Skywork O1 Lite,以及完整展示模型思考過程的Skywork O1 Preview。

這些國(guó)產(chǎn)“o1”大模型不僅在數(shù)學(xué)和代碼能力上逼近甚至超過了o1,還學(xué)會(huì)了“慢思考”。通過引入思維鏈(CoT),大模型能夠?qū)?fù)雜問題拆解為多個(gè)小問題,模擬人類的逐步推理過程。這種能力使得大模型在解決一些往常無法回答的問題時(shí),也能給出正確答案。

例如,Deepseek R1在面對(duì)“Responsibility中有幾個(gè)字母i?”的問題時(shí),能夠拆解單詞并逐一比較字母,最終給出正確答案。昆侖萬維的大模型在面對(duì)陷阱問題時(shí),也能通過思維鏈模式自行避開問題,找到準(zhǔn)確的翻譯結(jié)果。

然而,慢思考模型也面臨著挑戰(zhàn)。雖然它們?cè)谝恍┨囟▽W(xué)科上的表現(xiàn)大幅提升,但大量耗費(fèi)tokens的方式卻未必能換來用戶需要的回報(bào)。在某些情況下,增加思維鏈的長(zhǎng)度可以提高效率,但并不意味著在所有情況下都是最優(yōu)解。因此,大模型需要學(xué)會(huì)對(duì)問題難度進(jìn)行判別,從而決定是否采用深度思考模式。

從特定場(chǎng)景下的強(qiáng)化學(xué)習(xí)應(yīng)用轉(zhuǎn)向通用模型,在訓(xùn)練算力和成本的平衡上還存在一定難度。目前,國(guó)產(chǎn)慢思考大模型的開發(fā)主要基于規(guī)模較小的基座模型,如Skywork O1 Open基于Llama 3.1 8B的開源模型。這意味著在訓(xùn)練RL階段,所需的算力可能并不比預(yù)訓(xùn)練少。

盡管如此,大廠們?nèi)詫1視為下一個(gè)必備項(xiàng)。在OpenAI和智譜給出的“通往AGI五階段”的定義中,o1的出現(xiàn)標(biāo)志著大模型能力突破到了L2階段,開始真正擁有邏輯思維能力。國(guó)內(nèi)廠商在同步跟進(jìn)o1類產(chǎn)品的同時(shí),已經(jīng)開始思考如何將o1的能力與現(xiàn)有AI應(yīng)用方向結(jié)合。

在數(shù)據(jù)枯竭的情況下,o1為Scaling Law提供了新的支撐。更多大模型公司的加入,將聯(lián)手探索出更大的可能性。同時(shí),思維鏈的能力已經(jīng)幫助提升了AI技術(shù)的使用效果。例如,智譜的“會(huì)反思的AI搜索”結(jié)合了思維鏈能力,能夠給出更加精準(zhǔn)的答案。

當(dāng)大模型開始學(xué)會(huì)“自我思考”,通往L3(Agent)的大門也正在被推開。然而,如何平衡大模型的推理進(jìn)化和用戶對(duì)效率的需求,仍然是國(guó)內(nèi)大模型廠商需要解決的問題。

舉報(bào) 0 收藏 0 打賞 0評(píng)論 0
 
 
更多>同類資訊
全站最新
熱門內(nèi)容
網(wǎng)站首頁(yè)  |  關(guān)于我們  |  聯(lián)系方式  |  版權(quán)聲明  |  RSS訂閱  |  開放轉(zhuǎn)載  |  滾動(dòng)資訊  |  爭(zhēng)議稿件處理  |  English Version