隨著2025年的腳步日益臨近，各大社交平臺(tái)紛紛推出年度回顧功能，而在人工智能領(lǐng)域，一場(chǎng)關(guān)于AI模型年度表現(xiàn)的評(píng)測(cè)也悄然落幕。近日，智源研究院公布了Flageval“百?！痹u(píng)測(cè)的詳細(xì)結(jié)果，揭示了國(guó)產(chǎn)大模型與海外頂尖模型之間的激烈競(jìng)爭(zhēng)態(tài)勢(shì)。
評(píng)測(cè)結(jié)果顯示，在閉源大模型的主觀評(píng)測(cè)中，字節(jié)跳動(dòng)的豆包通用模型pro脫穎而出，獲得了最高分，展現(xiàn)了強(qiáng)大的中文對(duì)話能力。而OpenAI的o1-mini則在客觀評(píng)測(cè)中獨(dú)占鰲頭，顯示出其在邏輯推理和問(wèn)題解決方面的卓越表現(xiàn)。多模態(tài)模型評(píng)測(cè)總榜的前三名被OpenAI的GPT-4o、字節(jié)跳動(dòng)的豆包視覺理解模型和Anthropic的Claude 3.5 Sonnet占據(jù)，體現(xiàn)了多模態(tài)技術(shù)領(lǐng)域的快速發(fā)展。
本次評(píng)測(cè)涵蓋了語(yǔ)言、視覺語(yǔ)言、文生圖、文生視頻、語(yǔ)音語(yǔ)言等多個(gè)領(lǐng)域的大模型，共計(jì)超過(guò)100個(gè)開源和商業(yè)閉源模型參與。評(píng)測(cè)不僅考察了AI模型的任務(wù)解決能力，還新增了對(duì)真實(shí)金融量化交易場(chǎng)景應(yīng)用能力和辯論能力的評(píng)估，以全面衡量AI模型的實(shí)用性和智能化水平。
值得注意的是，為了降低數(shù)據(jù)集泄露風(fēng)險(xiǎn)和提高評(píng)測(cè)的公正性，智源研究院在評(píng)測(cè)過(guò)程中吸納了最新發(fā)布的數(shù)據(jù)集，持續(xù)動(dòng)態(tài)更新評(píng)測(cè)數(shù)據(jù)，并替換了98%的題目，提升了題目的難度。這一舉措不僅保證了評(píng)測(cè)的準(zhǔn)確性和有效性，也為AI模型的發(fā)展提供了更加真實(shí)和具有挑戰(zhàn)性的測(cè)試環(huán)境。
在國(guó)產(chǎn)大模型方面，多款模型的綜合能力超過(guò)了海外知名模型。在閉源大模型主觀評(píng)測(cè)中，豆包通用模型pro、百度ERNIE 4.0 Turbo等國(guó)產(chǎn)模型占據(jù)了榜單的大部分席位，顯示出國(guó)產(chǎn)大模型在中文語(yǔ)言能力上的普遍優(yōu)勢(shì)。然而，在客觀評(píng)測(cè)中，國(guó)產(chǎn)大模型與OpenAI等海外模型之間仍存在一定差距，主要體現(xiàn)在推理、數(shù)學(xué)、代碼等方面的能力上。
多模態(tài)評(píng)測(cè)也成為了本次評(píng)測(cè)的一大亮點(diǎn)。國(guó)產(chǎn)大模型在視覺語(yǔ)言、文生圖、文生視頻等領(lǐng)域展現(xiàn)出了不俗的實(shí)力。其中，豆包視覺理解模型在視覺語(yǔ)言評(píng)測(cè)中名列前茅，而騰訊Hunyuan Image和快手可靈1.5則在文生圖和文生視頻評(píng)測(cè)中分別獲得了全球第一的好成績(jī)。
除了傳統(tǒng)評(píng)測(cè)項(xiàng)目外，本次評(píng)測(cè)還新增了對(duì)AI模型辯論能力和金融量化交易能力的考核。在辯論能力評(píng)測(cè)中，AI模型普遍缺乏辯論框架意識(shí)，但更擅長(zhǎng)反駁辯題。而在金融量化交易領(lǐng)域，AI模型已具備生成有回撤收益的策略代碼的能力，部分模型的能力已接近初級(jí)量化交易員的水平。這一結(jié)果不僅展示了AI模型在金融領(lǐng)域的巨大潛力，也為未來(lái)的金融創(chuàng)新和智能化轉(zhuǎn)型提供了有力支持。
隨著AI技術(shù)的不斷發(fā)展和應(yīng)用領(lǐng)域的不斷拓展，國(guó)產(chǎn)大模型與海外模型之間的競(jìng)爭(zhēng)將更加激烈。未來(lái)，AI模型的發(fā)展將更加注重實(shí)際應(yīng)用和商業(yè)化落地，催熟商業(yè)化落地的效率和效益將成為新的競(jìng)爭(zhēng)焦點(diǎn)。在這場(chǎng)“百家爭(zhēng)鳴”中，國(guó)產(chǎn)大模型需要繼續(xù)鞏固自身優(yōu)勢(shì)，同時(shí)積極探索新的應(yīng)用場(chǎng)景和技術(shù)創(chuàng)新，以在激烈的市場(chǎng)競(jìng)爭(zhēng)中脫穎而出。
