【ITBEAR科技資訊】4月23日消息,清華大學(xué)基礎(chǔ)模型研究中心最近公布了2024年3月版的《SuperBench大模型綜合能力評(píng)測(cè)報(bào)告》,該報(bào)告全面評(píng)估了14個(gè)在海內(nèi)外具有影響力的模型。
在這份報(bào)告中,文心4.0的卓越表現(xiàn)引起了廣泛關(guān)注。其整體性能已經(jīng)接近了國(guó)際頂級(jí)模型,且正逐步縮小與全球領(lǐng)先模型的差距,顯然已經(jīng)成為了國(guó)內(nèi)領(lǐng)先的模型。
在人類(lèi)對(duì)齊能力的評(píng)測(cè)中,文心4.0展現(xiàn)了出色的實(shí)力,毫無(wú)爭(zhēng)議地位居國(guó)內(nèi)首位。同時(shí),在中文推理和中文語(yǔ)言能力的評(píng)測(cè)中,文心4.0也是一騎絕塵,與其他模型相比,其優(yōu)勢(shì)十分明顯。特別在中文理解的評(píng)測(cè)環(huán)節(jié),文心4.0的得分比第二名的GLM-4高出了0.41分,顯示了其在中文處理上的深厚功底。
此外,在語(yǔ)義理解的數(shù)學(xué)能力評(píng)測(cè)中,文心4.0與Claude-3模型并列全球首位,而知名的的GPT-4系列模型則緊隨其后,位列第四和第五。其他模型的得分大多集中在55分左右,與領(lǐng)先群體存在顯著的差距。
在閱讀理解能力的評(píng)測(cè)中,文心4.0同樣大放異彩。它不僅超越了GPT-4 Turbo和Claude-3,還超越了GLM-4,斬獲了最高分。
據(jù)ITBEAR科技資訊了解,在企業(yè)最為關(guān)注的安全性評(píng)測(cè)中,文心4.0也展現(xiàn)出了卓越的性能。它以89.1分的高分超越了國(guó)際一流的GPT-4系列模型和Claude-3,位列第一,而Claude-3在這次評(píng)測(cè)中僅排在第四位。
報(bào)告還提到,自去年3月16日文心一言首次公開(kāi)亮相以來(lái),其在短短的時(shí)間內(nèi)就實(shí)現(xiàn)了用戶(hù)數(shù)量的突破,目前已經(jīng)超過(guò)了2億用戶(hù)。同時(shí),每天的API調(diào)用量也異?;钴S,已經(jīng)超過(guò)了2億次。