【ITBEAR科技資訊】3月31日消息，近日，Databricks發(fā)布了一款全新的通用大語(yǔ)言模型DBRX，被譽(yù)為“當(dāng)前最強(qiáng)開(kāi)源AI”。據(jù)悉，在各種嚴(yán)格的基準(zhǔn)測(cè)試中，該模型的表現(xiàn)均超越了“市面上所有的開(kāi)源模型”。
DBRX是一款基于Transformer架構(gòu)的大語(yǔ)言模型，它采用了先進(jìn)的MoE(Mixture of Experts)技術(shù)，并配備了驚人的1320億個(gè)參數(shù)。更該模型在龐大的12T Token源數(shù)據(jù)上進(jìn)行了深入的預(yù)訓(xùn)練。
據(jù)ITBEAR科技資訊了解，研究人員對(duì)DBRX進(jìn)行了全面的測(cè)試。與LLaMA2-70B、Mixtral、Grok-1等市場(chǎng)上主流的開(kāi)源模型相比，DBRX在語(yǔ)言理解(MMLU)、程式設(shè)計(jì)(Humaneval)以及數(shù)學(xué)邏輯(GSM8K)等多個(gè)關(guān)鍵基準(zhǔn)測(cè)試上均展現(xiàn)出了卓越的性能。DBRX在上述三項(xiàng)基準(zhǔn)測(cè)試中的表現(xiàn)甚至超越了行業(yè)巨頭OpenAI的GPT-3.5。
Databricks AI部門(mén)副總裁Naveen Rao向知名科技媒體TechCrunch透露，DBRX的研發(fā)過(guò)程歷時(shí)兩個(gè)月，并投入了高達(dá)1000萬(wàn)美元的成本。雖然DBRX在各項(xiàng)測(cè)試中取得了令人矚目的成績(jī)，但目前該模型仍需要使用四塊英偉達(dá)H100 GPU才能運(yùn)行，這意味著在未來(lái)仍有進(jìn)一步的優(yōu)化空間。
