【ITBEAR科技資訊】3月31日消息，近日，Databricks發(fā)布了一款全新的通用大語言模型DBRX，被譽為“當前最強開源AI”。據悉，在各種嚴格的基準測試中，該模型的表現均超越了“市面上所有的開源模型”。
DBRX是一款基于Transformer架構的大語言模型，它采用了先進的MoE(Mixture of Experts)技術，并配備了驚人的1320億個參數。更該模型在龐大的12T Token源數據上進行了深入的預訓練。
據ITBEAR科技資訊了解，研究人員對DBRX進行了全面的測試。與LLaMA2-70B、Mixtral、Grok-1等市場上主流的開源模型相比，DBRX在語言理解(MMLU)、程式設計(Humaneval)以及數學邏輯(GSM8K)等多個關鍵基準測試上均展現出了卓越的性能。DBRX在上述三項基準測試中的表現甚至超越了行業(yè)巨頭OpenAI的GPT-3.5。
Databricks AI部門副總裁Naveen Rao向知名科技媒體TechCrunch透露，DBRX的研發(fā)過程歷時兩個月，并投入了高達1000萬美元的成本。雖然DBRX在各項測試中取得了令人矚目的成績，但目前該模型仍需要使用四塊英偉達H100 GPU才能運行，這意味著在未來仍有進一步的優(yōu)化空間。
