稀宇科技(MiniMax)今日震撼發(fā)布其全新01系列模型,該系列涵蓋了基礎(chǔ)語言大模型MiniMax-Text-01與視覺多模態(tài)大模型MiniMax-VL-01,標(biāo)志著公司在人工智能領(lǐng)域邁出了重要一步。
為了讓開發(fā)者們更便捷地進行研究,MiniMax慷慨地將這兩個模型的完整權(quán)重在Github上進行了開源。同時,公司透露,關(guān)于這兩個模型的后續(xù)更新,包括代碼和多模態(tài)相關(guān)的強化功能,將陸續(xù)上傳,敬請期待。
01系列模型的一大亮點在于其首次大規(guī)模應(yīng)用了線性注意力機制,成功打破了Transformer傳統(tǒng)架構(gòu)的記憶瓶頸。這意味著,該系列模型能夠處理高達400萬token的輸入,其輸入長度是GPT-4o的32倍,Claude-3.5-Sonnet的20倍,無疑為處理大規(guī)模數(shù)據(jù)提供了強有力的支持。
據(jù)透露,01系列模型的參數(shù)量驚人,高達4560億,單次激活便可達459億。在綜合性能上,該系列模型已經(jīng)與海外頂尖模型并駕齊驅(qū),在大多數(shù)任務(wù)上成功追平了GPT-4o-1120和Claude-3.5-Sonnet-1022這兩個海外公認的最先進模型。
在處理長文任務(wù)時,MiniMax-Text-01展現(xiàn)出了卓越的性能。隨著輸入長度的增加,其性能衰減幅度明顯小于谷歌的Gemini模型。因此,01系列模型在處理長輸入時效率極高,復(fù)雜度接近線性,為用戶帶來了前所未有的使用體驗。
在定價方面,MiniMax也展現(xiàn)出了其親民的一面。該系列模型的標(biāo)準(zhǔn)定價為輸入1元/百萬輸入token,輸出8元/百萬輸出token,相較于其他同類產(chǎn)品,性價比極高。
此次MiniMax推出的01系列模型,不僅展現(xiàn)了公司在人工智能技術(shù)上的深厚積累,更為廣大開發(fā)者提供了強大的工具和支持。我們有理由相信,在MiniMax的推動下,人工智能領(lǐng)域?qū)⒂瓉砀訌V闊的發(fā)展前景。