隨著春節(jié)的腳步日益臨近，國產(chǎn)大模型領(lǐng)域迎來了一波新春大禮包，令人目不暇接。百川智能，作為國產(chǎn)大模型領(lǐng)域的佼佼者，近期頻繁推出新品，從全場景深度推理模型Baichuan-M1-preview到醫(yī)療增強開源模型Baichuan-M1-14B，每一款都引起了業(yè)界的廣泛關(guān)注。
而最新發(fā)布的全模態(tài)模型Baichuan-Omni-1.5，更是被譽為“大模型通才”，以其全面且強大的能力吸引了眾多目光。這款全模態(tài)模型不僅能夠同時處理文本、圖像、音視頻等多種模態(tài)的理解任務(wù)，還支持文本和音頻的雙模態(tài)生成，實現(xiàn)了理解和生成的完美統(tǒng)一。
據(jù)測評結(jié)果顯示，Baichuan-Omni-1.5的多模態(tài)能力整體超越了GPT-4o mini。特別是在百川智能深耕的醫(yī)療領(lǐng)域，該模型在醫(yī)療圖片評測上的表現(xiàn)更是大幅領(lǐng)先，展現(xiàn)了其卓越的專業(yè)能力。這一成就不僅彰顯了百川智能在模型技術(shù)探索上的深厚實力，也為其在醫(yī)療行業(yè)的應(yīng)用落地奠定了堅實基礎(chǔ)。
除了醫(yī)療領(lǐng)域，Baichuan-Omni-1.5在音頻的理解與生成方面同樣表現(xiàn)出色。該模型支持多語言對話，并具備端到端的音頻合成能力，包括ASR（自動語音識別）和TTS（文本轉(zhuǎn)語音）功能。在此基礎(chǔ)上，它還支持音視頻實時交互，進一步提升了用戶體驗。在音頻評測數(shù)據(jù)集上，Baichuan-Omni-1.5的整體表現(xiàn)也遠超其他競品。
百川智能還開源了兩個評測集：OpenMM-Medical和OpenAudioBench，為研究人員和開發(fā)者提供了統(tǒng)一的標(biāo)準數(shù)據(jù)，有助于催生一系列新的語言理解算法和模型架構(gòu)。這些舉措不僅促進了國內(nèi)開源生態(tài)的繁榮，也為Baichuan-Omni-1.5等全模態(tài)模型的應(yīng)用推廣提供了有力支持。
為了實現(xiàn)全模態(tài)模型的理解和生成統(tǒng)一，百川智能的研究團隊在模型結(jié)構(gòu)、訓(xùn)練策略以及訓(xùn)練數(shù)據(jù)等多方面進行了全流程的深度優(yōu)化。在模型結(jié)構(gòu)上，Baichuan-Omni-1.5采用了創(chuàng)新的文本-音頻交錯輸出設(shè)計，使得模型能夠同時生成文本和音頻。同時，為了處理任意分辨率的圖片，該模型還引入了NaViT技術(shù)，全面提升了圖片信息的提取和理解能力。
在數(shù)據(jù)層面，百川智能構(gòu)建了包含3.4億條高質(zhì)量圖片/視頻-文本數(shù)據(jù)和近100萬小時音頻數(shù)據(jù)的龐大數(shù)據(jù)庫，并使用1700萬條全模態(tài)數(shù)據(jù)進行了監(jiān)督微調(diào)（SFT）。為了加強跨模態(tài)理解能力，百川智能還構(gòu)建了高質(zhì)量的視覺-音頻-文本交錯數(shù)據(jù)，并對模型進行了對齊訓(xùn)練。這些舉措共同提升了Baichuan-Omni-1.5的全模態(tài)理解和生成能力。
Baichuan-Omni-1.5的發(fā)布標(biāo)志著AI技術(shù)正在從模型能力向落地應(yīng)用方向發(fā)展。該模型強大的多模態(tài)融合能力將技術(shù)與實際場景緊密結(jié)合，為各行業(yè)的數(shù)字化轉(zhuǎn)型提供了有力支撐。特別是在醫(yī)療行業(yè)，Baichuan-Omni-1.5的理解、生成能力可以用于輔助醫(yī)生診斷，提高診斷準確性和效率，為AI在醫(yī)療場景的應(yīng)用探索開辟了新的道路。
