【ITBEAR】小米公司近日宣布，其自研的大模型MiLM已實現(xiàn)從一代到二代的升級，新模型MiLM2在多項關(guān)鍵技術(shù)上取得顯著突破，進一步提升了模型性能和應(yīng)用場景。
據(jù)了解，MiLM2在模型參數(shù)規(guī)模上進行了大幅擴充，同時優(yōu)化了數(shù)據(jù)品質(zhì)和訓(xùn)練策略。新模型不僅支持云邊端結(jié)合，參數(shù)尺寸也更為靈活，最小為0.3B，最大可達30B，滿足了不同場景下的需求。
在能力維度上，MiLM2相較于一代模型平均提升了超過45%。特別是在指令跟隨、翻譯和閑聊等關(guān)鍵能力上，新模型的表現(xiàn)處于業(yè)界前列。這一進步對于小米推進“人車家全生態(tài)”戰(zhàn)略具有重要意義，有助于提升智能生態(tài)系統(tǒng)的整體性能。
MiLM2在端側(cè)部署上也取得了新的突破。新模型支持三種推理加速方案，包括大小模型投機、BiTA和Medusa。通過自研量化方案，相較于業(yè)界標(biāo)準(zhǔn)，量化損失降低了78%。同時，新模型還支持更長的窗口長度，最長可達200k，進一步提升了長文本處理的效果。
小米大模型團隊還構(gòu)建了通用的能力評測集Mi-LLMBM2.0，對MiLM2進行了全面評估。評測結(jié)果顯示，新模型在生成、腦暴、對話、問答等多個應(yīng)用場景下均表現(xiàn)出色。
隨著二代大模型的迭代更新，小米在端側(cè)部署技術(shù)上也取得了新的進展。新的4B模型已成功在端側(cè)落地應(yīng)用，進一步提升了端側(cè)大模型的性能。同時，云端也新增了30B模型，以滿足更為復(fù)雜和多樣化的任務(wù)需求。
據(jù)悉，小米第二代自研大模型的進步和成果已經(jīng)開始滲透到真實的業(yè)務(wù)場景中。新模型不僅助力集團內(nèi)部解決多樣化業(yè)務(wù)需求、實現(xiàn)工作提效，還已在澎湃OS、小愛同學(xué)、智能座艙和智能客服等領(lǐng)域開始應(yīng)用落地。
