在金融科技的浪潮中，人工智能技術(shù)的革新正引領(lǐng)著行業(yè)的深刻變革。特別是多模態(tài)技術(shù)的興起，吸引了眾多金融企業(yè)的密切關(guān)注。度小滿，作為金融科技領(lǐng)域的佼佼者，近年來在多模態(tài)領(lǐng)域持續(xù)深耕，不斷加速技術(shù)創(chuàng)新，與哈爾濱工業(yè)大學(xué)攜手推出了SmartTrim技術(shù)，為金融業(yè)務(wù)的智能化轉(zhuǎn)型注入了新的活力。
在多模態(tài)視覺語言大模型（VLM）的研究中，高昂的計(jì)算成本一直是阻礙其廣泛應(yīng)用的關(guān)鍵因素。為了解決這一難題，度小滿與哈爾濱工業(yè)大學(xué)聯(lián)合研發(fā)了SmartTrim自適應(yīng)剪枝算法。這一創(chuàng)新成果不僅在國際自然語言處理頂級會議COLING 24上獲得了認(rèn)可，更在實(shí)際應(yīng)用中展現(xiàn)了顯著的計(jì)算效率提升。
SmartTrim技術(shù)的核心在于其自適應(yīng)剪枝能力。該技術(shù)通過深入分析模型中各層的token表示和attention head的冗余性，能夠智能地識別并去除不必要的計(jì)算負(fù)擔(dān)。這一過程不僅考慮了token在單一模態(tài)中的重要性，還特別強(qiáng)調(diào)了跨模態(tài)交互中的關(guān)鍵作用，從而在保持模型性能的同時，實(shí)現(xiàn)了計(jì)算效率的大幅提升。
SmartTrim框架的實(shí)施依賴于兩大關(guān)鍵組件：跨模態(tài)感知的Token修剪器和模態(tài)自適應(yīng)的注意力頭修剪器。Token修剪器利用多層感知器（MLP）結(jié)構(gòu)，智能地識別并去除對當(dāng)前層不重要的Token，這一過程綜合考慮了Token在文本或圖像序列中的獨(dú)立重要性及其在跨模態(tài)交互中的貢獻(xiàn)。而注意力頭修剪器則直接集成在模型的自注意力模塊中，通過評估并修剪冗余的注意力頭，進(jìn)一步優(yōu)化了模型的計(jì)算效率。
在訓(xùn)練SmartTrim模型時，研究人員采用了雙重優(yōu)化策略，結(jié)合了任務(wù)相關(guān)目標(biāo)和計(jì)算開銷目標(biāo)，通過重參數(shù)化技巧解決了不可導(dǎo)二值mask的問題，實(shí)現(xiàn)了模型的端到端訓(xùn)練。同時，自蒸餾和課程學(xué)習(xí)策略的引入，進(jìn)一步提升了剪枝后模型的性能，確保了訓(xùn)練過程的穩(wěn)定性和高效性。
實(shí)驗(yàn)結(jié)果表明，SmartTrim在METER和BLIP兩個VLM上實(shí)現(xiàn)了2-3倍的加速，同時保持了極低的性能損失。特別是在1.5倍加速比下，SmartTrim的性能甚至超越了原始模型，展現(xiàn)出了卓越的計(jì)算效率和性能表現(xiàn)。這一成果不僅為模型優(yōu)化提供了新的思路，也為金融科技的智能化轉(zhuǎn)型提供了有力的技術(shù)支撐。
度小滿表示，未來將繼續(xù)深化與哈爾濱工業(yè)大學(xué)的合作，將SmartTrim技術(shù)整合到公司的軒轅大模型中，進(jìn)一步推動大模型在金融領(lǐng)域的應(yīng)用與發(fā)展。同時，度小滿還將加快技術(shù)成果的孵化速度，借助前沿科技解決金融行業(yè)的系列難題，為金融行業(yè)的轉(zhuǎn)型升級貢獻(xiàn)更多力量。
