隨著生成式AI的廣泛采用，AI算力需求急劇上升，云端與端側(cè)的協(xié)同作戰(zhàn)架構(gòu)——混合AI，日漸成為行業(yè)焦點(diǎn)。在此背景下，炬芯科技股份有限公司的董事長兼CEO周正宇博士，于Aspencore2024全球CEO峰會(huì)上，深入分享了炬芯科技在端側(cè)AI音頻技術(shù)領(lǐng)域的最新突破。
周博士指出，不同于云端AI對大規(guī)模算力的依賴，端側(cè)AI應(yīng)用，特別是音頻處理領(lǐng)域，更側(cè)重于專項(xiàng)應(yīng)用和中小模型的高效運(yùn)行。因此，炬芯科技致力于在電池驅(qū)動(dòng)的IoT設(shè)備上，實(shí)現(xiàn)高能效的AI算力，以滿足日益增長的端側(cè)AI需求。
他進(jìn)一步介紹了炬芯科技的創(chuàng)新技術(shù)——“Actions Intelligence”，這是一項(xiàng)針對電池驅(qū)動(dòng)端側(cè)AI的戰(zhàn)略，專注于10M參數(shù)以下的音頻AI應(yīng)用。通過該技術(shù)，炬芯科技旨在為低功耗AIoT裝置，在10mW至100mW的功耗范圍內(nèi)，提供0.1至1TOPS的通用AI算力，挑戰(zhàn)10TOPS/W至100TOPS/W的能效比極限。
在實(shí)現(xiàn)這一技術(shù)突破的過程中，炬芯科技采用了基于SRAM的存內(nèi)計(jì)算（CIM）技術(shù)，通過模數(shù)混合設(shè)計(jì)，既保證了計(jì)算精度，又大幅提升了能效比。與傳統(tǒng)的馮·諾依曼計(jì)算架構(gòu)相比，這種CIM技術(shù)有效弱化了“存儲(chǔ)墻”與“功耗墻”問題，使得AI算力在端側(cè)設(shè)備上得以高效釋放。
周博士還詳細(xì)介紹了炬芯科技MMSCIM技術(shù)的五大顯著優(yōu)勢，包括高能效比、數(shù)字化精度與可靠性、工藝升級與設(shè)計(jì)的靈活性、性能優(yōu)化的潛力，以及自適應(yīng)稀疏矩陣的能力。這些優(yōu)勢共同構(gòu)成了炬芯科技在端側(cè)AI音頻領(lǐng)域的核心競爭力。
基于這一核心技術(shù)，炬芯科技正式發(fā)布了全新一代基于MMSCIM的端側(cè)AI音頻芯片，涵蓋私有無線音頻、藍(lán)牙AI音頻以及AI DSP三大系列，均采用了CPU+DSP+NPU的三核異構(gòu)設(shè)計(jì)架構(gòu)，以支持片上百萬參數(shù)級別的AI模型，并可通過片外擴(kuò)展支持更大規(guī)模的模型。
通過實(shí)測對比，炬芯科技的新一代端側(cè)AI音頻芯片在能效比方面表現(xiàn)出色，相較于傳統(tǒng)的DSP解決方案，MMSCIM技術(shù)在運(yùn)行各類神經(jīng)網(wǎng)絡(luò)模型時(shí)，可顯著降低功耗，提升能效比，展現(xiàn)了在端側(cè)AI應(yīng)用中的巨大潛力。
最后，周博士表示，炬芯科技將繼續(xù)致力于端側(cè)AI技術(shù)的研發(fā)與創(chuàng)新，通過不斷提升算力和能效比，推動(dòng)AI技術(shù)在音頻及更廣泛IoT領(lǐng)域的應(yīng)用與發(fā)展。
