隨著GenAI時(shí)代的深入發(fā)展，大模型技術(shù)迭代加速，企業(yè)及用戶對(duì)于AI能力的需求也日益升級(jí)。在這一背景下，多模態(tài)大模型正迅速落地，以其能聽會(huì)說(shuō)、響應(yīng)迅速、支持隨時(shí)打斷等特點(diǎn)受到廣泛關(guān)注。近期，MiniMax、商湯、豆包等主流大模型廠商紛紛對(duì)實(shí)時(shí)語(yǔ)音模型進(jìn)行密集更新，進(jìn)一步推動(dòng)了這一趨勢(shì)。
面對(duì)AI交互體驗(yàn)不斷升級(jí)的大環(huán)境，聲網(wǎng)憑借在對(duì)話式智能體搭建和用戶體驗(yàn)方面的深刻理解，推出了Conversational AI Engine（對(duì)話式AI引擎）。該引擎具備超低響應(yīng)延遲、優(yōu)雅打斷、對(duì)話人聲鎖定以及全5A適配等核心優(yōu)勢(shì)，為用戶帶來(lái)更加自然流暢的交互體驗(yàn)。
其中，超低響應(yīng)延遲是聲網(wǎng)Conversational AI Engine的一大亮點(diǎn)。經(jīng)過(guò)實(shí)測(cè)，該引擎的響應(yīng)延遲中位數(shù)僅為650毫秒，遠(yuǎn)低于行業(yè)平均水平。如下圖所示，聲網(wǎng)在實(shí)際測(cè)試中展現(xiàn)了其卓越的響應(yīng)速度。
除了超低延遲外，聲網(wǎng)Conversational AI Engine還具備全模型適配的核心優(yōu)勢(shì)。該引擎突破了傳統(tǒng)框架的限制，基于全球主流的Conversational AI Agents開源框架TEN framework構(gòu)建，支持第三方云端大模型服務(wù)、企業(yè)私有化模型及本地化部署的開源模型無(wú)縫接入，實(shí)現(xiàn)了跨架構(gòu)模型的敏捷適配。
為了進(jìn)一步提升用戶體驗(yàn)，聲網(wǎng)Conversational AI Engine還提供了零改造接入體驗(yàn)。依托標(biāo)準(zhǔn)化API，無(wú)論是新模型還是老模型，都可以實(shí)現(xiàn)一鍵式快速接入，大大縮短了接入周期，有效保障了企業(yè)AI模型資產(chǎn)的無(wú)損遷移與持續(xù)價(jià)值轉(zhuǎn)化。
在真實(shí)語(yǔ)音對(duì)話場(chǎng)景中，打斷對(duì)方并提出新疑問(wèn)是常見現(xiàn)象。聲網(wǎng)自研的AI VAD技術(shù)，能夠適應(yīng)人類對(duì)話的停頓、語(yǔ)氣和節(jié)奏，支持在AI對(duì)話過(guò)程中隨時(shí)優(yōu)雅打斷。這一技術(shù)不僅提升了對(duì)話的流暢性，更體現(xiàn)了聲網(wǎng)對(duì)于用戶需求的深刻理解。通過(guò)相關(guān)視頻，我們可以直觀地看到聲網(wǎng)方案的優(yōu)雅打斷效果。
針對(duì)大模型語(yǔ)音交互中存在的誤打斷痛點(diǎn)，聲網(wǎng)技術(shù)團(tuán)隊(duì)結(jié)合多年積累的AI降噪等音頻對(duì)話處理能力，智能屏蔽交互中的背景人聲與噪聲干擾。即使在商場(chǎng)、地鐵站等嘈雜環(huán)境中，也能保證對(duì)話應(yīng)答的精準(zhǔn)與流暢。據(jù)測(cè)試對(duì)比顯示，在噪雜環(huán)境下，聲網(wǎng)的方案誤打斷率較ChatGPT降低了50%。
在網(wǎng)絡(luò)環(huán)境不穩(wěn)定的情況下，如何保障交互的穩(wěn)定與流暢，是AI企業(yè)面臨的一大挑戰(zhàn)。聲網(wǎng)憑借在音視頻領(lǐng)域的深厚技術(shù)優(yōu)勢(shì)與場(chǎng)景實(shí)踐，通過(guò)實(shí)時(shí)網(wǎng)絡(luò)覆蓋、網(wǎng)絡(luò)超強(qiáng)適應(yīng)以及海量終端適配等優(yōu)勢(shì)，打造了全球一致的端云覆蓋體驗(yàn)。即使在面臨80%丟包的情況下，人與Agent也能穩(wěn)定交流。
考慮到用戶硬件設(shè)備的差異可能對(duì)語(yǔ)音處理效果產(chǎn)生影響，聲網(wǎng)的RTC SDK支持30+平臺(tái)開發(fā)框架以及30000+終端機(jī)型適配，覆蓋了廣泛的中低端機(jī)型。這一舉措解決了AI廠商在多設(shè)備兼容性方面的后顧之憂，為用戶提供了統(tǒng)一的低延時(shí)傳輸體驗(yàn)。
聲網(wǎng)Conversational AI Engine作為行業(yè)首個(gè)實(shí)現(xiàn)650毫秒超低延時(shí)響應(yīng)的對(duì)話式AI解決方案，其自研AI VAD技術(shù)、智能打斷效果以及音頻技術(shù)改進(jìn)均處于行業(yè)領(lǐng)先地位。整體方案助力人與Agent的互動(dòng)更加自然流暢，為用戶帶來(lái)了更加卓越的AI交互體驗(yàn)。目前，聲網(wǎng)Conversational AI Engine已開放Private Beta版本邀請(qǐng)測(cè)試，歡迎廣大用戶咨詢體驗(yàn)。
