“中國(guó)隊(duì)，率先沖過(guò)終點(diǎn)!”
2月5日晚短道速滑混合團(tuán)體接力決賽后，騰訊3D手語(yǔ)數(shù)智人“聆語(yǔ)”，用手語(yǔ)表達(dá)了見(jiàn)證中國(guó)隊(duì)獲得冠軍的激動(dòng)心情。
騰訊3D手語(yǔ)數(shù)智人“聆語(yǔ)”作為央視頻AI手語(yǔ)翻譯官，為這場(chǎng)比賽提供了手語(yǔ)翻譯解說(shuō)服務(wù)，見(jiàn)證了中國(guó)隊(duì)在本屆賽事中首枚金牌的誕生，讓處于無(wú)聲世界中的特殊人群也能感受到中國(guó)舉辦冰雪賽事的盛況，進(jìn)一步提升了聽(tīng)障人士的觀賽體驗(yàn)。
騰訊3D手語(yǔ)數(shù)智人“聆語(yǔ)”由騰訊云小微聯(lián)合PCG AI等技術(shù)團(tuán)隊(duì)共同打造，整合多模態(tài)交互技術(shù)、3D數(shù)字人建模、機(jī)器翻譯、語(yǔ)音識(shí)別和自然語(yǔ)言理解等技術(shù)，讓“聆語(yǔ)”的手語(yǔ)表達(dá)能力接近真人。騰訊自主研發(fā)了一套可視化動(dòng)作編輯平臺(tái)，為更專業(yè)的手語(yǔ)老師提供了友好的工具平臺(tái)，可以讓手語(yǔ)老師高效率的對(duì)全量手語(yǔ)動(dòng)作進(jìn)行精修。截至目前，騰訊3D手語(yǔ)數(shù)智人“聆語(yǔ)”詞匯和語(yǔ)句覆蓋量超過(guò)160萬(wàn)，并針對(duì)體育賽事做了大量定向優(yōu)化，手語(yǔ)可懂度90%以上，技術(shù)水準(zhǔn)行業(yè)領(lǐng)先。
在賽事手語(yǔ)解說(shuō)中，基于《國(guó)家通用手語(yǔ)詞典》規(guī)范，“聆語(yǔ)”首先通過(guò)健聽(tīng)人語(yǔ)言與聽(tīng)障者手語(yǔ)的機(jī)器翻譯能力，將比賽解說(shuō)內(nèi)容低延遲生成高準(zhǔn)確率的手語(yǔ)語(yǔ)言表征，再通過(guò)騰訊多模態(tài)端到端生成模型，進(jìn)行聯(lián)合建模及預(yù)測(cè)生成高準(zhǔn)確率的動(dòng)作、表情、唇動(dòng)等序列，實(shí)現(xiàn)自然專業(yè)、易懂度高的手語(yǔ)效果。“聆語(yǔ)”的外觀，依托騰訊領(lǐng)先的3D光照掃描還原、面部肌肉驅(qū)動(dòng)、表情肢體手勢(shì)捕捉等技術(shù)，形象高度還原真人發(fā)膚，動(dòng)作也更加自然生動(dòng);在信息準(zhǔn)確率方面，“聆語(yǔ)”可以快速學(xué)習(xí)時(shí)下的新詞熱詞，還可以快速完成各種行業(yè)、業(yè)務(wù)場(chǎng)景和相關(guān)知識(shí)的學(xué)習(xí)，提升翻譯準(zhǔn)確性。
《“十四五”殘疾人保障和發(fā)展規(guī)劃》中提出要加快發(fā)展信息無(wú)障礙，智能化服務(wù)要適應(yīng)殘疾人需求，智能工具應(yīng)當(dāng)便于殘疾人日常生活使用。據(jù)全國(guó)第二次殘疾人抽樣調(diào)查數(shù)據(jù)，中國(guó)有2780萬(wàn)聽(tīng)障人士，手語(yǔ)是這些聽(tīng)障人士之間相互交流思想、獲取外界信息的第一語(yǔ)言。但由于手語(yǔ)表達(dá)語(yǔ)序和漢語(yǔ)不同、需要結(jié)合表情和嘴部動(dòng)作輔助理解，如果省略詞匯不當(dāng)、新詞熱詞無(wú)法表達(dá)等原因，會(huì)對(duì)手語(yǔ)播報(bào)可懂度產(chǎn)生很大影響。AI手語(yǔ)數(shù)智人主播，希望通過(guò)建立健聽(tīng)人語(yǔ)言體系、逼真的畫(huà)面語(yǔ)言、連貫自然的動(dòng)作和新詞熱詞快速適配，提升AI手語(yǔ)表達(dá)的可懂度。
騰訊云小微在AI交互智能領(lǐng)域，不斷推動(dòng)技術(shù)發(fā)展和產(chǎn)業(yè)應(yīng)用落地，讓數(shù)智人成為很多行業(yè)的數(shù)字助手，輔助人類提供更加高效、精準(zhǔn)的服務(wù)。在新聞傳媒領(lǐng)域，在2021年10月，廣電總局在《廣播電視和網(wǎng)絡(luò)視聽(tīng)“十四五”科技發(fā)展規(guī)劃》中也首次明確指出，要推動(dòng)虛擬主播、動(dòng)畫(huà)手語(yǔ)廣泛應(yīng)用于新聞播報(bào)、天氣預(yù)報(bào)、綜藝科教等節(jié)目生產(chǎn)，創(chuàng)新節(jié)目形態(tài)，提高制播效率和智能化水平。未來(lái)，騰訊3D手語(yǔ)數(shù)智人“聆語(yǔ)”，也將在更多場(chǎng)景提供服務(wù)，助力實(shí)現(xiàn)更好的無(wú)障礙信息傳播環(huán)境。
