運(yùn)動(dòng)捕捉技術(shù)是借助慣性、光學(xué)傳感器,重建精確的人體三維模型信息的一種特效技術(shù),通常在影視劇及游戲特效制作、運(yùn)動(dòng)員動(dòng)作分析、患者康復(fù)評估等專業(yè)領(lǐng)域被廣泛應(yīng)用。相比高技術(shù)門檻、高成本的專業(yè)操作,騰訊微視近期在手機(jī)上實(shí)現(xiàn)了運(yùn)動(dòng)捕捉技術(shù),國內(nèi)首次在移動(dòng)端實(shí)現(xiàn)人體3D Mesh重建,用戶只需拿起手機(jī)拍攝或上傳一張全身照,即可體驗(yàn)黃金圣斗士的鎧甲實(shí)時(shí)貼合在人物身上。
(圖:騰訊微視“圣斗士集結(jié)”效果展示)
一鍵變身黃金圣斗士,集結(jié)最強(qiáng)戰(zhàn)隊(duì)燃燒小宇宙
騰訊微視聯(lián)動(dòng)《圣斗士星矢(騰訊)》手游推出圣斗士系列玩法。通過黃金圣斗士鎧甲換裝的玩法,在騰訊微視APP內(nèi)落地。用戶可參與“圣斗士集結(jié)”活動(dòng),即可一鍵穿上圣斗士們的黃金圣衣。用戶可通過搜索“圣斗士集結(jié)”關(guān)鍵詞進(jìn)入活動(dòng)頁面,或者點(diǎn)擊首頁底部+號進(jìn)入拍攝界面,也能找到活動(dòng)入口。
(圖:騰訊微視“圣斗士集結(jié)”活動(dòng)主界面)
用戶可上傳或拍攝一張正面照片,系統(tǒng)即可自動(dòng)識別照片姿勢,給人物全身換裝黃金圣斗士鎧甲?；蛘咴谂臄z頁面選擇圣斗士相關(guān)特效,全身入鏡即可變身圣斗士,即使在拍攝過程中處于運(yùn)動(dòng)狀態(tài),黃金盔甲特效也會(huì)實(shí)時(shí)計(jì)算跟蹤。在拍攝特效界面,可召喚多個(gè)星座的圣斗士,如黃金射手座、雙子座撒加、處女座沙加等。
(圖:騰訊微視“圣斗士集結(jié)”體驗(yàn)步驟)
動(dòng)捕技術(shù)移動(dòng)端首秀,微視自研手機(jī)3D Mesh算法
現(xiàn)如今短視頻領(lǐng)域的諸多玩法,背后的技術(shù)能力主要分為四種:人臉2D關(guān)鍵點(diǎn)檢測、人體2D關(guān)鍵點(diǎn)檢測、人臉/頭3D Mesh重建、人體3D關(guān)鍵點(diǎn)檢測。但想要實(shí)現(xiàn)上傳一張照片,或拍攝運(yùn)動(dòng)狀態(tài)下的人物都穿上黃金圣斗士鎧甲的效果,則需要實(shí)現(xiàn)從普通圖像中重建出人體3D Mesh,才能將人體的身材用鎧甲包裹住,并且保證能夠在手機(jī)上實(shí)時(shí)運(yùn)行。
(圖:人體3D Mesh重建效果展示)
騰訊微視為了獲取到高質(zhì)量的3D人體Mesh重建數(shù)據(jù),獨(dú)立搭建了一套全新的動(dòng)捕系統(tǒng),使用并基于這套系統(tǒng)開發(fā)了相應(yīng)的Mesh重建算法,使其能更高效地進(jìn)行訓(xùn)練數(shù)據(jù)的迭代,解決更多場景和姿態(tài)下的問題,增強(qiáng)模型的泛化性能。通過重建7千多個(gè)頂點(diǎn)和1.5萬的面片,還原人體的基本動(dòng)作,甚至預(yù)測出人體的高矮胖瘦。最終,渲染引擎根據(jù)這些信息給視頻中的人物“穿上”盔甲。
在基礎(chǔ)技術(shù)儲(chǔ)備完成后,騰訊微視團(tuán)隊(duì)主要從數(shù)據(jù)集制作、算法流程改進(jìn)、網(wǎng)絡(luò)結(jié)構(gòu)搜索、移動(dòng)端工程優(yōu)化以及算法細(xì)節(jié)打磨等幾個(gè)方面對算法進(jìn)行了優(yōu)化。比如對上萬個(gè)貼近手機(jī)端用戶拍攝內(nèi)容的視頻數(shù)據(jù)進(jìn)行采集、標(biāo)注、清洗;對網(wǎng)絡(luò)Backbone結(jié)構(gòu)的設(shè)計(jì)與優(yōu)化等。
(圖:騰訊微視“圣斗士集結(jié)”效果演示)
算法渲染設(shè)計(jì)多部門協(xié)同配合,量身定制優(yōu)化方案
從最開始的CV技術(shù)研發(fā)、到移動(dòng)端的部署以及渲染,整個(gè)技術(shù)生產(chǎn)鏈條的打通離不開各部門團(tuán)隊(duì)間的多番協(xié)作。該項(xiàng)目調(diào)動(dòng)了騰訊PCG內(nèi)部多個(gè)技術(shù)團(tuán)隊(duì),包括OVBU拍攝算法團(tuán)隊(duì)、應(yīng)?研究中?、光流產(chǎn)品中?和MXD創(chuàng)意平臺(tái)設(shè)計(jì)中?。技術(shù)是第一步,特效的渲染和設(shè)計(jì)打磨也是特效出街前的必然步驟。
在特效渲染層面,微視技術(shù)團(tuán)隊(duì)基于重建的人體3D Mesh量身定制了一套AttachToBody的渲染方案,確保高質(zhì)量的渲染效果。此外,技術(shù)團(tuán)隊(duì)開發(fā)的自定義材質(zhì)系統(tǒng),也為玩法提供了更自由靈活的材質(zhì)與光照解決方案。在性能方面,為了提升效果整體的覆蓋率,在低端機(jī)上采取了Material Capture材質(zhì)捕捉技術(shù)方案,用較小的計(jì)算成本擬合出近似PBR的真實(shí)感效果。同時(shí)在一些高頻且量大的矩陣計(jì)算中啟用了NEON加速方案,整體降低了數(shù)學(xué)計(jì)算耗時(shí)。
在視覺效果優(yōu)化層面,設(shè)計(jì)團(tuán)隊(duì)通過對微視引擎的了解,設(shè)計(jì)出高標(biāo)準(zhǔn)且不超綱的設(shè)計(jì),從研發(fā)、調(diào)整到打磨階段都與技術(shù)團(tuán)隊(duì)強(qiáng)綁定,明確優(yōu)化方向,給出優(yōu)化建議;輔助優(yōu)化引擎渲染能力,對特效的衣服貼合度與跟隨性,身體比例協(xié)調(diào)性,衣服視效等方面進(jìn)行了多輪打磨,最終達(dá)到較高標(biāo)準(zhǔn)的效果質(zhì)量。
(圖:騰訊微視“圣斗士集結(jié)”視覺優(yōu)化過程)
一直以來,騰訊微視高度關(guān)注技術(shù)研發(fā),未來也將持續(xù)圍繞三維人體重建來進(jìn)行創(chuàng)意特效設(shè)計(jì)與研發(fā),不斷提升3D重建精度,解決更多拍攝場景的需求。在人體形變、人體驅(qū)動(dòng)虛擬角色等方面也將努力有進(jìn)一步的突破,為用戶提供更酷炫好玩的特效新體驗(yàn)。據(jù)了解,騰訊微視發(fā)布器團(tuán)隊(duì)正在大力招聘中,吸納更多技術(shù)創(chuàng)新研發(fā)、創(chuàng)意視覺玩法等方面的專業(yè)人才進(jìn)入,來發(fā)掘更優(yōu)質(zhì)的創(chuàng)意玩法,打造行業(yè)一流的短視頻發(fā)布器一體化解決方案。
