meta Reality Labs 科研人員近日研發(fā)出一款 VR 頭顯原型，內(nèi)置了一個(gè)專門用于處理人工智能的定制加速器芯片，使在獨(dú)立頭盔上渲染該公司的逼真的 Codec Avatars 成為可能。
在公司更名之前，meta 公司就一直在推動(dòng) Codec Avatars 項(xiàng)目，該項(xiàng)目旨在使 VR 中近乎逼真的頭像成為現(xiàn)實(shí)。利用設(shè)備上的傳感器(如眼球追蹤和嘴巴追蹤)和人工智能處理的組合，該系統(tǒng)以逼真的方式實(shí)時(shí)為用戶制作詳細(xì)的動(dòng)畫。
Codec Avatars 項(xiàng)目的早期版本需要使用 NVIDIA 的 Titan X GPU 進(jìn)行渲染支持，這使得像 meta 最新 Quest 2 這樣的移動(dòng)獨(dú)立頭顯無法驅(qū)動(dòng)這些需求。
于是該公司已經(jīng)開始研究如何在低功率的獨(dú)立頭顯上實(shí)現(xiàn) Codec Avatars，上個(gè)月召開的 2022 年 IEEE CICC 會(huì)議上發(fā)表的一篇論文證明了這一點(diǎn)。在這篇論文中，meta 公司透露它創(chuàng)建了一個(gè)用 7 納米工藝制造的定制芯片，作為專門用于 Codec Avatars 的加速器。
根據(jù)研究人員的說法，該芯片遠(yuǎn)非現(xiàn)成的。該小組在設(shè)計(jì)它時(shí)，考慮到了 Codec Avatars 處理管道的一個(gè)重要部分，特別是分析傳入的眼球追蹤圖像，并生成 Codec Avatars 模型所需的數(shù)據(jù)。該芯片的占地面積僅有 1.6mm2。
研究人員寫道：“在7納米技術(shù)節(jié)點(diǎn)制造的測(cè)試芯片具有一個(gè)神經(jīng)網(wǎng)絡(luò)(NN)加速器，由1024個(gè)乘積(MAC)陣列、2MB片上SRAM和一個(gè)32位RISC-V CPU組成”。反過來，他們也重建了Codec Avatars人工智能模型的部分，以利用該芯片的特定架構(gòu)。
研究人員表示：“通過重新構(gòu)建基于卷積[神經(jīng)網(wǎng)絡(luò)]的眼睛注視提取模型，并為硬件量身定做，整個(gè)模型適合在芯片上使用，以減輕系統(tǒng)級(jí)能量和片外內(nèi)存訪問的延遲成本。通過在電路層面有效地加速卷積操作，所提出的原型[芯片]在低外形尺寸下實(shí)現(xiàn)了每秒30幀的性能和低功耗”。
通過加速 Codec Avatars 工作負(fù)載的密集部分，該芯片不僅加快了進(jìn)程，而且還減少了所需的功率和熱量。由于芯片的定制設(shè)計(jì)，它能夠比通用CPU更有效地做到這一點(diǎn)，然后為Codec Avatars的眼球追蹤組件的重新架構(gòu)的軟件設(shè)計(jì)提供參考。
但頭顯的通用CPU(在這種情況下，Quest 2的Snapdragon XR2芯片)也沒有閑著。當(dāng)定制芯片處理Codec Avatars的部分編碼過程時(shí)，XR2管理解碼過程和渲染化身的實(shí)際視覺效果。
這項(xiàng)工作一定是相當(dāng)多學(xué)科的，因?yàn)檎撐闹刑岬搅?2名研究人員，他們都來自meta的現(xiàn)實(shí)實(shí)驗(yàn)室。H. Ekin Sumbul, Tony F. Wu, Yuecheng Li, Syed Shakib Sarwar, William Koven, Eli Murphy-Trotzky, Xingxing Cai, Elnaz Ansari, Daniel H. Morris, Huichu Liu, Doyun Kim, and Edith Beigne。
令人印象深刻的是，meta的Codec Avatars可以在獨(dú)立的耳機(jī)上運(yùn)行，即使需要一個(gè)特殊的芯片。但我們不知道的一點(diǎn)是，頭像的視覺渲染是如何處理的。用戶的底層掃描是高度詳細(xì)的，可能太復(fù)雜而無法在Quest 2上完全渲染。目前還不清楚在這種情況下，Codec Avatars的"逼真"部分被保留了多少，即使所有的基礎(chǔ)部分都在那里以驅(qū)動(dòng)動(dòng)畫。
