【ITBEAR科技資訊】5月2日消息，蘋果近日推出了一項(xiàng)新的黑科技——FaceLit，這項(xiàng)技術(shù)可以利用一張照片生成高質(zhì)量的3D頭像，并且光線真實(shí)，可以任意角度調(diào)整。與傳統(tǒng)的頭像合成工具相比，F(xiàn)aceLit僅需要一張照片素材即可生成3D頭像，不需要專門選擇角度，也不需要額外的表情、發(fā)型、眼鏡等素材，更易于操作。而且，F(xiàn)aceLit獲得了3.5的FID評(píng)分，較同類產(chǎn)品高出25%。
據(jù)悉，F(xiàn)aceLit的頭像合成過程采用了將人物本體與光線分別處理再進(jìn)行疊加的策略，以解決早期的三維人像合成工具可能產(chǎn)生形變的問題。在EG3D框架的基礎(chǔ)上，蘋果團(tuán)隊(duì)創(chuàng)造了FaceLit的合成模型，通過三平面解碼器賦予了二維卷積神經(jīng)網(wǎng)絡(luò)生成渲染3D模型所需深度參數(shù)的能力，并加入了光照參數(shù)l以獨(dú)立處理光源。反射解碼器流程中，F(xiàn)aceLit加入了鏡面反射解碼器和漫反射解碼器以代替三平面解碼器，通過對(duì)GAN2產(chǎn)生的數(shù)據(jù)進(jìn)行再次解碼，可以得到鏡面反射率ks和漫反射率kd，然后再通過兩種反射著色器得到顏色c。FaceLit以與三平面解碼器相同的參數(shù)(c，w，σ)渲染圖像，并進(jìn)行分辨率優(yōu)化。
據(jù)ITBEAR科技資訊了解，F(xiàn)aceLit在訓(xùn)練過程中無需人工標(biāo)注，采用了FFHQ、MetFaces和CelebA-HQ數(shù)據(jù)集。對(duì)于不同的數(shù)據(jù)集，蘋果使用了不同的訓(xùn)練方式。訓(xùn)練結(jié)果表明，F(xiàn)aceLit在機(jī)位、光源和反射高光等方面表現(xiàn)出色，并在FID、KID等指標(biāo)上優(yōu)于傳統(tǒng)生成方式。在使用FFHQ作為訓(xùn)練集的條件下，F(xiàn)aceLit擁有最低的FID和KID值，相比于英偉達(dá)的StyleGAN2，其表現(xiàn)也出色。這項(xiàng)技術(shù)的出現(xiàn)引起了不少網(wǎng)友的熱議，有人認(rèn)為FaceLit的出現(xiàn)標(biāo)志著蘋果將進(jìn)軍AR和VR領(lǐng)域，也有人認(rèn)為蘋果在AI領(lǐng)域的深度被低估，未來有著廣泛的期待。
