表情編輯技術(shù)在特效和修圖場景有著廣泛的應(yīng)用。此前，剪映、醒圖等app上的一鍵變笑臉模板一經(jīng)上線就立刻成為出圈爆款；在抖音上，這一特效還引發(fā)了熱烈的話題討論，「笑得很好下次別笑了」一度登頂抖音話題熱榜。
近日， 在AI領(lǐng)域的頂級會議AAAI2023上，來自字節(jié)跳動智能創(chuàng)作團(tuán)隊的3篇關(guān)于表情編輯GAN技術(shù)的論文入選，揭示了上述爆款特效背后的技術(shù)實現(xiàn)方法。據(jù)了解，AAAI2023共收到了 8,777 有效投稿，最終接受了 1,721 篇論文，總體接受率19.6% 。
ReGANIE: Rectifying GAN Inversion Errors for Accurate Real Image Editing（https://arxiv.org/abs/2301.13402）
Semantic 3D-aware Portrait Synthesis and Manipulation based on Compositional Neural Radiance Field（https://arxiv.org/abs/2302.01579）
CFFT-GAN: Cross-domain Feature Fusion Transformer for Exemplar-based Image Translation
（https://arxiv.org/abs/2302.01608）
“一鍵變笑臉”背后的技術(shù)方案：
第一階段，團(tuán)隊利用預(yù)訓(xùn)練的3D人臉重建模型，提取3DMM表情系數(shù)并注入到StyleGAN的w空間。同時，渲染出3D shape用作約束條件，訓(xùn)練特定人臉表情的生成。第一階段訓(xùn)練完成就可以生產(chǎn)大量的配對數(shù)據(jù)，訓(xùn)練服務(wù)端或移動端的pix2pix模型，從而實現(xiàn)特定表情的編輯。
StyleGAN作為應(yīng)用最廣泛的無條件 GAN 之一，能夠?qū)崿F(xiàn)高保真圖像的生成，同時也便于在其隱空間內(nèi)進(jìn)行語義編輯。團(tuán)隊借助StyleGAN自研了人像屬性編輯框架，可以輕易地實現(xiàn)如人像表情等屬性的編輯效果。詳細(xì)技術(shù)方案見：https://arxiv.org/abs/2109.10737
然而，基于StyleGAN生成的人臉（假圖）和真實人臉圖像還是有一定的差異，這體現(xiàn)在用假圖訓(xùn)練好的pix2pix模型直接應(yīng)用于自拍特效或者修圖場景會不可避免的產(chǎn)生一些bad case，因此需要借助StyleGAN反演能力，生產(chǎn)真實人臉的配對數(shù)據(jù)用于模型訓(xùn)練。
過去，基于StyleGAN的重建和編輯存在trade-off問題，即提升真實圖像的重建效果會影響屬性的編輯效果。先前的方法針對性地優(yōu)化了StyleGAN的重建和編輯任務(wù)，但沒能從原理上解決上述問題。團(tuán)隊提出了ReGANIE，通過二階段修復(fù)重建的誤差的方法，在不影響StyleGAN本身編輯能力的同時，大幅地提升了圖像重建的效果，從根本上解決了這個trade-off問題。
因此，團(tuán)隊利用ReGANIE和StyleGAN編輯模型可以生產(chǎn)真實人像的表情配對數(shù)據(jù)，還實驗了如卡通肖像，動物肖像等場景擴(kuò)展。
另外，團(tuán)隊探索了將神經(jīng)輻射場（Nerf）技術(shù)和StyleGAN技術(shù)進(jìn)行結(jié)合，結(jié)合人像分割能力提出了3D一致性的肖像合成與編輯技術(shù)Semantic3D，實現(xiàn)了肖像數(shù)據(jù)的姿態(tài)和局部可控性。
它借由視角v的輸入可以靈活生成不同姿態(tài)的肖像圖，從而可以擴(kuò)充訓(xùn)練數(shù)據(jù)的姿態(tài)多樣性。同時，基于組合式生成的思想，讓StyleGAN的隱空間操縱聚焦于期待編輯的屬性，如只編輯面部區(qū)域表情而不改變頭發(fā)或背景。
據(jù)團(tuán)隊介紹，未來，基于GAN等生成技術(shù)對人像表情進(jìn)行編輯將主要應(yīng)用于短視頻特效、修圖拍攝和內(nèi)容生成等應(yīng)用場景。目前，相關(guān)功能可在抖音，剪影，醒圖等APP體驗，企業(yè)用戶可登陸火山引擎官網(wǎng)（https://www.volcengine.com/product/emotion-edit）使用表情編輯服務(wù)。
智能創(chuàng)作團(tuán)隊是字節(jié)跳動AI&多媒體技術(shù)中臺，通過建設(shè)領(lǐng)先的計算機(jī)視覺、音視頻編輯、特效處理等技術(shù)，支持抖音、剪映、頭條等公司內(nèi)眾多產(chǎn)品線；同時通過火山引擎為外部ToB合作伙伴提供業(yè)界前沿的智能創(chuàng)作能力與行業(yè)解決方案。(作者：陳山)
