文 | 學術頭條
在游戲中，親手創造一個與眾不同的角色，樂趣不言而喻。但有時往往是“游戲五分鐘，捏臉兩小時”。
從主機、PC 到手機游戲，隨著硬件配置不斷迭代，游戲在畫面精細度和玩法操控度方面也越發強大，很多游戲開發商為了滿足玩家們的個性化需求，都提供了一整套為游戲角色 “捏臉” 的系統，能讓玩家根據自己的審美細化設定角色外觀。
與此同時，游戲背后的計算機科學家們也一直在努力設計新的技術，使游戲體驗更加沉浸化，以期達到引人入勝的效果，其中就包括自動創建接近真人的游戲角色的方法。
圖｜一款游戲的捏臉過程
不過，目前大多數現有的創建和定制游戲角色的方法都要求玩家手動調整角色的面部特征，以便重新創建自己的面部或捏成其他人的面部，一個玩家通常需要幾個小時耐心去手動調整數百個參數（例如臉型、眼睛）來創建一個類似于指定肖像的角色，
最近，一些開發人員也嘗試開發一些新方法，通過分析真實人物的面部圖像，自動定制角色的面部，但這些方法實際效果通常不佳，要么過程復雜，要么對人臉形狀和紋理的自由度有限。
來自網易伏羲 AI 實驗室和密歇根大學的研究人員最近發明了一種深度學習的方法，名為 MeInGame，它可以通過分析一個人臉的單個肖像而自動生成游戲人物臉，這項技術在 arXiv 上預先發表的一篇論文中提出。
開發這項技術研究人員在論文中寫道：“我們提出了一種自動創建人物面部的方法，可以從一張肖像中預測生成面部的形狀和紋理，并可以集成到大多數現有的 3D 游戲中。”
不少捏臉高手為了在游戲中捏出一個指定人物的臉可謂煞費苦心，甚至總結了一套復雜的教程和參數包，而今后，可能只需要輸入一張人臉照片就能輕松搞定了。
讓仿真人臉進入游戲世界
現有游戲中的人臉定制系統，很多是基于三維變形模型（3DMM）計算實現的，作為一種經典的三維人臉形狀和反照率的統計模型，3DMM 在人臉分析、模型擬合、圖像合成等方面有著廣泛的應用。
雖然基于 3DMM 的方法可以從單個圖像中恢復出精確的三維人臉，但其網格的拓撲結構與大多數游戲中使用的網格不同，為了獲得逼真的紋理，現有的方法需要大量的人臉紋理數據進行訓練，而建立這樣的數據集往往既費時又費力。
此外，這些數據集并不總是包含隨機收集的真實圖像，因此，在這些數據集上訓練的模型在呈現新數據時，很難表現出一致的良好性能，進一步而言，這種在實驗室條件下進行的方法在真實情況下可能無法很好地落地推廣，盡管人們已提出了許多基于深度學習的三維人臉重建方法，目前在游戲中的應用仍然較少。
圖｜第一行為輸入肖像；第二行是由 MeInGame 方法生成的游戲中的角色；MeInGame 方法對光照變化、陰影和遮擋具有很強的魯棒性，可以很好還原個性化的細節，如膚色、妝容和皺紋等。（來源：arxiv）
MeInGame 的貢獻在于：
1、提出了一種低成本的三維人臉數據集生成方法。所創建的數據集在種族和性別上是平衡的，面部形狀和紋理都是從原始圖像中創建；
2、提出了一種將重建的三維人臉形狀轉化為游戲網格的方法，可以直接在游戲環境中使用，該方法不依賴于網格連通性，計算效率高；
3、為了消除光照和遮擋的影響，他們訓練了一個神經網絡，在一個通用的訓練范式下，從 “野生” 人臉圖像中預測一個完整的漫反射貼圖。
在未來，這個研究小組設計的角色臉生成方法可以集成到許多 3D 視頻游戲中，實現與真人非常相似的角色自動生成。MeInGame 模型的代碼和用于訓練該模型的數據集已在線發布，游戲開發者可通過以下網址訪問：
https://github.com/FuxiCV/
該方法不僅能應用于游戲，由于 COVID-19 的疫情影響，人們不得不保持社交距離，很多數會議活動都改為在線 / 虛擬會議，甚至在 3D 游戲中舉辦學術研討會，隨著越來越多的社交活動從面對面走向網絡化，用戶在虛擬環境中自動生成 3D 角色也會讓社交的形式變得非常有趣。
模型原理和測試效果
對于 MeInGame 模型的特點，研究人員在論文中闡釋說：“給定一張輸入的人臉照片，我們首先基于 3D 變形人臉模型（3DMM）和卷積神經網絡（CNNs）重建 3D 人臉，然后將 3D 人臉的形狀轉移到模板網格上。該網絡以人臉照片和展開的粗 UV 紋理圖為輸入，預測光照系數和細化紋理圖。”
圖｜MeInGame 方法概述。（來源：arxiv）
利用神經網絡的強大功能，可以有效地去除輸入中不需要的光照分量和遮擋。由于典型游戲引擎的渲染過程是不可微的，他們還利用可微渲染方法將渲染輸出中的梯度反向傳播到訓練過程中需要參數更新的各個模塊。
這樣，所有的網絡組件都能以端到端的方式順利訓練。為了減少訓練數據的依賴性，除了可微繪制外，他們還設計了一種新的基于半監督學習的訓練流水線，使用配對數據進行監督學習，使用未標記數據進行自我監督學習。因此，MeInGam 網絡能夠以半監督的方式進行訓練，減少對預定義紋理貼圖的依賴。
最后，通過將生成的人臉網格和紋理加載到游戲環境中，就可以為玩家創建逼真的游戲角色。
值得注意的是，研究人員將人臉形狀和紋理的重建作為一個自我監督的人臉相似性度量問題。在可微繪制的基礎上，設計了一個繪制循環，從與輸入人臉照片相似的預測形狀和紋理中強制進行二維人臉繪制。
MeInGame 方法由幾個可訓練的子網絡組成。首先，圖像編碼器以人臉圖像為輸入，產生潛在特征；其次，將圖像特征展平并輸入光照回歸器，一個由幾個完全連接的層組成的輕型網絡，并預測光照系數（光照方向、環境光、漫反射和鏡面反射顏色）；然后，研究人員引入了一種紋理編碼器，將輸入圖像和粗紋理映射的特征串接在一起，然后輸入到紋理解碼器中，產生精細的紋理映射。
最后，使用游戲網格、精細紋理貼圖、姿勢和照明系數，研究人員使用可微渲染器將面部網格渲染為 2D 圖像，并強制該圖像與輸入的面部照片相似。
為了進一步改進結果，他們還引入了兩個鑒別器，一個用于人臉圖像，另一個用于生成人臉紋理圖。此外，還創建了一個種族和性別平衡（RGB）數據集，并將其命名為 “RGB 3D 人臉數據集”，與其他需要多視點圖像的方法不同，他們的方法只使用單視點圖像即可，并且容易獲取。
研究人員基于英特爾 i7 CPU 和英偉達 1080Ti GPU 上運行實驗，使用 PyTorch3D（v0.2.0）及其依賴項。給定一幅人像和粗紋理圖，MeInGame 網絡只需要 0.4s 就可以生成一幅 1024×1024 精細紋理圖。
圖｜MeInGame 創建游戲角色（來源：arxiv）
研究人員在實驗中還進行了定性和定量比較，呈現效果不錯。他們將 MeInGame 方法與其他一些最先進的游戲角色自動創建方法 / 系統進行了比較，包括《一夢江湖》、Loomie、《逆水寒》和 ZEPETO 中的角色定制系統。
最終，MeInGame 的結果在面部形狀和外觀方面都比其他結果更類似于輸入圖像，他們還將其與最先進的基于 3DMM 的方法進行了比較，盡管能從單個圖像重建 3D 人臉，但突出的問題是，3DMM 只模擬面部特征，不包括一個完整的頭部模型以及紋理，使其難以直接用于游戲環境。
此外，研究人員也邀請了 30 人進行評估。每個人分配了 480 組結果。每組結果包括一幅肖像、MeInGame 的結果和一個來自其他的結果，參與者被要求從兩個結果中選擇一個更好的，并將其與參考肖像進行比較，用戶報告的分數也反映了 MeInGame 結果的質量。
圖｜一些實驗數據對比參考（來源：arxiv）
在總結中，研究人員提到了 MeInGame 方法仍然有的一些局限性。例如，當存在嚴重遮擋（例如帽子）時，該方法無法產生可靠的結果，因為渲染器無法對頭部網格外的對象創建的陰影進行建模。其次，同一個人在嚴重光照變化下的兩幅肖像的結果也有差別，結果會受到不同顏色燈光的影響。
圖｜MeInGame 方法的特殊情況（來源：arxiv）
AI 陰暗面不容忽視
話說回來，技術的落地應用，往往并不是技術本身的問題，有時候會牽扯到一些社會問題，比如個人隱私或者肖像權。
本文提出了一種新的游戲角色人臉自動生成方法，該方法可以輕松產生與輸入照片在臉形和紋理方面相似的角色臉，考慮到建立同時具有形狀和紋理的三維人臉數據集的成本很高，研究人員還提出了一種低成本的方法來生成所需的數據訓練，于技術而言，該方法的性能要大大優于現有的方法，能為游戲互動增添不少樂趣。
但是在游戲中隨意創建一個其他真人的臉，越來越逼真，會不會牽扯到很多社會倫理問題？這是 AI 技術自誕生以來就面臨的陰暗面問題，此前，市面上有些 AI 換臉的技術就曾把一些明星、名人的臉無縫移植到一些不雅視頻乃至無厘頭作品中，造成的影響非常糟糕。
所以技術雖好，如何去合法合規地運用，可能也是 MeInGame 在落地時需要考慮到的問題。
