中外科研團(tuán)隊(duì)開(kāi)發(fā)出一種深度學(xué)習(xí)技術(shù)，可通過(guò)真人肖像生成游戲人物

近年來(lái)，視頻游戲開(kāi)發(fā)商和計(jì)算機(jī)科學(xué)家一直在努力設(shè)計(jì)技術(shù)，使游戲體驗(yàn)越來(lái)越沉浸其中，引人入勝和現(xiàn)實(shí)。其中包括自動(dòng)創(chuàng)建受真人啟發(fā)的視頻游戲角色的方法。

大多數(shù)現(xiàn)有的創(chuàng)建和定制視頻游戲角色的方法都要求玩家手動(dòng)調(diào)整角色的面部特征，以便重新創(chuàng)建自己的面部或其他人的面部。最近，一些開(kāi)發(fā)人員嘗試開(kāi)發(fā)一些方法，通過(guò)分析真實(shí)人物的面部圖像，自動(dòng)定制角色的面部。但是，這些方法并不總是有效的，也不總是以真實(shí)的方式再現(xiàn)它們分析的人臉。

網(wǎng)易伏羲AI實(shí)驗(yàn)室和密歇根大學(xué)的研究人員最近發(fā)明了MeInGame，這是一種深度學(xué)習(xí)技術(shù)，可以通過(guò)分析一個(gè)人臉的單個(gè)肖像自動(dòng)生成人物臉。這項(xiàng)技術(shù)在arXiv上預(yù)先發(fā)表的一篇論文中提出，可以很容易地集成到大多數(shù)現(xiàn)有的3D視頻游戲中。

開(kāi)展這項(xiàng)研究的三位研究人員江克林、易遠(yuǎn)和鄒正霞在論文中寫(xiě)道：“我們提出了一種自動(dòng)創(chuàng)建人物面部的方法，可以從一張肖像中預(yù)測(cè)面部形狀和紋理，并可以集成到大多數(shù)現(xiàn)有的3D游戲中?！?/p>

在以前的工作中提出的一些自動(dòng)字符定制系統(tǒng)是基于被稱(chēng)為3D變形人臉模型（3DMMs）的計(jì)算技術(shù)的。雖然這些方法中的一些已經(jīng)被發(fā)現(xiàn)能夠以很高的精確度再現(xiàn)人的面部特征，但它們表示幾何特性和空間關(guān)系（即拓?fù)洌┑姆绞酵ǔ２煌诖蠖鄶?shù)3D視頻游戲中使用的網(wǎng)格。

為了使3DMMs能夠可靠地再現(xiàn)人臉的紋理，它們通常需要在大量的圖像數(shù)據(jù)集和相關(guān)的紋理數(shù)據(jù)上進(jìn)行訓(xùn)練。編譯這些數(shù)據(jù)集可能相當(dāng)耗時(shí)。此外，這些數(shù)據(jù)集并不總是包含在野外收集的真實(shí)圖像，這可能會(huì)阻止在這些數(shù)據(jù)集上訓(xùn)練的模型在呈現(xiàn)新數(shù)據(jù)時(shí)表現(xiàn)出一致的良好性能。為了克服這個(gè)限制，林、袁和鄒在野外拍攝的圖像數(shù)據(jù)集上訓(xùn)練了他們的技術(shù)。

研究人員在論文中解釋說(shuō)：“給定一張輸入的人臉照片，我們首先基于3D變形人臉模型（3DMM）和卷積神經(jīng)網(wǎng)絡(luò)（CNNs）重建3D人臉，然后將3D人臉的形狀轉(zhuǎn)移到模板網(wǎng)格上?！痹?a target="_blank">網(wǎng)絡(luò)以人臉照片和展開(kāi)的粗UV紋理圖為輸入，預(yù)測(cè)光照系數(shù)和細(xì)化紋理圖。

林、袁和鄒在一系列實(shí)驗(yàn)中評(píng)估了他們的深度學(xué)習(xí)技術(shù)，將其生成的游戲角色的質(zhì)量與其他現(xiàn)有最先進(jìn)的自動(dòng)角色定制方法生成的角色臉的質(zhì)量進(jìn)行了比較。他們的方法表現(xiàn)非常出色，生成的人物面部與輸入圖像中的人物面部非常相似。

研究人員在論文中寫(xiě)道：“提出的方法不僅能產(chǎn)生與輸入肖像相似的細(xì)節(jié)生動(dòng)的游戲人物，還能消除光線(xiàn)和遮擋的影響。實(shí)驗(yàn)表明，我們的方法優(yōu)于游戲中使用的最新方法?！?/p>

在未來(lái)，這個(gè)研究小組設(shè)計(jì)的角色臉生成方法可以集成到許多3D視頻游戲中，實(shí)現(xiàn)與真人非常相似的角色的自動(dòng)生成。MeInGame模型的代碼和用于訓(xùn)練該模型的數(shù)據(jù)集已在線(xiàn)發(fā)布，全球游戲開(kāi)發(fā)商可通過(guò)以下網(wǎng)址訪問(wèn)：github.com/FuxiCV/MeInGame。
編輯：lyn