Facebook AI研究團隊描述了一個能夠從現(xiàn)實世界視頻中提取可控角色的系統(tǒng)

AI 在未來幾年可能顛覆整個游戲產(chǎn)業(yè)制作流程。

傳統(tǒng)游戲制作往往需要經(jīng)過原畫設(shè)定、3D 場景搭建、特效設(shè)計、3D 角色構(gòu)建等多個環(huán)節(jié)完成，而在未來，這些工作都有望交給 AI 來做。

近日，F(xiàn)acebook AI 研究團隊描述了一個能夠從現(xiàn)實世界視頻中提取可控角色的系統(tǒng)。利用該系統(tǒng)，可以從日常視頻中隨意創(chuàng)建虛擬人物及各種姿勢動作。

三位 AI 研究人員創(chuàng)建的這種新方法（Vid2Game: Controllable Characters Extracted from Real-World Videos），可以將一個視頻中的真人轉(zhuǎn)換成一個 3D游戲角色，并且可以將此角色及其相關(guān)動作轉(zhuǎn)換到新背景上。研究人員稱，生成的角色可以和不同的背景互動。

據(jù)介紹，這套AI 系統(tǒng)主要依賴于兩個神經(jīng)網(wǎng)絡(luò)。一個是由 Pose2Pose（P2P）網(wǎng)絡(luò)基于控制信號的輸入流（例如來自操縱桿或游戲手柄的控制信號）以自動回歸方式操縱給定姿勢。另一個是 Pose2Frame（P2F），在隨后給定背景圖像的情況下生成高分辨率視頻幀。它們通過“學(xué)習(xí)”視頻中的人物身體形狀、運動風(fēng)格及其他特征，以此來建立游戲角色。系統(tǒng)最終生成的視頻具有高度的個性化和逼真性，可大大提升玩家的游戲體驗。

“我們的模型可以從視頻中提取一個角色，并能控制它的動作?！痹撜撐牡墓餐髡咴谖恼轮薪忉尩?，“模型能有效地捕捉到人的動態(tài)和外觀，生成角色的圖像序列，生成的視頻可以具有任意背景”。研究人員稱該系統(tǒng)具有足夠強的魯棒性，可在動態(tài)背景下任意定位提取人物特征。

首先，需要將包含一個或多個人物特征的視頻輸入到針對特定域（例如，跳舞）訓(xùn)練的 Pose2Pose 網(wǎng)絡(luò)，將其運動狀態(tài)和自身隔離，用于確定哪些背景區(qū)域可以被合成圖像所替換。隨后 Pose2Frame 網(wǎng)絡(luò)運用這些組合的運動姿勢數(shù)據(jù)，區(qū)分場景中與角色相關(guān)的變化，如陰影、反射以及角色的獨立特征。最后與預(yù)先設(shè)計好的背景混合輸出。

在實驗部分，研究人員采集了三段視頻，每段視頻長度為五到八分鐘，視頻的主角分別是一個戶外網(wǎng)球運動員，一個在室內(nèi)舞劍的人，和一個正在走路的人。之后與一個用三分鐘跳舞視頻訓(xùn)練的神經(jīng)網(wǎng)絡(luò)相比，該實驗結(jié)果對人物動態(tài)元素的捕捉更為成功。（排除角色服裝和鏡頭角度的變化）。

該技術(shù)投入使用后，人們將有機會成為游戲中人物的化身，自定義游戲角色，并賦予角色獨有的動作形態(tài)。這項基于 AI 技術(shù)的角色生成系統(tǒng)可能會催生更多不同類型的游戲，逼真且個性化可能是未來游戲行業(yè)發(fā)展的一個方向。