Facebook的研究人員提出了一個(gè)能從真實(shí)視頻中抽取可控制主角的模型Vid2Game

相信大家還記得曾經(jīng)游戲中的主人公，可以隨著按鍵旋轉(zhuǎn)跳躍，通過(guò)三維/二維模型或者實(shí)現(xiàn)錄制好的視頻來(lái)響應(yīng)不同指令的動(dòng)作。而最近來(lái)自Facebook的研究人員提出了一個(gè)能從真實(shí)視頻中抽取可控制主角的模型Vid2Game，這意味你可以將視頻中喜歡的主人公變成可以在游戲中控制的主角。

讓我們先來(lái)看看效果，從真實(shí)視頻中抽取的主角被放置到了新背景中，隨著按鍵的控制左右移動(dòng)揮拍擊球。

黑衣服的運(yùn)動(dòng)員被妥妥地安排到了不同的背景中，隨著鍵盤(pán)的指令移動(dòng)。這是怎么做到的呢？為了實(shí)現(xiàn)對(duì)主體的控制和生成需要解決一下幾個(gè)問(wèn)題：首先需要將主體從環(huán)境中分離出來(lái)以便在新的任意的背景中生成；由于渲染陰影、反射、運(yùn)動(dòng)效果等、這種分離不是二值化的；用戶(hù)給出的控制信號(hào)任意的x,y位移、如何編碼并將控制量饋入主體生成中；最后需要處理生成序列過(guò)程中積累誤差的影響。

那么文章中具體是如何做到的呢？

下面讓我們一起來(lái)看看背后的原理。Vid2Game包含了兩個(gè)神經(jīng)網(wǎng)絡(luò)和三個(gè)主要步驟的工作流程，首先利用第一個(gè)神經(jīng)網(wǎng)絡(luò)將當(dāng)前位姿和控制信號(hào)映射到下一時(shí)刻的新位姿；隨后利用新位姿和給定的背景輸出希望的幀，包括背景和主體以及主體的mask；最后將生成的主體以背景融合生成最終輸出。這種通用的方法可以被廣泛用于多種不同運(yùn)動(dòng)場(chǎng)景中。給定視頻中的主角可以根據(jù)用戶(hù)的控制，生成在目標(biāo)背景中運(yùn)動(dòng)的視頻。兩個(gè)序列形式工作的模型分別是Pose2Pose和Pose2Frame。

Pose2Pose網(wǎng)絡(luò)基于用戶(hù)的控制序列信號(hào)以自回歸的方式操作給定的位姿，實(shí)現(xiàn)在特定的域內(nèi)基于2D控制信號(hào)引導(dǎo)人體位姿生成。

通過(guò)輸入t-1時(shí)刻的位姿和對(duì)應(yīng)物體、在用戶(hù)控制序列的操作下生成t時(shí)刻的主角位姿和對(duì)應(yīng)物體。上圖中我們可以看到輸入的運(yùn)動(dòng)員位姿圖和對(duì)應(yīng)的球拍、同時(shí)輸入的還有控制量。我們還可以看到中間的n-2個(gè)條件殘差模塊是基于質(zhì)心位移量進(jìn)行處理的。在訓(xùn)練時(shí)，質(zhì)心唯一來(lái)自于訓(xùn)練序列的編碼、而推理時(shí)則來(lái)自于用戶(hù)輸入。

隨后將生成的位姿及給定的背景輸入Pose2Frame將生成高分辨率的真實(shí)視頻序列。同樣以運(yùn)動(dòng)員作為例子，將運(yùn)動(dòng)員位姿和網(wǎng)球拍的序列輸入，模型將生成一個(gè)RGB圖像和mask圖像.RGB圖像考慮了運(yùn)動(dòng)員在環(huán)境中需要包括了陰影、反射等渲染，而mask輔助融合運(yùn)動(dòng)員與給定背景。通過(guò)mask與生成的rgb相乘得到運(yùn)動(dòng)員部分的RGB圖像、再通過(guò)背景摳出mask區(qū)域隨后融合運(yùn)動(dòng)與與給定背景，即得到運(yùn)動(dòng)員在新環(huán)境中生成的受用戶(hù)控制的幀。

對(duì)于判別器部分、模型主要關(guān)注多尺度情況下二進(jìn)制閾值主體。其中o為基準(zhǔn)圖像f為生成圖像，在放入多尺度判別器前需要進(jìn)行均值pooling減采樣，。放入VGG分類(lèi)器中的圖像則保持了原始分辨率用于給出感知損失。Pose2Pose和Pose2Frame的生成器和判別器都使用了pix2pixHD架構(gòu)來(lái)作為基礎(chǔ)網(wǎng)絡(luò)，并進(jìn)行了一系列改進(jìn)。同時(shí)利用了基于DensePose的方法來(lái)對(duì)位姿進(jìn)行表示，同時(shí)使用了語(yǔ)義分割的方法來(lái)對(duì)運(yùn)動(dòng)員手持物體進(jìn)行抽取。

通過(guò)這樣的方法，就可以在希望的場(chǎng)景中合成你可控制的主角了。這對(duì)于未來(lái)個(gè)性化游戲、虛擬顯示等具有十分重要的意義。從各種視頻中抽取主角、并可以通過(guò)鍵盤(pán)在游戲中控制真的很棒！

讓我們來(lái)跳一支舞吧:

控制你的主角四處漫游：

到任何想去的地方打球：

與龍來(lái)一場(chǎng)戰(zhàn)斗吧：