迪尼斯：可以對(duì)用戶全身進(jìn)行3D的AR替換方案

今年年初，我們?cè)岬竭^(guò)Facebook的一個(gè)可以進(jìn)行全身識(shí)別的技術(shù)（Facebook為未來(lái)全身AR打下基礎(chǔ)），這項(xiàng)技術(shù)可以用于對(duì)全身的AR替換，但當(dāng)時(shí)只能做2D的識(shí)別，因此Facebook還在做進(jìn)一步的研究?jī)?yōu)化。有趣的是，最近迪斯尼研究人員發(fā)表了一篇論文，可以對(duì)用戶全身進(jìn)行3D的AR替換。

迪斯尼提出的這項(xiàng)技術(shù)被稱(chēng)為AR Poser，從這個(gè)名字也看得出它的用途，即用于讓米老鼠、達(dá)斯維達(dá)、鋼鐵俠等IP人物模仿用戶的動(dòng)作擺出姿勢(shì)，然后讓用戶拍照。

簡(jiǎn)單來(lái)說(shuō)，AR Poser的原理可以分為三個(gè)部分。第一步和我們之前提過(guò)的諸多動(dòng)捕系統(tǒng)類(lèi)似，是將移動(dòng)設(shè)備的攝像頭拍攝到的圖像傳輸至處理器，然后通過(guò)卷積神經(jīng)網(wǎng)絡(luò)等手段識(shí)別出目標(biāo)的輪廓，這一技術(shù)我們?cè)谥暗膭?dòng)捕技術(shù)中已經(jīng)講過(guò)多次，就不贅述了。

第二步也很簡(jiǎn)單，就是從用戶的輪廓中估計(jì)出骨骼姿勢(shì)，這同樣是最近幾個(gè)動(dòng)捕方案中采用了的技術(shù)，只是AR Poser的骨骼估計(jì)更加粗略，手部等位置都被忽略掉了。

第三步是比較新穎的部分，和一般的動(dòng)捕方案一樣，AR Poser也需要根據(jù)骨骼姿勢(shì)重新渲染3D圖像，區(qū)別在于，為了減少數(shù)據(jù)處理的強(qiáng)度，AR Poser在數(shù)據(jù)集中預(yù)設(shè)了一些姿勢(shì)，在得出骨骼姿勢(shì)后，AR Poser會(huì)將骨骼姿勢(shì)與數(shù)據(jù)集中預(yù)設(shè)的姿勢(shì)對(duì)比，選出最接近的一個(gè)，然后直接由此渲染最終圖像。這種做法的好處是計(jì)算量少，另外動(dòng)捕方案捕捉精度不足的腳踝等部位也更加精確，缺點(diǎn)就是姿勢(shì)的數(shù)量多寡直接影響用戶體驗(yàn)。

現(xiàn)在，AR Poser的數(shù)據(jù)集中一共包含了12個(gè)相關(guān)的姿勢(shì)，這12個(gè)姿勢(shì)是從AR Poser的體驗(yàn)者的姿勢(shì)中總結(jié)的，當(dāng)然數(shù)量的確還是太少。另外，據(jù)論文中的數(shù)據(jù)，從移動(dòng)設(shè)備拍攝到圖像，到2D骨架估計(jì)，再到在移動(dòng)設(shè)備上執(zhí)行3D的姿勢(shì)匹配，整個(gè)過(guò)程大約需要2秒鐘。

將AR Poser與Facebook的方案對(duì)比，AR Poser得到的是3D圖像，但二者需要的計(jì)算量基本相當(dāng)（AR Poser只多出一個(gè)對(duì)比的過(guò)程），但AR Poser顯然無(wú)意于實(shí)時(shí)的動(dòng)捕，因此捕捉的速度相對(duì)更慢一些。

最后說(shuō)一句，AR Poser有幾個(gè)比較明顯的缺陷，第一，就是數(shù)據(jù)集中可匹配的姿勢(shì)數(shù)量太少。第二呢，目前AR Poser只解決了身體關(guān)節(jié)的姿勢(shì)估計(jì)，但不包括臉的表情和手指姿勢(shì)的估計(jì)，因此，AR Poser的識(shí)別無(wú)法區(qū)分手部動(dòng)作不同的身體姿勢(shì)，在將來(lái)的優(yōu)化中，迪斯尼會(huì)考慮用全身匹配+手部姿勢(shì)匹配兩步來(lái)完成；最后，當(dāng)用戶變化姿勢(shì)時(shí)，AR影像會(huì)直接重新渲染，因此，由于兩次對(duì)用戶身材識(shí)別的誤差，渲染結(jié)果也可能會(huì)出現(xiàn)大小不同的情況，造成視覺(jué)上的不適，在將來(lái)的優(yōu)化中，將會(huì)通過(guò)調(diào)整肩膀和腳的比例大小來(lái)解決這個(gè)問(wèn)題。

考慮到迪斯尼對(duì)AR的應(yīng)用一貫偏向于宣傳和IP方面，ARPoser可能將會(huì)應(yīng)用于電影宣傳，例如將它應(yīng)用到電影海報(bào)中，讓觀眾和更真實(shí)的AR形象合影等等，可能在不久的將來(lái)，就可以看到電影海報(bào)和主題公園景點(diǎn)中AR Poser的應(yīng)用。