Oculus的負(fù)責(zé)人介紹了一款新型手動(dòng)追蹤系統(tǒng)

動(dòng)作捕捉現(xiàn)在已經(jīng)不是一個(gè)時(shí)髦的名詞了，它在電影、游戲中都得到廣泛的應(yīng)用，賦予了原本動(dòng)作僵硬面目死板的角色以鮮活的生命，給人們帶來(lái)驚艷的視覺體驗(yàn)。

要說(shuō)最早的動(dòng)作捕捉，還要追溯到馬克福萊舍發(fā)明的“轉(zhuǎn)描技術(shù)”

利用特制的投影設(shè)備，將真人投影到畫布前，再由畫師，人肉作畫，一幀一幀的描下來(lái)。

（栩栩如生的豬八戒）

后來(lái)隨著動(dòng)作捕捉技術(shù)的發(fā)展，又發(fā)展出幾種真正意義上的動(dòng)作捕捉技術(shù)。

當(dāng)然，得到最廣泛應(yīng)用的自然是我們常見的往身上貼馬克點(diǎn)的光學(xué)式動(dòng)捕。

不管是電影

還是游戲

配上動(dòng)捕都如虎添翼，透著屏幕仿佛能感受到畫面中角色的呼吸。然而值得注意的是，當(dāng)實(shí)時(shí)全身動(dòng)捕用在靈巧的五指上時(shí)，就很難產(chǎn)生類似的實(shí)時(shí)追蹤效果。

手部實(shí)時(shí)動(dòng)作捕捉的主要困難在于識(shí)別和標(biāo)記被動(dòng)馬克點(diǎn)。雖然可以使用主動(dòng)馬克點(diǎn)來(lái)解決這個(gè)問(wèn)題，但是一根根的連接線路和笨重的傳感器顯得有些累贅，而且主動(dòng)馬克點(diǎn)可同時(shí)追蹤的數(shù)量也十分有限。若是對(duì)于馬克點(diǎn)標(biāo)記的全身追蹤，常見解決方案便是從預(yù)定義的T型或A型開始，依靠高幀追蹤來(lái)向前傳播標(biāo)記。可馬克點(diǎn)一旦被遮擋或由于虛假反射產(chǎn)生了重影，這種方案就沒啥精準(zhǔn)度了。而且由于手部體積小、關(guān)節(jié)多，馬克點(diǎn)的分布不得不密集，這就難免不產(chǎn)生遮擋和重影了。

就在前些日子，Oculus的負(fù)責(zé)人介紹了一款新型手動(dòng)追蹤系統(tǒng)。該系統(tǒng)采用可以自我優(yōu)化的機(jī)器學(xué)習(xí)算法進(jìn)行訓(xùn)練，她說(shuō)：“這種算法比之前所有的手部追蹤方案都更為準(zhǔn)確?！?/p>

由上圖也可以看出，Oculus的新型手動(dòng)追蹤系統(tǒng)不管是在單雙手還是在手與物體的交互上表現(xiàn)的都很出色。

其實(shí)早在去年，扎克伯格就造訪了 Oculus研究實(shí)驗(yàn)室，在facebook的更新中，他上傳了幾張照片，其中一張就是帶著手套坐在一圈鐵架子中，這也與小編在新型手部動(dòng)捕論文找到的攝像機(jī)設(shè)備一樣。矩形支架上統(tǒng)共擺放了16臺(tái)Optitrack相機(jī)，從而可以全方位捕捉手部的動(dòng)作。

“我們正致力于將新的方式帶入虛擬和增強(qiáng)現(xiàn)實(shí)，戴上這些手套，你可以畫畫，在虛擬鍵盤上打字甚至可以體驗(yàn)一番漫威超級(jí)英雄的生活”扎克伯格說(shuō)到。

從演示視頻來(lái)看，扎克伯格對(duì)于VR手部追蹤的愿景也正一步一步實(shí)現(xiàn)。

折一架童年的紙飛機(jī)

十八般樂器樣樣可行

我丟

（每副手套上安裝了19個(gè)馬克點(diǎn)）

研究人員展示了一種新穎的標(biāo)記和跟蹤系統(tǒng)，能夠在具有頻繁遮擋的挑戰(zhàn)性交互場(chǎng)景中實(shí)現(xiàn)手部姿勢(shì)的全自動(dòng)實(shí)時(shí)估計(jì)。左手標(biāo)記為橙色，右手標(biāo)記為藍(lán)色，物體標(biāo)記為綠色。

這種新型標(biāo)記與追蹤技術(shù)既可以用于稀疏馬克點(diǎn)集，也可以用于捕捉完整手部26自由度的密集馬克點(diǎn)集。Facebook依靠卷積神經(jīng)網(wǎng)絡(luò)（CNN）來(lái)預(yù)測(cè)由動(dòng)捕系統(tǒng)檢測(cè)到的3D馬克點(diǎn)位置標(biāo)記。然后將記錄的數(shù)據(jù)壓縮成2D圖像，這使卷積神經(jīng)網(wǎng)絡(luò)能夠?qū)?biāo)記點(diǎn)設(shè)置為唯一識(shí)別標(biāo)記位置，從而避免重影和遮擋的出現(xiàn)。為了滿足手部高精度的追蹤需求，F(xiàn)acebook在精心設(shè)計(jì)的數(shù)據(jù)增強(qiáng)程序中使用合成數(shù)據(jù)對(duì)CNN進(jìn)行訓(xùn)練。在運(yùn)行時(shí)，每當(dāng)需要重新初始化標(biāo)記追蹤的時(shí)候，CNN的輸出就用于初始化標(biāo)記。這種在線標(biāo)記使得Facebook能夠?qū)崟r(shí)重建手部姿勢(shì)。簡(jiǎn)單來(lái)說(shuō)，就是將3D空間的問(wèn)題轉(zhuǎn)化到2D平面上來(lái)解決。

將3D標(biāo)記位置輸入標(biāo)記系統(tǒng)（a），并且呈現(xiàn)為深度圖像（b），然后由CNN將深度圖像將手上的19個(gè)3D標(biāo)記位置進(jìn)行顏色編碼，用二分匹配將輸入標(biāo)記與其對(duì)應(yīng)的標(biāo)記標(biāo)簽相關(guān)聯(lián)。

通過(guò)將標(biāo)記聚類成組并用左/右指針隨機(jī)分配來(lái)初始化跟蹤器。 左/右手標(biāo)記被傳遞到在線標(biāo)記標(biāo)記管道以獲得每個(gè)標(biāo)記的標(biāo)記。 應(yīng)用反向運(yùn)動(dòng)學(xué)從標(biāo)記處重建手部姿勢(shì)。 如果通過(guò)研究人員的重建指標(biāo)，則跟蹤的標(biāo)記和手勢(shì)將被反饋到下一幀進(jìn)行在線跟蹤。

肢體追蹤用活靈活現(xiàn)的肢體語(yǔ)言取代了僵硬無(wú)力的死板動(dòng)作，眼球追蹤使空洞呆滯的瞳孔變得炯炯有神。新型的手部追蹤也將幫助人們?cè)陔娪?、游戲、VR中獲得更為靈巧的體驗(yàn)，跟的上各位單身十八年的手速。