一項(xiàng)將2D RGB圖像的所有人類(lèi)像素實(shí)時(shí)映射至3D模型的技術(shù)——DensePose

我們已經(jīng)介紹過(guò)很多僅用RGB相機(jī)進(jìn)行動(dòng)作捕捉的研究了，其中大多數(shù)是模擬出骨骼進(jìn)行追蹤，少數(shù)則是通過(guò)模擬出的骨骼套上一個(gè)粗糙的模型，便可稱(chēng)為3D模型了。

近日，F(xiàn)acebook AI Reaserch（FAIR）開(kāi)源了一項(xiàng)將2D RGB圖像的所有人類(lèi)像素實(shí)時(shí)映射至3D模型的技術(shù)——DensePose，而且采用的也不是我們經(jīng)常介紹的骨骼追蹤，而是一種十分密集的方案追蹤來(lái)構(gòu)建3D模型。

在戶外和穿著寬松衣服的 也表現(xiàn)良好。

還支持多人同時(shí)追蹤。

那這個(gè)密集如何來(lái)理解呢？

對(duì)于一般的骨骼追蹤，追蹤的點(diǎn)大多在十到二十個(gè)之間，再多也沒(méi)有多少實(shí)際的效果。而DensePose所追蹤的點(diǎn)一共有336個(gè)，密密麻麻全身都是點(diǎn)。（密集恐懼癥退避）

之所以要追蹤這么多的點(diǎn)，是構(gòu)建一個(gè)平滑流暢的3D模型所必須的數(shù)據(jù)。

辛苦的付出也是值得的，DensePose無(wú)論是在戶外還是多人下都表現(xiàn)良好，還能實(shí)時(shí)更換場(chǎng)景中人的衣服。

那就來(lái)看看他們是怎么做到的吧。

為了讓機(jī)器可以學(xué)習(xí)，研究人員手動(dòng)標(biāo)記了5萬(wàn)張照片中的336個(gè)點(diǎn)，光這個(gè)步驟就是一個(gè)巨大的工程了，如果按部就班的標(biāo)記注釋?zhuān)恢酪绞裁磿r(shí)候完成了。

研究人員將一個(gè)人拆分成了24個(gè)部分，分別為頭、軀干上部、軀干下部、大臂、小臂、大腿、小腿、手、腳。每個(gè)部分標(biāo)記14的點(diǎn)。

對(duì)于頭部、手部、腳部都由人手動(dòng)標(biāo)記。同時(shí)還要求注釋者在標(biāo)記的時(shí)候標(biāo)出被衣物掩蓋住的部位，比如寬松的裙子。

這些工作做完后進(jìn)入第二階段，研究人員對(duì)每一個(gè)展開(kāi)部位區(qū)域進(jìn)行采樣，會(huì)獲得6個(gè)不同的標(biāo)記圖，提供二維坐標(biāo)地圖使標(biāo)記者更直觀的判斷哪個(gè)標(biāo)記是正確的。

最后再將平面重新組合成3D模型，進(jìn)行最后一步校準(zhǔn)。

這樣兩步下來(lái)，研究人員得以高效準(zhǔn)確的獲得了準(zhǔn)確的標(biāo)記。不過(guò)在軀干、背部還有 臀部有較大的誤差。

接下來(lái)就是深度學(xué)習(xí)的階段了，這時(shí)一個(gè)好的方案就好比性能優(yōu)越的催化劑。

研究人員采用與Mask-RCNN架構(gòu)的DenseReg類(lèi)似的方法，構(gòu)成了'DensePose-RCNN'系統(tǒng)，還進(jìn)一步開(kāi)發(fā)使得訓(xùn)練的準(zhǔn)確度提高。首先由外觀粗略的估算像素所在的位置，然后將其與準(zhǔn)確的坐標(biāo)對(duì)齊。

DenseReg MaskRCNN的關(guān)鍵點(diǎn)分支中使用相同的體系結(jié)構(gòu)，由8個(gè)交替的3×3完全卷積和512個(gè)通道的ReLU層組成。得益于Caffe2，所產(chǎn)生的架構(gòu)實(shí)際上與Mask-RCNN一樣快。

為了降低錯(cuò)誤率，還訓(xùn)練了一個(gè)“教師”網(wǎng)絡(luò)來(lái)重建地面，部署它完整的圖像域，產(chǎn)生一個(gè)密集的監(jiān)督信號(hào)。研究人員將人類(lèi)監(jiān)督者半自動(dòng)監(jiān)督和“教師網(wǎng)絡(luò)”進(jìn)行對(duì)比，結(jié)果是“教師”完勝。

研究人員還將其方法與SMPLify進(jìn)行了對(duì)比，在模型的模擬方面，研究人員的自下而上的前饋方法在很大程度上勝過(guò)了迭代的模型擬合結(jié)果。

同時(shí)在多人處理時(shí)，F(xiàn)CN明顯差于'DensePose-RCNN，再與其他方案比較時(shí)優(yōu)勢(shì)也十分突出。

最后，整體呈現(xiàn)的效果如開(kāi)頭所講，能夠處理大量遮擋物，成功的模擬出了衣服后面的人，但有一點(diǎn)需要注意，那就是所有人都是通過(guò)固定的曲率擬合的。而且在多人狀況下表現(xiàn)十分良好。