一款只通過單個普通的2D攝像頭就能實時捕捉視頻中的3D動作的系統(tǒng)

動作捕捉在各行各業(yè)都有著重要的作用，我們實現(xiàn)它的方法主要有兩種。一是在電影和游戲當中經(jīng)常使用的方式，通過在關(guān)節(jié)處貼上標志來記錄運動軌跡；

二則是深度攝像頭，通過紅外來測量用戶的身體，這個大家都十分熟悉了。前者根本無法普及，后者在強光下效率低下，但擁有一個共同的優(yōu)良品質(zhì)—昂貴。

而市場上充滿的是普通智能手機，如果能夠僅僅通過普通智能手機的攝像頭實現(xiàn)身體追蹤，那這將是一個巨大的進步。

除了便宜，普通攝像頭較深度攝像頭的另一大優(yōu)勢就是視野廣，可以用于大場景的使用。同時基于紅外的深度攝像頭在戶外陽光直射的條件下難以工作，2D攝像頭卻沒有這個煩惱。

目前，馬克思普朗克計算機科學研究所的科學家們研發(fā)出了一款只通過單個普通的2D攝像頭（比如普通智能手機的攝像頭），就能實時捕捉視頻中的3D動作的系統(tǒng)。其效果可以媲美多個攝像頭或者深度攝像頭如Kinect的效果。

使用2D攝像頭獲得3D畫面是科技前沿的開發(fā)者一直在做的事情，我們曾多次提到過，簡單點說就是通過深度學習，也就是看得多了就能通過2D畫面得出3D動作，例如通過照片就能的出一個人樣貌的3D畫面。

用2D攝像頭捕捉3D動作也是科學家們一直在做的，其中骨骼姿勢是其中的一大難題。前人的解決方案中，3D關(guān)節(jié)是十分不穩(wěn)定的，會發(fā)生嚴重的偏離，重新投影時會不準確匹配2D位置。即使準確，也只是在極短的時間內(nèi)，長時間下還是不穩(wěn)定的。這導致他們大多數(shù)只能穩(wěn)定捕獲局部3D動作，而不是全身。

VNect解決了時間問題，可以在短時間內(nèi)骨骼姿勢穩(wěn)定，同時還是全身動作捕捉。

VNect采用卷積神經(jīng)網(wǎng)絡（CNN），拋棄了以往的100層設計，因為運算時間過長，不適合實時運算，改為更淺的50層。同時了全新的公式，使得能以高精度輸出，同時運行在30Hz以上。

在CNN的骨骼預測當中，最重要的骨盆的3D姿勢，他們提出的姿態(tài)公式得出的結(jié)果，吻合度可與世界最先進的離線方法媲美。通過組合預測2D和3D關(guān)節(jié)位置來確保關(guān)節(jié)的穩(wěn)定，同時應用濾波步驟來確保隨著時間的推移還能夠平滑的跟蹤，提高了跟蹤姿態(tài)的穩(wěn)定性。

根據(jù)圖片拓展出來了2D熱圖，再捕獲關(guān)節(jié)的相對位置x、y、z，變?yōu)殛P(guān)節(jié)H。根據(jù)關(guān)節(jié)之間的長度計算骨骼的長度，這將成為預測動作的重要依據(jù)。采集了通常考慮的17個關(guān)節(jié)，還采取了腳尖的位置。

系統(tǒng)使用的是骨骼的平均數(shù)據(jù)，在剛開始的時候會有不穩(wěn)定的現(xiàn)象，因為單個攝像頭沒有其他數(shù)據(jù)可以參考，所以需要被跟蹤對象提供一次身高的數(shù)據(jù)，來實現(xiàn)穩(wěn)定的追蹤。

同時系統(tǒng)是完全卷積的，可以在目標周圍缺少緊湊物的情況下運作，并能預測不同的場景，這無疑給準確的測量提供了堅實的基礎。

在訓練時，選擇了八個項目，五個與胸同高，2個與頭同高并向下傾斜，一個與膝蓋同高并向上傾斜，來學習在不同角度下保持穩(wěn)定。同時采用了多種組合，如背景、衣物（增多衣物）、障礙物（如椅子）等等。

結(jié)果是喜人的，在使用低端手機的相機條件下，在3D角色控制、姿態(tài)跟蹤等方面，質(zhì)量與深度攝像頭相當，例如Xbox上的Kinect（也就是一代和二代，可不是最新的四代）。

在速度上，CNN計算需要18ms，骨架擬合需要7到10ms，預處理和過濾需要5ms，最多時間也只有33ms。

除去前文介紹的優(yōu)勢，該方案還具備深度攝像頭不具備的功能，比如坐在凳子上或其他四肢靠近場景物體時，Kinect發(fā)生明顯錯亂，而2D解決方案卻成功了。不過當雙腿交叉時，就較為困難了，這將是一個挑戰(zhàn)。

通過VNect，任何一個智能手機都能變成輕量級的全自動手持動作捕捉傳感器，這將使許多應用變成可能，同時它還是開源的，可以使更多人參與到開發(fā)當中。

不過它也存在著許多不足，VNect腳踝追蹤十分穩(wěn)定，但頭部準確性十分差。而且單個2D攝像頭在深度捕捉上嚴重不足，任何一點細微的不準確都可能導致很大的不同。在時間上也不夠長，長時間下追蹤也會發(fā)生抖動。此外，遮擋還是一個十分嚴峻的挑戰(zhàn)，十分快的運動也是。