詳解動作捕捉技術(shù)原理與應(yīng)用優(yōu)缺點

電影《魔戒》里的咕嚕姆、《泰迪熊》里的毛絨熊、《阿凡達(dá)》里的部落公主……電影里那些經(jīng)典虛擬形象生動的表演總能深深打動觀眾，而它們被賦予生命的背后都源于一項重要的科技技術(shù)——動作捕捉。

動作捕捉（Motion capture），簡稱動捕（Mocap），是指記錄并處理人或其他物體動作的技術(shù)。多個攝影機捕捉真實演員的動作后，將這些動作還原并渲染至相應(yīng)的虛擬形象身上。這個過程的技術(shù)運用即動作捕捉，英文表述為Motion Capture。

動作捕捉技術(shù)涉及尺寸測量、物理空間里物體的定位及方位測定等方面可以由計算機直接理解處理的數(shù)據(jù)。在運動物體的關(guān)鍵部位設(shè)置跟蹤器，由Motion capture系統(tǒng)捕捉跟蹤器位置，再經(jīng)過計算機處理后得到三維空間坐標(biāo)的數(shù)據(jù)。當(dāng)數(shù)據(jù)被計算機識別后，可以應(yīng)用在動畫制作，步態(tài)分析，生物力學(xué)，人機工程等領(lǐng)域。

動作捕捉技術(shù)的背景

動作捕捉的起源普遍被認(rèn)為是費舍爾（Fleischer）在1915年發(fā)明的影像描?。╮otoscope）。這是一個在動畫片制作中產(chǎn)生出的一種技術(shù)。藝術(shù)家通過精細(xì)的描繪播放給他們的真人錄影片段當(dāng)中的每一幀靜態(tài)畫面來模擬出動畫人物在虛擬世界中的具備真實感的表演。

這個過程本身是枯燥乏味的。但是對于這些動畫師來說，幸運且具有紀(jì)念意義的是，1983年麻省理工學(xué)院（MIT）研發(fā)出了一套圖形牽線木偶。

這套系統(tǒng)使用了早期的光學(xué)動作捕捉系統(tǒng)，叫做“Op-Eye”，它依賴于一系列的發(fā)光二極管，通過制定動 作，來生成動畫腳本（Sturman,1999）。本質(zhì)上，這個牽線木偶充當(dāng)了第一套“動作捕捉服裝”。它自帶非常有限數(shù)量的感應(yīng)球,這些球能粗略的定位人體結(jié)構(gòu)的關(guān)鍵骨骼點的位置。

這套技術(shù)的產(chǎn)生，迅速的奠定了動作捕捉在之后迅速發(fā)展的基礎(chǔ)，為后續(xù)各種動作捕捉提供了追尋的方向，也引領(lǐng)了之后動作捕捉技術(shù)的風(fēng)潮，包括今天的動作捕捉技術(shù)在內(nèi)。

動作捕捉技術(shù)基本原理

動作捕捉系統(tǒng)是指用來實現(xiàn)動作捕捉的專業(yè)技術(shù)設(shè)備。不同的動作捕捉系統(tǒng)依照的原理不同，系統(tǒng)組成也不盡相同。

總體來講，動作捕捉系統(tǒng)通常由硬件和軟件兩大部分構(gòu)成。硬件一般包含信號發(fā)射與接收傳感器、信號傳輸設(shè)備以及數(shù)據(jù)處理設(shè)備等；軟件一般包含系統(tǒng)設(shè)置、空間定位定標(biāo)、運動捕捉以及數(shù)據(jù)處理等功能模塊。

信號發(fā)射傳感器通常位于運動物體的關(guān)鍵部位，例如人體的關(guān)節(jié)處，持續(xù)發(fā)出的信號由定位傳感器接收后，通過傳輸設(shè)備進入數(shù)據(jù)處理工作站，在軟件中進行運動解算得到連貫的三維運動數(shù)據(jù)，包括運動目標(biāo)的三維空間坐標(biāo)、人體關(guān)節(jié)的6自由度運動參數(shù)等，并生成三維骨骼動作數(shù)據(jù)，可用于驅(qū)動骨骼動畫，這就是動作捕捉系統(tǒng)普遍的工作流程。

運動捕捉技術(shù)組成

傳感器

所謂傳感器是固定在運動物體特定部位的跟蹤裝置，它將向 motion capture 系統(tǒng)提供運動物體運動的位置信息，一般會隨著捕捉的細(xì)致程度確定跟蹤器的數(shù)目。

信號捕捉設(shè)備

這種設(shè)備會因 motion capture 系統(tǒng)的類型不同而有所區(qū)別，它們負(fù)責(zé)位置信號的捕捉。對于機械系統(tǒng)來說是一塊捕捉電信號的線路板，對于光學(xué) motion capture 系統(tǒng)則是高分辨率紅外攝像機。

數(shù)據(jù)傳輸設(shè)備

motion capture 系統(tǒng)，特別是需要實時效果的 motion capture 系統(tǒng)需要將大量的運動數(shù)據(jù)從信號捕捉設(shè)備快速準(zhǔn)確地傳輸?shù)接嬎銠C系統(tǒng)進行處理，而數(shù)據(jù)傳輸設(shè)備就是用來完成此項工作的。

數(shù)據(jù)處理設(shè)備

經(jīng)過 motion capture 系統(tǒng)捕捉到的數(shù)據(jù)需要修正、處理后還要有三維模型向結(jié)合才能完成計算機動畫制作的工作，這就需要我們應(yīng)用數(shù)據(jù)處理軟件或硬件來完成此項工作。軟件也好硬件也罷它們都是借助計算機對數(shù)據(jù)高速的運算能力來完成數(shù)據(jù)的處理，使三維模型真正、自然地運動起來。劇中湯姆漢克斯穿著一套布滿150個感應(yīng)器的黑色緊身衣，這樣電腦就能把他的眼瞼、嘴唇、眉毛、乃至每個身體的表情和動作捕捉到。

動作捕捉技術(shù)的種類

動作捕捉系統(tǒng)種類較多，一般地按照技術(shù)原理可分為：機械式、聲學(xué)式、電磁式、慣性傳感器式、光學(xué)式等五大類，其中光學(xué)式根據(jù)目標(biāo)特征類型不同又可分為標(biāo)記點式光學(xué)和無標(biāo)記點式光學(xué)兩類。近期市場上出現(xiàn)所謂的熱能式動作捕捉系統(tǒng)，本質(zhì)上屬于無標(biāo)記點式光學(xué)動作捕捉范疇，只是光學(xué)成像傳感器主要工作在近紅外或紅外波段。

機械式

機械式動作捕捉系統(tǒng)依靠機械裝置來跟蹤和測量運動軌跡。典型的系統(tǒng)由多個關(guān)節(jié)和剛性連桿組成，在可轉(zhuǎn)動的關(guān)節(jié)中裝有角度傳感器，可以測得關(guān)節(jié)轉(zhuǎn)動角度的變化情況。裝置運動時，根據(jù)角度傳感器所測得的角度變化和連桿的長度，可以得出桿件末端點在空間中的位置和運動軌跡。X-1st是這類產(chǎn)品的代表，其優(yōu)點是成本低，精度高，采樣頻率高，但最大的缺點是動作表演不方便，連桿式結(jié)構(gòu)和傳感器線纜對表演者動作約束和限制很大，特別是連貫的運動受到阻礙，難以實現(xiàn)真實的動態(tài)還原。

聲學(xué)式

聲學(xué)式動作捕捉系統(tǒng)一般由發(fā)送裝置、接收系統(tǒng)和處理系統(tǒng)組成。發(fā)送裝置一般是指超聲波發(fā)生器，接收系統(tǒng)一般由三個以上的超聲探頭陣列組成。通過測量聲波從一個發(fā)送裝置到傳感器的時間或者相位差，確定到接受傳感器的距離，由三個呈三角排列的接收傳感器得到的距離信息解算出超聲發(fā)生器到接收器的位置和方向。其最大優(yōu)點是成本低，但缺點是精度較差，實時性不高，受噪聲和多次反射等因素影響較大。

電磁式

電磁式動作捕捉系統(tǒng)一般由發(fā)射源、接收傳感器和數(shù)據(jù)處理單元組成。發(fā)射源在空間產(chǎn)生按一定時空規(guī)律分布的電磁場；接收傳感器安置在表演者身體的關(guān)鍵位置，隨著表演者的動作在電磁場中運動,接收傳感器將接收到的信號通過電纜或無線方式傳送給處理單元，根據(jù)這些信號可以解算出每個傳感器的空間位置和方向。Polhemus和Ascension公司是這類產(chǎn)品生產(chǎn)商的代表，其最大特點是使用簡單、魯棒性和實時性好，缺點是對金屬物體敏感，金屬物引起的電磁場畸變對精度影響大，采樣率較低，不利于快速動作的捕捉，線纜式的傳感器連接同樣對動作表演形成束縛和障礙，不利于復(fù)雜動作的表演。

慣性式

慣性傳感器式動作捕捉系統(tǒng)由姿態(tài)傳感器、信號接收器和數(shù)據(jù)處理系統(tǒng)組成。姿態(tài)傳感器固定于人體各主要肢體部位，通過藍(lán)牙等無線傳輸方式將姿態(tài)信號傳送至數(shù)據(jù)處理系統(tǒng)，進行運動解算。其中姿態(tài)傳感器集成了慣性傳感器、重力傳感器、加速度計、磁感應(yīng)計、微陀螺儀等元素，得到各部分肢體的姿態(tài)信息，再結(jié)合骨骼的長度信息和骨骼層級連接關(guān)系，計算出關(guān)節(jié)點的空間位置信息。代表性的產(chǎn)品有Xsens、3D Suit等，這類產(chǎn)品主要的優(yōu)點是便攜性強，操作簡單，表演空間幾乎不受限制，便于進行戶外使用，但由于技術(shù)原理的局限，缺點也比較明顯，一方面?zhèn)鞲衅鞅旧聿荒苓M行空間絕對定位，通過各部分肢體姿態(tài)信息進行積分運算得到的空間位置信息造成不同程度的積分漂移，空間定位不準(zhǔn)確；另一方面原理本身基于單腳支撐和地面約束假設(shè)，系統(tǒng)無法進行雙腳離地的運動定位解算；此外，傳感器的自身重量以及線纜連接也會對動作表演形成一定的約束，并且設(shè)備成本隨捕捉對象數(shù)量的增加成倍增長，有些傳感器還會受周圍環(huán)境鐵磁體影響精度。

光學(xué)式

光學(xué)式動作捕捉系統(tǒng)基于計算機視覺原理[2][3]，由多個高速相機從不同角度對目標(biāo)特征點的監(jiān)視和跟蹤來完成運動捕捉的任務(wù)。理論上對于空間中的任意一個點，只要它能同時為兩部相機所見，就可以確定這一時刻該點在空間中的位置。當(dāng)相機以足夠高的速率連續(xù)拍攝時，從圖像序列中就可以得到該點的運動軌跡。

這類系統(tǒng)采集傳感器通常都是光學(xué)相機，不同的是目標(biāo)傳感器類型不一，一種是在物體上不額外添加標(biāo)記，基于二維圖像特征或三維形狀特征提取的關(guān)節(jié)信息作為探測目標(biāo)，這類系統(tǒng)可統(tǒng)稱為無標(biāo)記點式光學(xué)動作捕捉系統(tǒng)，另一種是在物體上粘貼標(biāo)記點作為目標(biāo)傳感器，這類系統(tǒng)稱為標(biāo)記點式光學(xué)動作捕捉。

1、無標(biāo)記式光學(xué)

無標(biāo)記點式光學(xué)動作捕捉原理大致有三種：第一種是基于普通視頻圖像的運動捕捉，通過二維圖像人形檢測提取關(guān)節(jié)點在二維圖像中的坐標(biāo)，再根據(jù)多相機視覺三維測量計算關(guān)節(jié)的三維空間坐標(biāo)。由于普通圖像信息冗雜，這種計算通常魯棒性較差，速度很慢，實時性不好，且關(guān)節(jié)缺乏定量信息參照，計算誤差較大，這類技術(shù)目前多處于實驗室研究階段；第二種是基于主動熱源照射分離前后景信息的紅外相機圖像的運動捕捉，即所謂的熱能式動作捕捉，原理與第一種類似，只是經(jīng)過熱光源照射后，圖像前景和背景分離使得人形檢測速度大幅提升，提升了三維重建的魯棒性和計算速率，但熱源從固定方向照射，導(dǎo)致動作捕捉時人體運動方向受限，難以進行360度全方位的動作捕捉，例如轉(zhuǎn)身、俯仰等動作并不適用，且同樣無法突破因缺乏明確的關(guān)節(jié)參照信息導(dǎo)致計算誤差大的技術(shù)壁壘；第三種是三維深度信息的運動捕捉，系統(tǒng)基于結(jié)構(gòu)光編碼投射實時獲取視場內(nèi)物體的三維深度信息，根據(jù)三維形貌進行人形檢測，提取關(guān)節(jié)運動軌跡，這類技術(shù)的代表產(chǎn)品是微軟公司的kinect傳感器[5]，其動作識別魯棒性較好，采樣速率高，價格非常低廉，有不少愛好者嘗試使用kinect進行動作捕捉，效果并不盡如人意，這是因為kinect的應(yīng)用定位是一款動作識別傳感器，而不是精確捕捉，同樣存在關(guān)節(jié)位置計算誤差大，層級骨骼運動累積變形等問題?？傮w來講，無標(biāo)記點式動作捕捉普遍存在的問題是動作捕捉精度低，并且由于原理固有的局限導(dǎo)致運動自由度解算缺失（如骨骼的自旋信息等）造成動作變形等問題。

2、標(biāo)記式光學(xué)

標(biāo)記點式光學(xué)動作捕捉系統(tǒng)一般由光學(xué)標(biāo)識點（Markers）、動作捕捉相機、信號傳輸設(shè)備以及數(shù)據(jù)處理工作站組成，人們常稱的光學(xué)式動作捕捉系統(tǒng)通常是指這類標(biāo)記點式動作捕捉系統(tǒng)。在運動物體關(guān)鍵部位（如人體的關(guān)節(jié)處等）粘貼Marker點，多個動作捕捉相機從不同角度實時探測Marker點，數(shù)據(jù)實時傳輸至數(shù)據(jù)處理工作站，根據(jù)三角測量原理精確計算Marker點的空間坐標(biāo)，再從生物運動學(xué)原理出發(fā)解算出骨骼的6自由度運動。

這里根據(jù)標(biāo)記點發(fā)光技術(shù)不同還分為主動式和被動式光學(xué)動作捕捉系統(tǒng)：

（1）主動式光學(xué)

主動式光學(xué)動作捕捉系統(tǒng)的Marker點由LED組成，LED粘貼于人體各個主要關(guān)節(jié)部位，LED之間通過線纜連接，由綁在人體表面的電源裝置供電。

其主要優(yōu)點是采用高亮LED作為光學(xué)標(biāo)識，可在一定程度上進行室外動作捕捉，LED受脈沖信號控制明暗，以此對LED進行時域編碼識別，識別魯棒性好，有較高的跟蹤準(zhǔn)確率；

缺點是：

第一，時序編碼的LED識別原理本質(zhì)上是依靠相機在不同時刻對不同的Marker采集成像來進行ID標(biāo)識,相當(dāng)于在同一個動作幀中分別針對每個Marker進行逐次曝光，破壞了動作捕捉的Markers檢測的同步性，導(dǎo)致運動變形，不利于快速動作的捕捉；

第二，由于相機幀率很大部分用于單幀內(nèi)對不同Marker點的識別，因此有效動作幀采樣率較低，這點上也不利于快速運動的捕捉和數(shù)據(jù)分析；

第三，LED Marker可視角度小(發(fā)射角120度左右)，一個捕捉鏡頭內(nèi)部通常集成了兩個相機近距離采集，這種窄基線結(jié)構(gòu)導(dǎo)致視覺三維測量精度較低，并且在運動過程中由于動作遮擋等問題仍然不可避免地導(dǎo)致頻繁的數(shù)據(jù)缺失，如果為盡量避免遮擋造成的數(shù)據(jù)缺失，需要成倍增加動作捕捉鏡頭的數(shù)量彌補遮擋盲區(qū)問題，設(shè)備成本也隨之成倍增加；

第四，由于時序編碼的原理局限，系統(tǒng)可支持的Marker總數(shù)有嚴(yán)格限制，在保證足夠的采樣率前提下，同時采集人數(shù)一般不宜超過2人，且Marker點數(shù)量越多，單幀逐點曝光時間越長，運動變形越嚴(yán)重。

（2）被動光學(xué)式

被動式光學(xué)動作捕捉系統(tǒng)，也稱反射式光學(xué)動作捕捉系統(tǒng)，其Marker點通常是一種高亮回歸式反光球，粘貼于人體各主要關(guān)節(jié)部位，由動作捕捉鏡頭上發(fā)出的LED照射光經(jīng)反光球反射至動捕相機，進行Marker的檢測和空間定位。

其主要優(yōu)點是技術(shù)成熟，精度高、采樣率高、動作捕捉準(zhǔn)確，表演和使用靈活快捷，Marker點可以很低成本地隨意增加和布置，適用范圍很廣；

主要缺點是：

第一，對捕捉視場內(nèi)的陽光敏感，陽光在地面形成的光斑可能被誤識別為Marker點，造成目標(biāo)干擾，因此系統(tǒng)一般需要在室內(nèi)環(huán)境下正常工作；

第二，Marker點識別容易出錯，由于反光式Marker點沒有唯一對應(yīng)的ID信息，在運動過程中出現(xiàn)遮擋等問題容易造成目標(biāo)跟蹤出錯，導(dǎo)致Marker點ID混淆，這種情況通常導(dǎo)致運動捕捉現(xiàn)場實時動畫演示效果不好，動作容易錯位，并且需要在后處理過程中通過人工干預(yù)進行數(shù)據(jù)修復(fù)，工作量大幅增加。不過新一代的技術(shù)都植入了先進的智能捕捉技術(shù)，具有很強的Marker點自動識別和糾錯能力，很大程度上滿足了現(xiàn)場實時動畫演示的需要，并且大大降低了人工干預(yù)的工作量，從本質(zhì)上進一步提升了系統(tǒng)的實用性。

動作捕捉技術(shù)的優(yōu)缺點

優(yōu)點

運動捕捉的優(yōu)點是表演者活動范圍大，無電纜、機械裝置的限制，使用方便。采樣速率較高，可以滿足多數(shù)體育運動測量的需要。Marker價格便宜，便于擴充。更實際地講，就是便于實現(xiàn)電影、游戲里面的各種炫酷特效。

缺點

系統(tǒng)價格昂貴，雖然它可以捕捉實時運動，但后處理(包括Marker的識別、跟蹤、空間坐標(biāo)的計算)時間長。這類系統(tǒng)對于表演場地的光照、反射情況敏感。裝置定標(biāo)也較為繁瑣，特別是當(dāng)運動復(fù)雜的時候。不同部位的Marker很容易混淆、遮擋，產(chǎn)生錯誤的結(jié)果，經(jīng)常需要人工干預(yù)后處理過程。由于這樣那樣的各種限制，所以幾乎所有的光學(xué)跟蹤系統(tǒng)都還需要依靠后序處理程序?qū)Σ蹲降臄?shù)據(jù)進行分析，加工和整理然后才能把這些數(shù)據(jù)應(yīng)用到動畫角色模型上去。

動作捕捉技術(shù)主要應(yīng)用領(lǐng)域

動畫制作

將運動捕捉技術(shù)用于動畫制作，可極大地提高動畫制作的水平。它極大地提高了動畫制作的效率，降低了成本，而且使動畫制作過程更為直觀，效果更為生動。

虛擬現(xiàn)實系統(tǒng)

為實現(xiàn)人與虛擬環(huán)境及系統(tǒng)的交互，必須確定參與者的頭部、手、身體等的位置與方向，準(zhǔn)確地跟蹤測量參與者的動作，將這些動作實時檢測出來，以便將這些數(shù)據(jù)反饋給顯示和控制系統(tǒng)。這些工作對虛擬現(xiàn)實系統(tǒng)是必不可少的，這也正是運動捕捉技術(shù)的研究內(nèi)容。

機器人遙控

機器人將危險環(huán)境的信息傳送給控制者，控制者根據(jù)信息做出各種動作，運動捕捉系統(tǒng)將動作捕捉下來，實時傳送給機器人并控制其完成同樣的動作。與傳統(tǒng)的遙控方式相比，這種系統(tǒng)可以實現(xiàn)更為直觀、細(xì)致、復(fù)雜、靈活而快速的動作控制，大大提高機器人應(yīng)付復(fù)雜情況的能力。在當(dāng)前機器人全自主控制尚未成熟的情況下，這一技術(shù)有著特別重要的意義。

互動式游戲

可利用運動捕捉技術(shù)捕捉游戲者的各種動作，用以驅(qū)動游戲環(huán)境中角色的動作，給游戲者以一種全新的參與感受，加強游戲的真實感和互動性。

體育訓(xùn)練

運動捕捉技術(shù)可以捕捉運動員的動作，便于進行量化分析，結(jié)合人體生理學(xué)、物理學(xué)原理，研究改進的方法，使體育訓(xùn)練擺脫純粹的依靠經(jīng)驗的狀態(tài)，進入理論化、數(shù)字化的時代。還可以把成績差的運動員的動作捕捉下來，將其與優(yōu)秀運動員的動作進行對比分析，從而幫助其訓(xùn)練。

另外，在人體工程學(xué)研究、模擬訓(xùn)練、生物力學(xué)研究等領(lǐng)域，動作捕捉技術(shù)同樣大有可為?？梢灶A(yù)計，隨著技術(shù)本身的發(fā)展和相關(guān)應(yīng)用領(lǐng)域技術(shù)水平的提高，動作捕捉技術(shù)將會得到越來越廣泛的應(yīng)用。

本篇文章為傳感器技術(shù)平臺原創(chuàng)文章，轉(zhuǎn)載需聯(lián)系我們授權(quán)！未經(jīng)允許轉(zhuǎn)載我們將進行投訴！