設(shè)備內(nèi)置運(yùn)動(dòng)追蹤帶來沉浸式虛擬現(xiàn)實(shí)：擺脫“線”的束縛

沉浸式虛擬現(xiàn)實(shí)（VR）需要滿足視覺質(zhì)量、聲音質(zhì)量和直觀交互方面的極端苛刻要求

沉浸式虛擬現(xiàn)實(shí)（VR）需要滿足視覺質(zhì)量、聲音質(zhì)量和直觀交互方面的極端苛刻要求。先前的博文簡(jiǎn)要介紹了虛擬現(xiàn)實(shí)是如何工作的，解釋了為什么要將 “運(yùn)動(dòng)的光子”延遲（MTP）降到最低。這篇博文，我們想深入分析運(yùn)動(dòng)追蹤，這不僅是MTP路徑的起點(diǎn)，而且對(duì)產(chǎn)生高品質(zhì)視覺和聲音效果也是至關(guān)重要的。

對(duì)頭部進(jìn)行精確的低延遲運(yùn)動(dòng)追蹤是與虛擬世界直觀交互的關(guān)鍵——你需要它的存在。例如，當(dāng)你轉(zhuǎn)動(dòng)頭部探索虛擬世界時(shí)，精確的頭部追蹤將提供產(chǎn)生適當(dāng)視覺（和聲音）效果的姿勢(shì)。同樣，如果你的頭一動(dòng)不動(dòng)，那么視覺需要保持完全靜止?fàn)顟B(tài)，否則你可能會(huì)感覺在船上。我們一般通過活動(dòng)的自由程度來描繪運(yùn)動(dòng)：三個(gè)自由度（3-DOF）或六個(gè)自由度（6-DOF）。

頭部運(yùn)動(dòng)有六個(gè)自由度

3-DOF探測(cè)圍繞X、Y和Z軸的轉(zhuǎn)體運(yùn)動(dòng)——方向。對(duì)于頭部運(yùn)動(dòng)來說，這意味著在保持身體其他部位不動(dòng)的情況下能夠扭頭、點(diǎn)頭和擺頭。虛擬現(xiàn)實(shí)中的3-DOF使你能夠從固定點(diǎn)環(huán)顧虛擬世界——跟三腳架上的相機(jī)一樣。對(duì)于很多360度球形全景視頻來說，3-DOF將提供非常逼真的內(nèi)容，比如從特定座位觀看體育比賽或從特定了望臺(tái)眺望大自然。

頭部運(yùn)動(dòng)有六個(gè)自由度

6-DOF探測(cè)轉(zhuǎn)體運(yùn)動(dòng)和平移運(yùn)動(dòng)——方向和位置。這意味著你的身體現(xiàn)在可以在虛擬世界從固定點(diǎn)沿X、Y和Z軸方向移動(dòng)。虛擬現(xiàn)實(shí)中的6-DOF對(duì)游戲等體驗(yàn)幫助很大，你可以在虛擬世界自由移動(dòng)和環(huán)顧四周。有了6-DOF，即使是簡(jiǎn)單的事情，比如看桌子上的東西或扭頭，都能夠讓人興奮不已。而且6-DOF能帶來更逼真的效果，因?yàn)樗粌H可以捕捉到我們的真實(shí)運(yùn)動(dòng)，還能消除視覺和前庭系統(tǒng)之間的感官?zèng)_突。

通過VIO 實(shí)現(xiàn)6-DOF運(yùn)動(dòng)追蹤

提供精確6-DOF運(yùn)動(dòng)追蹤的一個(gè)解決方案是視覺慣性測(cè)程（VIO）。那么，什么是VIO，VIO又是如何工作的呢？VIO利用攝像機(jī)和運(yùn)動(dòng)傳感器，估計(jì)移動(dòng)設(shè)備在未知環(huán)境中的相對(duì)位置和方向。

例如，單個(gè)攝像機(jī)可以估計(jì)相對(duì)位置，但不能提供絕對(duì)尺度——物體之間的實(shí)際距離，或者以米、英尺計(jì)算的物體大小。慣性傳感器能夠提供絕對(duì)尺度，并以更高速率提取測(cè)量樣本，從而提高設(shè)備快速運(yùn)動(dòng)的穩(wěn)定性。然而，與攝像機(jī)相比，慣性傳感器，尤其是低成本微機(jī)電（MEMS）系列，在估計(jì)位置時(shí)容易出現(xiàn)大偏差。因此VIO集雙方優(yōu)點(diǎn)于一身，能夠準(zhǔn)確估計(jì)設(shè)備方位。

經(jīng)過優(yōu)化的設(shè)備內(nèi)置6-DOF解決方案

Qualcomm Technologies花費(fèi)大量時(shí)間和精力研究使設(shè)備內(nèi)置VIO克服電力和散熱局限以自如運(yùn)行的方法。運(yùn)動(dòng)追蹤不僅對(duì)虛擬現(xiàn)實(shí)至關(guān)重要，對(duì)其他許多應(yīng)用也是如此，如無人機(jī)、機(jī)器人、擴(kuò)增實(shí)境和室內(nèi)導(dǎo)航。對(duì)虛擬現(xiàn)實(shí)來說，運(yùn)動(dòng)追蹤必不可少，因?yàn)樗屘摂M現(xiàn)實(shí)耳機(jī)（和你）的移動(dòng)完全不受限制——你可以盡享Room-scale房型虛擬現(xiàn)實(shí)，而不必受電腦或電線的束縛。

通過精確低延遲運(yùn)動(dòng)追蹤設(shè)計(jì)支持卓越移動(dòng)虛擬現(xiàn)實(shí)體驗(yàn)，正是Qualcomm Technologies的獨(dú)到之處。Qualcomm驍龍?zhí)幚砥鞑捎孟到y(tǒng)方法以及系統(tǒng)芯片定制設(shè)計(jì)專用引擎，能夠提供有效的異構(gòu)計(jì)算解決方案，并通過端到端優(yōu)化，實(shí)現(xiàn)最佳延遲、功耗和性能（詳見本公司VR白皮書）。我來展示我們?nèi)绾螢轵旪執(zhí)幚砥鞔钶dVIO優(yōu)化解決方案。從下面的圖表中你會(huì)發(fā)現(xiàn)，攝像機(jī)、加速度計(jì)和陀螺儀都是驍龍VIO子系統(tǒng)的數(shù)據(jù)輸入設(shè)備。慣性傳感器由加速度計(jì)和陀螺儀組成，其運(yùn)行頻率遠(yuǎn)高于攝像機(jī)。

攝像機(jī)、加速度計(jì)和陀螺儀都是驍龍VIO子系統(tǒng)的數(shù)據(jù)輸入設(shè)備

在驍龍VIO子系統(tǒng)中，攝像特征處理模塊負(fù)責(zé)探測(cè)和追蹤特征。慣性數(shù)據(jù)處理模塊在慣性傳感器上高頻率運(yùn)行并融合數(shù)據(jù)。為提高效率，VIO算法在Hexagon數(shù)字信號(hào)處理器（DSP）上進(jìn)行。當(dāng)攝像機(jī)和慣性傳感器的數(shù)據(jù)融合時(shí)，奇跡真的發(fā)生了。數(shù)據(jù)融合實(shí)現(xiàn)了對(duì)頭部運(yùn)動(dòng)的持續(xù)定位。最后，我們需要高頻率頭部定位，因此我們同時(shí)產(chǎn)生了精確、高速率姿勢(shì)和預(yù)測(cè)姿勢(shì)。利用6-DOF姿勢(shì)可以通過適當(dāng)?shù)囊曈X（和聲音）效果快速更新用戶在VR世界中的視圖。

我們的VIO解決方案之所以有效，有以下幾個(gè)關(guān)鍵原因。首先，傳感器和處理器在同一設(shè)備上，位置接近，減少了電線和接口的延遲。第二，所有處理均在一個(gè)高度集成的驍龍?zhí)幚砥魃贤瓿桑@意味著全部功能都集中在同一芯片上，由于接口高效并減少了緩存次數(shù)，因此延遲和功耗都降低了。第三，我們針對(duì)VIO優(yōu)化系統(tǒng)軟件，驍龍?zhí)摂M現(xiàn)實(shí)軟件開發(fā)包（SDK）也可供客戶和開發(fā)人員使用。我們期待看到開發(fā)人員提供的所有非凡3-DOF和6-DOF虛擬現(xiàn)實(shí)體驗(yàn)成為現(xiàn)實(shí)。?

我們期待看到開發(fā)人員提供的所有非凡3-DOF和6-DOF虛擬現(xiàn)實(shí)體驗(yàn)成為現(xiàn)實(shí)。

更多Qualcomm開發(fā)內(nèi)容請(qǐng)?jiān)斠姡?/strong>?Qualcomm開發(fā)者社區(qū)?。?