ARVR設(shè)備的空間監(jiān)測和定位技術(shù)研究

? ? ? ? ?所有的ARVR產(chǎn)品，都必須要具備精確的空間監(jiān)測和定位能力，才能實現(xiàn)全方位的頭部、手部互動和交互， 才能給用戶帶來更具真實感的虛擬體驗。

? ? ?一、目前ARVR產(chǎn)品的現(xiàn)狀

　　市場上已經(jīng)上市的ARVR產(chǎn)品并不少，價格從幾十元的Cardboard到上萬元的Hololens，用戶體驗差異落差很大。先說VR產(chǎn)品，整體來說可以分成如下這幾類：

　　1. Cardboard產(chǎn)品

　　這類產(chǎn)品是最簡單的VR產(chǎn)品，來源于谷歌的紙盒VR盒子，簡單地說就是用兩個凸透鏡把手機(jī)分屏顯示的內(nèi)容，投射到眼鏡，借助于手機(jī)內(nèi)置的IMU來判斷用戶頭部的運(yùn)動姿態(tài)來調(diào)整VR顯示內(nèi)容的運(yùn)動方向。這類產(chǎn)品在2015年國內(nèi)大量的白牌開始出貨，但VR整體效果都取決于手機(jī)的配置和光學(xué)鏡頭的質(zhì)量，只能說是入門級別的VR體驗產(chǎn)品。

　　國內(nèi)一些視頻內(nèi)容和游戲公司的第一代VR產(chǎn)品，也基本都是這種形態(tài)，最有代表性的就是暴風(fēng)盒子，配一個BT控制手柄來進(jìn)行菜單選擇。這類產(chǎn)品的出現(xiàn)確實對整個VR行業(yè)的推動起了很大作用，但其弊端也是非常明顯的，所以才有了暴風(fēng)一體機(jī)、大朋、小鳥看看等一體機(jī)在2016年陸續(xù)上市。

　　Cardboard方式的VR設(shè)備，在2016年迎來了一個特別大的機(jī)遇，那就是谷歌提出的Daydream VR，谷歌為了提升VR Cardboard的用戶體驗，并且希望在整個VR生態(tài)系統(tǒng)中能夠占據(jù)主導(dǎo)地位，在2016年發(fā)布了Daydream手機(jī)Pixel、Pixel XL這兩款手機(jī)和Daydream Viewer頭戴Cardboard，并且還配置了一個內(nèi)置IMU的遙控手柄。按照谷歌對VR設(shè)備用戶體驗的要求，必須達(dá)到某個硬件配置以上的手機(jī)，配合Daydream Viewer運(yùn)行相關(guān)VR應(yīng)用，用戶才不會眩暈。從2016年開始，隨著華為P9、聯(lián)想MotoZ等產(chǎn)品的上市，宣稱支持Daydream的手機(jī)也越來越多，預(yù)計在2017年，這類產(chǎn)品會完全打破原來Cardboard用戶體驗不佳的僵局。

　　2. 頭動控制的一體機(jī)

　　一體機(jī)顧名思義就是不需要再插入手機(jī)或者連接PC就可以使用的VR設(shè)備，目前代表性的有大朋、小鳥看看等，大部分產(chǎn)品都是在2016年上市的，這些產(chǎn)品的特點基本都是采用了1080p或者2K分辨率的顯示屏（有些還采用了2Kx2的雙屏）配合專門為VR產(chǎn)品優(yōu)化設(shè)計過的菲尼爾非球面光學(xué)鏡頭，整體的畫質(zhì)和畸變都提升了很多。但目前這類產(chǎn)品都有一個共同的特點，那就是只有簡單的頭動控制，只能坐或者站在原地通過搖頭晃腦來實現(xiàn)VR的控制，無法做頭手的交互。為了彌補(bǔ)這個缺陷，目前有一些外置的具有空間位置檢測功能的配件（內(nèi)置IMU的手柄、體感背包、空間定位光球等）來提升整體VR的用戶體驗。

　　3. 帶空間監(jiān)測和定位的一體機(jī)

　　空間監(jiān)測和定位，一般有兩種方式，Inside-out和Outside-in。Inside-out是通過一體機(jī)內(nèi)置的sensor來感知設(shè)備外部的空間信息并做相關(guān)定位。而Outside-in則正好相反，通過外置的傳感器來感知VR設(shè)備的位置，從而提供定位信息給VR應(yīng)用。對一體機(jī)來說，目前來看無一例外地選擇了Inside-out的方案，這樣就避免了需要提前額外布置外部傳感器的工作，用戶可以隨時隨地拿起VR設(shè)備就是用。預(yù)計2017年即將上市的一些大廠產(chǎn)品，比如大朋一體機(jī)二代、暴風(fēng)一體機(jī)等，都會具備空間定位能力，從而大幅度提升VR的用戶體驗，特別是VR游戲。

　　4. PC VR

　　這類產(chǎn)品最具代表性的就是HTC Vive、Sony PSVR和HTC Oculus，這三劍客2016年上市之后，特別HTC Vive幾乎成了VR體驗館的標(biāo)配，另外很多的行業(yè)定制也是基于Vive的。Sony PSVR上市不到半年就銷售了大約100萬臺，對于整個VR行業(yè)用戶體驗整體水準(zhǔn)提高起來很大作用。這三款產(chǎn)品的特點就是都采用了外置的空間定位技術(shù)，比如Vive采用的是外置紅外激光發(fā)射器，頭顯和手柄感應(yīng)發(fā)射器的位置來判斷自身的位置和運(yùn)動軌跡，PSVR和Oculus都是采用外部傳感器來感應(yīng)頭顯和手柄發(fā)出的可見光或者紅外光來判斷頭顯和手柄的位置;讓頭顯、手柄都能精確地知道任何時間他們各自在空間中的相對位置和移動軌跡，從而可以讓VR的應(yīng)用更加真實。

　　接下來再說說AR產(chǎn)品，目前AR產(chǎn)品整體來說落差很大，有些AR眼鏡產(chǎn)品只是把虛擬信息、圖像等直接投射出來，跟用戶所在的實際環(huán)境并沒有實際關(guān)聯(lián)，這類產(chǎn)品只能做到投射的虛擬信息跟隨頭動實現(xiàn)6DOF的動作跟蹤，但無法把虛擬的物體跟用戶所在的實際環(huán)境融合。比如大名鼎鼎的ODG，目前最新的產(chǎn)品也只是支持6DOF的動作追蹤，沒有空間定位功能。

　　上海智視的智能眼鏡也跟ODG的功能類似，但他們的定位是第一視角的直播，所以只需要在眼鏡中顯示拍攝的相關(guān)信息和視頻即可，無需做空間定位。但據(jù)了解他們正在開發(fā)的還有一個內(nèi)置TOF depth camera的眼鏡，這個是可以實現(xiàn)6DOF+空間定位的功能的。

　　目前已經(jīng)上市的AR產(chǎn)品中，空間監(jiān)測和定位能力最好，虛擬物體跟環(huán)境匹配最好的有2個產(chǎn)品，一個是基于谷歌Tango的空間定位技術(shù)的聯(lián)想Phab2 Pro， 還有一個是微軟的Hololens，這2個產(chǎn)品雖然形態(tài)上差異很大，但本質(zhì)上來說都是6DOF+SLAM的完整結(jié)合，實現(xiàn)空間定位和運(yùn)動追蹤，他們的AR效果，基本來說都可以做到虛擬物體和實際環(huán)境的融合，不管用戶如何移動、從哪個角度來觀看，感受就跟真實的物體放在眼前一樣。但從最終實際使用的效果來說，Hololens的6DOF+SLAM精度和穩(wěn)定性還是要比Tango高，這跟整個硬件設(shè)計平臺、傳感器類型和數(shù)量的選擇、核心算法都是密切相關(guān)的。

　　另外國內(nèi)其實還有很多公司也在開發(fā)相關(guān)的AR產(chǎn)品，其中頗具特色的就是Micro Eye的SMAKKEST，不但神似Hololens，而且功能也跟Hololens相似，其6DOF+SLAM的效果據(jù)說被Hololens所認(rèn)可。

　二、空間定位技術(shù)類別

　　空間監(jiān)測和定位技術(shù)，其實本質(zhì)上來說可以初略分成2大類，一類就是Inside-out空間監(jiān)測和定位，另外一類就是Outside-in空間監(jiān)測和定位。

　　1. Inside-out空間監(jiān)測和定位技術(shù)

　　Inside-out空間監(jiān)測和定位技術(shù)，技術(shù)本質(zhì)上有些類似人類眼鏡對環(huán)境感知環(huán)境的過程，從設(shè)備內(nèi)部來感知外部空間，因此被稱為Inside-out定位方式。Inside-out空間監(jiān)測和定位技術(shù)也分成了2類，一類是基于SLAM技術(shù)的空間監(jiān)測和定位，這個也是目前火熱的機(jī)器人行業(yè)所需要的一個基礎(chǔ)功能，SLAM是simultaneous localization and mapping的英文縮寫，是指設(shè)備本身在未知環(huán)境中從一個位置未知位置開始移動，在移動過程中根據(jù)位置估計和地圖進(jìn)行自身定位，同時在自身定位的基礎(chǔ)上建造增量式地圖，實現(xiàn)設(shè)備本身自主檢測和定位導(dǎo)航。目前大部分的AR產(chǎn)品都是采用Inside-out空間定位技術(shù)。

　　基于SLAM的空間監(jiān)測和定位技術(shù)的代表產(chǎn)品是聯(lián)想Phab2 Pro Tango手機(jī)和Hololens，都是采用了深度監(jiān)測+Fisheye和IMU融合做運(yùn)動監(jiān)測，不同的是深度監(jiān)測所采用的技術(shù)不同（Tango采用的是TOF，而Hololens采用的是結(jié)構(gòu)光）和Fisheye運(yùn)動和特征點監(jiān)測的數(shù)量不同，Hololens的空間定位效果比Tango要更精確更穩(wěn)定，而且在弱光、玻璃透光等環(huán)節(jié)中，Hololens的效果則完勝目前的Tango，但Tango技術(shù)也不是一成不變的，下一代的Tango技術(shù)也支持多Fisheye camera。

　　聯(lián)想Phab2 Pro Tango手機(jī)，使用了一個TOF深度攝像頭，一個155度FOV的Fisheye運(yùn)動監(jiān)測camera和一個RGB camera，F(xiàn)isheye運(yùn)動監(jiān)測camera配合IMU數(shù)據(jù)的融合，進(jìn)行特征點匹配，給設(shè)備提供一個完整的運(yùn)動軌跡的監(jiān)測，配合TOF深度攝像頭的云圖信息，可以實時繪制出設(shè)備本身在空間中的位置、運(yùn)動的軌跡，同時通過Tango自帶的區(qū)域?qū)W習(xí)功能，當(dāng)回到已經(jīng)走過的空間中，一旦Fisheye camera監(jiān)測到了已經(jīng)存儲的特征點并且能匹配上，就可以快速地進(jìn)行空間定位，這對AR設(shè)備來說是非常重要的，可以確保用戶隨時隨地地快速使用。Tango的工作原理這里就不解釋了，可以參考林時工的另外一篇文章做詳細(xì)了解。

　　微軟的Hololens的設(shè)計非常獨特也非常有錢任性，新開了一顆了基于Intel的CPU和GPU技術(shù)的HPU（Holographic Processing Unit），設(shè)備采用CPU+GPU+HPU的配置，跟Tango一樣，不需要外置PC就看實現(xiàn)完整的空間監(jiān)測和定位。而在傳感器方面，深度監(jiān)測使用了2個結(jié)構(gòu)光camera，配合4個結(jié)構(gòu)光光柵發(fā)射器來進(jìn)行深度監(jiān)測。另外在Hololens的左右各有2個Fisheye camera，從而能夠監(jiān)測到更多的空間環(huán)境中的特征點。因此Hololens的空間定位精度和穩(wěn)定性要比Tango高很多。

　　另一類則是基于marker（標(biāo)記點）的空間監(jiān)測和定位技術(shù)，簡單的說就是在實際空間中放置一些類似二維碼、特殊顏色圖形的圖案或者光點作為標(biāo)記點，設(shè)備來監(jiān)測這些標(biāo)記點的位置來判斷自身的位置和運(yùn)動趨勢。HTC Vive就是這個類型的代表， 下圖是HTC Vive的空間定位工作原理。

　　Vive通過兩個固定的激光發(fā)射器發(fā)射激光，每個基站里有一個紅外LED陣列，分布兩個轉(zhuǎn)軸互相垂直的旋轉(zhuǎn)的紅外激光發(fā)射器，一個是X軸掃描，另一個是Y軸掃描，兩個激光器有固定的180度相位差，當(dāng)其中一個激光器發(fā)射X軸掃描時，另外一個激光器則發(fā)射Y軸掃描。

　　HTC Vive 頭顯的外殼，密密麻麻布滿了32個光感傳感器，分別朝向不同問方向，這些傳感器都是用來接受固定的激光發(fā)射器發(fā)出的紅外激光，連接Vive的電腦會控制所有設(shè)備同步運(yùn)作，頭顯上的光感傳感器分別監(jiān)測出X軸和Y軸方向激光到達(dá)每個傳感器的時間和針對兩個不同激光發(fā)射器的相位關(guān)系，就可以計算出各個光感傳感器各自的相位差，從而精確地定位頭顯的位置和運(yùn)動軌跡。

　　Vive手柄上共有24個光感傳感器，手柄的工作原理和頭顯相同，這里不再重復(fù)。

　　另外必須要提一下的是國內(nèi)的Ximmerse，他們也推出了針對VR設(shè)備的Outside-in空間定位包設(shè)計方案，通過這個空間定位包，可以給沒有空間定位功能的VR設(shè)備提供跟HTC Vive類似精度的空間監(jiān)測和定位能力。定位包包括一個雙camera的模塊，2個帶光球的控制手柄，使用時將雙camera模塊外置到頭顯上，通過雙camera捕捉控制手柄的光球，判斷手柄在空間中的位置，同時手柄通過BT把自身6DOF的信息傳給模塊，模塊將6DOF和光球位置信息進(jìn)行算法融合，實現(xiàn)全方位定位，從而提升頭手的交互。這個方案的優(yōu)勢就是可以在任何環(huán)境光照情況下，定位精度不受外界環(huán)境光干擾，而且定位精度很高。但該方案無法對用戶所在的整體空間環(huán)境進(jìn)行監(jiān)測和定位，只能監(jiān)測到光球手柄的空間位置信息，但其優(yōu)勢就是可以快速讓原有沒有空間定位的VR設(shè)備至少擁有類似HTC Vive這樣的空間定位能力。

　　2. Outside-in空間監(jiān)測和定位技術(shù)

　　Outside-in的空間監(jiān)測和定位技術(shù)目前是VR設(shè)備是比較成熟的空間定位技術(shù)，Sony PSVR和Oculus都是采用類似的方案，不過Oculus更是在外置攝像頭加上紅外主動馬克點的方式，來獲得更高的精度和更快的響應(yīng)時間。而PS VR則直接采用了PS 3的MOVE系統(tǒng)，原理與Kinect類似，通過外置雙目深度攝像頭來進(jìn)行動作識別與追蹤頭顯和手柄。頭顯上有燈光指示，手柄頂端也有不同顏色的光球，外置的雙camera隨時檢查頭顯和手柄上的光球運(yùn)動軌跡，同時PS Station接收通過BT傳回的頭顯和手柄的IMU信息，通過計算就可以得到完整的頭顯和手柄在空間中運(yùn)動軌跡和定位。

　　從原理和實際使用的效果上來說，空間監(jiān)測和定位的精度沒有HTC Vive高，雖然Sony的游戲效果和PSVR頭戴本身的佩戴舒適度比Vive要好，但空間定位精度不高，就影響到了VR游戲的整體體驗。因此我們也從Sony的官網(wǎng)上看到了Sony的一個最新空間定位專利，這個專利應(yīng)該就是為下一代PVSR準(zhǔn)備的，從專利的描述來看應(yīng)該是類似HTC的固定激光發(fā)射器的方式，這個方案跟目前PSVR的做法正好相反，不再使用外部攝像頭來拍攝（Outside-In定位），而是通過外部的信號來定位VR頭盔在空間中的方向。從而可以提供類似HTC Vive的使用精度（可能更高），同時可以360度無死角地捕捉用戶的各種姿態(tài)和運(yùn)動軌跡。

　　Oculus的空間監(jiān)測和定位技術(shù)跟Sony PSVR類似，不同的地方是PSVR采用的是外置雙camera監(jiān)測可見光的方案，而Oculus采用的是主動式紅外光，頭顯和手柄上都放置了紅外發(fā)光LED，通過外置的紅外攝像頭進(jìn)行拍攝和捕捉頭顯和手柄上紅外光點的信息，從而獲得頭顯和手柄的運(yùn)動軌跡和空間位置信息。

　　不管是Sony PSRV還是Oculus的Outside-in方案，都存在一個問題，那就是外置camera是固定的，而在用戶背對camera的時候，camera是無法檢測到頭顯和手柄上的光點的，可能會存在漏監(jiān)的可能性，從而影響用戶體驗，這點在HTC Vive上就不存在。

　　另外一個基于Marker點的Outside-in空間監(jiān)測和定位技術(shù)，也是Ximmerse公司的光球+雙camera方案，這個跟前面提到的他們的Inside-out的方案正好相反，這里把雙camera監(jiān)測器放到了室內(nèi)固定的位置，然后在VR頭顯和手柄上布置光球，頭顯和手柄在運(yùn)動個過程中，雙camera監(jiān)測器記錄下來頭顯和手柄在空間里的三維位置和它們的移動數(shù)據(jù)，通過BT或者WiFi傳遞給VR頭顯做相關(guān)的運(yùn)算和處理，并實施反饋到畫面上，實現(xiàn)在虛擬環(huán)境里自由地走動，與虛擬世界里的事物進(jìn)行交互。

　　以下是幾個不同方案的匯總和比較：