VR/AR吃下的傳感器紅利

對(duì)于VR/AR設(shè)備來(lái)說(shuō)，顯示技術(shù)和內(nèi)容生態(tài)可能是最為重要的兩個(gè)元素，但同樣不可忽視的還有設(shè)備中集成的一系列傳感器。這些傳感器的存在是設(shè)備交互的關(guān)鍵，而VR/AR的本質(zhì)其實(shí)就是人機(jī)交互的創(chuàng)新，沒(méi)有了這些傳感器，這些虛擬現(xiàn)實(shí)與尋常的顯示設(shè)備并無(wú)二致，毫無(wú)創(chuàng)新性可言。那么如今的VR/AR設(shè)備中，有哪些傳感器正在頻繁露面呢？我們不妨以在游戲VR設(shè)備上玩轉(zhuǎn)市場(chǎng)的索尼為例。

圖像傳感器

索尼在前不久發(fā)布了PSVR2，并聲稱支持了注視點(diǎn)渲染技術(shù)。這種渲染技術(shù)專注于渲染人注視點(diǎn)范圍內(nèi)的場(chǎng)景，通過(guò)降低周邊視覺(jué)的成像質(zhì)量來(lái)降低設(shè)備負(fù)載。畢竟VR/AR設(shè)備說(shuō)到底還是移動(dòng)設(shè)備，其功耗和性能都相對(duì)有限，但在這樣的定位下，VR/AR往往需要更高的幀數(shù)。況且與人眼一樣，我們其實(shí)無(wú)需對(duì)視覺(jué)死角內(nèi)的場(chǎng)景付出過(guò)多關(guān)注，所以注視點(diǎn)渲染技術(shù)減輕GPU負(fù)擔(dān)的方案正在席卷整個(gè)業(yè)界。

那么這一技術(shù)是如何實(shí)現(xiàn)的呢？答案就是眼動(dòng)追蹤。眼動(dòng)追蹤有多種實(shí)現(xiàn)手段，但對(duì)于VR/AR設(shè)備來(lái)說(shuō)，該技術(shù)主要利用光源對(duì)眼鏡進(jìn)行照射來(lái)產(chǎn)生反射，并使用圖像傳感器來(lái)采集光源在角膜和瞳孔上的反射，從而通過(guò)角度等參數(shù)來(lái)計(jì)算眼動(dòng)的向量，最終判斷人的視線方向。

Tobii Eye Tracker 5 / Tobii

比如Tobii的眼動(dòng)儀就采用了近紅外光源，并利用兩個(gè)圖像傳感器、先進(jìn)的圖像處理算法和三維眼球模型來(lái)計(jì)算眼睛和視線的位置。而索尼的PSVR2也配備了兩個(gè)紅外攝像頭，分別完成兩個(gè)眼睛的眼動(dòng)追蹤，另有四個(gè)攝像頭來(lái)完成控制器與頭顯的跟蹤。

眼動(dòng)追蹤不僅可以用于注視點(diǎn)渲染，也為VR/AR創(chuàng)造了另一重?cái)?shù)據(jù)輸入，這對(duì)于游戲或者視頻內(nèi)容的創(chuàng)作者來(lái)說(shuō)，也就多了一重交互方式，方便他們用眼動(dòng)數(shù)據(jù)來(lái)創(chuàng)造面部表情追蹤、注視反饋和視線鎖定目標(biāo)等功能。

運(yùn)動(dòng)傳感器

為了進(jìn)一步提升沉浸感，VR/AR設(shè)備中往往還加入了陀螺儀、磁力計(jì)和加速度計(jì)等運(yùn)動(dòng)傳感器，陀螺儀主要用于確定角度和姿勢(shì)輸入，而磁力計(jì)主要用磁場(chǎng)強(qiáng)度等參數(shù)來(lái)定位設(shè)備位置，而加速度計(jì)則顧名思義用來(lái)測(cè)量加速度。這些傳感器不僅分布在頭戴設(shè)備上，也集成在了控制器上。

運(yùn)動(dòng)傳感器完成姿勢(shì)識(shí)別 / 索尼

索尼在去年底公開(kāi)了一份專利，其中就提到了如何用這些運(yùn)動(dòng)傳感器來(lái)完成人體姿勢(shì)的識(shí)別匹配。索尼稱目前許多定位方案需要攝像頭或激光之類的視覺(jué)追蹤，所以除了頭戴設(shè)備和控制器上的傳感器以外，還需要在使用區(qū)域內(nèi)部署額外的距離傳感器，且中間不能存在障礙物。

PSVR2 Sense控制器 / 索尼

而索尼的這項(xiàng)專利減少了追蹤設(shè)備的數(shù)量，僅使用頭顯和控制器上的運(yùn)動(dòng)傳感器就能重構(gòu)真實(shí)的人體模型。該技術(shù)根據(jù)陀螺儀、磁力計(jì)和加速度計(jì)的數(shù)據(jù)來(lái)在數(shù)據(jù)庫(kù)中找到正確的匹配，最終確定姿勢(shì)和動(dòng)作。不過(guò)從索尼的PSVR2和PSVR2 Sense控制器的規(guī)格來(lái)看，兩者仍然在采用三軸陀螺儀+三軸加速度計(jì)的六軸運(yùn)動(dòng)感知系統(tǒng)。

BMX160絕對(duì)方向傳感器 / 博世

當(dāng)然了，目前更常見(jiàn)的是IMU和絕對(duì)方向傳感器這樣的高集成方案，比如博世的BMI270和BMX160。BMX絕對(duì)方向傳感器集成了一個(gè)3軸數(shù)字加速度計(jì)、16位數(shù)字陀螺儀和地磁傳感器，即便在三者同時(shí)運(yùn)行時(shí)也只有1585μA的低功耗，非常適合作為AR/VR可穿戴設(shè)備的傳感器融合方案。

小結(jié)

傳感器其實(shí)本來(lái)就是針對(duì)特定工作而生的元件，如今在元宇宙概念為AR/VR煥發(fā)的第二春下，專為虛擬現(xiàn)實(shí)場(chǎng)景準(zhǔn)備的傳感器也將迎來(lái)新一輪爆發(fā)式增長(zhǎng)。考慮到還有蘋果、微軟和騰訊等大廠的入局，及時(shí)把握這一輪增長(zhǎng)，AR/VR與傳感器廠商都能從中獲益。