詳談AR/VR/MR數(shù)字光學(xué)元件和技術(shù)

伯納德·克雷斯（Bernard Kress）是微軟HoloLens光學(xué)架構(gòu)師（Partner職級(jí)）。他在10年代的初期主要是擔(dān)任谷歌眼鏡的首席光學(xué)架構(gòu)師，但于2015年來(lái)到了微軟，并一直從事HoloLens混合現(xiàn)實(shí)智能頭顯的研發(fā)工作。

作為對(duì)EDO19 Digital Optical Technologies大會(huì)的介紹，克雷斯撰文概述了當(dāng)前當(dāng)前AR/VR/MR的數(shù)字光學(xué)元件和技術(shù)。下面是映維網(wǎng)的具體整理：

已于2019年6月24日-27日結(jié)束的EDO19 Digital Optical Technologies的話題涵蓋了用于AR/VR/MR系統(tǒng)的新型光學(xué)元件，如自由空間光學(xué)元件，波導(dǎo)光學(xué)元件（波導(dǎo)組合器），衍射，全息和超表面光學(xué)元件，可調(diào)，可切換和可重新配置的光學(xué)元件。下一屆大會(huì)將于2021年6月21日-24日召開。

1. 介紹

國(guó)防一直是增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)的首批應(yīng)用領(lǐng)域，這最早可以追溯至上世紀(jì)50年代。接下來(lái)，第一個(gè)消費(fèi)者VR/AR浪潮于90年代開始興起，但因?yàn)檫^(guò)于超前，尚未成熟，沉浸式領(lǐng)域的熱度開始淡化萎縮。然而，正是由于缺乏可用的消費(fèi)者顯示技術(shù)和相關(guān)傳感器，當(dāng)時(shí)誕生了一系列的新型光學(xué)顯示概念，而它們?cè)诮裉煲廊皇窍喈?dāng)前沿的技術(shù)，如Reflection Technology的“Private Eye”智能眼鏡（1989）和任天堂的Virtual Boy（1995）。兩者都是基于掃描顯示器，而非平面顯示器。盡管這種顯示技術(shù)在當(dāng)時(shí)十分超前，但消費(fèi)者級(jí)IMU傳感器，低功率3D渲染顯卡，以及無(wú)線數(shù)據(jù)傳輸技術(shù)的缺乏導(dǎo)致第一起VR浪潮于90年代的消退。另一個(gè)原因是數(shù)字內(nèi)容的缺乏，或者缺乏對(duì)企業(yè)和消費(fèi)者VR/AR內(nèi)容的清晰認(rèn)識(shí)。

這與General Magic早期的iPod開發(fā)十分類似。在90年代后期，這家公司提出了所述的硬件概念，但當(dāng)時(shí)缺乏無(wú)線傳輸技術(shù)和音樂(lè)庫(kù)。十年后的蘋果終于整合了這三個(gè)要素（硬件，WIFI，在線音樂(lè)庫(kù)），而這種iPod概念顛覆了一個(gè)時(shí)代。它不僅成為了一種理想的音樂(lè)播放產(chǎn)品，同時(shí)引起了消費(fèi)市場(chǎng)的強(qiáng)烈共鳴。

類似地，無(wú)論消費(fèi)者AR/VR頭顯的質(zhì)量如何，如果缺乏相應(yīng)的“iTune Store App”，消費(fèi)者市場(chǎng)將不會(huì)實(shí)現(xiàn)騰飛。

在第一波浪潮衰退之后的十年間，依然在持續(xù)拓展AR/VR技術(shù)的領(lǐng)域是國(guó)防工業(yè)，如飛行模擬與訓(xùn)練（用于旋轉(zhuǎn)翼飛行器的頭盔式顯示器和用于固定翼飛行器的平視顯示器）。在00年代，有效的消費(fèi)者努力是汽車平視顯示器和個(gè)人雙目頭顯視頻播放器領(lǐng)域。

今天的工程師們從小就能接觸到不斷普及的平板顯示器技術(shù)，而比起20年前不得不從零發(fā)明新穎沉浸式顯示技術(shù)的同行相比，他們已經(jīng)習(xí)慣于這樣的創(chuàng)新額。自2012年以來(lái)，我們看到了基于現(xiàn)成智能手機(jī)顯示面板（LTPS-LCD，IPS-LCD，AMOLED）或Pico顯示面板（HTPS-LCD，mu-OLED，DLP，LCoS），以及IMU，攝像頭，深度傳感器（結(jié)構(gòu)光和飛行時(shí)間）的初始沉浸式AR/VR實(shí)現(xiàn)。目前，頭顯顯示架構(gòu)正在緩慢發(fā)展為更具體的技術(shù)，而且與平板顯示器更適合沉浸體驗(yàn)的要求。就如同在20年前興起的發(fā)明浪潮（無(wú)機(jī)mu-LED面板，一維掃描陣列，二維激光/VCSEL MEMS掃描器……），現(xiàn)在行業(yè)可謂是欣欣向榮。

就顯示，聯(lián)網(wǎng)和傳感器方面，智能手機(jī)技術(shù)生態(tài)系統(tǒng)塑造了第二波VR/AR浪潮，而且一直是早期產(chǎn)品最為顯而易見(jiàn)的目標(biāo)用例。這種傳統(tǒng)額度顯示技術(shù)將作為下一波的初始催化劑。

然而，AR/VR沉浸式顯示體驗(yàn)是延續(xù)半個(gè)多世紀(jì)以來(lái)的傳統(tǒng)面板顯示體驗(yàn)的范式轉(zhuǎn)變：從CRT電視到LCD電腦顯示器和筆記本電腦屏幕，再到OLED平板電腦和智能手機(jī)，LCoS，DLP和MEMS掃描儀數(shù)字投影儀，再到iLED智能手表（請(qǐng)參見(jiàn)圖1）。

圖1：沉浸式近眼顯示器：個(gè)人信息顯示器的范式轉(zhuǎn)變

當(dāng)用平板顯示技術(shù)和架構(gòu)（智能電話或微型顯示面板）來(lái)實(shí)現(xiàn)沉浸式近眼顯示設(shè)備時(shí)，光學(xué)擴(kuò)展量，固定焦點(diǎn)和低亮度成為了嚴(yán)重的限制。為了支持近眼顯示器匹配人類視覺(jué)系統(tǒng)的特性，我們需要替代性的顯示技術(shù)。

虛擬現(xiàn)實(shí)/增強(qiáng)現(xiàn)實(shí)/智能眼鏡熱潮在本世紀(jì)10年代初的第二次興起帶來(lái)了新的命名趨勢(shì)：混合現(xiàn)實(shí)，融合現(xiàn)實(shí)，擴(kuò)展現(xiàn)實(shí)，或統(tǒng)稱為XR。智能眼戴設(shè)備（包括數(shù)字信息顯示器和眼鏡）趨向于替代最初的智能眼鏡命名慣例。

2. 智能眼鏡/AR/MR/VR市場(chǎng)

與第一次的AR/VR熱潮不同，今天的投資者，市場(chǎng)分析師，AR/VR/MR開發(fā)商及企業(yè)用戶都期望這種獨(dú)特的技術(shù)能夠在未來(lái)5年內(nèi)帶來(lái)真正的投資回報(bào)， 如2017/2018 Gartner技術(shù)成熟度曲線所示（參見(jiàn)圖2）。

圖2：Gartner技術(shù)成熟度曲線

2017年的Gartner圖表表明，AR和VR有望在2年到10年內(nèi)達(dá)到穩(wěn)定的發(fā)展，而VR要領(lǐng)先AR數(shù)年。這是大多數(shù)AR/VR分析師所認(rèn)可的概念。有趣的是，修訂后的2018年圖表不再顯示VR，而是MR。VR在2018年進(jìn)入了一個(gè)更為成熟的階段，甚至成為一種商品，所以Gartner將其從新興技術(shù)類別中移除。

但我們必須謹(jǐn)慎看待。目前已得到證實(shí)的可持續(xù)市場(chǎng)是企業(yè)MR，其中投資回報(bào)率（ROI）主要是成本成本規(guī)避：

新員工的上手速度更快，錯(cuò)誤更少，收益更高。

協(xié)同設(shè)計(jì)，遠(yuǎn)程專家指導(dǎo)，更好的服務(wù)，增強(qiáng)的監(jiān)控。

更高的制造質(zhì)量保證。

提升了產(chǎn)品展示和演示，并提供了更好的最終用戶體驗(yàn)。

混合現(xiàn)實(shí)已經(jīng)在出制造業(yè)（汽車，航空電子設(shè)備，重工業(yè)產(chǎn)品），電力，能源，采礦和公用事業(yè)，技術(shù)，媒體和電信，醫(yī)療保健和外科手術(shù)，金融服務(wù)以及零售/接待/休閑領(lǐng)域等領(lǐng)域出現(xiàn)了明顯的投資回報(bào)率。

現(xiàn)有智能眼鏡/AR/MR消費(fèi)市場(chǎng)的證據(jù)則相對(duì)不是十分明顯。智能眼鏡（Google Glass，Snap Spectacles，英特爾Vaunt或North“Focals”）已經(jīng)經(jīng)過(guò)試水；VR頭顯的發(fā)展最近有所放緩（Oculus/Facebook VR，谷歌Daydream，索尼PSVR），而其他廠商的VR項(xiàng)目已經(jīng)終止，比如說(shuō)英特爾的Alloy和宏碁/StarVR的大視場(chǎng)頭顯。但從長(zhǎng)遠(yuǎn)來(lái)看，MR的視頻用例潛力依然很大。在2018年，盡管曾帶來(lái)了強(qiáng)大的初始產(chǎn)品和獲得了雄厚的風(fēng)投支持，但諸如MetaVision Corp（Meta2），CastAR Corp和ODG Corp（ODG R8和R9）等中等規(guī)模的企業(yè)經(jīng)歷了倒閉情況。其他公司則進(jìn)行了重大重組，如Avegant。MetaVision和CastAR在2019年中期迎來(lái)了新生，這表明所述領(lǐng)域依然存在巨大的不確定性，同時(shí)充滿驚喜。其他公司（Vuzix）則在整個(gè)2019年實(shí)現(xiàn)了持續(xù)增長(zhǎng)和風(fēng)投支持（Digilens Corp）。

在智能眼鏡方面，專注于音頻的智能眼鏡獲得了強(qiáng)勁的投資回報(bào)。提供音頻沉浸感和世界鎖定音頻（僅基于IMU）的音頻智能眼鏡并不是全新的概念，但最近迎來(lái)了諸如環(huán)繞聲和降噪等方面的進(jìn)步。它們可以為消費(fèi)者和企業(yè)提供基本的輸入和命令，同時(shí)是增強(qiáng)世界體驗(yàn)的重要組成要素。華為等大公司最近已經(jīng)推出了音頻AR智能眼鏡。另外，諸如Snap Spectacles（第1代和第2代）之類的攝像頭眼鏡和Google Glass Explorer版本一樣難以獲得消費(fèi)者的認(rèn)可。

除空間世界鎖定音頻外，如果存在IMU（如Bose AR Frames），則設(shè)備同時(shí)可以檢測(cè)一系列不同的頭部和身體姿態(tài)，包括俯臥撐，下蹲，點(diǎn)頭，搖動(dòng)，雙擊，看向上，向下看和轉(zhuǎn)頭等等。

表1：智能眼鏡/AR/VR/MR頭顯在消費(fèi)者/企業(yè)/國(guó)防領(lǐng)域的采用率。

在英特爾Vaunt項(xiàng)目的帶動(dòng)下，具有更小顯示屏（約10度單眼視場(chǎng)）和視力校正功能的小尺寸智能眼鏡在2018年重新抬頭（2014年的谷歌眼鏡遭遇了失?。?。然而，英特爾的項(xiàng)目于當(dāng)年下半年中止，轉(zhuǎn)而投資了由North開發(fā)的“Focals”。但這款產(chǎn)品在2019年初出現(xiàn)了近50％的價(jià)格暴跌，而North同樣進(jìn)行了大量的裁員。目前消費(fèi)者智能眼鏡的短期前景不是十分明朗。僅針對(duì)企業(yè)領(lǐng)域的智能眼鏡概念則出現(xiàn)一段安靜但平穩(wěn)的增長(zhǎng)期，如RealWear頭顯（加拿大溫哥華）和更時(shí)尚的Google Glass Enterprise V2眼鏡。

另一方面，當(dāng)前的風(fēng)投正在瘋狂地助推初創(chuàng)獨(dú)角獸的發(fā)展，比如說(shuō)Magic Leap（總投資額超過(guò)30億美元，估值達(dá)到70億美元）。這透露出后期階段投資者（阿里巴巴，新加坡淡馬錫和沙特基金）的“Fear Of Missing Out（害怕錯(cuò)過(guò)）”心理，并渴望跟隨主要科技風(fēng)投（谷歌，亞馬遜，高通）的前期投資決定。同時(shí)值得注意的是，Magic Leap的最后兩筆風(fēng)投（2018年末和2019年中）是由主要通信公司提供（AT&T/金額未知，Docomo/2.8億美元）。他們寄望于未來(lái)的AR市場(chǎng)將能推動(dòng)帶寬通信（5G，WiGig等）的發(fā)展，而這同時(shí)將為MR云服務(wù)帶來(lái)持續(xù)的投資回報(bào)（AR/MR硬件回報(bào)極低）。

不論投資炒作幾許，一家大型消費(fèi)電子公司都很可能同時(shí)創(chuàng)建最終的消費(fèi)者頭顯架構(gòu)（解決視覺(jué)/可穿戴舒適性/沉浸式體驗(yàn)），以及隨后的消費(fèi)者市場(chǎng)。對(duì)于企業(yè)市場(chǎng)來(lái)說(shuō)，內(nèi)容是根據(jù)每家企業(yè)的特定需求而定制開發(fā)，而消費(fèi)市場(chǎng)則需要完全依靠整個(gè)MR生態(tài)系統(tǒng)的發(fā)展，這包括從通用硬件到通用內(nèi)容與應(yīng)用程序。

盡管2018年Q3季度智能手機(jī)和平板電腦的銷量首次出現(xiàn)了全球性下滑，而這預(yù)告了蘋果于同年Q4季度30％的股票跌幅，但尚不清楚這種MR消費(fèi)者硬件是否有潛力（甚至是意愿）取代 現(xiàn)有的智能手機(jī)/平板電腦，或作為智能手機(jī)的附件，從而提供傳統(tǒng)顯示屏概念所無(wú)法企及的沉浸式體驗(yàn)。

除了這里討論的消費(fèi)者和企業(yè)市場(chǎng)之外，MR頭顯在國(guó)防市場(chǎng)存在巨大的潛力。微軟已經(jīng)在2018年Q4季度拿下4.8億美元的美國(guó)國(guó)防合同，為美國(guó)陸軍開發(fā)特殊版本的HoloLens：IVAS（Integrated Visual Augmentation System；集成視覺(jué)增強(qiáng)系統(tǒng)）。這是AR/VR/MR有史以來(lái)最大的合同，并將推動(dòng)全球MR生態(tài)系統(tǒng)的發(fā)展。

3. MR正作為下一個(gè)計(jì)算平臺(tái)而逐漸興起

智能眼鏡（同時(shí)又稱為數(shù)字眼戴設(shè)備）主要是眼鏡的擴(kuò)展，為視力障礙提供數(shù)字情景顯示（請(qǐng)參見(jiàn)圖3中的谷歌眼鏡）。這個(gè)概念與AR或MR大不相同。 典型的智能眼鏡在視場(chǎng)方面非常小（對(duì)角線小于15度），而且通常會(huì)偏離視線。傳感器的缺乏（IMU除外）只可實(shí)現(xiàn)大約三自由度的頭部追蹤，而雙目視覺(jué)的不足則只能顯示簡(jiǎn)單的2D文字與圖像。單眼顯示器不需要雙眼視覺(jué)系統(tǒng)那樣的鏡框剛度（從而減少可能引起眼睛疲勞的水平和垂直視差）。大多數(shù)智能眼鏡開發(fā)商同時(shí)將視力校正作為標(biāo)準(zhǔn)功能（North的Focal或Google Glass V2）。

圖3：智能眼鏡，AR/VR和VR頭顯的興起。

強(qiáng)大的連接（3G，4G，WiFi，藍(lán)牙）和攝像頭的結(jié)合令它有理由成為智能手機(jī)的強(qiáng)大配件，如用于情景顯示功能或用作虛擬助手，GPS和社交網(wǎng)絡(luò)配件（得益于攝像頭）。智能眼鏡并非旨在取代智能手機(jī)，而是補(bǔ)充智能手機(jī)，就如同智能手表一樣。

VR頭顯是游戲主機(jī)的擴(kuò)展，這可見(jiàn)于索尼，Ocuus，HTC和微軟WMR等主要游戲供應(yīng)商，以及諸如Steam等游戲內(nèi)容合作伙伴。這種頭顯通常搭載游戲控制器（請(qǐng)參見(jiàn)圖3）。早期的外向內(nèi)傳感器（如2016年的Oculus CV1和HTC Vive）已經(jīng)發(fā)展至今天的內(nèi)向外追蹤，從而提供了更緊湊的硬件（如WMR和三星玄龍）。盡管這種高端VR系統(tǒng)依然需要搭載先進(jìn)GPU的昂貴PC或筆記本電腦，但VR一體機(jī)已于2018年登陸消費(fèi)者市場(chǎng)，如Oculus Go（3DOF-IMU）和HTC Vive Focus，而它們能夠成為蓬勃發(fā)展的VR消費(fèi)者市場(chǎng)的基礎(chǔ)。最近，搭載內(nèi)向外傳感器的VR一體機(jī)進(jìn)一步擴(kuò)展了這一產(chǎn)品類別，比方說(shuō)Oculus Quest（六自由度）。

然而，搭載內(nèi)向外傳感器的高端VR頭顯已經(jīng)面世，比如說(shuō)Oculus和HTC于2019年推出的Rift S和Vive Pro。諸如三星玄龍+等其他WMR頭顯則將2017年版本的分辨率翻了一番。

AR/MR系統(tǒng)將成為下一個(gè)計(jì)算平臺(tái)，取代原來(lái)的桌面和筆記本硬件，以及正在衰退的平板電腦硬件。大多數(shù)這樣的硬件都是無(wú)線束縛形式（參見(jiàn)圖3的HoloLen V1），需要高端光學(xué)，組合器元件和傳感器（深度掃描攝像頭，頭部追蹤攝像頭，精確的眼動(dòng)追蹤器和姿勢(shì)傳感器）。它們是當(dāng)前要求最為苛刻的硬件，尤其是對(duì)光學(xué)硬件而言。最終，如果技術(shù)允許，這三個(gè)類別將融合成單一的硬件概念。不過(guò)，它們需要連接（5G，WiGig），視覺(jué)舒適度（顯示技術(shù)），以及穿戴舒適度（續(xù)航能力，熱管理，重量/尺寸）等方面的提升。

智能手機(jī)和平板電腦在2018年Q3季度全球銷量下降是一個(gè)重大信號(hào)，這會(huì)促使大型消費(fèi)電子公司和風(fēng)投把目光投向“下一個(gè)劃時(shí)代的產(chǎn)品”。無(wú)論這最終是什么，MR都是一個(gè)優(yōu)秀的候選者。

4. 終極MR體驗(yàn)的關(guān)鍵

對(duì)于消費(fèi)者或企業(yè)而言，終極的MR體驗(yàn)都是沿著兩個(gè)主軸定義：舒適度和沉浸感。舒適感有兩個(gè)方面：穿戴性和視覺(jué)。從顯示到音頻，再到手勢(shì)和觸覺(jué)等等，沉浸感有多種表現(xiàn)形式。

在舒適度和沉浸感的融合中，令人信服的MR體驗(yàn)需要做到三點(diǎn)：

低于10ms的運(yùn)動(dòng)到光子延遲（通過(guò)優(yōu)化的傳感器融合和低延遲顯示）。

通過(guò)連續(xù)的深度映射和語(yǔ)義識(shí)別實(shí)現(xiàn)內(nèi)容鎖定。

快速眼動(dòng)追蹤和通用眼動(dòng)追蹤是必備的功能，它將能實(shí)現(xiàn)本文列出的眾多功能。

大多數(shù)都可以通過(guò)集成于專用芯片的全局傳感器融合工藝實(shí)現(xiàn)，例如HoloLens的HPU（Holographic Processing Unit；全息處理單元）。

4.1 穿戴舒適度和視覺(jué)舒適度

對(duì)任何一款MR頭顯架構(gòu)而言，穿戴舒適度和視覺(jué)舒適度都是實(shí)現(xiàn)主流普及的重要基礎(chǔ)。

穿戴舒適度包括：

無(wú)線束縛的頭顯，可實(shí)現(xiàn)最佳移動(dòng)性（5G或WiGig帶來(lái)的未來(lái)無(wú)線連接將能顯著減少板載計(jì)算和渲染負(fù)載）。

體積小，重量輕。

整個(gè)頭顯的熱管理（被動(dòng)或主動(dòng)）。

壓力點(diǎn)的皮膚接觸管理。

用于控制汗水和熱量的透氣面料。

頭顯重心更接近頭部中心。

視覺(jué)舒適度包括：

大視窗，可實(shí)現(xiàn)廣泛的IPD覆蓋。對(duì)于消費(fèi)者而言，光學(xué)器件可能會(huì)提供不同的SKU。但對(duì)于企業(yè)而言，由于頭顯支持實(shí)現(xiàn)員工共享，所以產(chǎn)品需要適配廣泛的IPD范圍。

角分辨率接近20/20視敏度（注視點(diǎn)區(qū)域至少為每度45像素），而外圍視場(chǎng)區(qū)域則可適當(dāng)降低每度像素?cái)?shù)。

零紗窗效應(yīng)（高像素填充系數(shù)和高PPD），沒(méi)有Mira偽影。

通過(guò)高亮度和高對(duì)比度實(shí)現(xiàn)HDR（MEMS掃描儀和OLED/iLED等發(fā)光顯示器 vs LCOS和LCD等非發(fā)光顯示器）。

偽影最小化（《1％）。

不受限的200度以上透視外圍視場(chǎng)（支持戶外用例，這對(duì)國(guó)防和土木工程特別有用）。

主動(dòng)調(diào)光（均勻快門或柔和邊緣調(diào)光）。

基于精確/通用眼動(dòng)追蹤的視覺(jué)舒適度功能包括：

通過(guò)利用差分眼動(dòng)追蹤數(shù)據(jù)進(jìn)行的聚散追蹤，可以緩解位于注視點(diǎn)圓錐體中的近距離對(duì)象的視覺(jué)輻輳調(diào)節(jié)沖突（因?yàn)橐曈X(jué)調(diào)節(jié)是視覺(jué)輻輳的觸發(fā)器）。

適用于大視場(chǎng)光學(xué)器件的有源瞳孔游離校正。

用于增加全息圖不透明度（更真實(shí)）的有源像素遮擋（硬邊緣遮擋）。

額外的視覺(jué)舒適度和視覺(jué)增強(qiáng)功能包括：

具有球面和像散屈光度的有源視力障礙矯正。

如果視覺(jué)輻輳調(diào)節(jié)沖突緩解架構(gòu)不產(chǎn)生光學(xué)模糊，則渲染模糊將添加到3D提示并改善3D視覺(jué)體驗(yàn)（例如色度模糊）。

顯示器關(guān)閉時(shí)的超級(jí)視覺(jué)功能，如放大鏡或雙目望遠(yuǎn)鏡視覺(jué)功能。

4.2 顯示沉浸感

沉浸感是實(shí)現(xiàn)終極MR體驗(yàn)的另一個(gè)關(guān)鍵因素，而且它不僅僅只是基于視場(chǎng)：視場(chǎng)是2D角度概念，沉浸感視場(chǎng)是3D概念，包括與用戶眼睛的Z距離和支持臂展顯示交互）。

用戶沉浸式體驗(yàn)包含眾多方面：

廣角視場(chǎng)，包括每度像素?cái)?shù)較少，色深較低的外圍顯示區(qū)域。

固定注視點(diǎn)渲染和動(dòng)態(tài)注視點(diǎn)渲染。

通過(guò)深度圖掃描儀實(shí)現(xiàn)的世界鎖定全息圖和全息圖遮擋。

世界鎖定的空間音頻。

通過(guò)專用傳感器進(jìn)行精確的手勢(shì)感應(yīng)。

觸覺(jué)

圖4總結(jié)了在沉浸式體驗(yàn)和穿戴舒適度/視覺(jué)舒適度融合的前提下，能夠令分析師對(duì)VR/AR/MR/智能眼鏡市場(chǎng)感到樂(lè)觀的主要要求。

圖4：終極MR體驗(yàn)的舒適度和沉浸感要求

圖4中的深灰色項(xiàng)是下一代MR頭顯的關(guān)鍵光學(xué)技術(shù)：快速，精確和通用的眼動(dòng)/瞳孔/注視點(diǎn)追蹤器。

4.3 臨場(chǎng)感

我們認(rèn)為沉浸感是一種多感官幻覺(jué)（顯示器，音頻，觸碰等）。MR的臨場(chǎng)感是一種意識(shí)狀態(tài)，亦即頭顯佩戴者真正相信自己置身于不同的環(huán)境之中。沉浸感能夠產(chǎn)生臨場(chǎng)感。

但為了實(shí)現(xiàn)栩栩如生的臨場(chǎng)感，我們需要解決頭顯面臨的各種關(guān)鍵挑戰(zhàn)，不僅僅只是顯示器（刷新率，視場(chǎng)，角度分辨率，視覺(jué)輻輳調(diào)節(jié)沖突，邊緣遮擋和HDR等等等），同時(shí)包括各種傳感器（六自由度頭部追蹤器，深度映射傳感器，空間映射傳感器，眼動(dòng)/瞳孔/注視點(diǎn)追蹤器，手勢(shì)傳感器等等等）。MR的目標(biāo)是創(chuàng)造高度臨場(chǎng)感，令用戶確信自己正置身于另一個(gè)（虛擬）環(huán)境之中。

5. 人類因素

為了設(shè)計(jì)一種能夠?qū)崿F(xiàn)上節(jié)所述的終極MR舒適度和沉浸感體驗(yàn)的顯示架構(gòu)，我們需要將光學(xué)設(shè)計(jì)視為以人為中心的任務(wù)。本節(jié)主要分析了人類視覺(jué)系統(tǒng)的特定細(xì)節(jié)，以及如何利用它來(lái)減少光學(xué)硬件和軟件架構(gòu)的復(fù)雜性，同時(shí)又不以任何方式降低用戶的沉浸感和舒適度。

5.1 人類視覺(jué)系統(tǒng)

由于高視錐密度，僅覆蓋2-3度，并且偏離視線約5度，中心凹的分辨力最大。中心凹是早期視覺(jué)體驗(yàn)的結(jié)果，并且從小就成長(zhǎng)為一個(gè)獨(dú)特的區(qū)域。

視距和光軸

人類視力情況是基于視網(wǎng)膜的視錐和視桿密度，如圖5所示。光軸略微偏離視距5度左右（靠近視軸），并且與視網(wǎng)膜中心凹的位置重合。盲點(diǎn)（視神經(jīng)所在位置）偏離中心凹中心約18度。

圖5：左邊是視錐和視桿細(xì)胞密度，右邊是光軸和視距

需要注意的是，中心凹在早年會(huì)根據(jù)特定的人類視覺(jué)行為而緩慢生長(zhǎng)，與我們出生時(shí)視覺(jué)系統(tǒng)特征不同。所以，由于與人類數(shù)千年來(lái)的進(jìn)化完全不同的新穎視覺(jué)行為，中心凹的位置可能會(huì)漂移到視網(wǎng)膜的新位置，例如幼兒近距離握持小型數(shù)字顯示器。另一個(gè)重大的變化是由相同原因引起的兒童早期近視。

橫向色差（Lateral Chromatic Aberrations或LCA）

色差因?yàn)榉颇鶢枅A環(huán)，光柵或傳統(tǒng)反射性透鏡的顏色分離所致，橫向色差中的“橫向”包含“橫向”和“縱向”，其中不同的顏色聚焦在不同的深度，具體取決于透鏡的Abbe V值。反射光學(xué)器件不產(chǎn)生LCA，所以在AR顯示領(lǐng)域得到了廣泛的應(yīng)用。

LCA一般是通過(guò)軟件進(jìn)行校正，方法是在場(chǎng)序模式下預(yù)先補(bǔ)償每個(gè)彩色幀，或者在RGB顯示面板中預(yù)先補(bǔ)償整個(gè)彩色圖像（等效于三個(gè)失真圖補(bǔ)償，每種顏色一個(gè)）。但是，這可能會(huì)導(dǎo)致顯示偽影，如顏色混疊，并且需要高角度分辨率才能達(dá)到合理效果。光學(xué)色散補(bǔ)償是一種更優(yōu)的方法，但需要更復(fù)雜的光學(xué)器件（混合折射衍射）或?qū)ΨQ耦合結(jié)構(gòu)（可見(jiàn)于使用光柵或全息耦合器的波導(dǎo)組合器），或者用反射光學(xué)器件代替折射光學(xué)器件。

一種重要的偵測(cè)器是人眼，所以分析人眼的自然LCA擴(kuò)散同樣非常有趣，而結(jié)果是出奇的強(qiáng)。圖6是測(cè)量的人眼LCA（左邊為過(guò)去50年的測(cè)量總和），其在可見(jiàn)光譜產(chǎn)生了2個(gè)屈光度；圖6同時(shí)說(shuō)明了彩色圖像在視網(wǎng)膜，軸上和軸外的顯示方式（中間）。右邊是視覺(jué)皮層處理后的用戶“所見(jiàn)”。

圖6：人眼的自然LCA

人眼的自然LCA同時(shí)是數(shù)字渲染3D深度線索（稱為“Chromablur/色彩模糊度”）的基礎(chǔ)。取決于它們出現(xiàn)在白色對(duì)象的哪一側(cè)，藍(lán)色和紅色模糊（光學(xué)或渲染模糊）可以分辨遠(yuǎn)焦與近焦，從而為動(dòng)眼肌提供視覺(jué)調(diào)節(jié)變化的信息，從而重新聚焦圖像（即圖像的綠色部分聚焦在視網(wǎng)膜上）。

不同人之間的LCA略有不同：所以，用外部光學(xué)器件來(lái)增加或減少光譜擴(kuò)散來(lái)稍微改變自然LCA不會(huì)顯著影響視力。但如果視場(chǎng)一部分具有特定的LCA（AR中的透視），而另一部分具有不同的LCA（AR中的數(shù)字圖像），則這可能會(huì)導(dǎo)致視覺(jué)不適。

中心凹及外圍區(qū)域的視敏度

測(cè)量的人眼多色MTF（Modulation Transfer Function；調(diào)制傳遞函數(shù)）請(qǐng)參見(jiàn)圖7。所述MTF主要表示軸上視場(chǎng)的明視覺(jué)，其接近以中心凹為中心的視距區(qū)域（偏移約3到5度）。

圖7：不同瞳孔直徑的人眼多色調(diào)制傳遞函數(shù)

我們將眼睛分辨細(xì)小特征的能力稱為“視敏度”。青壯年可以分辨出黑白線條交替的圖案，小至一弧分（每度30個(gè)周期或60 PPD）。這同時(shí)是20/20視覺(jué)的定義。少數(shù)人能夠區(qū)分較小的圖案（具有較高的MTF），但我們大多數(shù)人會(huì)將其視為灰色陰影（MTF較低，低于0.1）。

對(duì)于所有瞳孔大小，MTF為20/20的明視覺(jué)高于30％，只有超過(guò)5mm的暗視覺(jué)才會(huì)令MTF降到較低水平。

請(qǐng)注意，MTF50（低頻時(shí)為MTF的50％）或MTF50P（峰值時(shí)為MTF的50％）是出色的指標(biāo)，但主要用于相機(jī)。人眼，尤其是不斷移動(dòng)的人眼，其依然可以在30％MTF的水平下很好地分辨出特征。與相機(jī)不同的是，眼睛的MTF會(huì)在低頻下降（主要是這樣的低頻缺乏運(yùn)動(dòng)）。

由于人眼的高像差影響，瞳孔尺寸越大，則產(chǎn)生的MTF越低，這與受衍射限制的高端相機(jī)不同（MTF會(huì)隨著光圈增加）。有趣的是，當(dāng)瞳孔增加明視覺(jué)時(shí)，較高的空間頻率實(shí)際上是可以區(qū)分，從而能夠在較暗的視場(chǎng)中實(shí)現(xiàn)超過(guò)20/20的視力。

這表示，人類視覺(jué)系統(tǒng)不能像相機(jī)那樣簡(jiǎn)單局限于純光學(xué)特性，而是將其作為計(jì)算成像系統(tǒng)（其中CPU當(dāng)成視覺(jué)皮層）。上一節(jié)中討論的LCA就是證明。

人類視場(chǎng)的細(xì)節(jié)

圖9說(shuō)明了人類雙目視覺(jué)系統(tǒng)的不同角度區(qū)域的水平延伸。盡管整體視場(chǎng)水平跨度超過(guò)220度，但在大多數(shù)情況下，雙目范圍僅跨120度（取決于鼻子的幾何形狀）。然而，立體視覺(jué)（提供3D深度線索的左右單目視覺(jué)融合）受到限制（+/-40度）。

圖8：人類視場(chǎng)（水平和垂直）

圖9：具有固定注視點(diǎn)區(qū)域的人類雙目視場(chǎng)，包括不受約束的眼球運(yùn)動(dòng)，可以支持持續(xù)注視和視覺(jué)調(diào)節(jié)

垂直視場(chǎng)的大小與水平視場(chǎng)相似，并且向下偏離標(biāo)準(zhǔn)視距大約15度。

人眼視場(chǎng)是一個(gè)動(dòng)態(tài)概念，最好的描述是受約束和不受約束的眼睛運(yùn)動(dòng)范圍時(shí)（不受約束：不會(huì)產(chǎn)生眼睛疲勞并允許穩(wěn)定注視和隨后的視覺(jué)調(diào)節(jié)反射）。盡管機(jī)械式眼球運(yùn)動(dòng)范圍可能很大（+/- 40度），但可以在不引起頭部旋轉(zhuǎn)反射的情況下進(jìn)行不受約束的眼部運(yùn)動(dòng)要小得多，并且只覆蓋大約+/- 20度視場(chǎng)。這反過(guò)來(lái)定義了靜態(tài)注視點(diǎn)區(qū)域，視場(chǎng)為40到45度。圖9是雙目視場(chǎng)，即左右視場(chǎng)的重疊。

圖10：對(duì)于當(dāng)前最先進(jìn)技術(shù)的智能眼鏡，AR，MR和VR頭顯，其視場(chǎng)一般覆蓋于雙目視覺(jué)和固定注視點(diǎn)顯示區(qū)域。

雙目視場(chǎng)是一個(gè)相當(dāng)大的區(qū)域，水平對(duì)稱，垂直非對(duì)稱，在上+55度和下-30度的范圍內(nèi)，跨度為+/- 60度，而中下區(qū)域同樣達(dá)到-60度，但位于35度全角的較小水平跨度。白色圓圈是固定注視點(diǎn)區(qū)域，這同時(shí)定義了當(dāng)今大多數(shù)高端AR/MR設(shè)備的對(duì)角視場(chǎng)狀態(tài)（提供了100％的立體視場(chǎng)重疊）。 另外，對(duì)于給定的注視角度，顏色識(shí)別跨越+/- 60度視場(chǎng)，形狀識(shí)別跨越+/- 30度視場(chǎng)，文本識(shí)別跨越+/- 10度視場(chǎng)。

5.2 顯示硬件適配人眼視覺(jué)系統(tǒng)

圖11是各種頭顯的視場(chǎng)。標(biāo)準(zhǔn)VR頭顯（Oculus CV1，HTC Vive，PSVR，WMR）的視場(chǎng)都圍繞著110度對(duì)角線，其他（小派和StarVR）則能擴(kuò)展至200度視場(chǎng)。大手機(jī)面板顯示器和自由空間組合器（Meta2，DreamGlass，Mira AR和Leap Motion）可以實(shí)現(xiàn)高達(dá)90度的大視場(chǎng)，而高端AR/MR系統(tǒng)則采用微型顯示屏，如微軟HoloLens V1和Magic Leap One。智能眼鏡的視場(chǎng)通常是10到15度（蔡司“Tooz”智能眼鏡，谷歌眼鏡，North Focals），25度和最高50度（Vuzix Blade，Digilens，Optinvent ORA，Lumus DK50，ODG R9）。

圖11：VR，智能眼鏡和AR頭顯的顯示視場(chǎng)和透視視場(chǎng)。

對(duì)于VR系統(tǒng)，由于沒(méi)有透視，所以顯示的視場(chǎng)可以相當(dāng)大，從110到150到最大的200+視場(chǎng)（小派或StarVR）。對(duì)于智能眼鏡，受側(cè)向顯示臂的阻礙，其偏心顯示視場(chǎng)為15度。對(duì)于Magic Leap One，由于眼鏡圓形機(jī)械外殼而造成的隧穿效應(yīng)將透視視場(chǎng)大大降低，減少到大約70度的圓錐形，而顯示器的視場(chǎng)為50度。對(duì)于Hololens V2，橫向透視（或透視）視場(chǎng)等于220度的自然人類視場(chǎng)，而對(duì)角線視場(chǎng)則為52度，覆蓋大部分中心凹區(qū)域，上方視場(chǎng)被用于固定傳感器條，激光/MEMS顯示引擎和系統(tǒng)板的機(jī)械外殼所覆蓋，下上視場(chǎng)沒(méi)有限制。 HoloLens V2的另一個(gè)特殊之處是，你能夠向上翻轉(zhuǎn)顯示面罩并顯示完全無(wú)遮擋的視圖。為優(yōu)化頭顯光學(xué)架構(gòu)以實(shí)現(xiàn)大視場(chǎng)，我們必須考慮圖9所描述的各視場(chǎng)區(qū)域，從而避免國(guó)過(guò)度設(shè)計(jì)系統(tǒng)。通過(guò)在光學(xué)設(shè)計(jì)過(guò)程中實(shí)現(xiàn)“以人為中心的優(yōu)化”，我們可以在分辨率，MTF，像素密度，色深和對(duì)比度方面實(shí)現(xiàn)與人類視覺(jué)系統(tǒng)非常匹配的系統(tǒng)。

5.3 感知分辨率和視場(chǎng)

AR/VR系統(tǒng)的要旨是人眼視覺(jué)系統(tǒng)的感知視場(chǎng)和感知分辨率：其中分辨率是感知規(guī)格（主觀）而非科學(xué)測(cè)量的規(guī)格（客觀）。

例如，在不增加GPU渲染負(fù)擔(dān)的情況下提升感知分辨率的一種方法是，簡(jiǎn)單地復(fù)制物理面板的像素。最新版本的三星WMR（2018版）就采用了這種方法，其中顯示管道以616ppi的速度渲染和驅(qū)動(dòng)顯示器，而最終的物理顯示達(dá)到1233ppi。事實(shí)證明，這樣做可以減少紗窗效應(yīng)并提高用戶的感知分辨率。

感知的視場(chǎng)跨度同樣可能是主觀感受，尤其是對(duì)于AR系統(tǒng)而言。顯示器的質(zhì)量（高M(jìn)TF，高分辨率，沒(méi)有紗窗效應(yīng)和Mura效果，減少的鋸齒和運(yùn)動(dòng)模糊）有助于令人認(rèn)為感知視場(chǎng)大于類似的顯示架構(gòu)。用戶對(duì)視場(chǎng)的感知是自然透視視場(chǎng)與虛擬圖像質(zhì)量的結(jié)合。

6. 總結(jié)

這篇本文是對(duì)EDO19會(huì)議“數(shù)字光學(xué)技術(shù)”的介紹（這個(gè)大會(huì)專門針對(duì)AR/VR和MR系統(tǒng)的數(shù)字光學(xué)，包括顯示，成像和傳感器）。我們介紹了AR/VR/MR光學(xué)領(lǐng)域，并回顧了AR/VR/MR光學(xué)設(shè)計(jì)的最重要標(biāo)準(zhǔn)：將光學(xué)性能與人類視覺(jué)系統(tǒng)相匹配。我們可以通過(guò)本次大會(huì)講解的所有數(shù)字光學(xué)元件來(lái)做到這一點(diǎn)：自由空間光學(xué)元件，波導(dǎo)光學(xué)元件（波導(dǎo)組合器），衍射，全息和超表面光學(xué)元件，可調(diào)，可切換和可重新配置的光學(xué)元件，以及用于顯示和成像的新穎計(jì)算技術(shù)。