虛擬現(xiàn)實(shí)(Virtual Reality,VR)、增強(qiáng)現(xiàn)實(shí)(Augmented Reality,AR)等業(yè)務(wù)以其三維化、自然交互、空間計(jì)算等完全不同于當(dāng)前移動(dòng)互聯(lián)網(wǎng)的特性,被認(rèn)為將是下一代通用計(jì)算平臺(tái)。自2012年谷歌發(fā)布AR眼鏡Google Glass, 2014年Facebook收購(gòu)VR頭顯廠商Oculus以來(lái),VR/AR行業(yè)歷經(jīng)了2015年至2017年的創(chuàng)業(yè)和資本的狂熱,2018年的行業(yè)退潮。隨著2019年底全球5G正式展開(kāi)部署,VR/AR作為5G核心的商業(yè)場(chǎng)景重新被認(rèn)識(shí)和重視,行業(yè)重回升勢(shì)。
2020年雖然受疫情的影響,全球各地生產(chǎn)生活都受到了不同程度的沖擊,然而 VR/AR 行業(yè)因禍得福,因疫情造成的社交隔離激發(fā)了 VR 游戲、虛擬會(huì)議、AR 測(cè)溫等需求爆發(fā)。Steam 平臺(tái) VR 活躍用戶(hù)翻倍增長(zhǎng),虛擬會(huì)議,云端展覽案例層出不窮,當(dāng)前 VR/AR/MR/XR 各種 *R 概念紛飛,讓人眼花繚亂。本期希望能先辨析清楚這幾個(gè)概念,后續(xù)將進(jìn)一步分析當(dāng)前的 XR 核心技術(shù),梳理當(dāng)前應(yīng)用場(chǎng)景和產(chǎn)業(yè)情況,以及展望未來(lái)發(fā)展。
1
虛擬現(xiàn)實(shí)(Virtual Reality,VR)
概念:VR 是已包裝好的視覺(jué)、音頻場(chǎng)景數(shù)字內(nèi)容的渲染版本。渲染旨在模擬觀察者或用戶(hù)在應(yīng)用程序定義的范圍內(nèi)移動(dòng)時(shí)盡可能自然地模擬現(xiàn)實(shí)世界中的視覺(jué)和音頻感官刺激。VR 通常(但非必須)要求用戶(hù)佩戴頭部顯示器,以模擬的視覺(jué)組件完全取代用戶(hù)的視野,并佩戴耳機(jī),以向用戶(hù)提供配套的音頻。通常還需要在 VR 中對(duì)用戶(hù)進(jìn)行某種形式的頭部和動(dòng)作跟蹤,以便更新模擬的視覺(jué)和音頻組件,以確保從用戶(hù)的角度來(lái)看,圖像和聲源與用戶(hù)的動(dòng)作保持一致。還可以提供與虛擬現(xiàn)實(shí)仿真進(jìn)行交互的其他手段,但非必須 [1]。
發(fā)展歷程:虛擬現(xiàn)實(shí)VR為夢(mèng)想而生,讓夢(mèng)成 “真”。1935 年小說(shuō)家 Stanley Weinbaum 在小說(shuō)中描述了一款VR眼鏡,以眼鏡為基礎(chǔ),包括視覺(jué),嗅覺(jué),觸覺(jué)等全方位沉浸式體驗(yàn)的虛擬現(xiàn)實(shí)概念,該小說(shuō)被認(rèn)為是世界上率先提出虛擬現(xiàn)實(shí)概念的作品。有了方向,接下來(lái)就是追夢(mèng)者的舞臺(tái),1957年,電影攝影師Morton Heiling發(fā)明了名為Sensorama的仿真模擬器,是通過(guò)三面顯示屏來(lái)形成空間感,無(wú)比巨大,用戶(hù)需要坐在椅子上將頭探進(jìn)設(shè)備內(nèi)部,才能體驗(yàn)到沉浸感,如圖1-1左側(cè)。
1968 年美國(guó)計(jì)算機(jī)圖形學(xué)之父、圖靈獎(jiǎng)獲得者 Ivan Sutherland 開(kāi)發(fā)了第一個(gè)計(jì)算機(jī)圖形驅(qū)動(dòng)的頭盔顯示器 The Sword of Damocles(達(dá)摩克利斯之劍),如圖 1-1 右側(cè),它同時(shí)也是增強(qiáng)現(xiàn)實(shí)的雛形。VR 向用戶(hù)呈現(xiàn)的是和現(xiàn)實(shí)環(huán)境阻隔的純虛擬環(huán)境,通常以頭部顯示器的方式,沉浸感優(yōu)越,因而主要作為娛樂(lè)和社交工具進(jìn)入大眾視野,消費(fèi)級(jí)產(chǎn)品層出不窮,當(dāng)前整個(gè)產(chǎn)業(yè)已經(jīng)趨于成熟。
比較典型的 VR 頭顯有如下幾類(lèi):
手機(jī)盒子:這類(lèi)頭顯的顯示效果的好壞,完全取決于眼鏡里插入的手機(jī)的屏幕分辨率、處理器速度、傳感器精度。Google的 Cardboard和三星的Gear VR就屬于此類(lèi),市面價(jià)格最低。
PC/PS4 主機(jī)頭顯:為了達(dá)到極優(yōu)秀的顯示效果,它們需要連接 PC(Sony的PSVR是連接PS4),使用PC的CPU和顯卡來(lái)進(jìn)行運(yùn)算。見(jiàn)示意圖會(huì)有很多連線,觀影效果好但是移動(dòng)便捷性差。比較典型有 HTC VIVO PRO EYE,還有SONY的 PlayStation?VR。
一體機(jī)頭顯:一體機(jī)使用移動(dòng)芯片(如高通驍龍系列)來(lái)進(jìn)行圖像和定位計(jì)算。脫離了 PC/PS4 或者手機(jī)等外部設(shè)備的連線束縛,即開(kāi)即用,非常方便。當(dāng)前比較典型的有 Oculus quest,Pico 的 Neo CV。當(dāng)前一體機(jī)已經(jīng)漸漸成為主流。
VR Glass:當(dāng)前最輕便的 VR 頭顯,類(lèi)似主機(jī)頭顯,需要連接手機(jī),用手機(jī)芯片來(lái)處理數(shù)據(jù)。比較典型的是華為的 VR 眼鏡,眼鏡重量 200g, 極為輕便。
VR 的阻斷隔離式的沉浸感是優(yōu)點(diǎn)也是缺點(diǎn),但是因?yàn)楹同F(xiàn)實(shí)的脫節(jié),導(dǎo)致其實(shí)用性不足,因此分化出第二條發(fā)展路線 AR。
2
增強(qiáng)現(xiàn)實(shí)(Augmented Reality,AR)
概念:AR 是指向用戶(hù)提供其他信息或人工生成的對(duì)象或內(nèi)容覆蓋其當(dāng)前環(huán)境的圖像。此類(lèi)附加信息或內(nèi)容通常是視覺(jué)或聽(tīng)覺(jué)的,并且對(duì)當(dāng)前環(huán)境的觀察可以是直接的,沒(méi)有中間轉(zhuǎn)換,處理和渲染,或者是間接的,因?yàn)樗鼈儗?duì)環(huán)境的感知是通過(guò)傳感器進(jìn)行中繼的,并且可以得到增強(qiáng)或處理 [1]。人物的第一視角看到的環(huán)境仍為現(xiàn)實(shí)場(chǎng)景,通過(guò)技術(shù)手段(顯示器、眼鏡等)在人眼所見(jiàn)的現(xiàn)實(shí)場(chǎng)景中融入虛擬內(nèi)容,虛擬內(nèi)容不基于對(duì)現(xiàn)實(shí)環(huán)境的實(shí)時(shí)理解,只是相對(duì)簡(jiǎn)單的拼湊在一起。
發(fā)展歷程:增強(qiáng)現(xiàn)實(shí)AR是為實(shí)用性而生。時(shí)間軸如下圖所示。
圖 1-3. AR 發(fā)展歷程
AR 的發(fā)展一波三折,從最初的原型開(kāi)始 AR 就采用先進(jìn)的光學(xué)透視式的顯示的方式,但是進(jìn)展并不順利,沉寂多年。AR 概念是在 1990 年由波音公司的研究員 Tom Caudell 提出的,隨后在 ToB 專(zhuān)業(yè)領(lǐng)域嶄露頭角,比如美國(guó)空軍研發(fā)的虛擬幫助系統(tǒng),哥倫比亞大學(xué)的 KARMA 修理幫助系統(tǒng)等。而增強(qiáng)現(xiàn)實(shí)走進(jìn)大眾視野是通過(guò)平面顯示器(電腦、電視、手機(jī))將現(xiàn)實(shí)圖像和虛擬物品疊加顯示的方式達(dá)成的,1998 年 AR 第一次用于直播展示橄欖球比賽進(jìn)攻黃線,而帶來(lái)革命的是第一個(gè)增強(qiáng)現(xiàn)實(shí) SDK ARToolkit,作為第一個(gè) AR 開(kāi)源框架被發(fā)布,使 AR 技術(shù)走出專(zhuān)業(yè)的研究機(jī)構(gòu)之中,許多普通程序員也都可以利用它開(kāi)發(fā)自己的 AR 應(yīng)用?,F(xiàn)在有多個(gè) AR 引擎,支持手機(jī)應(yīng)用的開(kāi)發(fā),使 AR 進(jìn)入到我們的日常生活,但是通過(guò)平面顯示器的展現(xiàn)方式沉浸感較低。
所以人們并沒(méi)有放棄沉浸感更高的穿戴設(shè)備的 AR 實(shí)現(xiàn),Google 在 2012 年 6 月推出 Google Glass,但是效果不盡如人意,未能成為精品,時(shí)至今日雖有消費(fèi)級(jí) AR 眼鏡的出現(xiàn),但是成熟度不高,近兩年極有可能會(huì)有突破。
3
混合現(xiàn)實(shí)(Mixed Reality,MR)
概念:MR 是 AR 的一種高級(jí)形式,虛擬元素被融入到物理場(chǎng)景中,目的是提供一種虛擬和現(xiàn)實(shí)結(jié)合的場(chǎng)景,即這些元素是真實(shí)場(chǎng)景的一部分 [1]。在 MR 場(chǎng)景下,大部分虛擬內(nèi)容基于現(xiàn)實(shí)理解而產(chǎn)生,因此比純虛擬化的場(chǎng)景更具有體驗(yàn)上的真實(shí)感。
發(fā)展歷程:混合現(xiàn)實(shí) MR 是將夢(mèng)境和現(xiàn)實(shí)融合?;旌犀F(xiàn)實(shí)出現(xiàn)時(shí)間比 VR 和 AR 晚,理解存在爭(zhēng)議,尤其是同 AR 的邊界較難劃分。早在 1994 年,Paul Milgram 和 Fumio Kishino 在論文中提出了混合現(xiàn)實(shí)的定義,并利用虛擬連續(xù)體(Virtuality Continuum)坐標(biāo)的形式闡述了三者關(guān)系。最初的概念見(jiàn)圖 1-5,左側(cè)可理解為人裸眼所見(jiàn)的真實(shí)物理世界,隨著坐標(biāo)軸向右,對(duì)現(xiàn)實(shí)世界的虛擬化(或稱(chēng)數(shù)字化)程度逐漸增大,AR 階段所見(jiàn)的視覺(jué)信息仍是現(xiàn)實(shí)環(huán)境為主,到最右側(cè)就是與現(xiàn)實(shí)脫鉤,處在完全虛擬化的環(huán)境中就是 VR。而從真實(shí)世界向完全虛擬化環(huán)境 VR 的轉(zhuǎn)變過(guò)程,統(tǒng)稱(chēng)為 MR,即現(xiàn)實(shí)與虛擬的融合過(guò)程。(論文中提到了增強(qiáng)虛擬的概念,目前大眾接受度不高,沒(méi)有形成單獨(dú)的產(chǎn)品。)
圖 1-5. 現(xiàn)實(shí)與虛擬的坐標(biāo)對(duì)比[2]
根據(jù)這個(gè)定義,MR 最初是一個(gè)過(guò)程的概念,并非特定技術(shù)棧,而在此過(guò)程中,按照人眼所見(jiàn)現(xiàn)實(shí)與虛擬的結(jié)合程度,出現(xiàn)了 VR/AR 這樣不同體驗(yàn)的產(chǎn)品類(lèi)別。但是,隨著產(chǎn)業(yè)的發(fā)展,以微軟為代表的一些廠商把 MR 定義成 VR/AR 的融合技術(shù),提供將現(xiàn)實(shí)場(chǎng)景虛擬化的體驗(yàn),此時(shí),人眼所見(jiàn)的虛擬場(chǎng)景是基于現(xiàn)實(shí)數(shù)字化得來(lái)的。
微軟是這樣區(qū)分三者的關(guān)系的:在物理世界的視頻流中疊加圖形的體驗(yàn)是“增強(qiáng)現(xiàn)實(shí)”。遮擋視線以呈現(xiàn)數(shù)字圖像的體驗(yàn)是“虛擬現(xiàn)實(shí)”。在增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)之間實(shí)現(xiàn)的體驗(yàn)形成了“混合現(xiàn)實(shí)”。
圖 1-6. 微軟對(duì) VR、AR、MR 的劃分
相比 AR 主要是實(shí)現(xiàn)虛擬的對(duì)象直接顯示在現(xiàn)實(shí)世界的圖像上,而 MR 是讓虛擬物品不僅僅是作為圖像出現(xiàn)在現(xiàn)實(shí)世界,而是 “以更逼真的存在的方式” 融入現(xiàn)實(shí)世界,或者反過(guò)來(lái)讓現(xiàn)實(shí)空間的對(duì)象,融入到虛擬空間的方式,打破兩個(gè)空間的隔離性,兩個(gè)空間的實(shí)體可以互相交互,給人一種渾然一體的體驗(yàn)。技術(shù)難度在三者中是最高的。MR 是 AR 的增強(qiáng),與其說(shuō) MR 眼鏡,不如說(shuō)有 MR 功能的 AR 眼鏡或者 VR 眼鏡更恰當(dāng)。目前主流市場(chǎng)上也僅有微軟 HoloLens 和 Magic Leap 等提供 MR 功能的產(chǎn)品,但都不太成熟。
通過(guò)下面組圖來(lái)進(jìn)一步幫大家一起區(qū)分AR和MR。首先看圖 1-8 是真實(shí)的現(xiàn)實(shí)物理的辦公室場(chǎng)景。
圖 1-9 是識(shí)別現(xiàn)實(shí)辦公室中真實(shí)存在的平面后,將虛擬對(duì)象狗、地球、顯示器、花瓶等是嵌入現(xiàn)實(shí)世界圖像的平面上。因此,展示內(nèi)容是一種典型的 AR 場(chǎng)景。
圖 1-10,調(diào)整環(huán)境,使其虛擬化,整個(gè)辦公室面目全非,但是辦公室的邊界清晰可見(jiàn),真實(shí)的人化身為一個(gè)虛擬形象,現(xiàn)實(shí)沒(méi)有建模的物品會(huì)消失如便攜電腦,此時(shí)數(shù)字化的現(xiàn)實(shí)場(chǎng)景和虛擬場(chǎng)景是互相理解,融為一體。因而,與 VR 提供的是與人眼所見(jiàn)現(xiàn)實(shí)脫鉤的另外一個(gè)完全數(shù)字化的虛擬場(chǎng)景體驗(yàn)完全不同,觀察者在此視角下走動(dòng)時(shí),可以根據(jù)眼前虛擬的現(xiàn)實(shí)場(chǎng)景,避開(kāi)現(xiàn)實(shí)中的桌子、墻面和人物。因此,在此概念中,MR 可視為 VR 和 AR 的融合技術(shù)。
4
擴(kuò)展現(xiàn)實(shí)(eXtended Reality,XR)
概念:XR 是指由計(jì)算機(jī)技術(shù)和可穿戴設(shè)備生成的所有真實(shí)和虛擬組合環(huán)境以及人機(jī)交互。代表性的形式有 AR,MR 和 VR 以及在他們之間的交叉場(chǎng)景。虛擬級(jí)別的范圍從部分感官輸入 AR 到完全沉浸式 VR。XR 的一個(gè)關(guān)鍵方面是人類(lèi)體驗(yàn)的擴(kuò)展,尤其是與存在感(以 VR 為代表)和認(rèn)知的獲得(以 AR 為代表)有關(guān) [1]。
發(fā)展歷程:由于很多時(shí)候 MR 和 AR 之間是很難有明確區(qū)分的邊界,而且三者發(fā)展互相有關(guān)聯(lián)技術(shù)有交集,因而 2016 年 11 月擴(kuò)展現(xiàn)實(shí) XR 概念被提了出來(lái),尤其高通對(duì)這個(gè)概念最為熱衷,推出了虛擬現(xiàn)實(shí) / 增強(qiáng)現(xiàn)實(shí)一體化的 XR 芯片。根據(jù)高通的定義,擴(kuò)展現(xiàn)實(shí) XR 是一個(gè)概括性術(shù)語(yǔ),囊括了增強(qiáng)現(xiàn)實(shí)(AR),虛擬現(xiàn)實(shí)(VR),混合現(xiàn)實(shí)(MR)以及介于他們之間的所有內(nèi)容。盡管 AR 和 VR 提供了迥然不同的革命性體驗(yàn),但是相同的基礎(chǔ)技術(shù)正在推動(dòng) XR 的發(fā)展。
更早的時(shí)候,XR 在視覺(jué)領(lǐng)域被提出作為擴(kuò)展人類(lèi)可見(jiàn)光譜范圍之意,如紫外線紅外線等,但是并非和虛擬現(xiàn)實(shí) / 增強(qiáng)現(xiàn)實(shí)領(lǐng)域相關(guān)的概念,在此不細(xì)述。
以上是對(duì)XR概念的介紹,后續(xù)會(huì)對(duì)XR的關(guān)鍵技術(shù)、應(yīng)用場(chǎng)景、產(chǎn)業(yè)情況以及未來(lái)趨勢(shì)繼續(xù)討論。
編輯:黃飛
?
評(píng)論
查看更多