蘋果MR專題報告：VRAR有望迎iPhone時刻，硬件頂配、生態(tài)豐富

核心觀點：

據(jù)彭博社等多家海外媒體報道，蘋果有望在今年6月6日-10日開發(fā)者大會上，推出其第一代MR頭顯產(chǎn)品 1）從硬件參數(shù)來看，均達(dá)到行業(yè)“頂配” ：包括Micro-OLED顯示屏、電腦級M2芯片、十余顆攝像頭 和傳感器等，能夠?qū)崿F(xiàn)VR/AR切換、眼動/手動追蹤功能。 2）從內(nèi)容生態(tài)來看，兼容、智能、多元是關(guān)鍵詞。1）兼容性：可與iPhone、iPad等其他蘋果設(shè)備無縫 切換；2）智能性：支持Siri語音輸入創(chuàng)建物品，極大降低UGC門檻；3）多元性：布局健康、教育、游 戲、視聽四大內(nèi)容品類。

我們此前也前瞻提出，快速發(fā)展的AI技術(shù)，有望撬動VR/AR行業(yè)奇點，我們看到：1）SAM模型助VR/AR內(nèi) 容更好生成，也革新了VR/AR的交互體驗；2）AI提升VR內(nèi)容的制作效率，提升供給。 在全球智能手機出貨量下滑背景下，手機龍頭公司蘋果的第一代MR產(chǎn)品意義非凡，頂配的硬件參數(shù)和豐 富兼容的內(nèi)容生態(tài)，足見其對VR、AR市場的重視與投入程度。 我們看好蘋果MR發(fā)布，以及AI技術(shù)的快速發(fā)展，對VR、AR行業(yè)的帶動。我們看好蘋果MR發(fā)布，以及AI技 術(shù)的快速發(fā)展，對VR、AR行業(yè)的帶動。

第一章硬件升級，行業(yè)頂配，打破VR與AR的界限

1.1、MR頭顯是一個什么樣的產(chǎn)品？

第一代頭顯自2015年左右開始研發(fā)，配備了性能可以媲美最新款Mac的先進(jìn)處理器，而且搭 載了超高分辨率屏幕。目前設(shè)備進(jìn)入量產(chǎn)準(zhǔn)備階段。第二代Apple AR/MR預(yù)計2025年上半年 出貨，零組件供應(yīng)商預(yù)計2024年下半年供貨。 庫克表示AR是一個像智能手機一樣偉大的想法，蘋果希望AR眼鏡能在10年后取代iPhone， 那么可以預(yù)計它未來的總銷量將會達(dá)到數(shù)十億臺。

蘋果AR/VR團(tuán)隊已搭建多年，具有強大的研發(fā)設(shè)計能力。蘋果AR/VR團(tuán)隊已搭建多年，匯聚群英，團(tuán)隊規(guī)模和研發(fā)能力均為行業(yè)領(lǐng)先。2015年，蘋果 的AR/VR項目成立，團(tuán)隊負(fù)責(zé)人是前杜比執(zhí)行副總裁Mike Rockwell，目前蘋果AR/VR技術(shù)團(tuán) 隊人數(shù)約為2000人，該團(tuán)隊不僅有來自NASA和來自游戲、圖形和音頻行業(yè)的關(guān)鍵員工，還有 iPhone、iPad和 Mac的前硬件和軟件工程師。蘋果為AR/VR（HMD 頭戴式顯示設(shè)備）積累了大量相關(guān)專利。蘋果自從2014年開始，即為AR/VR（HMD 頭戴式顯示設(shè)備）積累了大量專利。其中包括顯示 類、掃描類、手部識別、眼球追蹤、音頻、導(dǎo)航、監(jiān)測、AI算法、操控、識別等多方面技術(shù)。

硬件方面均為高規(guī)格。第一代MR頭顯“Reality Pro”硬件方面均為高規(guī)格。據(jù)The Information、VR陀螺，蘋果MR頭顯屏 幕為兩塊1.4英寸、4K級高分辨率的 Micro-OLED 屏幕，供應(yīng)方為索尼；芯片搭載了基于蘋果M2打 造的2枚處理器芯片，采用5nm工藝打造，已被應(yīng)用于 MacBook Pro 等產(chǎn)品；光學(xué)方案采用了 Pancake折疊光路，F(xiàn)ov達(dá)120°；攝像頭和傳感器方面，蘋果MR頭顯配備了十余顆攝像頭和傳感 器，其中每只眼睛各一顆，以實現(xiàn)眼動追蹤和注視點渲染功能還搭載了如今應(yīng)用于iPhone和iPad設(shè) 備的LiDAR傳感器，以實現(xiàn)SLAM等功能。

1.2、芯片方案：蘋果單獨為MR設(shè)備開發(fā)定制多顆芯片

蘋果會為新類別終端設(shè)備單獨開發(fā)定制芯片，如智能手機的A系列芯片，智能手表的W系列芯 片，Airpods的H系列芯片以及PC的M系列芯片。 由于MR設(shè)備對算力的需求較大，蘋果將單獨為MR開發(fā)定制芯片，預(yù)計可能是M2的改款。另 外蘋果為MR設(shè)備單獨設(shè)計了代號為 Bora 的圖像處理芯片和代號為 Golay 的無線芯片，用于 驅(qū)動內(nèi)部顯示屏和設(shè)備與基站間的數(shù)據(jù)傳輸。

1.3、顯示方案：硅基微顯示方案有望逐步得到廣泛應(yīng)用

硅基微顯示器更加符合XR領(lǐng)域需求，大幅改善顯示體驗，有望逐步得到廣泛應(yīng)用。在XR領(lǐng)域，用 戶希望擁有尺寸更小、 清晰度更高、刷新速度更快、功耗更低的設(shè)備來實現(xiàn)海量信息的傳達(dá)，得 到身臨其境的體驗。傳統(tǒng)顯示器通常是基于非晶硅、多晶硅薄膜場效應(yīng)晶體管（TFT）工藝的，像 素密度一般不高于1000 PPI。隨著CMOS工藝技術(shù)的發(fā)展，出現(xiàn)了以單晶硅為襯底的硅基微顯示 器，在單晶硅 CMOS 工藝條件下，單像素點距可達(dá)10 μm 以下，像素密度提升至5000 PPI以上 ，可以制造出尺寸更小的顯示器，制造良率也大幅提升。

Fast-LCD屏幕量產(chǎn)穩(wěn)定、性價比高，目前已成為消費級VR頭顯的主流屏幕。Fast-LCD技術(shù)使用 新的液晶材料（鐵電液晶材料）和超速驅(qū)動技術(shù)（overdrive）來有效提升刷新率，同時也具有較 高的量產(chǎn)穩(wěn)定性和良率，性價比較高，Oculus Quest 2即采用一塊改良后的 Fast-LCD 替換了上代 產(chǎn)品中的兩塊 AMOLED。 Fast-LCD刷新率、PPI、功耗表現(xiàn)未達(dá)到理想狀態(tài)，顯示技術(shù)仍需升級。目前主流VR搭載FastLCD屏幕，刷新率在90-120Hz，單眼PPI（像素密度）約1000，相比理想狀態(tài)（刷新率120- 240Hz，單眼PPI 2000-4000）仍有較大提高空間，此外由于Fast-LCD顯示需要全亮背光層，功耗 也比較大。中長期來看，F(xiàn)ast-LCD受限于工作原理，已經(jīng)較難跟上VR設(shè)備升級顯示性能的要求。

硅基液晶（LCoS）是一種新型的反射式微液晶投影技術(shù)，它采用涂有液晶硅的CMOS集成電路芯 片作為反射式LCD的基片。傳統(tǒng)的LCD是做在玻璃基板上，LCOS則是做在硅晶圓上。前者通常用 穿透式投射的方式，光利用效率只有3%左右，解析度不易提高；LCOS則采用反射式投射，光利 用效率可達(dá)40%以上，而且可隨半導(dǎo)體制程快速的微細(xì)化，逐步提高解析度。LCOS的優(yōu)勢在于結(jié) 構(gòu)緊湊、穩(wěn)定可靠、分辨率高，缺點在于對比度不足以及功耗較高。 LCoS 器件結(jié)構(gòu)：液晶器件制作于單晶硅基底上，通過反射光形成圖像。硅基底中集成 CMOS 驅(qū) 動電路，表面通過化學(xué)機械拋光（CMP）等工藝形成像素電極，在電極上制作定向?qū)樱w上覆有 ITO電極的玻璃，灌入液晶形成。

Micro OLED顯示性能有所提升，有望成為中短期內(nèi)的替代方案。不同于LCD和OLED采用的玻璃基板 ，Micro OLED是單晶硅晶圓基板，顯著降低像素尺寸，僅有前者1/10，可有效提升像素密度和角分辨 率。Micro OLED 分辨率可達(dá)3000PPI以上，響應(yīng)時間可達(dá)微秒級。 蘋果第一代MR頭顯采用索尼供應(yīng)的Micro OLED，達(dá)到極致顯示效果 。蘋果即將發(fā)布的MR將配有2塊 4K的Micro-OLED。LG Display的一位高管曾表示，硅基OLED將是未來元宇宙設(shè)備使用的主要顯示屏。

Micro LED 是高度集成的自發(fā)光器件，在CMOS 驅(qū)動芯片上集成微小尺寸的 LED 陣列，形成 Micro LED 微顯示器，每個 LED 像素點單獨尋址點亮形成圖像。Micro LED 的發(fā)光效率高、色彩豐富、器 件穩(wěn)定、響應(yīng)速度極快，能在近眼顯示領(lǐng)域得到較好應(yīng)用。 但目前Micro LED技術(shù)尚不成熟，在外延技術(shù)、封裝結(jié)構(gòu)、Wafer bonding、全彩方案、功耗等方面仍 有需解決的問題。預(yù)計Micro LED逐步成熟量產(chǎn)之后，將接力Micro OLED推動微顯示技術(shù)繼續(xù)升級。

1.4、光學(xué)方案：Pancake為頭顯繼續(xù)“瘦身”，成為VR光學(xué)技術(shù)的未來發(fā)展方向

超短焦光學(xué)為頭顯繼續(xù)“瘦身”, Pancake為最易量產(chǎn)方案。超短焦光學(xué)按照視場角的大小可劃分為自由曲面 和基于反射偏振的折疊光路技術(shù)兩種方案：自由曲面透鏡加工工藝復(fù)雜、成本更高、應(yīng)用條件更為苛刻，難 以量產(chǎn)；而折疊光路技術(shù)（Pancake lenses）量產(chǎn)潛力較大，目前是超短焦光學(xué)的主要解決方案。 Pancake目前市面上多為兩片式，其生產(chǎn)工藝要求簡單，成本可控，是目前大多數(shù)VR眼鏡所采用的短焦光學(xué) 方案。基于Pancake技術(shù)方案的VR眼鏡，圖像源發(fā)射光線進(jìn)入半反半透的鏡片之后，光線在鏡片、相位延遲 片以及反射式偏振片之間多次折返，最終從反射式偏振片射出。實現(xiàn)了將光路“折疊”，壓縮光學(xué)鏡頭與顯 示屏之間的距離，極大地縮小了產(chǎn)品體積。

光學(xué)方案：Pancake在減重、提高沉浸度方面具備巨大潛力。突破視場角和分辨率限制。菲涅爾透鏡方案，理論視場角上限為140° ，單眼分辨率上限為4K，應(yīng)用該方案的主流設(shè)備視場角平均為90- 110°，單眼分辨率已經(jīng)達(dá)上限；而Pancake方案，理論視場角上限達(dá) 220°，單眼分辨率可實現(xiàn)視網(wǎng)膜級。 提升成像效果。菲涅爾透鏡方案，邊角會有暗角、模糊和畸變 ； Pancake方案，組合透鏡提高透鏡邊緣成像質(zhì)量，降低圖像畸變，提高 成像對比度、清晰度和細(xì)膩度，并支持 0-700°屈光度調(diào)節(jié)。 繼續(xù)推動輕薄化。根據(jù)YVR，Pancake模組相對菲涅爾方案厚度可減少 一半，大幅降低頭顯重量。HTC Vive Pro 2 和 Oculus Quest 2 采用菲 涅爾透鏡方案，重量為 785/503g，厚度為 73.5/80.1mm；而Huawei VR Glass 和 Arpara VR 采用折疊光路方案，重量為 166/200g，厚度為 26.6/30.0mm。

光學(xué)方案：Pancake工藝優(yōu)化空間仍然較大，未來需進(jìn)一步開發(fā)，光路損失較高：在折疊光路設(shè)計模式下，光線需要經(jīng)過兩次半透半返膜，每次強度損失50%，因此Pancake方 案理論最高光學(xué)效率只有25%，加之反射偏振膜也會損失10%，整體光學(xué)利用率只有10-20%，因此Pancake方 案需要配有高亮度顯示屏幕，如Micro OLED、Micro LED等。 存在偽影現(xiàn)象：在雙折射效應(yīng)下，光線在透鏡中折返時容易產(chǎn)生偽影，需通過偏振膜以消除影響，而準(zhǔn)確的偏 振膜對材料、耐熱性、精密加工等的要求較高。

生產(chǎn)難度、成本高：Pancake中的核心光學(xué)膜，對材料和多片鏡片貼合工藝要求較高，全球只有3M、旭化成等 企業(yè)能夠滿足要求，且生產(chǎn)良率較低、成本高，一組透鏡（單目）的光學(xué)膜成本接近100元人民幣。 實際效果未達(dá)到理想：受透鏡直徑被壓縮等因素影響，目前分辨率和視場角表現(xiàn)還未達(dá)到理想水平?，F(xiàn)有 Pancake方案VR產(chǎn)品顯示效果隨已實現(xiàn)或超越菲涅爾透鏡產(chǎn)品，但是距離理論上限（200°）仍有較大差距。

1.5、IPD調(diào)節(jié)：根據(jù)不同使用者進(jìn)行瞳距調(diào)節(jié)，改善視覺體驗

瞳距調(diào)節(jié)：瞳距因年齡、性別、人種和體型相差巨大，自動瞳距調(diào)節(jié)可使XR頭顯擴(kuò)大使用佩戴人群。瞳距調(diào) 節(jié)的技術(shù)逐步發(fā)展，2022年，自動IPD調(diào)節(jié)眼鏡將首次進(jìn)入消費級市場，隨著蘋果眼鏡的上市，電驅(qū)IPD調(diào)節(jié) 將逐步成為未來VR行業(yè)的“標(biāo)配”。

1.6、焦距調(diào)節(jié)：通過可變焦技術(shù)，實現(xiàn)屈光調(diào)節(jié)和視力矯正

可變焦顯示：可變焦顯示可以提高觀看舒適度，具體包括機械式變焦和電子變焦（液晶透鏡技 術(shù)）等，機械式可變焦顯示原理是通過圖像處理技術(shù)，定位瞳孔位置，利用內(nèi)置算法推算人眼 的注視點，通過電機+齒輪模組推動分光鏡完成可變焦，實現(xiàn)鏡片多個自由度的切換；電子變 焦液晶透鏡應(yīng)用光學(xué)成像原理，通過改變液體鏡頭的曲率來改變焦距。 根據(jù)目前海內(nèi)外大廠的專利布局，我們認(rèn)為短期機械式變焦調(diào)節(jié)將成為主流方案。

1.7、眼動追蹤：用于視覺交互和優(yōu)化渲染，成為XR中不可或缺的功能

眼動技術(shù)：通過對眼動軌跡的記錄從中提取諸如注視點、注視時間和次數(shù)、眼跳距離、瞳孔大 小等數(shù)據(jù), 在XR設(shè)備中主要用于視覺交互設(shè)計以及圖像優(yōu)化渲染。視覺交互：人類對客觀世界的感知信息有70%是來自視覺,用戶不需要做出顯性的輸入 (如點擊), 而是系統(tǒng)本身在用戶的瀏覽中提取出眼動信息,并作出適應(yīng)性的變化,圖像優(yōu)化渲染：眼動追蹤技術(shù)可實現(xiàn)將注視點映射到頭顯的屏幕上或真實的空間環(huán)境中,最終實 現(xiàn)人眼視覺中心看哪里,就重點渲染注視點所在的區(qū)域,而其他外圍區(qū)域則可采用較少分辨率處理 (較低的圖像質(zhì)量)。此舉將大大降低處理器的計算能力。索尼的 PSVR2運用 Tobii眼動追蹤技術(shù), 稱其可以節(jié)省約72%算力。

1.8、電池：外置電源與MagSafe技術(shù)

頭戴式設(shè)備重量過笨重和電池發(fā)燙問題。據(jù)MicroDisplay蘋果MR頭顯將推出專屬移動電源，能夠佩 戴在用戶腰部，減輕頭戴設(shè)備重量，能通過 96W USB-C 外接式 MagSafe 磁吸電源線替頭戴設(shè)備 供電。 移動電源體積大概是兩臺 iPhone 14 Pro Max 疊放在一起大小，電池續(xù)航最長能夠提供2小時，且 移動電源佩戴在用戶腰部使用時，還能允許通過其中一塊供電，同時替另一塊移動電源進(jìn)行補電， 已延長設(shè)備使用時間。

1.9、其他：一鍵切換VR/AR模式

一鍵切換VR/AR模式：據(jù)MicroDisplay，蘋果MR頭顯將會有兩種模式：完全沉浸在虛擬世界（VR 模式）和將虛擬世界疊加到現(xiàn)實世界兩種模式（AR模式）。用戶想要切換從VR模式切換到AR模式 時，只需要“轉(zhuǎn)動”右側(cè)類似Apple Watch的數(shù)位表冠（Digital Crown），能夠一鍵快速切換 AR、 VR 兩種模式，主要是運用頭戴設(shè)備上的 6 ~ 8 顆光學(xué)模組用來定位追蹤和 VST 透視，假設(shè)用戶沉 溺在 VR 體驗中，切換成 AR 模式后，虛擬畫面會通過漸層淡出轉(zhuǎn)廠，讓用戶能感受 Reality Pro 周 圍真實環(huán)境與虛擬訊息和物體結(jié)合畫面。

相關(guān)專利于2018年第二季度提交：2020年8月，美國專利商標(biāo)局公布關(guān)于蘋果公司的關(guān)于協(xié)調(diào)相機 和顯示系統(tǒng)的增強現(xiàn)實覆蓋層的專利，該專利涉及一種戴在頭上的設(shè)備，例如混合現(xiàn)實眼鏡，設(shè)備 可能具有攝像頭。在操作期間，照相機可以捕獲用戶周圍的真實世界環(huán)境的運動圖像，從而讓電子 設(shè)備中的控制電路可以為用戶顯示真實世界的內(nèi)容，此外還可以向用戶提供計算機生成的內(nèi)容。

第二章內(nèi)容豐富，兼容性強，應(yīng)用場景大幅增加

2.1、蘋果近年布局和收購動作頻頻，深入布局VR/AR諸多方面

蘋果通過收購相關(guān)企業(yè)深入方方面面布局AR領(lǐng)域。近些年蘋果動作頻頻，根據(jù)不完全統(tǒng)計，近年來 蘋果收購VR/AR相關(guān)的企業(yè)多達(dá)幾十家，包括3D感應(yīng)以及動作捕捉技術(shù)公司PrimeSense、Micro LED公司LuxVue、動捕公司Faceshift、面部識別公司Emollient、硅基OLED公司eMagin、體全息光 波導(dǎo)公司Akonia等，在光機、顯示、動捕、面部識別、建模、內(nèi)容方面均有深度布局。

收購多家MR內(nèi)容公司，豐富內(nèi)容生態(tài)，據(jù)不完全統(tǒng)計，自2015年以來，蘋果已經(jīng)在過去7年時間里收購了超過7家創(chuàng)企，為其MR內(nèi)容服務(wù)。2015年， 蘋果收購了位于慕尼黑的Metaio，此前該公司主要為AR應(yīng)用程序制作工具。同年，蘋果還收購了專門從事面部 動畫和動作捕捉的Faceshift。2017年，蘋果收購的初創(chuàng)公司Fabric Software，也正是目前研發(fā)內(nèi)容開發(fā)工具團(tuán)隊 的前身。2020年，蘋果收購了兩家位于南加州的初創(chuàng)公司，分別是提供VR體育直播的NextVR和提供VR視頻會 議的Spaces。

2.2、專有xrOS操作系統(tǒng)，或?qū)崿F(xiàn)與其他蘋果生態(tài)設(shè)備無縫切換

專有xrOS操作系統(tǒng)，將支持iPad 應(yīng)用程序，可作為Mac外接顯示器。xrOS操作系統(tǒng)將有一個類似iOS的界面， 降低用戶操作門檻，同時將xrOS將與macOS集成，MR頭顯可以在虛擬現(xiàn)實中充當(dāng)Mac顯示器，擴(kuò)展使用場景。 將支持?jǐn)?shù)十萬個iPad 應(yīng)用程序：蘋果MR頭顯可在AR/VR場景中運行大部分蘋果一方的iPad應(yīng)用，包括MR 優(yōu)化版本Safri瀏覽器、照片、相機、通訊錄、FaceTime通話、信息、文件、無邊記（Freeform）、天氣、 家庭、郵件、地圖、音樂、圖書、提醒事項、備忘錄、股票等；并可運行App Store數(shù)十萬個現(xiàn)有第三方 iPad應(yīng)用，無需適配或經(jīng)過少量適配。

作為Mac外接顯示器，或打造“空氣鍵盤”：操作系統(tǒng)xrOS將與macOS集成，蘋果MR頭顯能夠作為連接 Mac的外部顯示器，還能在用戶戴上頭顯之后，使用觸控板或者鼠標(biāo)、物理按鍵控制設(shè)備。當(dāng)用戶需要輸入 某些文本信息時，蘋果MR頭顯至少支持語音輸入和按鍵輸入兩種輸入方式，語音輸入時，設(shè)備將直接識別 相關(guān)文本信息；按鍵輸入時，借助iPhone、Mac或iPad等第三方設(shè)備的鍵盤通過物理按鍵輸入文本信息。蘋 果還在開發(fā)“空氣鍵盤”，讓用戶可以用手在半空中打字。

蘋果MR設(shè)備或?qū)崿F(xiàn)與其他蘋果生態(tài)設(shè)備之間的無縫切換。2023年3月，歐洲專利局公布了蘋果的 “用于擴(kuò)展現(xiàn) 實 (XR) 系統(tǒng)的多設(shè)備 Continuity”專利，該功能可實現(xiàn)在 MR 設(shè)備和其他蘋果生態(tài)設(shè)備之間的無縫切換體驗。 Continuity 功能的其他示例包括 AirPlay to Mac、Sidecar、Universal Control 和 Continuity Camera。 與iPhone聯(lián)動：例如一名佩戴 MR 頭顯用戶在 iPhone 屏幕上查看電子郵件時，iPhone 的屏幕上會出現(xiàn)一 個懸浮的擴(kuò)展郵件應(yīng)用界面。通過手勢或眼球的交互控制，用戶隨后可將電子郵件傳輸?shù)綉覓煸谄涮摂M環(huán)境 中的更大顯示屏上，并通過頭戴式攝像頭檢測到他們的手指移動來繼續(xù)起草電子郵件。

2.3、健康、教育、游戲、視聽四大場景內(nèi)容布局

健康方面，蘋果或推出有助于冥想和鍛煉的冥想應(yīng)用“Wellness”，提供沉浸感的視覺、舒緩平靜的音樂和背景 音，之后將推出全新設(shè)計的適用于VR的Fitness+，可以讓用戶在VR中進(jìn)行鍛煉； 教育方面，蘋果希望用戶可以通過MR頭顯打造沉浸式MR閱讀； 游戲方面，蘋果已經(jīng)創(chuàng)建了自己的底層引擎為MR游戲提供支持，但游戲內(nèi)容仍然是交付給第三方開發(fā)，將集成 現(xiàn)有第三方開發(fā)者在其它蘋果設(shè)備上（iOS、iPad OS等）的Top級游戲陣容； 視聽方面，蘋果將為MR頭顯打造專用的視頻觀看功能，可以讓觀眾處于一個新的觀看環(huán)境，如沙漠或者太空場 景中觀看視頻，用戶通過佩戴AirPods，可以獲得完整的空間音頻體驗，感受環(huán)繞立體聲，或?qū)⑼瞥鰧樘摂M場 景提供的體育賽事App。

2.4、打造內(nèi)容開發(fā)工具，用戶可以創(chuàng)建自己的AR軟件

蘋果正在打造了一款內(nèi)容開發(fā)工具，可以讓用戶輕松構(gòu)建自己的AR軟件，并能夠上線App Store，提供給他人 下載。據(jù)The Information，該軟件可以幫助用戶構(gòu)建一個新的應(yīng)用程序，例如讓虛擬動物在現(xiàn)實世界的房間里開 始移動，還可以圍繞在部分現(xiàn)實物體旁。借助該軟件，用戶無需從頭開始設(shè)計動物模型，也無需計算該動物將如 何在有障礙物的3D空間中移動。這項內(nèi)容創(chuàng)建工具類似于“我的世界”和“Roblox”兩款游戲，這些游戲中，用 戶可以通過簡單的界面輕松構(gòu)建自己的3D世界和對象，與Meta的游戲創(chuàng)建應(yīng)用程序Horizon Worlds相類似。

2.5、一對一視頻會議支持全身渲染

視頻會議，全身渲染：據(jù)彭博社，蘋果將重點打造基于FaceTime的高級視頻會議功能。頭顯內(nèi)的FaceTime軟件 將在虛擬世界中逼真地渲染用戶的面部和全身。用戶將會感覺自己和其同伴都處在同一個“房間”。考慮到全身 渲染所需要的數(shù)據(jù)處理能力，全身渲染功能僅在一對一視頻聊天中所支持。如果要是多人進(jìn)行FaceTime通話， 其他用戶仍以圖標(biāo)或者M(jìn)emoji（Apple的自定義表情符號）的形象出現(xiàn)。

2.6、海外體育VR內(nèi)容—NextVR有望與蘋果MR硬件一同推出

海外體育賽事VR直播已有先例。海外VR直播平臺NextVR自2012年轉(zhuǎn)型內(nèi)容，主要涵蓋體育、音樂、娛樂、 新聞等領(lǐng)域的VR直播和內(nèi)容提供，包括NBA、國際冠軍杯、溫網(wǎng)等賽事，且NextVR應(yīng)用程序已在HTC Vive、 PSVR、Windows VR、Oculus Go、Gear VR和Daydream推出，硬件兼容程度較高。 Next VR在2020年被蘋 果收購，2023年蘋果即將推出旗下首款MR頭顯設(shè)備，Next VR或?qū)⒊蔀樘O果系內(nèi)容生態(tài)的重要組成。

第三章生成式AI爆發(fā)，降XR內(nèi)容制作門檻，革新交互體驗

3.1、AI能為VR帶來什么？顛覆交互、提升內(nèi)容

生成式AI的快速發(fā)展將為XR設(shè)備銷量的提升帶來契機。一方面，大語言模型及SAM等模型帶來的 理解能力提升將為XR設(shè)備的語音交互、物體識別等帶來更多的可能，帶來更具有沉浸式的交互體驗 ；另一方面，生成式AI降低了3D資產(chǎn)制作的成本和門檻，為VR游戲、VR視頻、AR應(yīng)用程序等專 業(yè)內(nèi)容制作降本增效，通過文字或語音即可建立3D模型甚至程序?qū)O大豐富UGC。 Meta發(fā)布圖像分割模型，有望接入XR設(shè)備識別物品。未來，SAM有望接入XR設(shè)備，例如可用于通 過AR眼鏡識別日常物品，用戶僅需要使用目光注釋物體，SAM對用戶看到的畫面進(jìn)行分割，配合 AR眼鏡應(yīng)用，為用戶展示所注釋物體的提醒和說明。

大語言模型極大提升文字理解能力，為XR設(shè)備實現(xiàn)深層次語言交互奠定基礎(chǔ)。一方面，大語言模型 能夠理解更復(fù)雜的自然語言，完成更復(fù)雜的自然語言處理任務(wù)，進(jìn)而能夠聽懂用戶以語音形式給出 的復(fù)雜指令并做出響應(yīng)，使得XR設(shè)備除肢體、眼睛交互外增加一種深層次的語音交互方式，使得用 戶與設(shè)備之間的交互更加綜合。另一方面，大語言模型可為虛擬助手、聊天機器人或其他支持語音 的交互式 XR 應(yīng)用程序提供更逼真、更自然的對話，這有助于通過提供更自然和直觀的交流方式來 改善整體交互體驗。

VR游戲：大幅降低VR游戲開發(fā)成本，促進(jìn)更多開發(fā)者投入。 AI驅(qū)動虛擬主播，降低VR內(nèi)容制作成本。OpenAI的大模型技術(shù)支持對玩家對話內(nèi)容、游戲情節(jié)、 關(guān)鍵物品和行為等進(jìn)行解析，結(jié)合微軟TTS 技術(shù)進(jìn)行語音合成和聲紋模仿，創(chuàng)造出于人類主播非常 相似的虛擬主播。 AI驅(qū)動虛擬人運營，有望進(jìn)一步豐富VR內(nèi)容生態(tài)。虛擬人創(chuàng)作互動平臺aisocia不僅支持一鍵生成 這個虛擬人及其形象，還支持讓多個虛擬人在一起聊天，通過接入各種API，例如運營虛擬人IP， 能夠接到社交平臺上面，讓虛擬人自動發(fā)布運營消息，用戶只需要最后做一步確認(rèn)即可。

VR社交/虛擬人：降低普通用戶3D內(nèi)容創(chuàng)作門檻，極大豐富UGC。 AI驅(qū)動的3D資產(chǎn)生產(chǎn)力提升，達(dá)數(shù)倍甚至數(shù)十倍。若以騰訊 AI Lab提出的3D虛擬場景自動生成解 決方案測算，其將構(gòu)建大規(guī)模3D城市時間由數(shù)年減少到數(shù)周，帶來的是生產(chǎn)力數(shù)十倍的提升。以 3A級VR游戲《半衰期:艾利克斯》為例，其開發(fā)團(tuán)隊由大約80人構(gòu)成，是Valve歷史上規(guī)模最大的團(tuán) 隊，開發(fā)周期歷時4年，若使用AI生成3D內(nèi)容，保守估計開發(fā)成本會有數(shù)倍的下降。 AI驅(qū)動NPC，自然對話交流。在支持 Steam VR 的一個多人游戲創(chuàng)作沙盒Modbox中，開發(fā)者使用 了OpenAI的GPT —3語言模型及Replica的自然語音合成技術(shù)，創(chuàng)造了能夠和人類玩家進(jìn)行生動、 自然、自由對話的NPC。Mount & Blade II基于GPT-3打造的NPC對話內(nèi)容參考了NPC所處的位置 、職業(yè)、狀態(tài)、游戲進(jìn)程以及當(dāng)時的世界觀，自然且符合NPC身份。

3.2、谷歌推出可視化AR創(chuàng)作工具Geospatial Creator

2023 Google I/O大會上，谷歌推出可視化AR創(chuàng)作工具Geospatial Creator。Geospatial Creator支 持無代碼、直接在3D場景圖塊上直觀創(chuàng)作，并支持Geospatial API的多項強大的AR功能，如：地理 空間錨點、地形錨點、屋頂錨點等等?？稍?Android 和 iOS 受支持的設(shè)備上打造基于世界的跨平臺 體驗。谷歌宣稱，任何人使用它只需要幾分鐘就能設(shè)計、發(fā)布LBS AR內(nèi)容。

報告節(jié)選：

審核編輯 ：李倩