xR的概念、原理與前景分析

自1933年電影《金剛》應(yīng)用“鄧寧藍幕技術(shù)”到今天，綠幕摳像+后期制作是現(xiàn)下絕對主流的特效視頻拍攝方式。
人們可以將演員或?qū)嵨铮胖迷谌魏蝿∏樾枰钠婊渺趴釄鼍爸小?br /> 從《阿凡達》瑰麗奇異的潘多拉星球，到《流浪地球》的冰封北京城，從虛擬演播室里的衛(wèi)星云圖展示，到2021年央視春晚中劉德華和現(xiàn)場演員的同臺互動。
均采用了綠幕摳像+三維場景渲染技術(shù)！
但是時至今日，這項技術(shù)仍有一些無法規(guī)避的問題。
比如無實物表演，演員需要在純粹的綠箱環(huán)境中依托想象力進行表演。
再比如光線問題，怎樣讓綠箱中的演員/物體呈現(xiàn)出真實的周邊光線反射效果？尤其是金屬、珠寶、汽車這類帶有鏡面材質(zhì)的物體？
畢竟光線修復(fù)一向是影視后期人員工作內(nèi)容的重要組成部分。
而此時，擴展現(xiàn)實（Extended Reality，簡稱xR）技術(shù)正日趨成熟，并頻繁亮相在公眾眼前。
一/是什么——xR定義
xR詞匯的提出，可以追溯到CO Allen于2014年的申請的一份專利《Method for creation ofaugmented reality medium i.e. extended reality medium, involves detectingaugmented reality contents based on determination that reality data correspondsto given acquisition event data》，文中將xR作為AR的別稱進行使用，約2年后，一些國際媒體服務(wù)器廠家開始在市場中嘗試推廣xR的概念。 xR到底是什么？眾說紛紜。但為了方便繼續(xù)講述，我們在此先對xR做一個定義，xR（ExtendedReality）即通過攝像機追蹤與實時圖像渲染技術(shù)，使顯示介質(zhì)（LED/投影碗幕）及顯示介質(zhì)外的虛擬場景實時跟蹤攝像機視角，在攝像機鏡頭前與現(xiàn)實拍攝畫面合成，從而營造出無限空間感的技術(shù)。
不好理解？沒關(guān)系，下面會進一步解釋。
對于xR是VR、AR、MR等多種技術(shù)統(tǒng)稱及其他說法，在此不作討論。
二/為什么——xR原理
想要了解xR原理，我們需要先理解透視。
因為xR技術(shù)貫通虛擬與現(xiàn)實的橋梁，正是建立在透視的基礎(chǔ)之上。
那些把人物P在一個個旅游景點前的合成照片，有的能“以假亂真”，有的卻能一眼看出“作假”。為什么？
虛假的原因千奇百怪，真實的條件千篇一律。
條件之一是它們必須具備正確的透視關(guān)系。
透視學(xué)，在平面上再現(xiàn)空間感、立體感的方法及相關(guān)的科學(xué)。
為了滿足透視這一自然科學(xué)原理，如果想要制作一張以假亂真的合成照片，照片上的所有物體都必須在空間中擁有統(tǒng)一的透視點。
簡單講，如果照片中的背景是采用俯視的角度拍攝的，那么需要合成的那個人，絕不能采用Ta仰視下的形象。
這是在二維平面上，混淆虛擬與現(xiàn)實的做法。
那么在三維空間中呢？
如果要合成一段視頻，我希望演員身處室內(nèi)，然而在鏡頭下其身后卻是一整片森林，除了利用綠幕，還有什么方法？
如果攝像機鏡頭固定且位置合適，甚至可以在演員身后直接掛一面巨幅的森林圖案畫布，只要演員和背景平面都在鏡頭下呈現(xiàn)出正確的透視關(guān)系，就能滿足一些最初級的需求。
與那些合成照片一樣。
但鏡頭一旦移動，背景森林實為平面畫布的事實便無論如何也無法遮掩。
實際上，場景背景的真實感，正是在鏡頭移動的過程中得到塑造并增強的。在鏡頭推拉搖移的每一幀，如俯瞰時的大全景、跟拍時的中景——演員的身后都應(yīng)當(dāng)呈現(xiàn)出一個在這個位置、這個角度，滿足真實透視關(guān)系的背景場景。
如果當(dāng)攝像機旋轉(zhuǎn)或改變角度時，演員身后的背景也能契合攝像機鏡頭同步完成角度的改變，就好了。
這個技術(shù)，就是xR技術(shù)。
三/怎么做——實現(xiàn)xR
我們以一款國內(nèi)自主研發(fā)的媒體服務(wù)器——hecoos虛擬制作服務(wù)器為例，其完成一場xR項目需要的基本配置有：一套hecoos虛擬制作系統(tǒng)、一套攝像機追蹤系統(tǒng)、一套實時渲染引擎、LED屏/投影碗幕。
實現(xiàn)xR技術(shù)的流程可分為5個環(huán)節(jié)：
1、攝像機追蹤系統(tǒng)將真實攝像機的實時運動位置、姿態(tài)及鏡頭參數(shù)（x、y、z、pan、tilt、roll、FOV......）傳輸?shù)絟ecoos虛擬制作服務(wù)器。
2、hecoos虛擬制作服務(wù)器對攝像機信息進行實時解析與處理，驅(qū)動實時渲染引擎渲染該視點所需的虛擬畫面。
3、hecoos虛擬制作服務(wù)器接收虛擬畫面并通過透視投射將渲染的虛擬畫面輸出至背景LED屏/投影碗幕，由攝像機完成最終采集。
4、將LED屏/投影碗幕外拓展空間中的虛擬內(nèi)容疊加在鏡頭前，采用自動校色功能對所有虛擬畫面分別進行顏色校正，達到背景畫面顏色統(tǒng)一。
5、鏡頭合成后，即為觀眾在鏡頭前看到的最終影像——無論鏡頭如何移動，演員始終身處在符合正確透視關(guān)系的一整片廣袤森林前。
四/“R”詞匯的區(qū)別與聯(lián)系
VR（Virtual Reality） 頭顯
xR（Extended Reality） 攝像機
AR（Augmented Reality） 頭顯/攝像機
MR（Mixed Reality） 頭顯
觀看VR內(nèi)容必須借助頭顯，而所觀看內(nèi)容全部為虛擬內(nèi)容，缺乏與現(xiàn)實環(huán)境的互動。
xR所用的攝像機起到與頭顯相同的作用，但其攝像機視角也可以拍攝到真實環(huán)境下的客觀物體。如果從這個角度來看，為了便于理解，我們可以簡單地將xR類比為攝像機視角下的VR。
AR技術(shù)需要借助頭顯或攝像設(shè)備，才能使人們看到疊加在現(xiàn)實環(huán)境上的虛擬物體。如節(jié)目現(xiàn)場的觀眾，在不借助設(shè)備的情況下，其實無法看到節(jié)目中的AR特效。
而MR技術(shù)的解釋稍微復(fù)雜一點，MR頭顯實時采集實際場景畫面并將其與虛擬效果相結(jié)合。從技術(shù)上來說，MR頭顯混合了VR頭顯的虛擬制作技術(shù)和AR頭顯的實景采集技術(shù)；而從體驗上來說，MR頭顯混合了VR頭顯的超高表現(xiàn)能力和AR頭顯的真實互動體驗。
此為“混合現(xiàn)實”——Mixed Reality。
五/xR VS 綠幕
xR能否取代綠幕一直是個熱點話題。

相較綠幕，xR有一些明顯優(yōu)勢：
1、xR實時呈現(xiàn)的背景為演員提供臨場感，能夠讓缺乏無實物表演經(jīng)驗的人們直觀了解當(dāng)下處境，掌握自身走位。
2、xR使演員表演與表演環(huán)境相結(jié)合的效果及時呈現(xiàn)，并且更方便創(chuàng)作團隊及時修改創(chuàng)作想法。
3、xR能夠節(jié)省掉影視制作過程中許多花費在光線修復(fù)上的時間和金錢。
但是xR技術(shù)本身同樣具有局限，如果是基于LED屏幕方案實現(xiàn)的xR技術(shù)，那么站在LED屏上的演員腳下將沒有影子，這是xR技術(shù)的一個較大遺憾。
xR技術(shù)誕生至今約5年時間，與之相關(guān)的軟硬件設(shè)備尚有巨大的可優(yōu)化空間，而綠幕拍攝在從1933年至今的近90年中已經(jīng)發(fā)展到了非常成熟的地步，因此在某些情況下使用綠幕能夠?qū)崿F(xiàn)更為理想的效果。
我們所見到的使用xR技術(shù)制作的舞臺節(jié)目，如果是錄播播出，其中部分節(jié)目還會采用后期做進一步的修飾加工。
所以，作為當(dāng)下新興前沿科技的xR技術(shù)，想要實現(xiàn)對傳統(tǒng)綠幕技術(shù)的“彎道超車”，還需進一步發(fā)展自身。
有些問題是不確定的，比如隨著xR技術(shù)的飛速興起，今后的文旅演藝活動市場將呈現(xiàn)出怎樣的格局？
比如隨著計算機運算處理能力的提升和產(chǎn)業(yè)鏈設(shè)備的不斷優(yōu)化，虛擬制作技術(shù)能否成為人們未來日常生活中不可或缺的一部分？
比如人類始祖曾經(jīng)抬頭長久凝望一片浩瀚璀璨的星空，如今我們距離那片星空又還有多遠?
而能夠確定的卻是，不用太久，在技術(shù)的快速迭代和需求創(chuàng)新的內(nèi)在驅(qū)動下，方興未艾的xR技術(shù)定將迎來屬于自己的一片廣闊天地。

審核編輯黃宇