XR+LED虛擬拍攝的技術(shù)原理

LED虛擬拍攝技術(shù)整合了實(shí)時(shí)數(shù)字影像、實(shí)時(shí)光影渲染、實(shí)時(shí)攝影機(jī)運(yùn)動(dòng)跟蹤與實(shí)時(shí)運(yùn)算等眾多前沿電影科技。通過(guò)XR+LED，足不出戶(hù)，亦可拍攝大片，能夠顯著降低影視制作的時(shí)間、經(jīng)濟(jì)成本。

01什么是XR

XR(Extended Reality)擴(kuò)展現(xiàn)實(shí)是一種描述虛擬和現(xiàn)實(shí)元素融合或交互行為的術(shù)語(yǔ)，通常認(rèn)為是AR(增強(qiáng)現(xiàn)實(shí))/VR(虛擬現(xiàn)實(shí))/MR(混合現(xiàn)實(shí))等多種技術(shù)的統(tǒng)稱(chēng)，是一種通過(guò)攝像機(jī)追蹤與實(shí)時(shí)圖像渲染技術(shù)，使顯示介質(zhì)(LED/投影碗幕)及顯示介質(zhì)外的虛擬場(chǎng)景實(shí)時(shí)跟蹤攝像機(jī)視角，在攝像機(jī)鏡頭前與現(xiàn)實(shí)拍攝畫(huà)面合成，從而營(yíng)造出無(wú)限空間感的技術(shù)。

《潮音實(shí)驗(yàn)室》借助XR擴(kuò)展技術(shù)，打造虛擬沉浸式演唱會(huì)

02XR的原理基礎(chǔ)

了解是理解XR技術(shù)的重要前提。XR技術(shù)貫通虛擬與現(xiàn)實(shí)的橋梁，正是建立在原理的基礎(chǔ)之上。

日常生活中，把人物P在旅游景點(diǎn)前的合成照片，有的能以假亂真，有的卻能一眼看出作假。讓合成照看起來(lái)真實(shí)的條件之一就是合理處理人物與背景之間的空間關(guān)系，也即關(guān)系，合成照片上的所有物體都必須在空間中擁有統(tǒng)一的點(diǎn)。如果照片中的背景是采用俯視的角度拍攝的，那么需要合成的那個(gè)人，絕不能采用仰視下的形象。否則，看起來(lái)就會(huì)感覺(jué)圖片畫(huà)面不協(xié)調(diào)，有不真實(shí)的感覺(jué)。

照片中的所有物體都必須在空間中擁有統(tǒng)一的點(diǎn) 否則圖片就會(huì)產(chǎn)生不真實(shí)感

這是在二維平面上，混淆虛擬與現(xiàn)實(shí)的做法。

那么在三維空間中如何逼真的做到混淆虛擬與現(xiàn)實(shí)呢?

2021年，身在千里之外的香港藝人劉德華通過(guò)XR技術(shù)實(shí)現(xiàn)與央視春晚演員同臺(tái)演出

如果要合成一段視頻，演員身處室內(nèi)，然而在鏡頭下其身后卻是一整片森林，除了利用傳統(tǒng)的綠幕+摳圖方法，還有其他途徑嗎?

如果攝像機(jī)鏡頭固定且位置合適，甚至可以在演員身后直接掛一面巨幅的森林圖案畫(huà)布，只要演員和背景平面都在鏡頭下呈現(xiàn)出正確的關(guān)系，就能滿(mǎn)足一些最初級(jí)的需求。

但鏡頭一旦移動(dòng)，背景森林實(shí)為平面畫(huà)布的事實(shí)便無(wú)論如何也無(wú)法遮掩。

實(shí)際上，場(chǎng)景背景的真實(shí)感，正是在鏡頭移動(dòng)的過(guò)程中得到塑造并增強(qiáng)的。在鏡頭推拉搖移的每一幀，如俯瞰時(shí)的大全景、跟拍時(shí)的中景——演員的身后都應(yīng)當(dāng)呈現(xiàn)出一個(gè)在這個(gè)位置、這個(gè)角度，滿(mǎn)足真實(shí)關(guān)系的背景場(chǎng)景。

如果當(dāng)攝像機(jī)旋轉(zhuǎn)或改變角度時(shí)，演員身后的背景也能契合攝像機(jī)鏡頭同步完成角度的改變就好了。

而這就是XR技術(shù)要解決的問(wèn)題。

視頻場(chǎng)景背景的真實(shí)感，通過(guò)在鏡頭移動(dòng)的過(guò)程中得到塑造并增強(qiáng)

03XR實(shí)現(xiàn)的技術(shù)設(shè)備條件

了解了XR的概念和原理基礎(chǔ)，在實(shí)際應(yīng)用中，應(yīng)如何實(shí)現(xiàn)呢?

目前行業(yè)主流XR技術(shù)的實(shí)現(xiàn)所需要的技術(shù)設(shè)備主要包括：LED顯示屏、LED控制系統(tǒng)、虛擬渲染系統(tǒng)、攝影機(jī)及追蹤定位系統(tǒng)、同步系統(tǒng)以及其他輔助系統(tǒng)等。憑借以上技術(shù)設(shè)備。通過(guò)實(shí)時(shí)的工作流程，可將表演者融入到虛擬世界中而無(wú)需綠幕及后期制作，并即時(shí)輸出最終畫(huà)面。

整體技術(shù)框架如下圖所示：

XR場(chǎng)景技術(shù)框架包括由LED顯示屏組成的拍攝場(chǎng)地、攝像機(jī)、物體位置追蹤與定位技術(shù)、實(shí)時(shí)圖形渲染引擎(AR技術(shù))、高速低延遲的網(wǎng)絡(luò)等幾大元素組成

其中：

LED控制系統(tǒng)

主要承擔(dān)接收虛擬渲染畫(huà)面，并輸出至LED顯示屏，優(yōu)秀的控制系統(tǒng)需具備高超的視頻處理能力、可以對(duì)LED屏體進(jìn)行精確的色彩管理和亮度調(diào)節(jié)，最大程度的展現(xiàn)出LED屏體應(yīng)有的顯示效果，并且在硬件端對(duì)XR的特殊應(yīng)用需求(如多機(jī)位、高幀率等)提供技術(shù)支撐。

虛擬渲染系統(tǒng)

主要包含媒體服務(wù)器和實(shí)時(shí)渲染引擎，主控媒體服務(wù)器主要負(fù)責(zé)控制渲染引擎，處理攝影機(jī)數(shù)據(jù)，輸出LED視頻源畫(huà)面。實(shí)時(shí)渲染引擎提供虛擬數(shù)字資產(chǎn)的整合與制作，搭建完整的虛擬拓展空間。

攝像機(jī)系統(tǒng)

拍攝現(xiàn)實(shí)畫(huà)面并回傳給虛擬渲染系統(tǒng)，需要使用專(zhuān)業(yè)級(jí)影視攝像機(jī)，以實(shí)現(xiàn)清晰無(wú)損的真實(shí)畫(huà)面采集。一般會(huì)使用支持120Hz以上采集幀率的攝像機(jī)。

追蹤定位系統(tǒng)

主要用于定位實(shí)現(xiàn)現(xiàn)實(shí)攝像機(jī)位移及鏡頭轉(zhuǎn)動(dòng)數(shù)據(jù)，定位系統(tǒng)的關(guān)鍵指標(biāo)是精準(zhǔn)度、自由度和低延遲，較常用的有機(jī)械追蹤(云臺(tái)、機(jī)械臂等)、光學(xué)定位，以及其他紅外追蹤、視覺(jué)相機(jī)追蹤等。

同步系統(tǒng)

主要用于XR整體工作流程的基準(zhǔn)時(shí)間與畫(huà)面幀，獨(dú)立而精確的同步系統(tǒng)是XR項(xiàng)目的必要條件，通過(guò)同步系統(tǒng)可以有效降低攝像機(jī)在拍攝LED屏體時(shí)出現(xiàn)的掃描線、黑場(chǎng)等問(wèn)題，也可以通過(guò)控制同步時(shí)間搭配LED控制系統(tǒng)實(shí)現(xiàn)多機(jī)位拍攝效果。

XR場(chǎng)景技術(shù)實(shí)際操作流程

XR技術(shù)是近幾年快速發(fā)展的新興技術(shù)，相較傳統(tǒng)的綠幕+摳圖的虛擬拍攝方式，XR+LED顯示屏具有顯著的優(yōu)點(diǎn)。未來(lái)在技術(shù)的快速迭代和需求創(chuàng)新的內(nèi)在驅(qū)動(dòng)下，方興未艾的XR技術(shù)定將迎來(lái)屬于自己的一片廣闊天地。

審核編輯：湯梓紅