LED虛擬拍攝中的跟蹤系統(tǒng)詳解

在跟蹤設備與其他三維渲染系統(tǒng)集成方面，根據(jù)跟蹤數(shù)據(jù)使用的場景或階段不同，可以將系統(tǒng)管線分為實時和后期兩個階段。在實時階段，跟蹤設備軟件端可以通過插件與第三方DCC（Digital Content Creation，數(shù)字內(nèi)容創(chuàng)作）軟件或實時渲染引擎進行通信，將攝影機的外參（6DOF的位姿變換數(shù)據(jù)）以及鏡頭內(nèi)參（焦點、焦距、鏡頭畸變等）參數(shù)實時地傳輸給引擎中的虛擬攝影機，最終渲染出位置、透視、視場等顯示正確的畫面；在后期階段，經(jīng)過前期跟蹤數(shù)據(jù)的實時傳輸與錄制，后期部門可以選擇對跟蹤數(shù)據(jù)進行清洗修正再利用，減少攝影機反求操作，可以極大地提高后期工作效率。
目前LED虛擬化制作技術從原理上可以看作是增強現(xiàn)實技術在影視行業(yè)的應用，該技術被廣泛地應用于影視制作、大型演出直轉播等泛娛樂行業(yè)，不同的應用場景對于跟蹤系統(tǒng)提出了新的不同需求。由于LED顯示屏幕的廣泛參與，實時渲染的虛擬背景直接顯示并且被攝影機同步記錄下來，這使得虛擬場景與真實場景之間的坐標系匹配更為重要。動態(tài)畫面和復雜閃爍的光環(huán)境變化也給跟蹤技術帶來了新的挑戰(zhàn)。
對于跟蹤系統(tǒng)而言最重要的系統(tǒng)屬性是跟蹤的精度、穩(wěn)定性及魯棒性。
在電影虛擬化制作發(fā)展的歷史中，攝影機跟蹤方式伴隨著科技的發(fā)展、日漸更新的創(chuàng)作需求也在一步步發(fā)生變換，從最原始的機械跟蹤，到體系龐大場地限制的由外向內(nèi)跟蹤，再到目前應用廣泛的由內(nèi)向外跟蹤，這些技術的發(fā)展無一不是為影視創(chuàng)作提供更大的自由。但目前最廣為人知的劇集《曼達洛人》等影片則回溯了技術發(fā)展歷程，選擇了曾經(jīng)被虛擬化制作“淘汰”的由外向內(nèi)跟蹤技術OptiTrack動作捕捉系統(tǒng)。針對此現(xiàn)象，當前LED虛擬化制作技術對跟蹤系統(tǒng)的需求，只有由外向內(nèi)跟蹤的設備更能滿足。
除了精確度、穩(wěn)定性與魯棒性，實時性作為跟蹤系統(tǒng)的另一重要性能也需要考慮，即跟蹤系統(tǒng)數(shù)據(jù)實時處理及傳輸速度。這個在此處是指從攝影機產(chǎn)生運動到運動捕捉軟件得到剛體的運動數(shù)據(jù)，再經(jīng)過算法處理優(yōu)化，傳遞到第三方DCC或實時渲染引擎的時間。LED虛擬化制作技術的核心概念是攝影機內(nèi)視效拍攝,即攝影機直接拍攝得到真實畫面與虛擬背景的合成結果。在LED屏上,我們使用相對固定的外視錐形成的光照環(huán)境，來模擬真實的光照與色彩匹配，使用內(nèi)視錐作為攝影機直接拍攝的背景，內(nèi)外視錐的渲染要分別單獨進行。由于硬件計算能力的限制，從攝影機產(chǎn)生運動到對跟蹤數(shù)據(jù)進行捕捉、解算、傳輸，再到引擎渲染生成畫面，該過程還無法完全實時完成。運動速度較大時，前景內(nèi)容與LED屏幕顯示的畫面內(nèi)容將會產(chǎn)生漂移，人對前后景撕裂的變化非常敏感，因此在渲染端及信號傳輸端硬件限制的前提下，建議盡可能選擇處理算法數(shù)據(jù)傳輸高效的攝影機跟蹤系統(tǒng)。

審核編輯黃宇