交互式三維視頻技術(shù)

交互式三維視頻是近年來興起的一種新型媒體。它在傳統(tǒng)的二維視頻的基礎(chǔ)上，增加了視覺的現(xiàn)實(shí)感和逼真感。用戶在欣賞節(jié)目的同時(shí)，能夠自由的選擇視點(diǎn)與視角。交互性是這種媒體的重要特征。為了提高不同實(shí)現(xiàn)之間的互操作性，ISO/MPEG1制訂了相關(guān)的規(guī)范標(biāo)準(zhǔn)。本文從交互式三維視頻的分類、表示、編碼和相關(guān)的應(yīng)用等方面對(duì)該技術(shù)進(jìn)行了詳細(xì)的介紹。
關(guān)鍵詞 三維視頻 視頻編碼 視頻表示 全景視頻

隨著多媒體技術(shù)的不斷發(fā)展，交互性將成為未來多媒體技術(shù)的一個(gè)主要特征[1][2]，具有交互性的多媒體技術(shù)將使我們能夠在某些方面由被動(dòng)觀賞轉(zhuǎn)化為主動(dòng)欣賞。例如我們可以在一個(gè)場(chǎng)景中改變我們的視角和視點(diǎn)，選擇我們感興趣的區(qū)域進(jìn)行觀賞。為此視頻技術(shù)也需要由二維向三維轉(zhuǎn)變。和普通的二維視頻相比，三維視頻增加了場(chǎng)景的深度信息，增強(qiáng)了視覺的現(xiàn)實(shí)感和逼真感，可以給用戶提供全方位沉浸式的感受。三維視頻技術(shù)可以廣泛應(yīng)用于數(shù)字電視、遠(yuǎn)程教育、遠(yuǎn)程工業(yè)控制、三維視頻會(huì)議系統(tǒng)、虛擬現(xiàn)實(shí)系統(tǒng)等諸多方面。
為了表示這些三維視頻數(shù)據(jù)并對(duì)之進(jìn)行編碼， ISO/IEC2 制定了一套虛擬實(shí)景描述模型語(yǔ)言 VRML3。用它可以描述三維物體及其行為，構(gòu)建虛擬世界，建立互聯(lián)網(wǎng)上的交互式三維多媒體。雖然VRML有許多優(yōu)點(diǎn)，但是由于VRML是面向圖形的，絕大部分場(chǎng)景是使用計(jì)算機(jī)產(chǎn)生的圖形或者是靜態(tài)的圖片，場(chǎng)景的真實(shí)感非常有限。
作為VRML的補(bǔ)充，ISO/MPEG 正在聯(lián)合企業(yè)制定新的標(biāo)準(zhǔn)來增強(qiáng)三維視頻的真實(shí)感和交互性。例如在早期的MPEG-4標(biāo)準(zhǔn)中，使用者可在圖像或比特流中選擇一個(gè)具體的對(duì)象(Object)，隨后改變它的某些特性，提供將自然視頻圖像同合成數(shù)據(jù)(文本、圖形)有效結(jié)合的方式，同時(shí)支持交互性操作。MPEG-4中的場(chǎng)景描述語(yǔ)言BIFS4規(guī)定了壓縮的二進(jìn)制格式，特別適合三維視頻的在線傳輸和流化（組成流媒體數(shù)據(jù)）。最近的MPEG-4標(biāo)準(zhǔn)又對(duì)它進(jìn)行了擴(kuò)展，其中動(dòng)畫框架擴(kuò)展AFX5對(duì)自然場(chǎng)景規(guī)定了新的格式，同時(shí)AFX也提供了新的工具來對(duì)自然圖像中的場(chǎng)景對(duì)象使用表面光場(chǎng)和深度圖像繪制技術(shù)進(jìn)行建模等[4]。
本文從計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)視覺和經(jīng)典媒體的角度，結(jié)合ISO/MPEG的相關(guān)研究，對(duì)三維真實(shí)場(chǎng)景視頻的建模、編碼、繪制技術(shù)及相關(guān)的應(yīng)用進(jìn)行詳細(xì)的分析和介紹。在本文的第二部分，根據(jù)應(yīng)用場(chǎng)景的不同，首先對(duì)交互式三維視頻進(jìn)行分類，并介紹它們各自的特點(diǎn)；第三部分介紹交互式三維視頻的表示技術(shù)，第四部分則對(duì)其編碼方法進(jìn)行了詳細(xì)的介紹，最后給出交互式三維視頻技術(shù)的一個(gè)典型應(yīng)用 — 交互式全方位視頻系統(tǒng)。