實時網(wǎng)絡(luò)視頻設(shè)計方案

在某個層面上，On2 科技有限公司 （On2 Technologies） 的 TrueMotion VP7 技術(shù)實現(xiàn)這一目標的方式與其它視頻編解碼器幾乎相同。不過，On2 的VP7技術(shù)卻包含了多項使其與眾不同、脫穎而出的創(chuàng)新性技術(shù)，而且這些技術(shù)目前正在申請專利。

　　黃金幀 （Golden Frame）

　　對 On2 TrueMotion 編解碼器的新用戶而言，最令人驚喜的功能之一是黃金幀。就象其它壓縮器一樣，TrueMotion 也保留一個最新解壓的幀作為當前幀的預(yù)測器。TrueMotion 編解碼器和 VP7 則特別改為保留過去任意一個解壓數(shù)據(jù)的幀。這種編解碼器能夠更新某個幀在未來任一點的任何部分。我們稱這種二級參考幀為黃金幀，并已發(fā)掘出它的眾多用途。

　　數(shù)據(jù)在網(wǎng)絡(luò)上是以很小的稱為幀（Frame）的單位傳輸?shù)?，幀由幾部分組成，不同的部分執(zhí)行不同的功能。幀通過特定的稱為網(wǎng)絡(luò)驅(qū)動程序的軟件進行成型，然后通過網(wǎng)卡發(fā)送到網(wǎng)線上，通過網(wǎng)線到達它們的目的機器，在目的機器的一端執(zhí)行相反的過程。接收端機器的以太網(wǎng)卡捕獲到這些幀，并告訴操作系統(tǒng)幀已到達，然后對其進行存儲。就是在這個傳輸和接收的過程中，嗅探器會帶來安全方面的問題 。

?

　　圖1：On2 VP7的幀類型

　　幀--就是影像動畫中最小單位的單幅影像畫面，相當于電影膠片上的每一格鏡頭。 一幀就是一副靜止的畫面，連續(xù)的幀就形成動畫，如電視圖象等。 我們通常說幀數(shù)，簡單地說，就是在1秒鐘時間里傳輸?shù)膱D片的幀數(shù)，也可以理解為圖形處理器每秒鐘能夠刷新幾次，通常用fps（Frames Per Second）表示。每一幀都是靜止的圖象，快速連續(xù)地顯示幀便形成了運動的假象。高的幀率可以得到更流暢、更逼真的動畫。每秒鐘幀數(shù) （fps） 愈多，所顯示的動作就會愈流暢。 　　關(guān)鍵幀--任何動畫要表現(xiàn)運動或變化，至少前后要給出兩個不同的關(guān)鍵狀態(tài)，而中間狀態(tài)的變化和銜接電腦可以自動完成，在Flash中，表示關(guān)鍵狀態(tài)的幀叫做關(guān)鍵幀。

　　注：這些幀類型僅供參考。利用 VP7 入門開發(fā)工具包，用戶可以準確控制幀何時使用或更新黃金幀或最后的幀參考緩沖器。

　　前景影響大

　　我們發(fā)現(xiàn)黃金幀的第一個用途是前景和背景視頻的分割。例如，大多數(shù)視頻會議應(yīng)用中，總是有一個人在靜態(tài)的背景前面講話。這個發(fā)言人遮蔽了背景，但隨著他在座位上的移動，會顯露出局部背景。TrueMotion編解碼器利用非移動的高質(zhì)模塊來更新黃金幀，即使前景快速移動，也可以保持高質(zhì)量的背景圖像。

　　丟包恢復(fù)

　　我們還可以在丟包情況下采用黃金幀。在一般的視頻會議系統(tǒng)中，接收器在發(fā)現(xiàn)丟包時，會用信號通知發(fā)送者。發(fā)送者一接收到這個信號，就會對一個獨立于前面各幀的幀 （即‘關(guān)鍵幀’） 進行編碼來恢復(fù)。該幀由于必須從頭開始編碼，故往往非常大，這會導(dǎo)致視頻的播放斷斷續(xù)續(xù)。另一種情況是，這是一個低質(zhì)量的幀，看起來比周邊的幀要模糊，而且產(chǎn)生視覺干擾脈沖。

　　VP7恢復(fù)幀

　　幀0是關(guān)鍵幀

　　幀1到6都只根據(jù)前一個幀來構(gòu)建預(yù)測器

　　幀7只以幀0為參考

　　即使幀1到6中的任一個丟失了，VP7仍然能夠?qū)?進行解碼，因為它只以幀0為參考

　　圖2：利用恢復(fù)幀來處理丟包問題

　　視頻會議

　　電視會議是用電視和電話在兩個或多個地點的用戶之間舉行會議，實時傳送聲音、圖像的通信方式。它同時還可以附加靜止圖像、文件、傳真等信號的傳送。參加電視會議的人，可以通過電視發(fā)表意見，同時觀察對方的形象、動作、表情等，并能出示實物、圖紙、文件等實拍的電視圖像或者顯示在黑板、白板上寫的字和畫的圖，使在不財點參加會議的人感到如同和對方進行“面對面”的交談，在效果上可以代替現(xiàn)場舉行的會議。

　　多方視頻會議也可以采用黃金幀。在多方會議系統(tǒng)中，各個用戶的連接帶寬都不同。一般的解決方案是把帶寬減小到一個假定的最小公分母：所有用戶都以最慢的連接都能接收的速度來收取數(shù)據(jù)。

　　基于On2 VP7技術(shù)的系統(tǒng)則采用了一種新穎的替代方案。通過使用黃金幀、普通幀和可拋棄幀，VP7 可獲得四個級別的有限時間可調(diào)性。這意味著我們可以根據(jù)每一方的需要生成不同的比特流 （參見圖3）。這樣，會議中的高清方就不會受到較低速連接的影響。最重要的是，這種方案無需額外的CPU成本。

　　圖3：采樣時間可調(diào)性模式和On2 VP7

　　每一個比特流都需要較低的幀速率來解碼。因此，帶寬最低的用戶可以接收 5 fps 的比特流；而帶寬最大的用戶可接收全 30fps。