視頻編碼標(biāo)準(zhǔn)的發(fā)展概括：從H.261到H.264

關(guān)鍵詞： 編碼 , 視頻

數(shù)字視頻技術(shù)廣泛應(yīng)用于通信、計(jì)算機(jī)、廣播電視等領(lǐng)域，帶來了會議電視、可視電話及數(shù)字電視、媒體存儲等一系列應(yīng)用，促使了許多視頻編碼標(biāo)準(zhǔn)的產(chǎn)生。ITU-T與ISO/IEC是制定視頻編碼標(biāo)準(zhǔn)的兩大組織，ITU-T的標(biāo)準(zhǔn)包括H.261、H.263、H.264，主要應(yīng)用于實(shí)時(shí)視頻通信領(lǐng)域，如會議電視；MPEG系列標(biāo)準(zhǔn)是由ISO/IEC制定的，主要應(yīng)用于視頻存儲(DVD)、廣播電視、因特網(wǎng)或無線網(wǎng)上的流媒體等。兩個(gè)組織也共同制定了一些標(biāo)準(zhǔn)，H.262標(biāo)準(zhǔn)等同于MPEG-2的視頻編碼標(biāo)準(zhǔn)，而最新的H.264標(biāo)準(zhǔn)則被納入MPEG-4的第10部分。

本文按照ITU-T視頻編碼標(biāo)準(zhǔn)的發(fā)展過程，介紹H.261、H.263及H.264。

H.261視頻編碼標(biāo)準(zhǔn)

H.261是ITU-T為在綜合業(yè)務(wù)數(shù)字網(wǎng)(ISDN)上開展雙向聲像業(yè)務(wù)(可視電話、視頻會議)而制定的，速率為64kb/s的整數(shù)倍。H.261只對CIF和QCIF兩種圖像格式進(jìn)行處理，每幀圖像分成圖像層、宏塊組(GOB)層、宏塊(MB)層、塊(Block)層來處理。

H.261是最早的運(yùn)動圖像壓縮標(biāo)準(zhǔn)，它詳細(xì)制定了視頻編碼的各個(gè)部分，包括運(yùn)動補(bǔ)償?shù)膸g預(yù)測、DCT變換、量化、熵編碼，以及與固定速率的信道相適配的速率控制等部分。

H.263視頻編碼標(biāo)準(zhǔn)

H.263是最早用于低碼率視頻編碼的ITU-T標(biāo)準(zhǔn)，隨后出現(xiàn)的第二版(H.263+)及H.263++增加了許多選項(xiàng)，使其具有更廣泛的適用性。

H.263視頻壓縮標(biāo)準(zhǔn)

H.263是ITU-T為低于64kb/s的窄帶通信信道制定的視頻編碼標(biāo)準(zhǔn)。它是在H.261基礎(chǔ)上發(fā)展起來的，其標(biāo)準(zhǔn)輸入圖像格式可以是S- QCIF、QCIF、CIF、4CIF或者16CIF的彩色4∶2∶0亞取樣圖像。H.263與H.261相比采用了半象素的運(yùn)動補(bǔ)償，并增加了4種有效的壓縮編碼模式。

無限制的運(yùn)動矢量模式允許運(yùn)動矢量指向圖像以外的區(qū)域。當(dāng)某一運(yùn)動矢量所指的參考宏塊位于編碼圖像之外時(shí)，就用其邊緣的圖像象素值來代替。當(dāng)存在跨邊界的運(yùn)動時(shí)，這種模式能取得很大的編碼增益，特別是對小圖像而言。另外，這種模式包括了運(yùn)動矢量范圍的擴(kuò)展，允許使用更大的運(yùn)動矢量，這對攝像機(jī)運(yùn)動特別有利。

基于句法的算術(shù)編碼模式使用算術(shù)編碼代替霍夫曼編碼，可在信噪比和重建圖像質(zhì)量相同的情況下降低碼率。

先進(jìn)的預(yù)測模式允許一個(gè)宏塊中4個(gè)8×8亮度塊各對應(yīng)一個(gè)運(yùn)動矢量，從而提高了預(yù)測精度；兩個(gè)色度塊的運(yùn)動矢量則取這4個(gè)亮度塊運(yùn)動矢量的平均值。補(bǔ)償時(shí)，使用重疊的塊運(yùn)動補(bǔ)償，8×8亮度塊的每個(gè)象素的補(bǔ)償值由3個(gè)預(yù)測值加權(quán)平均得到。使用該模式可以產(chǎn)生顯著的編碼增益，特別是采用重疊的塊運(yùn)動補(bǔ)償，會減少塊效應(yīng)，提高主觀質(zhì)量。

PB-幀模式規(guī)定一個(gè)PB-幀包含作為一個(gè)單元進(jìn)行編碼的兩幀圖像。PB-幀模式可在碼率增加不多的情況下，使幀率加倍。

H.263視頻壓縮標(biāo)準(zhǔn)版本2

ITU-T在H.263發(fā)布后又修訂發(fā)布了H.263標(biāo)準(zhǔn)的版本2，非正式地命名為H.263+標(biāo)準(zhǔn)。它在保證原H.263標(biāo)準(zhǔn)核心句法和語義不變的基礎(chǔ)上，增加了若干選項(xiàng)以提高壓縮效率或改善某方面的功能。原H.263標(biāo)準(zhǔn)限制了其應(yīng)用的圖像輸入格式，僅允許5種視頻源格式。H.263+標(biāo)準(zhǔn)允許更大范圍的圖像輸入格式，自定義圖像的尺寸，從而拓寬了標(biāo)準(zhǔn)使用的范圍，使之可以處理基于視窗的計(jì)算機(jī)圖像、更高幀頻的圖像序列及寬屏圖像。

為提高壓縮效率，H.263+采用先進(jìn)的幀內(nèi)編碼模式；增強(qiáng)的PB-幀模式改進(jìn)了H.263的不足，增強(qiáng)了幀間預(yù)測的效果；去塊效應(yīng)濾波器不僅提高了壓縮效率，而且提供重建圖像的主觀質(zhì)量。

為適應(yīng)網(wǎng)絡(luò)傳輸，H.263+增加了時(shí)間分級、信噪比和空間分級，對在噪聲信道和存在大量包丟失的網(wǎng)絡(luò)中傳送視頻信號很有意義；另外，片結(jié)構(gòu)模式、參考幀選擇模式增強(qiáng)了視頻傳輸?shù)目拐`碼能力。

H.263++視頻壓縮標(biāo)準(zhǔn)

H263++在H263+基礎(chǔ)上增加了3個(gè)選項(xiàng)，主要是為了增強(qiáng)碼流在惡劣信道上的抗誤碼性能，同時(shí)為了提高增強(qiáng)編碼效率。這3個(gè)選項(xiàng)為：

選項(xiàng)U——稱為增強(qiáng)型參考幀選擇，它能夠提供增強(qiáng)的編碼效率和信道錯(cuò)誤再生能力(特別是在包丟失的情形下)，需要設(shè)計(jì)多緩沖區(qū)用于存貯多參考幀圖像。

選項(xiàng)V——稱為數(shù)據(jù)分片，它能夠提供增強(qiáng)型的抗誤碼能力(特別是在傳輸過程中本地?cái)?shù)據(jù)被破壞的情況下)，通過分離視頻碼流中DCT的系數(shù)頭和運(yùn)動矢量數(shù)據(jù)，采用可逆編碼方式保護(hù)運(yùn)動矢量。

選項(xiàng)W——在H263+的碼流中增加補(bǔ)充信息，保證增強(qiáng)型的反向兼容性，附加信息包括：指示采用的定點(diǎn)IDCT、圖像信息和信息類型、任意的二進(jìn)制數(shù)據(jù)、文本、重復(fù)的圖像頭、交替的場指示、稀疏的參考幀識別。

H.264視頻編碼標(biāo)準(zhǔn)

H.264是由ISO/IEC與ITU-T組成的聯(lián)合視頻組(JVT)制定的新一代視頻壓縮編碼標(biāo)準(zhǔn)。事實(shí)上，H.264標(biāo)準(zhǔn)的開展可以追溯到8年前。1996年制定H.263標(biāo)準(zhǔn)后，ITU-T的視頻編碼專家組(VCEG)開始了兩個(gè)方面的研究：一個(gè)是短期研究計(jì)劃，在H.263基礎(chǔ)上增加選項(xiàng) (之后產(chǎn)生了H.263+與H.263++)；另一個(gè)是長期研究計(jì)劃，制定一種新標(biāo)準(zhǔn)以支持低碼率的視頻通信。長期研究計(jì)劃產(chǎn)生了H.26L標(biāo)準(zhǔn)草案，在壓縮效率方面與先期的ITU-T視頻壓縮標(biāo)準(zhǔn)相比，具有明顯的優(yōu)越性。2001年，ISO的MPEG組織認(rèn)識到H.26L潛在的優(yōu)勢，隨后ISO與ITU 開始組建包括來自ISO/IEC MPEG與ITU-T VCEG的聯(lián)合視頻組(JVT)，JVT的主要任務(wù)就是將H.26L草案發(fā)展為一個(gè)國際性標(biāo)準(zhǔn)。于是，在ISO/IEC中該標(biāo)準(zhǔn)命名為AVC (Advanced Video Coding)，作為MPEG-4標(biāo)準(zhǔn)的第10個(gè)選項(xiàng)；在ITU-T中正式命名為H.264標(biāo)準(zhǔn)。H.264的主要優(yōu)點(diǎn)如下:

在相同的重建圖像質(zhì)量下，H.264比H. 263+和MPEG-4(SP)減小50%碼率。

對信道時(shí)延的適應(yīng)性較強(qiáng)，既可工作于低時(shí)延模式以滿足實(shí)時(shí)業(yè)務(wù)，如會議電視等；又可工作于無時(shí)延限制的場合，如視頻存儲等。

提高網(wǎng)絡(luò)適應(yīng)性，采用“網(wǎng)絡(luò)友好”的結(jié)構(gòu)和語法，加強(qiáng)對誤碼和丟包的處理，提高解碼器的差錯(cuò)恢復(fù)能力。

在編/解碼器中采用復(fù)雜度可分級設(shè)計(jì)，在圖像質(zhì)量和編碼處理之間可分級，以適應(yīng)不同復(fù)雜度的應(yīng)用。

相對于先期的視頻壓縮標(biāo)準(zhǔn)，H.264引入了很多先進(jìn)的技術(shù)，包括4×4整數(shù)變換、空域內(nèi)的幀內(nèi)預(yù)測、1/4象素精度的運(yùn)動估計(jì)、多參考幀與多種大小塊的幀間預(yù)測技術(shù)等。新技術(shù)帶來了較高的壓縮比，同時(shí)大大提高了算法的復(fù)雜度。

4×4整數(shù)變換

以前的標(biāo)準(zhǔn)，如H.263或MPEG-4，都是采用8x8的DCT變換。H.26L中建議的整數(shù)變換實(shí)際上接近于4×4的DCT變換，整數(shù)的引入降低了算法的復(fù)雜度，也避免了反變換的失配問題，4×4的塊可以減小塊效應(yīng)。而H.264的4×4整數(shù)變換進(jìn)一步降低了算法的復(fù)雜度，相比H.26L中建議的整數(shù)變換，對于9b輸入殘差數(shù)據(jù)，由以前的32b降為現(xiàn)在的16b運(yùn)算，而且整個(gè)變換無乘法，只需加法和一些移位運(yùn)算。新的變換對編碼的性能幾乎沒有影響，而且實(shí)際編碼略好一些。

基于空域的幀內(nèi)預(yù)測技術(shù)

視頻編碼是通過去除圖像的空間與時(shí)間相關(guān)性來達(dá)到壓縮的目的?？臻g相關(guān)性通過有效的變換來去除，如DCT變換、H.264的整數(shù)變換；時(shí)間相關(guān)性則通過幀間預(yù)測來去除。這里所說的變換去除空間相關(guān)性，僅僅局限在所變換的塊內(nèi)，如8×8或者4×4，并沒有塊與塊之間的處理。H.263+與MPEG-4 引入了幀內(nèi)預(yù)測技術(shù)，在變換域中根據(jù)相臨塊對當(dāng)前塊的某些系數(shù)做預(yù)測。H.264則是在空域中，利用當(dāng)前塊的相臨象素直接對每個(gè)系數(shù)做預(yù)測，更有效地去除相臨塊之間的相關(guān)性，極大地提高了幀內(nèi)編碼的效率。

H.264基本部分的幀內(nèi)預(yù)測包括9種4×4亮度塊的預(yù)測、4種16×16亮度塊的預(yù)測和4種色度塊的預(yù)測。

運(yùn)動估計(jì)

H.264的運(yùn)動估計(jì)具有3個(gè)新的特點(diǎn)：1/4象素精度的運(yùn)動估計(jì)；7種大小不同的塊進(jìn)行匹配；前向與后向多參考幀。

H.264在幀間編碼中，一個(gè)宏塊(16×16)可以被分為16×8、8×16、8×8的塊，而8×8的塊被稱為子宏塊，又可以分為8×4、4× 8、4×4的塊?？傮w而言，共有7種大小不同的塊做運(yùn)動估計(jì)，以找出最匹配的類型。與以往標(biāo)準(zhǔn)的P幀、B幀不同，H.264采用了前向與后向多個(gè)參考幀的預(yù)測。半象素精度的運(yùn)動估計(jì)比整象素運(yùn)動估計(jì)有效地提高了壓縮比，而1/4象素精度的運(yùn)動估計(jì)可帶來更好的壓縮效果。

編碼器中運(yùn)用多種大小不同的塊進(jìn)行運(yùn)動估計(jì)，可節(jié)省15%以上的比特率(相對于16×16的塊)。運(yùn)用1/4象素精度的運(yùn)動估計(jì)，可以節(jié)省20%的碼率(相對于整象素預(yù)測)。多參考幀預(yù)測方面，假設(shè)為5個(gè)參考幀預(yù)測，相對于一個(gè)參考幀，可降低5%～10%的碼率。以上百分比都是統(tǒng)計(jì)數(shù)據(jù)，不同視頻因其細(xì)節(jié)特征與運(yùn)動情況而有所差異。

熵編碼

H.264標(biāo)準(zhǔn)采用的熵編碼有兩種：一種是基于內(nèi)容的自適應(yīng)變長編碼(CAVLC)與統(tǒng)一的變長編碼(UVLC)結(jié)合；另一種是基于內(nèi)容的自適應(yīng)二進(jìn)制算術(shù)編碼(CABAC)。CAVLC與CABAC根據(jù)相臨塊的情況進(jìn)行當(dāng)前塊的編碼，以達(dá)到更好的編碼效率。CABAC比CAVLC壓縮效率高，但要復(fù)雜一些。

去塊效應(yīng)濾波器

H.264標(biāo)準(zhǔn)引入了去塊效應(yīng)濾波器，對塊的邊界進(jìn)行濾波，濾波強(qiáng)度與塊的編碼模式、運(yùn)動矢量及塊的系數(shù)有 關(guān)。去塊效應(yīng)濾波器在提高壓縮效率的同時(shí)，改善了圖像的主觀效果。

其他視頻編碼標(biāo)準(zhǔn)

除上述ITU-T的視頻壓縮標(biāo)準(zhǔn)外，還有一些標(biāo)準(zhǔn)也比較流行，如MPEG-4、AVS、WM9。

H.264也稱為MPEG-4 AVC，而目前業(yè)內(nèi)所說的MPEG-4一般是指SP(簡級)或ASP(先進(jìn)的簡級)，主要針對低碼率應(yīng)用，如因特網(wǎng)上的流媒體、無線網(wǎng)的視頻傳輸及視頻存儲等，其核心類似于H.263。

MPEG-4 SP和H.263有很多相似的地方，如附表所示。然而，這兩個(gè)標(biāo)準(zhǔn)之間也有顯著的不同，主要表現(xiàn)在：碼流結(jié)構(gòu)和頭信息、熵編碼的部分碼表、編碼技術(shù)的一些細(xì)節(jié)。MPEG-4 ASP較SP增加了一些技術(shù)，主要有：1/4象素精度的運(yùn)動估計(jì)、B幀、全局運(yùn)動矢量(GMV)，因而壓縮效率得以提高。

AVS是由我國自主制定的音/視頻編碼技術(shù)標(biāo)準(zhǔn)，主要面向高清晰度電視、高密度光存儲媒體等應(yīng)用。AVS標(biāo)準(zhǔn)以當(dāng)前國際上最先進(jìn)的MPEG-4 AVC/H.264框架為基礎(chǔ)，強(qiáng)調(diào)自主知識產(chǎn)權(quán)，同時(shí)充分考慮了實(shí)現(xiàn)的復(fù)雜度。相對于H.264，AVS的主要特點(diǎn)有：(1)8×8的整數(shù)變換與64級量化；(2)亮度和色度幀內(nèi)預(yù)測都是以8×8塊為單位，亮度塊采用5種預(yù)測模式，色度塊采用4種預(yù)測模式；(3)采用16×16、16×8、8×16和8 ×8 4種塊模式進(jìn)行運(yùn)動補(bǔ)償；(4)在1/4象素運(yùn)動估計(jì)方面，采用不同的四抽頭濾波器進(jìn)行半象素插值和1/4象素插值；(5)P幀可以利用最多2幀的前向參考幀，而B幀采用前后各一個(gè)參考幀。

Window Meida 9(WM9)是微軟公司開發(fā)的新一代數(shù)字媒體技術(shù)。一些測試表明，WM9的視頻壓縮效率比MPEG-2、MPEG-4 SP及H.263高很多，而與H.264的壓縮效率相當(dāng)。

結(jié)束語

目前，H.261與H.263在視頻通信中廣泛應(yīng)用，成熟的產(chǎn)品已經(jīng)很多。H.263與H.261相比，增加了若干選項(xiàng)，提供了更靈活的編碼方式，壓縮效率大大提高，更適應(yīng)網(wǎng)絡(luò)傳輸。H.264標(biāo)準(zhǔn)的推出，是視頻編碼標(biāo)準(zhǔn)的一次重要進(jìn)步，它與現(xiàn)有的MPEG-2、MPEG-4 SP及H.263相比，具有明顯的優(yōu)越性，特別是在編碼效率上的提高，使之能用于許多新的領(lǐng)域。盡管H.264的算法復(fù)雜度是現(xiàn)有編碼壓縮標(biāo)準(zhǔn)的4倍以上，隨著集成電路技術(shù)的快速發(fā)展，H.264的應(yīng)用將成為現(xiàn)實(shí)。