為何說Per-Title編碼思想仍在發(fā)揮著重要作用

Per-Title（按主題）編碼并不是很新的技術(shù)，本文是Netflix于2015年發(fā)布的。但直到今天，Per-Title編碼的思想仍在發(fā)揮著重要作用，通過Per-Frame甚至Per-Block

更細(xì)粒度的切分，能夠?qū)崿F(xiàn)更高的編碼效率。LiveVideoStack對文章進(jìn)行摘譯。

文 / Anne Aaron, Zhi Li, Megha Manohara, Jan De Cock and David Ronca

譯 / 金歌

我們花了數(shù)年時間開發(fā)出這種名為“Per-Title”的編碼方法，其核心是對每一主題（的視頻）進(jìn)行獨立分析，根據(jù)其復(fù)雜度選擇最佳編碼方式。設(shè)想一下，針對一個非常復(fù)雜的動作場景，我們將更多比特位用來封裝動作信息，而只用較少的比特位封裝固定不變的風(fēng)景及動畫部分。這種方法使我們能夠在降低帶寬占用的情況下，為用戶提供同樣優(yōu)質(zhì)的視頻觀看體驗。對于帶寬較低的國家，以及用戶經(jīng)常在移動網(wǎng)絡(luò)上觀看視頻的地區(qū)，這一特質(zhì)尤為重要。

相關(guān)背景

在地面無線電視、有線電視或衛(wèi)星電視這些傳統(tǒng)電視傳媒方式下，廣播公司會擁有自己固定可用的帶寬。他們提供的節(jié)目（或同時提供的多個節(jié)目）在編碼后得到的視頻流需要合理地占用這部分帶寬。廣播公司通常會利用統(tǒng)計復(fù)用的方法，將比特率高效地分配給同時播放的多個節(jié)目，但其使用的總比特率仍然受制于有限的帶寬總量。在多數(shù)情況下，廣播公司甚至?xí)ㄟ^填充空（視頻）包的方式來確保某一固定頻道的對應(yīng)比特率嚴(yán)格不變，因此浪費了寶貴的數(shù)據(jù)傳輸速率。此外，通過預(yù)先設(shè)定好的頻道分配，收視率較低的電視節(jié)目或電影劇集會被分配到較低的比特率（因此視頻流質(zhì)量較差），而高收視率的節(jié)目則會在比特率較高的頻道中進(jìn)行傳輸。

憑借著互聯(lián)網(wǎng)流媒體的優(yōu)勢，Netflix不受預(yù)先分配頻道的限制。相反，我們可以向會員提供質(zhì)量最佳的視頻流，無論是哪種節(jié)目都可以根據(jù)會員的可用帶寬和觀看設(shè)備進(jìn)行量身定制。我們使用優(yōu)化后的編碼方式，以多種比特率對視頻流進(jìn)行預(yù)編碼?？蛻舳四軌蚧谧赃m應(yīng)流媒體算法即時選擇最佳分辨率的視頻流，最大限度地提高視頻質(zhì)量，同時避免因視頻加載而造成的播放中斷。

如何才能選擇最佳的編碼方式呢？這個問題可并不簡單。例如，假設(shè)用戶的可用帶寬為1Mbps，我們應(yīng)該以哪種分辨率來傳輸H.264/AVC視頻呢？480p、720p還是1080p呢？

如果使用480p，1Mbps帶寬條件下視頻可能不會出現(xiàn)塊失真或環(huán)失真等現(xiàn)象。但如果該會員正在使用高清設(shè)備觀看視頻，那么經(jīng)過超采樣的視頻清晰度會較低。相反，如果我們以1080p編碼，傳輸?shù)囊曨l分辨率會更高，但同時傳輸比特率可能會過低，以至于大多數(shù)畫面都會出現(xiàn)令人厭煩的編碼失真。

普適的最佳編碼方式

我們于2010年末首次部署H.264/AVC編碼，那時我們的視頻工程師針對我們提供的所有視頻類別，選擇了（當(dāng)時）最佳的編碼方式。他們測試了多種編碼器配置，通過實際觀看比較的方法對編碼器的各項參數(shù)進(jìn)行了設(shè)定，從而讓不同類型的視頻都達(dá)到最佳質(zhì)量。最終我們選擇了下表中所列出的這組比特率-分辨率階梯對視頻進(jìn)行編碼，以確保視頻不會出現(xiàn)嚴(yán)重的失真。

對于大多數(shù)內(nèi)容來說，這種“一刀切”的方式在給定比特率限制的情況下確實實現(xiàn)了高質(zhì)量的編碼。然而，在一些特殊情況下，例如攝像機(jī)噪點或膠片顆粒噪點較多的場景，以最高比特率5800kbps傳輸?shù)囊曨l流仍會在噪點多的區(qū)域出現(xiàn)塊失真。而對于動畫片這類簡單內(nèi)容，以5800kbps傳輸1080p的視頻流又是非常浪費的。此外，網(wǎng)絡(luò)帶寬限制為1750kbps的用戶也許能夠在高清分辨率下觀看動畫片，而不該受限于比特率階梯所指定的標(biāo)清分辨率。

Netflix視頻集中的眾多主題（的視頻）具有很高的信號特征多樣性。下圖中我們展示了100個隨機(jī)抽樣的主題的多樣性。我們使用x264編碼器在恒定量化參數(shù)（QP）比率控制的條件下，以1080p分辨率編碼了100個源。在每一個量化參數(shù)下，我們將計算出的每類主題對應(yīng)的比特率（以kbps為單位）作為x軸數(shù)值，以衡量視頻質(zhì)量的PSNR（峰值信噪比，以dB為單位）作為y軸數(shù)值，從而得到這些數(shù)據(jù)點。

從這些曲線可以看出，某些主題在2500kbps或更低的比特率下即可達(dá)到非常高的PSNR（45dB或更高）。而與此同時，另一些主題需要以8000kbps或更高的比特率傳輸，才能使PSNR達(dá)到38dB這一可接受的最低限度。

鑒于不同主題的信號特征多樣性及用戶限定帶寬情況各異，顯然我們很難找到一個普適的方案使每種主題的視頻都能達(dá)到最佳觀看質(zhì)量。在某些情況下，（使用普適方案）還會造成分配的比特率過高，大大超出提升視頻質(zhì)量所需要的比特率，從而導(dǎo)致存儲空間與傳輸比特位的浪費。

關(guān)于視頻質(zhì)量度量的附注：在上圖與后文中的諸多圖表里，我們以PSNR作為視頻質(zhì)量的度量。 PSNR是視頻壓縮中最常用的度量。 盡管PSNR并不總能反映出人眼所感知的視頻質(zhì)量，但它是衡量視頻保真度的一種簡單指標(biāo)（即45dB表示視頻保真，35dB表示視頻失真），同時它也很好地表示出了每個主題內(nèi)視頻質(zhì)量的（分布）趨勢。我們還可以利用其他質(zhì)量度量進(jìn)行分析，如VMAF感知度量。VMAF是由Netflix與南加州大學(xué)研究人員合作開發(fā)的一種新的感知質(zhì)量度量。

適合視頻內(nèi)容的最佳編碼方案

Why Per-Title?

對于一個內(nèi)容”簡單”的動畫主題來說，視頻的每一幀主要由平坦區(qū)域組成，不含攝像機(jī)或膠片顆粒噪點，幀間運動也非常小。下面我們來比較一下利用固定比特率階梯與利用針對主題優(yōu)化后的比特率階梯分別得到的質(zhì)量曲線：

如上圖所示，以不同比特率編碼分辨率為1920×1080的視頻片段，比特率為2350kbps時（A，按主題比特率階梯）視頻質(zhì)量較高（PSNR約為45dB），當(dāng)比特率增加到4300kbps（B，固定比特率階梯）甚至5800kbps（C，固定比特率階梯）時，視頻的視覺質(zhì)量并不會有明顯的提升（PSNR大于等于45dB時，人眼不能感受到明顯失真）。 利用固定比特率階梯，在2350kbps比特率（D）下我們只能編碼分辨率為1280×720的視頻片段。 因此，那些可用帶寬約為2350kbps的用戶就只能觀看720p的視頻，而不是質(zhì)量更好的1080p的視頻了。

另一方面，對于動作片來說，其幀間運動信息和空間紋理信息都要多于動畫片。 動作片中具有快速移動的物體，頻繁變化的場景，爆炸和水花四濺等鏡頭。下圖顯示了我們基于某一動作片而獲得的質(zhì)量曲線。

如果在1920×1080分辨率下，以4300kbps（A）比特率對這些高復(fù)雜度的場景進(jìn)行編碼，則會導(dǎo)致編碼失真，例如塊失真、環(huán)失真和輪廓失真。另一種質(zhì)量折衷的方法是以較低的分辨率1280x720（B）進(jìn)行編碼，以增加縮放比例為代價消除編碼失真。編碼失真通常比降采樣（編碼前）和超采樣（解碼后）導(dǎo)致的模糊現(xiàn)象更加令人厭煩也更容易被發(fā)現(xiàn)。對于這一具有高度復(fù)雜場景的動作片來說，可能最好的方式是在1920×1080分辨率下以超過5800kbps的比特率進(jìn)行編碼，例如7500kbps，從而完全消除編碼失真現(xiàn)象。

為了向我們的會員提供最佳質(zhì)量的視頻，每個主題的視頻都應(yīng)當(dāng)對應(yīng)一個針對其復(fù)雜特性而特別設(shè)計的比特率階梯。為了回答以下這幾個問題，Netflix的編碼團(tuán)隊在過去這幾年中投入了大量精力進(jìn)行研究和開發(fā)：

• 給定一個主題，應(yīng)該設(shè)定多少個質(zhì)量等級，使得相鄰等級之間的編碼結(jié)果剛好存在最小可覺差（JND）？

• 給定一個主題，每個質(zhì)量等級對應(yīng)的最佳分辨率 - 比特率對是多少？

• 給定一個主題，達(dá)到最佳可感知質(zhì)量所需的最高比特率是多少？

• 給定一個視頻編碼結(jié)果，怎樣獲得人眼感知質(zhì)量？

• 如何設(shè)計一個健壯并可擴(kuò)展的生產(chǎn)系統(tǒng)來解決以上問題？

算法

為了設(shè)計最優(yōu)的按主題比特率階梯，我們在確定質(zhì)量等級的總數(shù)，以及每個質(zhì)量等級對應(yīng)的比特率 - 分辨率對時，受到了一些實際條件的限制。 例如，我們需要確保反向兼容性（視頻流需要支持所有以前認(rèn)證過的Netflix設(shè)備），因此可選擇的分辨率被限制在 - 1920×1080，1280×720，720×480，512×384，384×288和320×240這些選項中。而可選擇的比特率也是有限的，其中相鄰比特率的增量大約為5％。

此外，我們還考慮到了其他一些優(yōu)化標(biāo)準(zhǔn)。

- 選擇的比特率 - 分辨率對應(yīng)該是有效的，即給定比特率下得到的編碼結(jié)果應(yīng)具有盡可能高的質(zhì)量。

- 相鄰比特率（對應(yīng)編碼結(jié)果）之間應(yīng)有視覺上的感知差異。 理想情況下，兩個相鄰比特率之間的感知差異應(yīng)該恰好低于一個最小可覺差。這確保了在比特率之間進(jìn)行切換時視頻質(zhì)量轉(zhuǎn)換的平穩(wěn)性。鑒于比特率梯需要覆蓋的感知質(zhì)量范圍很廣，我們還應(yīng)確保質(zhì)量等級的數(shù)量不要太多。

為了更加直觀地解釋這個問題，我們在下面這個例子中用三種不同的分辨率搭配各種比特率對視頻源進(jìn)行了編碼。

以三種分辨率搭配各種比特率進(jìn)行編碼。 藍(lán)色標(biāo)記表示編碼點，紅色曲線表示PSNR - 比特率凸包

在每種分辨率下，編碼質(zhì)量隨比特率增加而單調(diào)遞增，但當(dāng)比特率超過某一閾值后，曲線開始趨于平坦（A和B），其原因是每個分辨率都對應(yīng)一個感知質(zhì)量的上限。 當(dāng)視頻被降采樣到低分辨率進(jìn)行編碼，而后超采樣到全分辨率進(jìn)行播放時，其高頻成分將會丟失。

另一方面，在比特率相同的條件下，以高分辨率編碼的視頻質(zhì)量可能反而低于以較低分辨率編碼的視頻質(zhì)量（請參見C和D）。這是因為以較低的精度編碼更多的像素，和以較高的精度結(jié)合升采樣和插值來編碼更少的像素，前者所得到的圖像質(zhì)量更低。此外，在比特率非常低的情況下，與每個固定尺寸編碼塊相關(guān)的編碼消耗開始在比特率消耗中占領(lǐng)主導(dǎo)地位，余下能夠用于編碼實際信號的比特位非常少。在比特率不足的情況下進(jìn)行高分辨率編碼將會造成編碼失真，如塊失真、環(huán)失真和輪廓失真。

我們可以發(fā)現(xiàn)，每個分辨率都對應(yīng)一段優(yōu)于其他分辨率的比特率區(qū)域。如果我們匯集所有可用分辨率所對應(yīng)的這些區(qū)域，它們會共同形成一個稱為凸包的邊界。從經(jīng)濟(jì)意義的角度來看，凸包是編碼點達(dá)到帕累托（最優(yōu)）效率的區(qū)域。理想情況下，我們希望能夠精確地在凸包上進(jìn)行操作，但由于實際條件的限制（例如能夠選擇的分辨率有限），我們將會選擇與凸包盡可能接近的比特率 - 分辨率對。

為我們視頻庫中的每類視頻構(gòu)建覆蓋整個質(zhì)量區(qū)域的完整比特率 - 質(zhì)量圖是不切實際的。 為了尋找更加實用的解決方案，我們在一組有限的分辨率下對不同的量化參數(shù)（QP）進(jìn)行了試驗編碼。量化參數(shù)的選擇依據(jù)是“相鄰量化參數(shù)之間存在一個最小可覺差”。我們測量記錄了每個試驗編碼的比特率和質(zhì)量。在根據(jù)采樣點對曲線進(jìn)行插值后，我們得到了每個候選分辨率對應(yīng)的比特率 - 質(zhì)量曲線。通過選擇最接近凸包的點，我們最終得到了按主題比特率階梯。

成果

以動畫片BoJack Horseman例，它的幀主要由平坦區(qū)域構(gòu)成，幀間運動也很低。 在固定比特率階梯方案中，我們使用1750kbps比特率在480p下進(jìn)行編碼和傳輸。而在按主題比特率階梯方案中，我們首先以1540kbps的比特率傳輸1080p的視頻。下面我們來比較一下這兩個版本的截圖（上圖：1750kbps，下圖：新的1540kbps）（假設(shè)顯示器為1080p）。 不難看出，利用新編碼方法得到的結(jié)果更加清晰，視覺質(zhì)量更好。

美劇Orange is the New Black的視頻特性平均復(fù)雜度更高。 在低比特率區(qū)域，新的按主題編碼方案并沒有顯著改善編碼質(zhì)量。而在高比特率區(qū)域，新方案為最高分辨率1080p配置了4640kbps的比特率。相比于固定階梯方案中所使用的5800kbps，新方案節(jié)省了20%的比特率。對于這一主題的視頻，我們在避免浪費比特數(shù)的同時，為會員保證了極佳的視覺質(zhì)量。下面是比特率分別為5800kbps（上圖）與4640kbps（下圖）時的截圖。

適合您設(shè)備的最佳編碼方案

在上文描述中，我們選擇了優(yōu)化后的按主題比特率階梯，這其中存在一個假設(shè)前提，即觀看設(shè)備可以接收和播放（支持）任何分辨率的編碼視頻。然而，由于硬件限制，某些設(shè)備可能會將分辨率限制在低于視頻源原始分辨率的數(shù)值。如果我們將最高凸包分辨率設(shè)定為1080p，則可能導(dǎo)致用戶在僅限720p解碼的平板電腦上觀看體驗欠佳。例如，對于一個動畫主題的視頻，如果用戶可用帶寬為2000kbps，我們可能會將視頻流的分辨率切換到1080p，因為它的質(zhì)量會比2000kbps下720p的視頻流更好。然而用戶的平板電腦并不支持1080p編碼，即使可用帶寬支持更高質(zhì)量（更高比特率）720p編碼，用戶最終接收到的視頻流的比特率也會受限于2000kbps。

為了解決上述這一問題，我們針對設(shè)備最高可播放分辨率設(shè)計了另外一種按主題比特率階梯。 更確切地說，我們是為480p和720p的設(shè)備設(shè)計了最佳按主題比特率階梯。雖然這些額外的編碼會降低每個主題視頻庫的整體存儲效率，但這一舉措為我們的客戶獲得最佳觀看體驗提供了保障。

對于Netflix的用戶這意味著什么？

按主題編碼方案使我們能夠通過以下兩種方式提供更高質(zhì)量的視頻：在低帶寬條件下，按主題編碼能為您提供質(zhì)量更好的“簡單”主題視頻，因為該類視頻（如BoJack Horseman）現(xiàn)在將會在相同比特率下以更高分辨率呈現(xiàn)。而當(dāng)可用帶寬適合高比特率編碼時，按主題編碼能為您提供質(zhì)量更優(yōu)的復(fù)雜主題視頻，例如Marvel的Daredevil，因為該類視頻將會以更高的最大比特率進(jìn)行編碼。在降低帶寬占用的同時為會員提供最佳的觀看體驗，成為更好的互聯(lián)網(wǎng)管家，這始終引領(lǐng)著我們不斷進(jìn)行創(chuàng)新。