處理圖像和視頻編碼中，基于感知視頻編碼優(yōu)化框架

Netflix提出了一種基于感知視頻編碼優(yōu)化框架，在非峰值流時(shí)間期間，將此編碼系統(tǒng)應(yīng)用于AVC-High和VP9數(shù)據(jù)流，提高了用戶的視頻質(zhì)量的同時(shí)并節(jié)省了帶寬。LiveVideoStack對本文進(jìn)行了編譯，感謝英特爾資深軟件開發(fā)工程師趙軍對本文的審校。

文 / Loannis Katsavounidis，Netflix視頻算法高級(jí)研究科學(xué)家

譯 / 王月美

審校 / 英特爾資深軟件開發(fā)工程師 趙軍

動(dòng)機(jī)

視頻編碼推動(dòng)了過去25年的學(xué)術(shù)研究，并且推出了引人注目的產(chǎn)品與服務(wù)。眾多公司都圍繞視頻編碼和傳輸而構(gòu)建---?Netflix和Google的YouTube是兩個(gè)最好的例證。

多年以來，視頻編碼的基本原理改變不多。產(chǎn)生現(xiàn)代視頻流的編碼參數(shù)類型自MPEG-1視頻標(biāo)準(zhǔn)[1]發(fā)布時(shí)后就甚少改動(dòng)；選擇特定的幀分辨率，連同一組 （GOP）結(jié)構(gòu)，并在該結(jié)構(gòu)(GOP)上應(yīng)用周期性的幀內(nèi)(Intra picture)圖片；通過在輸入視頻幀上的單遍(single pass)或雙遍(two pass)來（近似地）滿足目標(biāo)比特率。

這些公司努力微調(diào)視頻編解碼器中的附加參數(shù)，從而創(chuàng)造業(yè)界通常稱贊為良好“配方”的內(nèi)容。這些配方通常是通過人為檢查一組選定主題上的編碼結(jié)果而創(chuàng)立和定制，且多年未變。

與此同時(shí)，核心視頻編解碼器工具的改進(jìn)導(dǎo)致了比特率上的驚人節(jié)省 ?—一個(gè)HEVC [2]編碼器僅需MPEG-1所用比特的小部分（約30％）就可以達(dá)到與之相同的畫面質(zhì)量。但是，衡量這些改進(jìn)通常使用均方差（MSE）方法，MSE在由人來觀察評(píng)估時(shí)，結(jié)果并不總是令人印象深刻。而當(dāng)一個(gè)新的編解碼器被開發(fā)時(shí)，這個(gè)被要求的神奇數(shù)字已經(jīng)是“50%”。H264/AVC [3] 聲稱比MPEG-2 [4] 節(jié)省50%的比特，HEVC 聲稱比AVC節(jié)省50%的比特。然而，在實(shí)際的系統(tǒng)中，這些節(jié)省從未實(shí)現(xiàn)過-對視頻編解碼器增量變化帶來的效益的最佳評(píng)估是接近40%[5]。

在ISO和ITU標(biāo)準(zhǔn)化工作的同時(shí)，Google一直在開發(fā)他們自己的一系列免版權(quán)稅的視頻編解碼器；其最新研發(fā)的VP9[6]，于2013年首次推出，2014年完成。VP9是基于早前成功的VP8以及Google在2010年收購的On2 Technologies公司開發(fā)的“True Motion”系列編解碼器。

要牢記，大多數(shù)的視頻編解碼器的改進(jìn)給解碼器和----更多的是編碼復(fù)雜度上帶來非常繁重的計(jì)算開銷。一個(gè)已被弄清楚的是，為了能在商業(yè)視頻傳輸服務(wù)中被部署，更新更高效的編解碼器需要不斷增加的復(fù)雜度。很明顯，每一代視頻編解碼器都伴隨5-10倍的編碼器復(fù)雜度的增加，而解碼器復(fù)雜度的增加通常是2倍。

如果接受了更新更高效的編解碼器帶來的復(fù)雜度增加，那么更大的問題是：我們在系統(tǒng)級(jí)別可以做什么？例如將視頻幀作為輸入連接到編碼器的方式，或者我們?nèi)绾问褂靡曨l解碼器的輸出來呈現(xiàn)在屏幕上，以進(jìn)一步提高視頻質(zhì)量，而這些提升將會(huì)被現(xiàn)在這些花費(fèi)大量時(shí)間在視頻上的人所感知。

這里介紹的新方法中的關(guān)鍵詞如下：

• 感知：視頻編解碼的整體目標(biāo)是以一種令人賞心悅目的方式壓縮視覺信息；通常而言用于編碼器決策的均方差（MSE）并不總是一個(gè)與人類感知關(guān)聯(lián)匹配得很好的數(shù)字。

• 復(fù)雜度：就像我們增加了視頻編解碼的復(fù)雜度，我們也可以減少復(fù)雜度。

• 預(yù)見性：VOD與廣播電視不同，廣播電視需要及時(shí)的或在最小延遲中進(jìn)行編碼決策，而在視頻點(diǎn)播服務(wù)中，視頻序列在整個(gè)過程均是可用的，這就可以被預(yù)先分析多次以提高視頻質(zhì)量。

基于鏡頭(Shot-based encoding)的編碼

對于這個(gè)技術(shù)博客的余下部分，我們假設(shè)讀者熟悉自適應(yīng)流媒體的基礎(chǔ)知識(shí)，例如：

• 使用基本處理單元，以不同分辨率和/或質(zhì)量，對相同視覺內(nèi)容進(jìn)行多重編碼表示，稱為“流式傳輸段”

• 為了適應(yīng)不同的通道條件（比特流切換），按照流媒體客戶端的要求，從服務(wù)器傳送編碼的段屬于不同的表示方式。

• 相同視覺內(nèi)容的不同編碼表示之間的段的時(shí)間對齊以允許比特流切換。

有興趣的讀者可以參考一些可用的自適應(yīng)流媒體教程，例如this Wiki page [7]。

分塊編碼（Chunked encoding）

在Netflix 2015年12月發(fā)布的技術(shù)博客[8]中，我們介紹了分塊編碼對云編碼的巨大益處。這意味著打碎了一個(gè)長的視頻序列，例如持續(xù)1小時(shí)，以多個(gè)組塊，每個(gè)組塊持續(xù)一定時(shí)間 - 例如20個(gè)組塊，每個(gè)組塊3分鐘時(shí)長。然后我們用特定的編碼配方，獨(dú)立地編碼每個(gè)塊，連接或“組合”編碼塊，從而獲得整個(gè)視頻序列的編碼版本。

在分塊編碼的眾多優(yōu)勢中，最重要的是它允許使用視頻編碼軟件在云上構(gòu)建一個(gè)強(qiáng)大的系統(tǒng)。如果云實(shí)例未能完成某個(gè)編碼，它只需要重新處理相應(yīng)的塊，而不是重新啟動(dòng)整個(gè)長達(dá)幾小時(shí)大的視頻編碼程序。因?yàn)榭梢圆⑿芯幋a不同的塊，人們還可以看到端到端的延遲的減少， 從而在整個(gè)編碼系統(tǒng)中實(shí)現(xiàn)幾乎無限的可擴(kuò)展性。

當(dāng)然，分塊編碼也帶來一些弊端-即運(yùn)行在整整一個(gè)小時(shí)的序列上，尤其是在兩通模式下的視頻編碼器，可以預(yù)覽隨后的內(nèi)容并做出更好的長期的比特率分配; 從而以相同的比特率實(shí)現(xiàn)更好的整體質(zhì)量。然而，分塊編碼的利大于弊。

按主題和按塊編碼的優(yōu)化（Per-title and per-chunk encode optimization）

Netflix一直在不斷提高全球會(huì)員的視頻質(zhì)量。期間一個(gè)重要的里程碑是發(fā)布于2015年12月[9] 的“按主題編碼優(yōu)化”，在我們的技術(shù)博客上有詳細(xì)介紹。按主題編碼優(yōu)化引入了根據(jù)復(fù)雜度定制編碼的概念，這轉(zhuǎn)換為我們目錄中每個(gè)視頻序列的正確分辨率和比特率選擇。相對于我們以前的固定分辨率/比特率梯形圖，通過考慮視頻的特征，產(chǎn)生顯著的改進(jìn)。特征包括： 運(yùn)動(dòng)量、細(xì)節(jié)水平、色彩，以及選擇更適合每個(gè)主題的編碼參數(shù)來優(yōu)化編碼效率，。另一個(gè)重要的里程碑是2016年12月推出的“按塊編碼優(yōu)化”，作為我們“移動(dòng)編碼下載”計(jì)劃的一部分，這個(gè)在Netflix技術(shù)博客[10]中有更詳細(xì)的介紹。 在下一節(jié)中將更詳細(xì)地討論的均衡R-D斜率的概念也用于這項(xiàng)工作，并提供了重大改進(jìn)。 事實(shí)上，人們可以將當(dāng)前的工作視為“按主題編碼優(yōu)化”和“按塊編碼優(yōu)化”的自然延伸; 我們可以稱之為“感知per-shot編碼優(yōu)化”。

從塊編碼到shot編碼

在理想的世界中，人們希望將視頻分塊,并賦予每個(gè)塊不同的參數(shù)集合，以優(yōu)化最終組合的視頻。實(shí)現(xiàn)這種完美比特分配的第一步是以自然而原子的方式分割視頻，把彼此非常相似的幀組成一個(gè)序列，因此編碼參數(shù)的變化類似 - 這些就是構(gòu)成長視頻的“shot”序列。這些shot是持續(xù)時(shí)間相對較短的視頻部分，它來自相當(dāng)恒定的照明和環(huán)境條件下的同一臺(tái)相機(jī)。它捕獲相同或相似的視覺內(nèi)容。例如，一位站在樹前演員的臉。最重要的是，當(dāng)更改編碼參數(shù)時(shí)，其變化是一致的。shot的自然邊界由相對簡單的算法確定，即稱為shot變化檢測算法。該算法檢查屬于連續(xù)幀的像素之間的差異量以及其他的統(tǒng)計(jì)量。當(dāng)該差異量超過某個(gè)固定的或動(dòng)態(tài)調(diào)整范圍的閾值時(shí)，一個(gè)新的shot邊界被確定。有些可以在兩個(gè)連續(xù)shot之間的邊界上應(yīng)用交叉漸變或其他視覺效果，這類情況則可以通過更復(fù)雜的算法來處理。

shot變化檢測算法的最終結(jié)果是shot列表和它們的時(shí)間戳。人們可以使用這些生成的shot作為基本編碼塊，而不是固定長度的塊。這提供了一些非常獨(dú)特的機(jī)會(huì)：

1. 現(xiàn)在Intra幀的放置可以“始終不規(guī)則”，這個(gè)術(shù)語意味著：

   （a）Intra幀可以放置在“隨機(jī)”的位置。例如前4幀I幀可以是在時(shí)間0,2,5,7秒。

   （b）然而，時(shí)間位置總是在相同主題的編碼之間對齊，換言之，前4個(gè)intra幀的位置保持在0,2,5,7秒。對于這個(gè)主題的所有編碼都是這樣。

2. Intra幀的不規(guī)則位置會(huì)帶來最小的編碼開銷；請記住，在視頻編碼所使用的3種不同類型（I / P / B）的幀中，intra幀的效率最低，因此希望在編碼視頻中盡量減少它們的存在。

3. 在一個(gè)很長的視頻序列中尋找產(chǎn)生的自然興趣點(diǎn)，這些興趣點(diǎn)標(biāo)記出了shot邊界。

4. 當(dāng)獨(dú)立編碼各shot時(shí)沒有預(yù)測懲罰：如果將一intra幀放置于shot中間，則會(huì)將shot分割成若干部分。當(dāng)獨(dú)立編碼而非單個(gè)單元編碼時(shí)，則需要更多位數(shù)。這是因?yàn)镮ntra之后的像素?zé)o法在Intra幀之前的幀中參考它們的類似對應(yīng)物。

5. 連續(xù)拍攝之間的任何重要的編碼參數(shù)變化都不太可能被人眼察覺，這是因?yàn)椴煌瑂hot中的不同視覺內(nèi)容所引起的中斷對人類視覺系統(tǒng)的破壞比任何可能的編碼參數(shù)的變化（例如分辨率和質(zhì)量）都要大得多。

6. 由于非常簡單的編碼方案，例如固定量化參數(shù)（“fixed QP”）模式，被幾乎現(xiàn)在所有的視頻編碼器所支持，且提供了非常一致的視頻質(zhì)量，具有幾乎最小的比特率變化。故而在同類幀集合內(nèi)，如屬于同一shot的那些幀，使用速率控制的需求就少得多。事實(shí)上，在視頻編解碼器開發(fā)過程中一直使用“fixed QP”，因?yàn)樵贛PEG，ITU和其他標(biāo)準(zhǔn)機(jī)構(gòu)中用于測試的所有序列幾乎都由單shot視頻塊組成。

圖一：“始終不規(guī)則”放置在shot邊緣的intra 幀（關(guān)鍵幀）。關(guān)鍵幀在時(shí)間上與所有編碼的鏡頭邊界對齊。

VMAF作為感知視頻質(zhì)量指標(biāo)

在2016年6月發(fā)布的另一個(gè)Netflix技術(shù)博客[11]中，我們解釋了視頻多方法評(píng)估融合（VMAF）質(zhì)量指標(biāo)，VMAF是由內(nèi)部開發(fā)，后為整個(gè)視頻社區(qū)獲益而開源。

VMAF的主要特征如下：

1. 它是一個(gè)完整的參考指標(biāo)，這意味著它可以應(yīng)用于任何原始的、未失真的或已失真視頻序列的版本。

2. 它考慮到壓縮和向上/向下縮放的影響，通過上采樣解碼視頻幀到一個(gè)普通的參考幀大小(1920x1080)。這樣，就可以使用VMAF來評(píng)估不同分辨率的編碼視頻的質(zhì)量，尤其可以用來比較不同分辨率下相同內(nèi)容的編碼版本，并幫助判斷出哪一個(gè)編碼效果更好。

3. 它依賴于現(xiàn)有的圖像質(zhì)量指標(biāo)(VIF, DLM)，且經(jīng)過適當(dāng)修改以覆蓋多個(gè)分辨率，以及視頻序列中連續(xù)視頻幀之間的移動(dòng)量，這些移動(dòng)量作為輸入到機(jī)器學(xué)習(xí)權(quán)重集中的特征。最后的得分是在支持向量機(jī)（SVM）回歸器中結(jié)合這些基本特征所得的結(jié)果。

4. 在VMAF中使用的權(quán)重校準(zhǔn)和訓(xùn)練是通過收集實(shí)際觀察者的主觀數(shù)據(jù)來進(jìn)行的，而觀察者提供的是VMAF當(dāng)時(shí)適合的基礎(chǔ)真實(shí)數(shù)據(jù)。用于training VMAF的內(nèi)容是Netflix目錄的一個(gè)有代表性的子集，因此我們了解到它的性能與我們的使用情況一致。然而，VMAF框架是通用的，并且允許其他人根據(jù)自己的情況對其進(jìn)行再training。事實(shí)上，大量的研究人員已經(jīng)使用他們自己的主觀數(shù)據(jù)集驗(yàn)證了VMAF的準(zhǔn)確性。

圖2：VMAF的工作原理:將像素級(jí)數(shù)據(jù)匯聚以生成幀級(jí)特征;利用SVM回歸方法融合不同時(shí)空特征，來建立幀級(jí)質(zhì)量分?jǐn)?shù);連續(xù)幀的分?jǐn)?shù)被匯集以產(chǎn)生最終的視頻序列VMAF分?jǐn)?shù)。

率失真曲線的凸包

Ortega和Ramchandran [12]在1998年的一篇開創(chuàng)性論文展示了在處理圖像和視頻編碼中的多種選擇時(shí)如何解決最優(yōu)性問題。

假設(shè)圖像由N個(gè)需要編碼的單元組成

• 分別編碼每個(gè)單元，為每個(gè)可能性獲取的（速率，失真）對，稱之為“工作點(diǎn)”；

• 將所有可用的工作點(diǎn)放在率失真圖上；

• 提取它的凸包和邊界輪廓；

• 可以從每個(gè)單元的凸包上選取一個(gè)點(diǎn)，以便不同單元的點(diǎn)具有（大致）相同的distortion-rate斜率。

圖3：工作點(diǎn)、R-D凸包的示例，以及源R-D曲線。轉(zhuǎn)載自[12]

組合

因此可以考慮以下系統(tǒng)：

• 一個(gè)長的視頻序列在shot中分割開

圖4:來自“El Fuente”測試序列代表性鏡頭的縮略圖;這個(gè)主題包括96個(gè)鏡頭。

• 每個(gè)shot使用不同的編碼參數(shù)進(jìn)行多次編碼，如分辨率和質(zhì)量（QP等）

• 每個(gè)編碼都使用VMAF進(jìn)行評(píng)估，并與其比特率一起生成（R，D）點(diǎn)。 可以使用不同的映射將VMAF質(zhì)量轉(zhuǎn)換為失真; 我們針對線性和反比例映射這兩種進(jìn)行了測試。將在下一節(jié)討論這些映射產(chǎn)生的不同的時(shí)間聚合策略。

圖5：使用一組參數(shù)如分辨率和QP對一個(gè)shot進(jìn)行編碼，并獲得一個(gè)單獨(dú)的(R,D)點(diǎn)。

• 計(jì)算每個(gè)shot的（R，D）點(diǎn)的凸包。 在以下示例圖中，失真是（VMAF + 1）的倒數(shù)。

圖6：使用VP9（libvpx）以各種編碼分辨率和量化參數(shù)（QP）獲得的來自“El Fuente”的特定shot的多個(gè)（R，D）點(diǎn)。

圖7：使用VP9（libvpx）從“El Fuente”拍攝同一shot的（R，D）操作點(diǎn)的凸包

• 來自每個(gè)shot的凸包中的點(diǎn)，通過遵循恒定斜率原則并在Trellis中構(gòu)建端到端路徑來組合，為整個(gè)視頻序列創(chuàng)建編碼。

圖8：結(jié)合shot編碼以產(chǎn)生最佳編碼; 示例網(wǎng)格路徑顯示固定的QP編碼，針對給定的平均質(zhì)量來最小化比特率或針對給定的平均比特率來最大化編碼質(zhì)量。 選定的shot編碼在（R，D）空間中具有大致相等的斜率。

• 為了能夠覆蓋到期望的比特率/質(zhì)量范圍，要根據(jù)需要來改變R-D曲線的斜率參數(shù)，以便產(chǎn)生盡可能多的聚合編碼（最終動(dòng)作點(diǎn)）。

• 最終結(jié)果是整個(gè)視頻序列的完整R-D曲線或速率-質(zhì)量（R-Q）曲線。

圖9：對于整個(gè)“El Fuente”視頻序列獲得的最終的R-Q曲線。 基線則是最好的fixed-QP編碼;在這種情況下，動(dòng)態(tài)優(yōu)化器將比特率平均降低了30％。

這個(gè)完整的系統(tǒng)被稱為“動(dòng)態(tài)優(yōu)化器”，該框架產(chǎn)生了Netflix最新一代的編碼。

測試方法-結(jié)果

使用VP9-libvpx視頻編解碼器并編碼了來自Netflix目錄的10個(gè)代表性主題。

就時(shí)間聚合而言，我們實(shí)施了各種池化方法，其中兩種方法對應(yīng)于前面已介紹的質(zhì)量與失真映射，即線性和反比例映射。 我們稱它們?yōu)樗阈g(shù)平均平均VMAF（LVMAF）和調(diào)和平均平均VMAF（HVMAF）。

這兩種方法即LVMAF和HVMAF時(shí)間質(zhì)量聚合，產(chǎn)生了非常高質(zhì)量的編碼序列 - 允許分別在組合的視頻序列中更激進(jìn)或更保守的時(shí)間質(zhì)量波動(dòng)。

VP9編碼方法

在VP9-libvpx中使用的編碼參數(shù)取自以前的研究; 其研究結(jié)果發(fā)布于2016年10月舉行的Netflix的“免版稅編解碼器開放日”?；谠撗芯?，使用的最佳配置是“fixed-QP, AQ-mode=0, CPU=0, best”，在PSNR和VMAF質(zhì)量度量方面顯示出最高質(zhì)量。我們在附錄中重現(xiàn)該研究的主要結(jié)果。

我們將動(dòng)態(tài)優(yōu)化器獲得的結(jié)果與VP9-libvpx的最佳固定QP編碼的結(jié)果進(jìn)行了比較。 下表總結(jié)了所采用的方法和本實(shí)驗(yàn)所選擇的各種參數(shù)。

表1：用于動(dòng)態(tài)優(yōu)化器實(shí)驗(yàn)1的參數(shù)

動(dòng)態(tài)優(yōu)化器獲得的相應(yīng)增益，在以相同視覺質(zhì)量下的％比特率節(jié)省方面以及在相同平均比特率下HVMAF分?jǐn)?shù)改善方面的表示如下：

表2：實(shí)驗(yàn)1的結(jié)果。在動(dòng)態(tài)優(yōu)化器和最佳的固定qp編碼之間大約256kbps在Netflix目錄的10個(gè)代表性主題。

當(dāng)使用HVMAF作為質(zhì)量指標(biāo)時(shí)，結(jié)果是整個(gè)視頻序列的平均比特率比最佳固定的QP編碼節(jié)省了17.1％。 而當(dāng)使用PSNR時(shí)，改進(jìn)甚至更高：平均節(jié)省22.5％的比特率。

在這個(gè)比較中，由于為整個(gè)序列獲得固定QP編碼的凸包，需要與動(dòng)態(tài)優(yōu)化器相同的復(fù)雜性，所以基線和動(dòng)態(tài)優(yōu)化器結(jié)果之間的計(jì)算復(fù)雜度保持不變。 因此，這代表了動(dòng)態(tài)優(yōu)化器帶來的改進(jìn)量的下限。

如果我們使用更常見的基線，如VP9-libvpx中，擁有CPU=1, good, AQ-mode=2編碼配方的2-pass VBR配置，則動(dòng)態(tài)優(yōu)化器的改進(jìn)要更高：就HVMAF而言，平均節(jié)省50％以上的比特率。盡管如此，需要記住的是動(dòng)態(tài)優(yōu)化器解決方案的計(jì)算復(fù)雜度也非常高。

其他視頻編解碼器有多好？

根據(jù)前面介紹的內(nèi)容，可立即明白動(dòng)態(tài)優(yōu)化器框架中并沒有特殊的編解碼器。為了證實(shí)這一點(diǎn)，一組較短的剪輯使用了H.264 / AVC，HEVC和VP9-libvpx進(jìn)行編碼，實(shí)驗(yàn)設(shè)置如下：

表3：用于動(dòng)態(tài)優(yōu)化器實(shí)驗(yàn)2的參數(shù)

圖10：實(shí)驗(yàn)2 的結(jié)果。在VMAF和PSNR方面，動(dòng)態(tài)優(yōu)化器相對于AVC-High（x264），VP9（libvpx）和HEVC（x265）的固定QP / CRF編碼提高了BD-rate。

表4：實(shí)驗(yàn)2 的結(jié)果。使用不同的視頻編解碼器和質(zhì)量度量，相對于固定QP / CRF編碼，動(dòng)態(tài)優(yōu)化器提高了BD-rate。

可以看到，動(dòng)態(tài)優(yōu)化器將這三種編解碼器的編碼效果均提高了大約28-38％。 請牢記，這些改進(jìn)并不是比較編解碼器之間的性能，而是通過使用動(dòng)態(tài)優(yōu)化器框架來改進(jìn)各編解碼器的性能。在即將到來的幾周內(nèi)，將使用動(dòng)態(tài)優(yōu)化器作為高級(jí)編碼框架來對最先進(jìn)的視頻編解碼器進(jìn)行更徹底的比較。

動(dòng)態(tài)優(yōu)化器總結(jié)

動(dòng)態(tài)優(yōu)化器是對視頻編碼的優(yōu)化框架。 其主要特點(diǎn)如下：

• 基于shot的編碼

• 在不同分辨率和質(zhì)量參數(shù)下進(jìn)行多重編碼

• 通過使用VMAF作為其核心指標(biāo)進(jìn)行感知評(píng)估和質(zhì)量調(diào)整

• 大規(guī)模并行處理，非常適合基于云的視頻編碼軟件流水線

其主要優(yōu)勢如下：

• 它可以應(yīng)用于任何現(xiàn)有的或未來的視頻編解碼器，將它視為視頻編碼優(yōu)化框架

• 它可以通過對每個(gè)測試視頻序列的編碼分辨率和質(zhì)量（QP）進(jìn)行識(shí)別“感知相關(guān)”范圍來幫助未來的編解碼器開發(fā)，這也可以在開發(fā)和評(píng)估新編碼工具的性能時(shí)使用

• 它消除了視頻編解碼器實(shí)現(xiàn)中的很多速率控制因素，從而實(shí)現(xiàn)視頻編解碼器更公平地比較

• 它與shot編碼配方的改進(jìn)是正交的，如更好的I-B-P編碼結(jié)構(gòu)，空間自適應(yīng)QP選擇; 在shot級(jí)別執(zhí)行的任何改進(jìn)都是動(dòng)態(tài)優(yōu)化器帶來的

• 根據(jù)計(jì)算資源的數(shù)量，其復(fù)雜性可以放大或縮小，在復(fù)雜性和率失真效率之間提供權(quán)衡

• 它生成完全兼容的比特流

• 它可以與VMAF，PSNR或其他任何視頻質(zhì)量指標(biāo)一起使用。

• 它有利于用于下載和離線消費(fèi)的獨(dú)立的比特流創(chuàng)建，以及用于適應(yīng)流媒體的完整的比特率階梯創(chuàng)建

云實(shí)現(xiàn)

我們已經(jīng)在編碼管道中實(shí)施了動(dòng)態(tài)優(yōu)化器框架。在非峰值流時(shí)間期間，利用我們的可擴(kuò)展云基礎(chǔ)架構(gòu)和未充分利用的云實(shí)例[13]，[14]。 我們將此編碼系統(tǒng)應(yīng)用于AVC-High和VP9數(shù)據(jù)流，在提高了我們成員的視頻質(zhì)量的同時(shí)節(jié)省了帶寬。請繼續(xù)關(guān)注另一個(gè)描述了我們的安裝過程和結(jié)果的技術(shù)博客！

致謝

這項(xiàng)工作是Netflix整個(gè)視頻算法團(tuán)隊(duì)的集體成果。 我想親自感謝Anne Aaron，Chao Chen，Jan De Cock，Rich Gerber，Liwei Guo，Zhi Li，Megha Manohara，Aditya Mavlankar，Anush Moorthy，Andrey Norkin，Kyle Swanson和David Ronca所做出的所有貢獻(xiàn)。

參考文獻(xiàn)

[1] ISO/IEC 11172–2:1993 “Information technology?—?Coding of moving pictures and associated audio for digital storage media at up to about 1,5 Mbit/s?—?Part 2: Video”

[2] ISO/IEC 23008–2:2013 “Information technology?—?High efficiency coding and media delivery in heterogeneous environments?—?Part 2: Video”

[3] ISO/IEC 14496–10:2014 “Information technology?—?Coding of audio-visual object?—?Part 10: Advanced Video Coding”

[4] ISO/IEC 13818–2:2013 “Information technology?—?Generic coding of moving pictures and associated audio information?—?Part 2: Video”

[5] J. De Cock, A. Mavlankar, A. Moorthy and A. Aaron, “A large-scale video codec comparison of x264, x265 and libvpx for practical VOD applications”, Proc. of the SPIE 9971, Applications of Digital Image Processing XXXIX, 997116 (27 Sep. 2016)

[6] A. Grange, P. de Rivaz, and J. Hunt, “VP9 Bitstream and Decoding Process Specification”, Google, 2016

[7] “Adaptive bitrate streaming”, Wikipedia?—?The Free Encyclopedia, https://en.wikipedia.org/wiki/Adaptive_bitrate_streaming

[8] A. Aaron and D. Ronca, “High quality video encoding at scale,” The NETFLIX tech blog, Dec. 9, 2015, link: http://techblog.netflix.com/2015/12/high-quality-video-encoding-at-scale.html

[9] A. Aaron, Z. Li, M. Manohara, J. De Cock and D. Ronca, “Per-title encode optimization”, The NETFLIX tech blog, Dec. 14, 2015, link: http://techblog.netflix.com/2015/12/per-title-encode-optimization.html

[10] A. Norkin, J. De Cock, A. Mavlankar and A. Aaron, “More Efficient Mobile Encodes for Netflix Downloads”, The NETFLIX tech blog, Dec. 1, 2016, link: https://medium.com/netflix-techblog/more-efficient-mobile-encodes-for-netflix-downloads-625d7b082909

[11] Z. Li, A. Aaron, I. Katsavounidis, A. Moorthy, and M. Manohara, “Toward a practical perceptual video quality metric,” The NETFLIX tech blog, June 5, 2016, link: http://techblog.netflix.com/2016/06/toward-practical-perceptual-video.html

[12] A. Ortega and K. Ramchandran, “Rate-distortion methods for image and video compression: An overview,” IEEE Signal Processing Magazine, vol. 15, no. 6, pp. 23–50, 1998

[13] A. Park, D. Derlinger and C. Watson “Creating your own EC2 spot market,” The NETFLIX tech blog, Sep. 28, 2015, link: http://techblog.netflix.com/2015/09/creating-your-own-ec2-spot-market.html

[14] R. Wong, D. Derlinger, A. Shiroor, N. Mareddy, F. San Miguel, R. Gallardo and M. Prabhu “Creating your own EC2 spot market?—?part 2,” The NETFLIX tech blog, Nov. 23, 2015, link: http://techblog.netflix.com/2015/11/creating-your-own-ec2-spot-market-part-2.html

附錄：VP9配方測試

在VP9-libvpx中使用的編碼參數(shù)取自以前的研究; 其研究結(jié)果發(fā)布于2016年10月舉行的Netflix的“免版稅編解碼器開放日”?；谠撗芯?，使用的最佳配置是“fixed-QP, AQ-mode=0, CPU=0, best”，在PSNR和VMAF質(zhì)量度量方面顯示出最高質(zhì)量。下圖顯示了在VP9-libvpx編碼中選擇不同參數(shù)時(shí)，對平均BD速率損失的影響。

圖11：VP9-libvpx編碼中AQ-mode = 0/1/2的作用; AQ-mode = 0效果最佳（摘自2016年10月Netflix的“Open House on Royalty Free Codecs”的 “VP9 Encoding Opportunities @ Netflix”演示文稿）

圖12：VP9-libvpx編碼中CPU0 / best的影響; CPU0 / best是最慢的，但提供的結(jié)果始終優(yōu)于其他設(shè)置（2016年10月發(fā)布的關(guān)于““VP9 Encoding Opportunities @ Netflix”，摘自Netflix“Open House on Royalty Free Codecs”）

圖13：VP9-libvpx中2-pass VBR/ fixed-QP的BD率損失（2016年10月，Netflix的“Open House on Royalty Free Codecs”的節(jié)選，“VP9 Encoding Opportunities @ Netflix”演示文稿）