AV1可能會成為未來構建我們的虛擬視頻的一個主要因素

目前AV1已經(jīng)進入了最后的發(fā)展階段，并且正在接近完成其功能，現(xiàn)在是仔細研究視頻流未來的最佳時機。隨著蘋果宣布他們決定在1月份加入開放媒體聯(lián)盟，實際上所有主要技術領先廠商都已加入，AV1在不久的將來將成為一種普遍的標準。

是什么讓AV1在技術上脫穎而出呢？在本文中我們將介紹AV1中包含的五個關鍵工具，這些工具已被采用以幫助減少高達30％的帶寬需求同時仍保留或改進圖像質量。

免費的解決方案，輕松滿足不斷增長的視頻流質量和速度需求

或許AV1最重要的特征不僅僅是技術特征：它從一開始就設計得完全免費，努力提供真正開放的視頻編解碼器，能夠以較低的碼率提供高質量的視頻流。隨著高分辨率內(nèi)容的不斷增加以及VR和360°視頻等技術的不斷增加。對于大規(guī)模內(nèi)容提供商能夠滿足他們技術先進的開放式編解碼器的需求日益明顯。這樣愿望可能是我們看到最好的證明，實際上幾乎所有主要的行業(yè)參與者和科技公司都是開放媒體聯(lián)盟的成員，這是AV1背后的開發(fā)根基。

聯(lián)盟已經(jīng)著手希望最終能為互聯(lián)網(wǎng)視頻流提供開源標準，遵循像CSS或PNG等其他開放標準的路線，這些開放標準已經(jīng)在形成我們?nèi)粘５臄?shù)字現(xiàn)實。Bitmovin一直是推動AV1成為未來幾年標準的開拓實踐者。

膠片顆粒合成

膠片顆粒通常發(fā)生在照相膠片中，最顯著的是在過度放大的照片中，但也可以數(shù)字化地應用于藝術效果。 在數(shù)字視頻壓縮，膠片顆粒造成巨大的問題，因為它是很難辨認這樣的機器和常量“噪音”在視頻流產(chǎn)生大量的流量。 這導致高比特率的要求傳遞有效信息非常少。 由于信息對于感知質量的實際價值很小 - 畢竟人類的大腦往往會在某種程度上過濾掉視覺噪點 - 尋找一種理想辦法是讓不實際內(nèi)容與流進行換個姿勢重新傳輸?shù)姆绞?，重置它直到理想狀態(tài)。

這個構想形成了AV1膠片顆粒合成的基礎。目標是在編碼之前對初始內(nèi)容進行去噪，然后在解碼過程中輸出之前重新添加噪聲或顆粒效果。這樣，根本不必傳輸不必要的信息，并且可以大大減少數(shù)據(jù)的總體負載。

舉個例子來說，業(yè)界主要的提供商和創(chuàng)新推動者Netflix已經(jīng)表示，除了努力為免版稅開發(fā)社區(qū)做出貢獻外，他們還希望成為AV1的早期采用者。Mozilla是另一個關鍵支持者，它為Firefox Nightly 提供了一個成功的AV1瀏覽器實現(xiàn)（由Bitmovin提供支持）。AV1幾乎所有的大牌公司都已準備好讓它成為一個視頻世界的標準，它依賴于大分辨率的VR和AR視頻應用程序。

現(xiàn)在，我們來仔細看看使AV1成為視頻流中有趣選擇的五種關鍵編碼和解碼技術。

約束方向增強濾波器

過濾在每個視頻編解碼器中都是一個重要的過程，因為它極大地提高了編碼視頻的感知質量。它主要發(fā)生在每個塊的輪廓上，這些塊用于在壓縮過程中將每個圖片分成更小的子單元。AV1包含各種濾波器組，其中大部分濾波器均來自現(xiàn)有的編解碼器。約束方向增強濾波器（CDEF）很可能是對濾波器范圍影響最大的一個。該濾波器基本上合并了兩個現(xiàn)有濾波器：Daala視頻編解碼器中使用的定向去振鈴濾波器和Thor視頻編解碼器中的約束低通濾波器（CLPF）。CLPF用于濾除由量化誤差引起的并且尚未通過先前應用的去塊濾波器進行校正的偽像。定向去振鈴濾波器通過識別每個塊內(nèi)的邊緣并識別其方向來工作。然后有條件地沿著這些邊緣應用一個定向低通濾波器，從而產(chǎn)生更平滑的圖像和感知質量的增加。

圖2： CDEF中的方向搜索：Steinar Midtskogen和Jean-Marc Valin：AV1約束方向增強濾波器（CDEF）。

CDEF合并這兩個過濾器并通過分析每個塊的內(nèi)容，平滑沿著邊緣的偽影并解除圖片的封鎖來工作。在實際視頻已經(jīng)被編碼之后，在解碼器的末端應用搜索濾波參數(shù)（方向和方差）。濾波處理也由編碼器執(zhí)行以便獲得正確的參考幀。由于過濾操作可以在消費者的硬件上運行，因此可以減少所需的網(wǎng)絡帶寬并減少流量負載。

扭曲運動和全局運動補償

預測和補償運動是視頻壓縮的一個重要原則，因為它允許減少冗余信息，否則這些信息就會成為內(nèi)容流的一部分，從而增加傳輸量。因此運動補償通過識別和預測幀和塊內(nèi)的移動預判模式，并相應地減少編碼過程的相關信息到所需的最小值。

扭曲運動補償是一項特別有趣的黑科技，它可以預測三維空間中的運動模式，預測視頻中的空間運動軌跡。根據(jù)計算的預測，在編碼過程中會發(fā)現(xiàn)和忽略冗余信息，從而顯著減少所需的數(shù)據(jù)負載。

全局運動補償預測整個框架的運動（例如，攝像機運動，縮放序列等），并使用這些分析來限制在比特流中傳輸?shù)男畔⒘?。基本上信息被壓縮成例如“正確移動所有塊”或“平移塊”這樣的數(shù)據(jù)來節(jié)省流量。

運動補償算法在一段時間內(nèi)被使用和理論化，只是在二維層面上。AV1標志著非平面運動補償首次被實現(xiàn)為視頻編解碼器。由于消費者設備的處理能力不斷提升，這種技術現(xiàn)在已經(jīng)可以在大眾市場應用中普遍看到了。

這些技術對于預測大面積的運動，如背景運動或相機運動效果非常好。此外他們還能非常有效地處理一致的背景和配色方案，這也是為什么動畫視頻往往會帶來很棒的編碼結果，即使是高度壓縮的情況也如此。

增加編碼單元大?。ǜ哌_128x128）

隨著視頻分辨率不斷提升，塊大小的增加是縮放壓縮過程中以及高分辨率內(nèi)容的有效方式。每一幀被分成單獨的編碼單元（或塊），然后在編碼過程中獨立處理。因此像1280×720（720p）這樣的小分辨率可以很容易地分成單個尺寸為64×64的塊，而相同的塊尺寸對于7680×4320（8k UHD）這類大分辨率來說就不怎么好使了。

圖3：常見視頻分辨率的相對大?。ìF(xiàn)在和過去）

隨著4 K和8 K視頻內(nèi)容的普及，向更大的編碼單元的轉移是實現(xiàn)高質量壓縮的必經(jīng)之路。更大的單位意味著每個幀的塊數(shù)更細小，這是一種對大分辨率視頻編碼有利的因素，因為它允許更高級的壓縮，同時保持較高的感知質量。這樣做是為了減少大分辨率的編碼延遲，以及降低每個塊的信號傳輸碼率。增加的塊大小還可以使用更大的預測和轉換單元，這樣再次有利于處理大分辨率內(nèi)容。

非二進制計算編碼

這一技術標志著與HEVC或AVC等其他當前編解碼器的有趣變化。對于那些輸入計算編碼引擎的每個符號必須是二進制的。不過對AV1這些符號也可以是非二進制的，也就是說它們可以有最多8個可能的值，而不僅僅是兩個。然后由計算編碼引擎處理這些符號，它會產(chǎn)生一個二進制位流作為輸出。兩端編碼器和解碼器會使用概率計算來估計一個給定符號將會產(chǎn)生多少輸出位。從理論上講，任何給定的輸入符號都可能產(chǎn)生多個位，甚至只是一小部分。

圖4：二進制和非二進制編碼方案

雖然非二進制編碼通過將多個值組合成單個符號來使得編碼過程更復雜，但它仍然比每個符號只有一位稍微復雜一點。一個主要的好處是使用這個過程可以處理更多的時鐘周期。由于時鐘周期必須串行執(zhí)行，非二進制編碼允許通過在每個串行周期中處理多個符號來實現(xiàn)改進。

AV1的領先在何處？

隨著開發(fā)的最后階段逐漸臨近，我們認為AV1在不久的將來對視頻流的世界產(chǎn)生巨大影響，這并不太遙遠。用戶對高質量視頻流的需求已經(jīng)不僅僅是有形這么簡單，下一代高分辨率的移動設備和支持VR的終端將會進入全球市場。看到新技術的出現(xiàn)并為我們的日常生活鋪平道路，這是一個令人神往的過程。AV1可能會成為未來構建我們的虛擬視頻的一個主要因素。