從HEVC到通用視頻編碼的下一代視頻壓縮技術(shù)

本文來自于ATEME研究總監(jiān)兼總監(jiān)米克爾·勞萊特的主題演講。他主要分享了MPEG-2、H.264、H.265、H.265、VVC，以及EVC、LCEVC等較新的編解碼器。我們需要了解HEVC方面的編解碼器授權(quán)，以及VVC標(biāo)準(zhǔn)化的過程。在探索的過程中，我們從Intra-coding和Inter-prediction方法等方面對(duì)圖片分割進(jìn)行了詳細(xì)的介紹。在同樣的背景下，我們通過VTM的復(fù)雜性、VVC的通用性以及它們在未來的編解碼器之戰(zhàn)中如何與VVC平衡。

所以，我將介紹從HEVC到VVC，以及今天到來的一些編解碼器。

首先我先說一下ATEME。ATEME從事一家做廣播的編碼公司現(xiàn)在已經(jīng)有20多年了，包括VideoLAN的一些人也在公司里面工作。所有的編解碼器，我們一開始主要是從MPEG開始、VVC標(biāo)準(zhǔn)化，然后VVC競爭者，所有的編解碼器都在一起攻克。其他的都是同時(shí)進(jìn)行的，更重要的是我今天要講的這個(gè)也是編解碼器的未來進(jìn)展。

我們同時(shí)是MPEG和ITU的成員，用我們所有的專業(yè)知識(shí)為它做貢獻(xiàn)。但是我們的時(shí)間不多，我們主要是在實(shí)現(xiàn)編解碼器。我們是AOM開放媒體聯(lián)盟和MC-IF.org的成員，目的是減少我們?yōu)镠EVC獲得的模式問題。今天有一個(gè)大的社區(qū)論壇在討論這個(gè)問題，同時(shí)我們也在VVC的標(biāo)準(zhǔn)化中活躍著。 與此同時(shí)，我們還有一個(gè)法國項(xiàng)目正在進(jìn)行中，我們正在與VideoLabs即VideoLAN公司合作。我們會(huì)有VVC的全面交付，我們計(jì)劃在今年的IBC上做一個(gè)演示。

在Ateme，我們主要實(shí)現(xiàn)的是綠色樹時(shí)間線里的編碼技術(shù)，從MPEG-2、H.264、H.265未來可能還有VVC。同時(shí)，有一個(gè)開源社區(qū)也是同步啟動(dòng)的，今天最知名的編解碼器是VP9，而正在向開源編解碼器靠攏的是來自AOM聯(lián)盟，就是AV1。今天，他們正在討論的是AV1的第二個(gè)版本，也就是AV2。 與VVC相同級(jí)別的還有另外兩種編解碼器EVC和LCEVC。LCEVC來自于日內(nèi)瓦，而EVC則是由華為、高通、三星等一些公司的MPEG改編的。

MPEG格式化的思路是，與前者相比，要達(dá)到2倍的減少。每當(dāng)我們得到一個(gè)特定編解碼器的成功嘗試，每隔10年就會(huì)有一次。2016年谷歌的演講是說我們可以每隔18個(gè)月就能推出新的編解碼器，而AV1和AV2并不是這樣。它們的進(jìn)展很慢但就MPEG而言，我們在2013年就有了一個(gè)，現(xiàn)在我們在2020年得到下一個(gè)版本。 目前，我們從HEVC比VVC提高了37%。他們聲稱主觀上比HEVC有50%的改進(jìn)。我們在復(fù)雜度方面比HEVC有6-10倍的復(fù)雜度，所以這也是我們在ATEME中要做的工作，因?yàn)槲覀円龅氖菍?shí)時(shí)性編碼。

關(guān)于HEVC有一點(diǎn)，在HEVC標(biāo)準(zhǔn)化之后我們得到了很多專利池，這些專利池是在HEVC過程中出現(xiàn)的。之前只有一個(gè)單一的專利池主要是一些前標(biāo)準(zhǔn)公司擁有這個(gè)技術(shù)。后來到了MPEG LA出現(xiàn)了更多的HEVC專利池，這就給HEVC今天的部署增加了一些麻煩。

然后，我們再來看看HEVC的反應(yīng)也是對(duì)AV1的反應(yīng)。在MPEG組織他們希望編解碼器的定義是自己的，他們希望從MPEG那里得到而不是從其他協(xié)會(huì)或聯(lián)盟那里得到。我們從MPEG那里得到的反應(yīng)是創(chuàng)建了MPEG-5的第1部分叫EssentialVideo Coding（EVC）;有兩種版本文件一個(gè)是免版稅的源自AVC的改進(jìn)型，另一種是不免版稅的但隨著HEVC的改進(jìn)它針對(duì)版稅也更加友好。。 同時(shí)，我們有針對(duì)VVC的媒體編碼行業(yè)論壇（MC-IF），目的是為了管理VVC內(nèi)部的專利。大家可以看到VVC里面的專利會(huì)比HEVC多。同樣這將是一個(gè)噩夢，但是VVC也有一個(gè)特殊性，你可以把里面有專利的工具去掉，可能會(huì)把你的技術(shù)中不想用的工具去掉。

只是給大家介紹一些關(guān)于VVC的情況，他們在2015年就開始了一個(gè)探索階段。2017年的時(shí)候有一個(gè)聯(lián)合征集方案，他們做了一個(gè)實(shí)驗(yàn)軟件基于HEVC的基礎(chǔ)上，他們做了一個(gè)實(shí)驗(yàn)軟件比HEVC提高了34%性能提升。 后來他們認(rèn)為可以在3年的時(shí)間內(nèi)停止規(guī)范化進(jìn)程。他們聲稱可以比HEVC有50%的進(jìn)步。他們從一開始就想把目標(biāo)鎖定在HDR 和360°VR；標(biāo)準(zhǔn)化也將在2020年7月完成項(xiàng)目發(fā)布。

我們從這個(gè)幻燈片上看到了完整的過程。國際標(biāo)準(zhǔn)會(huì)在2020年7月發(fā)布，我們預(yù)計(jì)2021年或2022年有第一批硬件支持編解碼。

VVC內(nèi)部沒有革命，這是一個(gè)非常高級(jí)的圖表，我們對(duì)每個(gè)編解碼器都使用了它。它使用幀內(nèi)預(yù)測、幀間預(yù)測以及介于這兩者之間的反饋。我們今天所擁有的是，我們在它們的每一個(gè)中都得到了越來越復(fù)雜的錯(cuò)誤。基本上和以前的編解碼器一樣沒有什么變革。

這里我們來看看HEVC和VVC的對(duì)比，左邊是VVC，右邊是HEVC。我們得到了更多的模式，更大的編碼單元可達(dá)128x128。其中有不規(guī)則的形狀，我們可以在下一張幻燈片上看到。另外，我們還有更多的DCT。

這是一張將AVC與HEVC和VVC進(jìn)行比較的圖片。我們可以看到你在VVC中有更大的塊，還有一些我們在HEVC和AVC上不能有的矩形形式來帶來改進(jìn)。

從AVC開始我們只有9種模式。在HEVC中我們得到了35種模式的預(yù)測塊，而在VVC中我們得到了67種模式！

今天在HEVC中，我們在以前的編解碼器中沒有的更多的東西是，我們有了一些六邊形、三角形的形式，不再是矩形或四邊形。這就是這個(gè)編解碼器中真正新的部分。

以上是VVC對(duì)比HEVC的性能結(jié)果。你可以看到編碼部分的復(fù)雜度高達(dá)8倍，我們記錄的復(fù)雜度，在MPEG的目標(biāo)是解碼器不爆炸。另外，大家還可以看到VVC比HEVC的圖表對(duì)比。

有趣的事情是我們在標(biāo)準(zhǔn)化過程開始時(shí)的復(fù)雜度。編碼器的復(fù)雜度達(dá)到了2，現(xiàn)在我們的復(fù)雜度達(dá)到了9，但是我們的復(fù)雜度也從10%提高到了37%。我們看到解碼器越來越停滯不前，我們正在為解碼器本身找到更接近HEVC的東西。

VVC和HEVC之間的一個(gè)很大的區(qū)別是我們對(duì)HEVC做了幾個(gè)修改，其實(shí)是對(duì)HEVC進(jìn)行了擴(kuò)展。因此，您有一些擴(kuò)展配置文件，Scalable HEVC(SHVC)和Screen Content Coding Extension(SCC)。 VVC的第一個(gè)版本從一開始就會(huì)有這一點(diǎn)，基本上，你不會(huì)一個(gè)接一個(gè)地得到。到2020年7月你應(yīng)該在一個(gè)編解碼器中提供所有這些功能，這將加快編解碼器的可用性。

現(xiàn)在我們還有另外3個(gè)編解碼器要出來，其中一個(gè)已經(jīng)完成了。

可以理解為那就是AV1。你可以看到一些大公司參與到這個(gè)標(biāo)準(zhǔn)化活動(dòng)中來。我們的想法是要有一些互操作性和開放性的東西，是專門針對(duì)網(wǎng)絡(luò)邊界的OTT傳輸進(jìn)行優(yōu)化。 至少比VP9有20%的壓縮收益，這是他們可以比擬的。存儲(chǔ)沒有增加，它使用了一些基于經(jīng)典結(jié)構(gòu)的工具，也使用了一些新的工具。更有趣的是，他們在解碼器中使用了膠片顆粒合成，而HEVC則沒有，它又回來了，為VVC。而且是的，他們可以擴(kuò)展性和SCC。

HEVC和AV1比較，你有更大的編碼塊，這是他們比HEVC得到改進(jìn)的地方。他們得到了更多的預(yù)測，他們有其他的方式來做時(shí)態(tài)預(yù)測。

我們比較了HEVC和AV1，因?yàn)樗鼈儧]有使用我們在MPEG中使用的通用測試條件，所以很容易在MPEG編解碼器之間進(jìn)行比較，但是在Alliance和MPEG編解碼器之間進(jìn)行比較就變得越來越困難。 我們嘗試將一些工具限制在AV1中，一般來說AV1的碼率比HEVC更低。同時(shí)你可以看到曲線是交叉的，所以最終很難得到改善。我們看到HEVC有10%的改進(jìn)，但谷歌最近聲稱幾乎與VVC處于同一水平。 我們目前的實(shí)現(xiàn)比HEVC慢2到3倍，所以它并不比HM慢50倍。它現(xiàn)在更快了，但仍然不比HEVC快。

我要進(jìn)入下一個(gè)MPEG-5第1部分，然后我將完成MPEG-5第2部分。 對(duì)于VVC，他們稍后開始活動(dòng)，但MPEG的總體目標(biāo)是與AV1和免版權(quán)費(fèi)編解碼器抗衡。這個(gè)想法是為了獲得免版稅的產(chǎn)品，并且對(duì)于Baseline配置文件來說確實(shí)非常快。我們可以為主要配置文件管理一些具有良好特許權(quán)使用費(fèi)的產(chǎn)品，并且得到了三星，華為和高通公司的支持。 可以預(yù)期的時(shí)間表是，我們將在與VVC相同的日期之前獲得國際標(biāo)準(zhǔn)的最終草案，基本上，一切都將在同一時(shí)間準(zhǔn)備就緒。

綠框是基準(zhǔn)配置文件，可能它們重用了MPEG-2組件以能夠執(zhí)行基準(zhǔn)配置文件。一些工具也是免版稅的，它們主要是對(duì)熵編碼進(jìn)行的。他們使用了HEVC的QT結(jié)構(gòu)使之免版稅。藍(lán)色框是主要配置文件之一，大多數(shù)工具都與VVC兼容。這是在某一個(gè)特定的時(shí)間點(diǎn)上對(duì)VVC的提煉。

對(duì)于baseline profile，我們比H.264提升了40％。這點(diǎn)確實(shí)接近HEVC可以實(shí)現(xiàn)的目標(biāo)。對(duì)于main profile我們的目標(biāo)是比HEVC提高30％。您可以看到EVC baseline的編碼器復(fù)雜度甚至比AVC還要快，而EVC則要慢4倍。

最新的是V-Nova的Perseus專有編解碼器。他們來到MPEG提出他們的解決方案，baseline是典型的MPEG標(biāo)準(zhǔn)。他們可以使用AVC、HEVC或MPEG-2。然后，他們在技術(shù)之上添加了自己的技術(shù)，以提高視頻質(zhì)量。它將同時(shí)嘗試完成，它將獲得V-Nova的更多許可，因?yàn)樗鼈兪撬奈ㄒ回暙I(xiàn)者。 最新的是V-Nova公司的Perseus專有編解碼器。他們來到MPEG提出了他們的解決方案，其baseline是典型的MPEG標(biāo)準(zhǔn)。他們可以使用AVC、HEVC或者M(jìn)PEG-2。然后他們會(huì)在基礎(chǔ)上加入他們的技術(shù)來提高視頻質(zhì)量。它將在同一時(shí)間初步完成，它將有更多的授權(quán)給V-Nova因?yàn)樗麄兪俏ㄒ坏呢暙I(xiàn)者。

在底層，將運(yùn)用到傳統(tǒng)的編解碼器。你可以添加一些其他層來改善這一點(diǎn)。LCEVC是上層，但基礎(chǔ)層是標(biāo)準(zhǔn)編解碼器。我們在此處看到的那樣它們正在降低圖像的分辨率，因此基礎(chǔ)層確實(shí)很小，并且它們在基于子層編解碼器的基礎(chǔ)上增加了分辨率以及質(zhì)量。

這就是組件所要求的，因此我們具有這些不重疊的漂亮曲線。與H.264相比，我們的技術(shù)之間有了很大的進(jìn)步。我們使用他們的參考軟件進(jìn)行了相同的分析，我們也在ATEME產(chǎn)品上做出了貢獻(xiàn)，說LCEVC與傳統(tǒng)編解碼器之間存在誤解。 目前，我們團(tuán)隊(duì)正在努力改善常見的測試條件，以確保我們可以復(fù)制并實(shí)現(xiàn)每一處。我們在這方面做出了貢獻(xiàn)，只是為了澄清他們的目標(biāo)，以便能夠復(fù)制他們聲稱擁有的決議。

在這里，我們幾乎同時(shí)使用了3個(gè)編解碼器。明年將發(fā)布。我們也許應(yīng)該從所有這些硬件中獲取一些硬件，至少我們知道三星將推動(dòng)EVC。我們一定會(huì)努力推動(dòng)VVC。 在2020年大家應(yīng)該擁有第一個(gè)硬件，也是我們在2020年1月發(fā)布的第一個(gè)AV2代碼庫。我們期望在2026年（也許更早）發(fā)布一些AV2。

只是一個(gè)簡短的摘要，我不會(huì)花太多時(shí)間在此上。我們將在幻燈片的末尾顯示所有編解碼器之間的差異。

作為演示文稿的摘要，我們有3個(gè)主要的編解碼器同時(shí)相互對(duì)抗-VVC，EVC和AV1。我也沒有提到對(duì)于AV1，我與Jean-Baptiste（VideoLAN）達(dá)成共識(shí)，我們在VideoLAN中獲得了第一個(gè)軟件實(shí)現(xiàn)，但與此同時(shí)，它們是今年將要推出的第一個(gè)硬件。 這樣我們就能在IBC上演示哪種HD，HDR。大多數(shù)電視廠商將在2020年1月的CES上宣布他們將在其電視上支持AV1。我們還應(yīng)該擁有到2020年支持AV1的電視。在2020年，我們將擁有兩個(gè)編解碼器，它們的硬件在2020年也可能會(huì)上市。 迄今為止，最好的仍然是VVC。EVC至少在專利問題上具有良好的權(quán)衡。我們?yōu)镋VC基準(zhǔn)提供了低端編解碼器。這可能是AVC的成功，但AVC會(huì)在某個(gè)時(shí)候免費(fèi)提供，是的，我們即將免費(fèi)提供AV3。 有什么用嗎？這就是問題所在。相反，我們的LCEVC似乎有不錯(cuò)的結(jié)果，但目前無法復(fù)制。我們希望對(duì)此特定編解碼器進(jìn)行澄清。在我們這方面，由于對(duì)VVC的需求更高，因此我們現(xiàn)在很可能會(huì)與VVC合作。 但是，如果需要，我們已經(jīng)準(zhǔn)備好過渡到EVC，并且我們已經(jīng)有了AV1編解碼器。