根據(jù)不同粒度的CAE，可以實現(xiàn)從粗獷和精確的內(nèi)容感知編碼

根據(jù)不同粒度的CAE，可以實現(xiàn)從粗獷和精確的內(nèi)容感知編碼，從而提升帶寬利用率，為用戶提供更好的觀看體驗。

在之前的博文中，我們描述了自適應比特率（ABR）流的挑戰(zhàn)，其中OTT視頻內(nèi)容提供商必須以多幀分辨率和比特率來編碼和存儲每個源視頻，其中幀分辨率和比特率的集合稱為編碼階梯。我們注意到標準ABR編碼階梯的一個常見問題是它們過于呆板，要么編碼比特率太高的簡單視頻而導致帶寬浪費，要么編碼比特率太低的較復雜視頻而導致重播時視覺效果不佳。

接下來，我們解釋了內(nèi)容自適應編碼（CAE）如何通過將ABR編碼階梯調(diào)整為每個視頻的內(nèi)容來提高ABR流媒體的體驗質(zhì)量，從而允許觀眾在相同的帶寬條件下用更高的幀分辨率播放視頻，或在帶寬消耗較低的情況下以相同的幀分辨率播放視頻。我們還區(qū)分了應用CAE的兩種不同的方法：在編碼器內(nèi)部，通過基于感知考慮調(diào)整編碼器內(nèi)的編碼決策；以及在編碼器外部，通過基于視頻數(shù)據(jù)的特性來調(diào)整編碼參數(shù)（例如編碼比特率）。

在這篇后續(xù)博客文章中，我們將觀察到CAE可以應用于多個級別，其具體取決于視頻內(nèi)容的建模精確程度。下面，我們將闡述幾個不同級別的CAE。

內(nèi)容自適應編碼（CAE）算法的類型

圖1描繪了基于如何精確地對視頻內(nèi)容進行建模（以及因此編碼的精確程度）的CAE的多種可能實現(xiàn)。在圖1中，CAE的外部應用（涉及不太精確的自適應）是朝向底部的，而CAE的內(nèi)部應用（涉及更精確的自適應）是朝向頂部的。圖1顯示了四種一般自適應水平，但實際上可能會有更多。 圖1中的四個級別可以描述如下。

按類別自適應編碼。在此版本的CAE中，為各種類別的視頻導出了不同的比特率梯形圖。類別可以是語義類別，例如視頻質(zhì)量專家組定義的八個語義類別 - 包括視頻會議，電影，體育，音樂視頻等?；蛘?，類別可以是電影類型：戲劇，動作片，動畫等。在任何情況下，以這種方式對視頻進行廣泛分類不需要太費力，并且可以想象使用更具激進的比特率階梯（較低比特率）來用于通?！耙蟛桓摺钡念悇e（例如動畫）和使用更保守的比特率階梯（更高比特率）來用于可能“要求更高”的類別（如動作片，音樂視頻）。

這種方法的問題在于，在復雜性方面類別的不同質(zhì)（例如，考慮兩部動作片之間復雜動作場景頻率的相對差異，如“星球大戰(zhàn)：新希望與復仇者”）。因此，單個編碼階梯不太可能適用于某個類別中的所有視頻。

圖1：內(nèi)容自適應編碼（CAE）變體

Per-title自適應編碼。在這個版本的CAE中，Netflix提出了早期版本，通過測量不同比特率和幀分辨率的視頻的平均質(zhì)量，為每個特定視頻導出不同的編碼梯。在最初的實施中，Netflix使用PSNR測量質(zhì)量，并在多幀分辨率下計算出速率-質(zhì)量曲線。從這組速率-質(zhì)量曲線中，他們確定了每個視頻的最佳工作點（比特率和分辨率）—最佳比特率階梯。

這種方法的問題在于，諸如電影之類的長格式視頻包含混合內(nèi)容（有簡單的和復雜的），因此來自每個條編碼階梯的編碼比特率可能仍然過于死板，導致視頻某些部分（較復雜的場景）的質(zhì)量較差，以及某些部分（更簡單的場景）比特浪費。

Per-segment自適應編碼。此版本的CAE涉及使用類似于上述按條CAE的方法。將視頻分成段并確定每段的最佳比特率?？梢砸砸曨l的規(guī)則來間隔定義片段，或者可以通過場景剪切檢測算法確定的場景邊界來定義片段。在任何情況下，按段CAE方法的目標是測量每個段的復雜性，然后確定實現(xiàn)該段的可接受質(zhì)量的最佳編碼比特率。

按段CAE解決方案在衡量復雜性的指標、視頻質(zhì)量的指標以及將編碼比特率與質(zhì)量相關聯(lián)的方法上有所不同。與按條CAE一樣，按場景CAE仍然遇到了混合內(nèi)容的問題，因為視頻的任一給定片段可能包含簡單和復雜的幀。

按幀和按塊CAE。通過在逐幀的基礎上調(diào)整編碼器的編碼決策，CAE的最終級別使編碼器內(nèi)部的調(diào)整非常嚴格。例如，速率控制算法基于正被編碼的當前幀的內(nèi)容來調(diào)整幀量化。在更精細的粒度級別，按塊CAE在編碼發(fā)生時調(diào)整每個編碼塊的編碼決策，可能基于該幀中當前塊、周圍塊或所有塊中的內(nèi)容，調(diào)整每個塊的編碼模式選擇或量化操作。由于按塊CAE技術以非常精細的粒度運行，因此它們沒有足夠的時間信息來為ABR編碼階梯選擇最佳比特率。但是，它們可以顯著提高編碼效率，既可以提高給定比特率的質(zhì)量，也可以在保持質(zhì)量的同時降低比特率。