馬思偉：視頻領(lǐng)域如大海一般無所不包

6月，在北京大學(xué)理科2號樓一間辦公室內(nèi)見到了北京大學(xué)信息科學(xué)技術(shù)學(xué)院教授馬思偉，并相約這次郵件采訪。作為國產(chǎn)編解碼器AVS視頻組的組長，馬思偉暢談了編碼器的格局，AVS的機會以及學(xué)習(xí)編解碼的經(jīng)驗及方法。

LiveVideoStack：馬思偉您好，請簡要介紹下自己，以及目前主要的工作方向，對哪些技術(shù)或領(lǐng)域感興趣？

馬思偉：大家好，我是馬思偉，主要從事視頻編碼方面的研究，按照視頻編碼標(biāo)準(zhǔn)的定義區(qū)分，主要從事兩大類編碼技術(shù)的研究：一類是視頻編碼標(biāo)準(zhǔn)范疇內(nèi)的技術(shù)，需要在標(biāo)準(zhǔn)規(guī)范中給以嚴(yán)格定義描述的技術(shù)，如預(yù)測、變換等一些核心技術(shù)模塊。另一類是標(biāo)準(zhǔn)之外，面向編碼器優(yōu)化實現(xiàn)的前后處理相關(guān)技術(shù)，如去噪聲、質(zhì)量增強等視頻處理技術(shù)。

LiveVideoStack：許多開發(fā)者都有體會，做音視頻的“坑”比較多，入門不易做好更難。對于有意愿進(jìn)入這一領(lǐng)域的初學(xué)者，您有哪些經(jīng)驗可以分享的？

馬思偉：入門不易，貴在堅持。由淺入深，循序漸進(jìn)。比如最開始從簡單了解視頻應(yīng)用層面的一些技術(shù)點入手，可以讀科普性質(zhì)的文章、博文等先了解個大概，然后根據(jù)應(yīng)用需求學(xué)習(xí)密切相關(guān)的一個或幾個模塊，可以讀些專題文章，再后才是逐步更全面的學(xué)習(xí)，或者某一模塊的深入鉆研，具體學(xué)到什么程度可以按需分配精力來學(xué)，不要眉毛胡子一把抓，不分主次，不要囫圇吞棗，貪多爵不爛，于事無宜。

LiveVideoStack：什么樣的編解碼器是一個好的編解碼器？視頻質(zhì)量、碼率、算法復(fù)雜度、對數(shù)據(jù)丟失或錯誤的魯棒性等。當(dāng)下對于編解碼器的研發(fā)，業(yè)界主要的研究方向是什么？其難點是什么？

馬思偉：好無止境，沒有最好，只有更好，但翻過來只要能在一定時期滿足一定應(yīng)用需求的不妨都稱為好的編解碼器。諸如質(zhì)量、碼率、復(fù)雜度、容錯等等這些因素，好的編解碼器是要尋求在這些約束之下能夠滿足應(yīng)用需求的最佳折中，是動態(tài)變化不斷提升的，同時這也是編解碼器研發(fā)的難點。

LiveVideoStack：大家已經(jīng)開始研究H.266、AV1以及國產(chǎn)的AVS2/AVS3，他們有哪些特點？各自的優(yōu)勢應(yīng)用場景是什么？

馬思偉：標(biāo)準(zhǔn)一般是在設(shè)計上盡量覆蓋需求比較相近的多個應(yīng)用場景，但實際上不同應(yīng)用場景之間總還是存在一些特定的差異，對技術(shù)的選擇也有很大的影響，這時標(biāo)準(zhǔn)一般通過設(shè)置不同的檔次來為某一類應(yīng)用場景提供特定的工具支持。像目前這些視頻編碼標(biāo)準(zhǔn)，都還是比較通用的，廣播、通訊等各行業(yè)都可以在其基礎(chǔ)上開發(fā)出好的編解碼器進(jìn)行應(yīng)用，當(dāng)然實際應(yīng)用情況也是多種因素影響，比如還有專利授權(quán)政策問題對應(yīng)用有著很大的影響，不是由單單技術(shù)這一項因素所決定的。

LiveVideoStack：因為有Google、Netflix等巨頭的支持，AV1備受關(guān)注。國內(nèi)一些大視頻平臺也在和AOM談判考慮加入。目前看，H.264的應(yīng)用還處于統(tǒng)治地位，HEVC因為專利風(fēng)險，正在面臨來自AV1的挑戰(zhàn)，再加上國產(chǎn)的AVS系列。您如何看待未來Codec戰(zhàn)爭以及市場格局的走勢？

馬思偉：很多實際案例已經(jīng)告知我們多元化是好事兒，有利于技術(shù)競爭，產(chǎn)業(yè)發(fā)展，希望未來格局是多些國內(nèi)的創(chuàng)新領(lǐng)導(dǎo)者。

LiveVideoStack：能否介紹下AVS系列的技術(shù)演進(jìn)狀態(tài)，編碼效率、算法復(fù)雜度、延遲，生態(tài)的成熟度，包括硬件方案的成熟度，尤其是移動設(shè)備的硬件方案，商業(yè)編解碼器/解碼器方案等。

馬思偉：AVS從2002年至今制定了一系列的視頻編碼標(biāo)準(zhǔn)，即我們常說的AVS1、AVS+、AVS2，每一個標(biāo)準(zhǔn)制定實際上都是一個大工程，對于每項技術(shù)都要進(jìn)行詳細(xì)全面的評估，目前AVS+、AVS2在廣電行業(yè)的成功應(yīng)用已經(jīng)充分證明AVS標(biāo)準(zhǔn)技術(shù)是成熟的，更多的商業(yè)方案及應(yīng)用有待于市場的進(jìn)一步培育而協(xié)同發(fā)展。

LiveVideoStack：比如騰訊推出的TPG圖片格式采用了AVS2作為引擎，AVS在工業(yè)界的已經(jīng)有哪些應(yīng)用落地？未來AVS的主要應(yīng)用場景是什么？

馬思偉：騰訊推出TPG是AVS歷史上具有里程碑意義的事件之一，是騰訊音視頻實驗室團隊勇于創(chuàng)新的體現(xiàn)。目前AVS2 4K超高清廣播、IPTV點播等應(yīng)用也已落地或正在落地，和TPG一樣，未來有多少勇于創(chuàng)新者，AVS就會有多少應(yīng)用場景。

LiveVideoStack：對于應(yīng)屆生或從其他研發(fā)領(lǐng)域轉(zhuǎn)行學(xué)習(xí)編解碼、多媒體開發(fā)的技術(shù)人，有哪些建議？

馬思偉：視頻領(lǐng)域是個海洋，可以游泳、沖浪，也可以潛水、遠(yuǎn)航，根據(jù)自身的基礎(chǔ)、特長和興趣選擇合適的領(lǐng)域涉足，編碼優(yōu)化、去噪聲、視覺特效等很多問題都是跨領(lǐng)域的，涉及計算機、電子、通信，甚至藝術(shù)、生理、心理學(xué)等，無論本專業(yè)還是外專業(yè)都需要再學(xué)習(xí)，相信來者有益。

LiveVideoStack：能否推薦一些系統(tǒng)學(xué)習(xí)編解碼、多媒體開發(fā)的圖書、資料？

馬思偉：快速了解某一標(biāo)準(zhǔn)可以看標(biāo)準(zhǔn)文本、關(guān)于標(biāo)準(zhǔn)的專著，如畢厚杰老師的《新一代視頻編碼標(biāo)準(zhǔn)——H.264/AVC》，萬帥、楊付正老師的《新一代高效視頻編碼H.265HEVC原理、標(biāo)準(zhǔn)與實現(xiàn)》，Mathias Wien的《High Efficiency Video Coding: Coding Tools and Specification》,Vivienne Sze等主編的《High Efficiency Video Coding(HEVC) Algorithms and Architectures》 ；深入學(xué)習(xí)編碼理論和技術(shù)，可以學(xué)習(xí)經(jīng)典的教材，如Yunqing Shi和 Huifang Sun老師的《Image and Video Compression for Multimedia Engineering, Fundamentals, Algorithms and Standards》，Yao Wang, J?rn Ostermann和Ya-Qin Zhang的《Video Processing and Communications》，我也合作出版過一本《數(shù)字視頻編碼技術(shù)原理》供學(xué)習(xí)參考；再進(jìn)一步若關(guān)注于某一項技術(shù)的研究，則需要對相關(guān)論文進(jìn)行梳理，深入閱讀。

LiveVideoStack：5G商用，4K逐漸流行。 您如何看他們給多媒體生態(tài)帶來的機會？對于Codec有哪些機會和挑戰(zhàn)？

馬思偉：由于傳輸能力的升級，4K會逐漸流行，可以進(jìn)一步提升感受質(zhì)量，但實際上4K之后依然存在更高的帶寬需求，比如還有8K，而且8K對于VR都還是低的，還有更高到12K甚至20K，所以對Codec來講依然存在更高效壓縮的需求，好的codec一定是大有市場的，當(dāng)然如何繼續(xù)提升編碼效率本身已經(jīng)成為一個挑戰(zhàn)了。