什么是超視頻時(shí)代 超視頻時(shí)代音視頻架構(gòu)分析

截止到2022年，中國(guó)互聯(lián)網(wǎng)視頻用戶規(guī)模達(dá)到了9億人；IDC（中國(guó)互聯(lián)網(wǎng)數(shù)據(jù)中心）預(yù)計(jì)，2025年全球數(shù)據(jù)空間中80.3%將是以視頻、圖片、音頻為代表的非結(jié)構(gòu)化數(shù)據(jù)，音視頻的高效處理越來(lái)越重要。

短視頻和直播的興起拓展出了新的業(yè)態(tài)，視頻直播、智能化內(nèi)容生成、視頻推薦等應(yīng)用越來(lái)越豐富，給視頻云業(yè)務(wù)帶來(lái)了巨大的發(fā)展機(jī)遇，同時(shí)也對(duì)云服務(wù)架構(gòu)提出了新的挑戰(zhàn)，其中涉及高并發(fā)、分布式存儲(chǔ)、音視頻編解碼以及邊緣計(jì)算等多項(xiàng)技術(shù)。

年輕的架構(gòu)師對(duì)架構(gòu)設(shè)計(jì)、技術(shù)選型經(jīng)常充滿疑惑，由Science與英特爾聯(lián)袂推出的“架構(gòu)師成長(zhǎng)計(jì)劃”第二季系列課程正是針對(duì)這類需求量身定做，精心挑選了音視頻、云游戲、5G核心網(wǎng)、算力網(wǎng)絡(luò)、聯(lián)邦學(xué)習(xí)、生信大數(shù)據(jù)等十大熱門(mén)話題，為架構(gòu)師群體提供優(yōu)質(zhì)學(xué)習(xí)資源和實(shí)操經(jīng)驗(yàn)分享。

為幫助音視頻行業(yè)的架構(gòu)技術(shù)人答疑解難，“架構(gòu)師成長(zhǎng)計(jì)劃”第一期特邀火山引擎總經(jīng)理譚待、英特爾大數(shù)據(jù)高級(jí)首席工程師程從超、智源人工智能研究院副院長(zhǎng)劉江共同探討《超視頻時(shí)代音視頻架構(gòu)建設(shè)與演進(jìn)》。

火山引擎：超視頻時(shí)代音視頻架構(gòu) ? ? ?

首發(fā)講師譚待結(jié)合火山引擎的具體實(shí)踐，針對(duì)視頻云備受關(guān)注的技術(shù)方向：邊緣計(jì)算、音視頻編解碼、智能中臺(tái)等技術(shù)的應(yīng)用，介紹超視頻時(shí)代的音視頻架構(gòu)演進(jìn)。課程共分三部分：

第一部分：什么是超視頻時(shí)代

2020年，疫情爆發(fā)，各行各業(yè)或主動(dòng)或被動(dòng)地與視頻開(kāi)始接觸，視頻云滲透到更多“傳統(tǒng)”行業(yè)，在工業(yè)、教育、醫(yī)療等行業(yè)不斷涌現(xiàn)更多落地場(chǎng)景，這些場(chǎng)景對(duì)音視頻架構(gòu)帶來(lái)功能、性能和安全層面的不同挑戰(zhàn)，視頻云來(lái)到了超視頻時(shí)代。

第二部分：字節(jié)跳動(dòng)音視頻業(yè)務(wù)架構(gòu)設(shè)計(jì)

邊緣端最接近業(yè)務(wù)場(chǎng)景，首先優(yōu)選全國(guó)各省市豐富的邊緣資源和運(yùn)營(yíng)商網(wǎng)絡(luò)，并按地理層級(jí)部署優(yōu)質(zhì)的單線、多線和BGP的節(jié)點(diǎn)，結(jié)合多種架構(gòu)的硬件設(shè)備，如：X86、ARM服務(wù)器、智能網(wǎng)卡、GPU等，實(shí)現(xiàn)面向異構(gòu)算力的邊緣基礎(chǔ)底座，構(gòu)建從1ms到40ms的廣域網(wǎng)絡(luò)接入和邊緣數(shù)據(jù)處理能力?；谶吘壔A(chǔ)設(shè)施底座構(gòu)建了云原生邊緣平臺(tái)，靈活管理異構(gòu)的計(jì)算和網(wǎng)絡(luò)資源，實(shí)現(xiàn)邊緣一張網(wǎng)調(diào)度。

為了降低超大規(guī)模、實(shí)時(shí)處理對(duì)中心架構(gòu)的挑戰(zhàn)，通過(guò)基于ROI的視頻編碼理念，來(lái)架構(gòu)對(duì)應(yīng)的計(jì)算與存儲(chǔ)架構(gòu)，這不僅取得帶寬成本的收益，在用戶指標(biāo)方面，包括平均時(shí)長(zhǎng)等也有顯著的提升。通過(guò)自研多場(chǎng)景數(shù)據(jù)集、眼動(dòng)儀采集ROI，然后在CPU上使用mobilenet加速時(shí)域建模，GPU上并行處理，實(shí)現(xiàn)了>90%的準(zhǔn)確率，視頻壓縮性能也顯著提升。

通過(guò)數(shù)據(jù)驅(qū)動(dòng)優(yōu)化體驗(yàn)，建立完整的QoS、QoE數(shù)據(jù)體系，并進(jìn)行不斷優(yōu)化，以數(shù)據(jù)驅(qū)動(dòng)技術(shù)再進(jìn)化。從數(shù)據(jù)的采集、挖掘、模型的訓(xùn)練到策略的下發(fā)，到串聯(lián)AB實(shí)驗(yàn)平臺(tái)反饋全部打通，在不同用戶、不同場(chǎng)景中能夠把優(yōu)化做到個(gè)性化、精細(xì)化、性價(jià)比最大化。

第三部分：視頻云未來(lái)演進(jìn)趨勢(shì)及需要怎么樣的視頻技術(shù)

面向超視頻時(shí)代，視頻云技術(shù)應(yīng)更好滿足用戶沉浸式、交互性、高清化的極致視頻體驗(yàn)。講師結(jié)合今年北京冬奧會(huì)上大規(guī)模的8K超高清轉(zhuǎn)播，提出視頻編碼和傳輸始終是巨大挑戰(zhàn)，需要頂尖的視頻壓縮能力，火山引擎的端云一體H.266視頻編碼方案，節(jié)省了30%-50%的碼率，為超高清視頻鋪平道路。

英特爾分享：

軟硬一體的端到端視頻優(yōu)化

英特爾大數(shù)據(jù)高級(jí)首席工程師程從超，在第一期課程中為大家?guī)?lái)了“軟硬一體的端到端視頻優(yōu)化方案”。

重點(diǎn)從輸入到輸出，從軟件到硬件，從內(nèi)容生產(chǎn)、存儲(chǔ)、計(jì)算和分發(fā)等多個(gè)環(huán)節(jié)，解讀了英特爾視頻云的全棧優(yōu)化方案。

在視頻編解碼方面，英特爾自研了基于CPU處理器的編解碼組件Scalable Video Technology（SVT），SVT技術(shù)實(shí)現(xiàn)了一張圖的分塊并行、圖與圖之間的并行、視頻的多個(gè)幀之間的并行，通過(guò)幾層的并行把整個(gè)CPU的所有核心都充分利用起來(lái)，在每個(gè)核心里面又通過(guò)AVX-512和SIMD指令集的優(yōu)化，在一個(gè)CPU的指令周期內(nèi)做更多的處理，最終實(shí)現(xiàn)2-20倍的視頻編解碼性能提升。

SVT具有高度可擴(kuò)展的核心架構(gòu)，全面實(shí)現(xiàn)SIMD/AVX-512指令集的優(yōu)化，基于Intel Xeon CPU平臺(tái)實(shí)現(xiàn)更優(yōu)的線程和進(jìn)程并發(fā)，充分利用多核功能，達(dá)到視頻轉(zhuǎn)碼速度、視頻質(zhì)量、傳輸速度的最佳權(quán)衡。

類似SVT這樣的軟件層優(yōu)化及底層基礎(chǔ)設(shè)施XPU的接口封裝好之后，根據(jù)負(fù)載的不同，可以通過(guò)OneAPI來(lái)調(diào)用底層不同的處理單元，數(shù)據(jù)具體在哪里執(zhí)行，可以自動(dòng)地感知并調(diào)度，充分利用云端、邊緣端、終端的處理能力，實(shí)現(xiàn)編解碼、推理、渲染等環(huán)節(jié)的效率最大化。

大咖對(duì)話：

視頻云架構(gòu)如何平衡軟硬件投入

交流碰撞火花，溝通啟迪靈感。本期圓桌對(duì)話中，智源人工智能研究院副院長(zhǎng)劉江、講師譚待、講師程從超三位大咖圍繞“超視頻時(shí)代音視頻架構(gòu)建設(shè)與演進(jìn)”，進(jìn)行了深入的切磋和討論。

?

劉江：在直播和短視頻時(shí)代，火山引擎如何通過(guò)AI、云等技術(shù)去提升應(yīng)用體驗(yàn)？

譚待：在全球整合豐富的邊緣節(jié)點(diǎn)和網(wǎng)絡(luò)資源，不管是傳統(tǒng)的音視頻應(yīng)用，還是新的邊緣計(jì)算場(chǎng)景，都能快速得到響應(yīng)，具體到音視頻，通過(guò)高效的編解碼技術(shù)去實(shí)現(xiàn)性能和體驗(yàn)的平衡；并且建立了一套基于QoS和QoE的指標(biāo)體系，用數(shù)據(jù)驅(qū)動(dòng)持續(xù)提升用戶體驗(yàn)。

劉江：當(dāng)處理器算力達(dá)到瓶頸時(shí)，如何提升音視頻的處理效率？英特爾在音視頻方面有哪些解決方案？

程從超：英特爾做了很多“軟硬一體”的行業(yè)解決方案。簡(jiǎn)單來(lái)講概括為三大塊——硬件方面，增速度降成本，未來(lái)的云端算力一定是XPU（多重處理單元）的解決方案，CPU、GPU、IPU多種組合在一起，實(shí)現(xiàn)更靈活的分布式算力；DPDK、SPDK對(duì)網(wǎng)絡(luò)傳輸實(shí)現(xiàn)了很大優(yōu)化；軟件方面，英特爾一直致力于貢獻(xiàn)開(kāi)源社區(qū)，我們做upstream/downstream，盡量使能開(kāi)源社區(qū)。在行業(yè)層面，與合作伙伴一起做行業(yè)解決方案。

XPU作為重要的云端算力，在深度學(xué)習(xí)推理方面有哪些新的突破？視頻推薦技術(shù)的架構(gòu)怎樣建設(shè)，如何支持億級(jí)的視頻內(nèi)容理解和分發(fā)？硬件迭代周期比軟件要長(zhǎng)，作為架構(gòu)師應(yīng)該如何平衡軟硬件的資源投入，實(shí)現(xiàn)最高的性價(jià)比？

編輯：黃飛

?