華為云音視頻質(zhì)量監(jiān)控與優(yōu)化實踐

云時代，視頻直播、實時音視頻通信等在線音視頻服務(wù)面臨各種復(fù)雜的網(wǎng)絡(luò)環(huán)境和流量爆發(fā)式的增長，對音視頻質(zhì)量監(jiān)控和成本優(yōu)化提出新的嚴(yán)峻挑戰(zhàn)。本次分享我們邀請到了華為云音視頻大數(shù)據(jù)研發(fā)負(fù)責(zé)人康永紅，他詳細(xì)介紹了基于大數(shù)據(jù)的音視頻全流程質(zhì)量監(jiān)控評估體系和各個環(huán)節(jié)的優(yōu)化實踐，以及面向不同的業(yè)務(wù)和場景，如何通過不同的關(guān)鍵數(shù)據(jù)指標(biāo)改進音視頻服務(wù)的體驗質(zhì)量和產(chǎn)品成本。

大家好，非常有幸能有這次分享機會，首先感謝LiveVideoStack。我是康永紅，來自華為公司，在大數(shù)據(jù)和音視頻業(yè)務(wù)領(lǐng)域有十多年研發(fā)經(jīng)驗，負(fù)責(zé)直播、視頻會議、RTC、VR的QoC、QoE、QoS管理，主要聚焦在基于大數(shù)據(jù)解決音視頻產(chǎn)品體驗提升和成本優(yōu)化的業(yè)務(wù)領(lǐng)域。我個人認(rèn)為這也是整個音視頻領(lǐng)域的一個難點。

2020年是不平凡的一年，客觀來說它促進了我們音視頻業(yè)務(wù)的爆發(fā)性增長。華為云基于大容量、低時延、全互聯(lián)的媒體網(wǎng)絡(luò)，通過全國的2000多個節(jié)點和幾百T的寬帶，和我們的客戶一起服務(wù)了億級在線用戶。在這個過程中，通過大數(shù)據(jù)解決視頻體驗質(zhì)量和成本優(yōu)化顯得尤為重要，同時我們也積累了一些經(jīng)驗，今天我將和大家分享云原生時代，華為云在音視頻質(zhì)量監(jiān)控與優(yōu)化的實踐。

本次分享主要分為四部分：第一部分是云原生時代為什么要做音視頻數(shù)據(jù)服務(wù)體系，第二部分是華為云視頻直播和RTC音視頻直播在體驗質(zhì)量上的實踐案例，第三部分會介紹華為在云原生時代是如何快速構(gòu)建音視頻服務(wù)全流程質(zhì)量監(jiān)控平臺，最后將總結(jié)和展望音視頻業(yè)務(wù)體驗質(zhì)量的思考和技術(shù)規(guī)劃。

1 “ 構(gòu)建音視頻數(shù)據(jù)服務(wù)體系

從音視頻體驗的發(fā)展趨勢來看分為直播、RTC和XR三代，可以歸納為兩個特點：第一點是用戶體驗越來越真實，傳輸分辨率從720P到1080P、再到XR的4K、6K、8K、乃至更大；另一點是業(yè)務(wù)要求互動性越來越強，遲延方面從30s到XR不超過100ms，對延遲要求更低。

基于以上質(zhì)量體驗的發(fā)展趨勢，我們需要有一個后臺技術(shù)支撐。我們在使用大數(shù)據(jù)解決支撐的過程中也經(jīng)歷了三個階段：首先是5年前用大數(shù)據(jù)平臺解決技術(shù)問題，其次是在3年前用數(shù)據(jù)中臺解決效率問題，第三個階段是最近兩年我們綜合1.0、2.0時代的特點，采用“中臺+可信數(shù)據(jù)服務(wù)”的數(shù)據(jù)服務(wù)中臺模式解決價值問題。我們認(rèn)為數(shù)據(jù)服務(wù)中臺是解決業(yè)務(wù)差異性和市場不確定性的最佳框架。

在直播中我們經(jīng)常會碰到卡頓、實時音視頻通話延遲等情況，這些問題都會嚴(yán)重影響用戶體驗。解決這些問題的一般方法是構(gòu)建音視頻質(zhì)量監(jiān)控平臺，采集數(shù)據(jù)，用大數(shù)據(jù)的方法解決監(jiān)控質(zhì)量問題。在這過程中，我們又會碰到一些新的問題，比如采集數(shù)據(jù)延遲很大、丟失很多、數(shù)據(jù)不準(zhǔn)確，此外還包括大數(shù)據(jù)算力不夠、交付時延比較長等等問題。這些體驗和技術(shù)問題帶給我們很多挑戰(zhàn)——包括會在什么場景出現(xiàn)這些問題，無法精準(zhǔn)確定是網(wǎng)絡(luò)問題、設(shè)備問題還是環(huán)境問題，以及這些問題影響了哪些客戶等等。

那我們要怎么解決這些問題呢？在端+邊緣計算+云計算的云原生時代，技術(shù)上已經(jīng)給了我們一些解決方法。最好的實踐是基于“數(shù)據(jù)湖+數(shù)據(jù)服務(wù)”的云原生數(shù)據(jù)驅(qū)動能力，去解決業(yè)務(wù)差異性和市場不確定性。這套架構(gòu)分為六層，我們通過這六層去解決后臺系統(tǒng)的相對穩(wěn)態(tài)及前端業(yè)務(wù)穩(wěn)態(tài)之間的矛盾。

架構(gòu)落地的具體實踐是基于云服務(wù)基礎(chǔ)設(shè)施，首先我們構(gòu)建了統(tǒng)一的音視頻數(shù)據(jù)湖，同時構(gòu)建從采集、生產(chǎn)到消費的數(shù)據(jù)價值鏈，通過這兩者結(jié)合，支持所有同時在線的幾大類服務(wù)接入，和面向內(nèi)外部七類客戶，以及包括運營、運維等客戶數(shù)據(jù)服務(wù)的QoS、QoE、QoC等三大類七小類的場景訴求。當(dāng)然僅僅基于這個架構(gòu)開展體驗質(zhì)量優(yōu)化工作是遠(yuǎn)遠(yuǎn)不夠的，這只是技術(shù)上的解決方法。

從在業(yè)務(wù)角度出發(fā)，我們認(rèn)為QoE體驗是一個管理的問題，我們在業(yè)務(wù)上需要做一些設(shè)計，這塊我們構(gòu)建了音視頻服務(wù)的體驗體系，大致分為兩個大的階段和三個小的階段。兩個大階段是先診斷、再提升，在診斷中分為監(jiān)控和診斷兩個小階段。

具體展開來看，首先需要構(gòu)建QoE、QoS的立體實時監(jiān)控體系以及輔助AI的異常檢測方法，做到實時發(fā)現(xiàn)問題。第二步在發(fā)現(xiàn)問題后用秒級診斷能力，快速診斷體驗原因，這個原因可以具體到用戶行為級。基于診斷結(jié)果，第三步就需要做體驗提升，一般有兩種方法：第一種是依靠人工經(jīng)驗做優(yōu)化，另一種方法是智能調(diào)度，我們在面向不同行業(yè)、不同場景的情況下，基于智能調(diào)度策略在成本可控的情況下做到用戶體驗最優(yōu)。

基于上述體驗質(zhì)量優(yōu)化體系，接下來我將具體展開分享華為云在視頻直播和RTC實時音視頻方面的體驗優(yōu)化實踐的案例。

2 “ 華為云視頻直播體驗優(yōu)化實踐

我們首先看一下華為云視頻直播體驗優(yōu)化實踐案例，我們在做到低時延、不卡頓、高清晰的同時，還實現(xiàn)了成本可控?？傮w分為三個階段：第一階段質(zhì)量監(jiān)控，第二階段問題診斷，第三階段體驗提升。

視頻直播的質(zhì)量監(jiān)控，我們首先構(gòu)建了覆蓋流質(zhì)量、體驗、規(guī)模、網(wǎng)絡(luò)、成本、設(shè)備六個維度的立體質(zhì)量監(jiān)控體系，涵蓋了QoE、QoS、QoC三十多個指標(biāo)，其中包括幀率、碼率等核心的QoS指標(biāo)，秒開率、卡頓率等QoE體驗指標(biāo)和帶寬、回源率等成本QoC相關(guān)的指標(biāo)。

第二個階段問題診斷——視頻直播的秒級質(zhì)量診斷，這是基于網(wǎng)絡(luò)數(shù)據(jù)+端數(shù)據(jù)構(gòu)建的直播流全鏈路監(jiān)控體系。診斷流程貫穿了第一公里主播端監(jiān)控推流幀率等QoS指標(biāo)，到網(wǎng)絡(luò)節(jié)點間幀率、碼率等QoS質(zhì)量指標(biāo)監(jiān)控，帶寬回源率、成本指標(biāo)，以及最后一公里觀眾端卡頓、秒開、黑屏等QoE指標(biāo)。這樣就實現(xiàn)端到端實時的秒級監(jiān)控，如果發(fā)現(xiàn)異常情況可以及時反饋給顧客和調(diào)度系統(tǒng)，比如我們在第一公里發(fā)現(xiàn)幀率、碼率出現(xiàn)異常，就通知客戶在主播端進行策略調(diào)整，如果實在網(wǎng)絡(luò)發(fā)現(xiàn)異常，就做一些節(jié)點用戶數(shù)據(jù)調(diào)動或其他策略的優(yōu)化，而當(dāng)觀眾端出現(xiàn)體驗異常時，智能調(diào)度系統(tǒng)會做調(diào)度策略的調(diào)整。以上整個全鏈路監(jiān)控系統(tǒng)覆蓋了12路直播全場景和全協(xié)議監(jiān)控。

直播流全鏈路監(jiān)控系統(tǒng)——從第一公里、到媒體網(wǎng)絡(luò)、再到最后一公里，整個都是可視化的，這樣可以提升問題診斷的效率。

第三步體驗提升，視頻直播體驗提升大致分為兩種方法。其一是通過運維同學(xué)的經(jīng)驗實施，另一種方法是基于智能調(diào)度系統(tǒng)——基于端、邊、云數(shù)據(jù)協(xié)同做智能調(diào)度體驗優(yōu)化，這種方法利用了統(tǒng)一視頻數(shù)據(jù)湖技術(shù)，實現(xiàn)端、邊、云的QoS、QoE、QoC數(shù)據(jù)的協(xié)同，通過智能分析引擎生成流、客戶、網(wǎng)絡(luò)鏈路、節(jié)點、觀眾的實時畫像，基于實時畫像+調(diào)度策略由智能調(diào)度系統(tǒng)實施智能調(diào)度，在成本可控的情況下做到最佳體驗。衡量指標(biāo)主要選取兩類指標(biāo)，一類指標(biāo)是成本指標(biāo)，比如通過回源率來衡量成本是否下降；另一類指標(biāo)為體驗指標(biāo)，通過卡頓率、秒開率等判斷用戶體驗是否有提升。以上是視頻直播在質(zhì)量監(jiān)控和體驗提升的一些實踐案例。

3 “ 實時音視頻RTC體驗優(yōu)化實踐

接下來分享實時音視頻RTC的體驗優(yōu)化的實踐案例。RTC屬于第二代音視頻業(yè)務(wù)，它和第一代直播在業(yè)務(wù)方面有很多差異，比較關(guān)注時延以及行為級的監(jiān)控，基于這些差異性，我們也采用了三個不同優(yōu)化體系。

第一點是質(zhì)量監(jiān)控，RTC質(zhì)量監(jiān)控體系建立了覆蓋通話、網(wǎng)絡(luò)、成本、設(shè)備等六個維度的立體質(zhì)量監(jiān)控體系，覆蓋QoE、QoS、QoC三十多個指標(biāo)。其中核心指標(biāo)包括等碼率、幀率、丟包率、抖動質(zhì)量QoS指標(biāo)和秒開率、時延、卡頓率、入房和選看成功率等用戶體驗QoE指標(biāo)，以及帶寬等成本QoC指標(biāo)，與直播監(jiān)控指標(biāo)相比，特別是端到端的時延指標(biāo)，這是基于前面提到的差異性著重關(guān)注的。

基于監(jiān)控體系，第二個工作是問題診斷，我們首先建立了三類體驗質(zhì)量數(shù)據(jù)服務(wù)，第一類是監(jiān)控指標(biāo)數(shù)據(jù)服務(wù)，主要覆蓋的是服務(wù)端、客戶端、設(shè)備、QoE、QoS、QoC，這些數(shù)據(jù)放在統(tǒng)計庫、時序庫中使用。第二類是網(wǎng)絡(luò)端所有控制面和媒體面的事件數(shù)據(jù)服務(wù)。第三類是終端事件數(shù)據(jù)服務(wù)，包括終端側(cè)用戶行為事件，例如加入房間、切換角色、操作麥克風(fēng)或攝像頭等事件，此外還包含了終端設(shè)備數(shù)據(jù)，例如CPU、內(nèi)存、攝像頭等。

基于這三類體驗質(zhì)量數(shù)據(jù)服務(wù)，RTC構(gòu)建了三層問題診斷體系。

第一層構(gòu)建是覆蓋全鏈路、全維度的QoE/QoS實時監(jiān)控體系，可以在分鐘級完成體驗診斷和快速恢復(fù)問題。上圖案例中，紅色1是十一點時發(fā)現(xiàn)成功率告警，我們通過維度下降發(fā)現(xiàn)是某一個客戶的APP下降很厲害，最后通過節(jié)點維度定位到是天津某一個SFU節(jié)點服務(wù)異常，整個故障恢復(fù)時間在分鐘級就可以完成。

第二層監(jiān)控體系是基于網(wǎng)絡(luò)行為數(shù)據(jù)和端側(cè)行為數(shù)據(jù)的一鍵式用戶個例通話QoS調(diào)查能力，它可以幫助我們快速解決RTC業(yè)務(wù)單用戶的體驗問題和投訴。上圖的案例通過房間信息以及用戶行為事件信息，快速判斷用戶聽不到聲音是因為進行了靜音操作導(dǎo)致的，整個過程也是在分鐘級完成。

第三層問題診斷能力是在第一層QoE/QoS全局指標(biāo)監(jiān)控和第二層QoS行為調(diào)查能力基礎(chǔ)上的體驗問題自動診斷高級能力，它通過監(jiān)控三十多個指標(biāo)產(chǎn)生二十多個異常事件，并通過學(xué)習(xí)模型，給出影響的六類體驗場景。這樣系統(tǒng)就可以快速自動化地判斷出體驗發(fā)生異常的原因，并且快速傳遞給客戶。

4 “ 音視頻服務(wù)全流程質(zhì)量監(jiān)控平臺

上述介紹的是華為云RTC業(yè)務(wù)體驗優(yōu)化的實踐案例，做體驗質(zhì)量優(yōu)化工作是需要平臺完成的，我們下面來分享華為是如何構(gòu)建音視頻服務(wù)全流程質(zhì)量監(jiān)控平臺的。首先從數(shù)據(jù)采集、傳輸、計算到消費四個環(huán)節(jié)的億級規(guī)模音視頻質(zhì)量監(jiān)控大數(shù)據(jù)平臺，包括支持端、邊、云全數(shù)據(jù)采集和傳輸?shù)臄?shù)據(jù)網(wǎng)絡(luò)，支持實時計算、離線計算和機器學(xué)習(xí)的多模數(shù)據(jù)處理系統(tǒng)，以及支持運維、運營、客戶的數(shù)據(jù)消費服務(wù)體系。

在構(gòu)建平臺時，會遇到很多性能、質(zhì)量、效率以及實時性的問題，如何構(gòu)建一個大容量、低成本、高效率和可信數(shù)據(jù)質(zhì)量的平臺？我們采用了批流一體和存算分離的架構(gòu)。批流一體解決的是開發(fā)效率的問題，我們同一個指標(biāo)可能在批流一體中計算一次就可以對所有服務(wù)使用，不需要重復(fù)開發(fā)，同時我們有一站式數(shù)據(jù)開發(fā)平臺可以解決開發(fā)效率的提升。成本問題上我們采用的是存算分離——存儲和計算是分離的，存儲采用的是對象存儲，價格相對低廉，計算引擎采用的是前面介紹的批流一體的方式，這樣可以做到成本最佳。質(zhì)量方面是采用了“ODS-DWD-DWS-ADS”四層數(shù)據(jù)治理平臺，保證所有數(shù)據(jù)可跟蹤、可管理，確保任何指標(biāo)數(shù)據(jù)都是實時、完整、準(zhǔn)確的。

在有了大容量、低成本的平臺后，我們還面臨斷網(wǎng)、設(shè)備故障等問題。我們在平臺可用性上基于云服務(wù)實施，采用跨Region主備容災(zāi)和多AZ模式，整體SLA可達99.99%，來自端、邊緣、云等全部六類數(shù)據(jù)不丟失，監(jiān)控、調(diào)度等六類服務(wù)不降級。這樣我們在整個環(huán)境下，任何環(huán)節(jié)出現(xiàn)異常，在質(zhì)量和服務(wù)提升上都可以正常工作。

5 “ 總結(jié)與展望

回顧本次分享，音視頻體驗發(fā)展有三個特點：第一，用戶對體驗的要求是真實感越來越強，直播、RTC等用戶要求更高；第二，在用戶體驗上要求越來越互動；第三，面對各種網(wǎng)絡(luò)、終端業(yè)務(wù)環(huán)境越來越復(fù)雜。

為了保證音視頻體驗質(zhì)量，我們有3個利器：第一，針對不同業(yè)務(wù)場景，構(gòu)建“先監(jiān)控再診斷后提升”的體驗質(zhì)量體系；第二，基于“數(shù)據(jù)湖+數(shù)據(jù)服務(wù)”解決用戶差異性和市場不確定性的問題；第三，在實施過程中要平衡成本和體驗的關(guān)系。

對未來音視頻業(yè)務(wù)體驗我們有三點規(guī)劃方向：一是持續(xù)基于端、邊、云數(shù)據(jù)協(xié)同來驅(qū)動QoE、QoS、QoC優(yōu)化；二是構(gòu)建音視頻內(nèi)容質(zhì)量的智能評估體系；三是建立第三代XR音視頻體驗質(zhì)量規(guī)范，如沉浸感等。

以上是本次分享的全部內(nèi)容，謝謝大家。

原文標(biāo)題：云原生時代——華為云音視頻質(zhì)量監(jiān)控與優(yōu)化實踐

文章出處：【微信公眾號：LiveVideoStack】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯：haq