疫情之下，云計(jì)算及音視頻通信云助力眾多垂直場景落地

在全球疫情的今天，大量線上服務(wù)短時(shí)間內(nèi)誕生或極速擴(kuò)張。身處在云計(jì)算的時(shí)代，如何用遠(yuǎn)超以往的基礎(chǔ)音視頻云服務(wù)快速構(gòu)建海量穩(wěn)定的在線應(yīng)用，以應(yīng)對一場全人類的危機(jī)就顯得尤為重要。本次LiveVideoStackCon 2020線上峰會我們邀請到了騰訊云音視頻通信業(yè)務(wù)總經(jīng)理李郁韜，他將從視頻會議、在線教育和在線娛樂等典型場景來看音視頻技術(shù)推動(dòng)下的產(chǎn)品創(chuàng)新和機(jī)遇。

1. 疫情之下，云計(jì)算及音視頻通信云助力眾多垂直場景落地

疫情之下，各行各業(yè)都發(fā)生了巨大的變化，其核心本質(zhì)在于社會活動(dòng)從線下變成了線上，根據(jù)市場調(diào)研報(bào)告來看，線上應(yīng)用的用戶規(guī)模增長最多的行業(yè)是效率辦公，其次是短視頻、在線教育、娛樂應(yīng)用等。同時(shí)，這些應(yīng)用的用戶在線時(shí)長也呈現(xiàn)出井噴狀，由于復(fù)工復(fù)課的需求，在線教育迎來了較大的需求增長。

從音視頻行業(yè)的整體產(chǎn)業(yè)鏈來看，隨著疫情的發(fā)展，越來越多的線上應(yīng)用將音視頻作為常態(tài)工具或標(biāo)準(zhǔn)配置。 大家較為熟知的互聯(lián)網(wǎng)應(yīng)用領(lǐng)域在疫情期間迎來比較正常的用戶增長。由于復(fù)課的需要，各大在線教育相關(guān)應(yīng)用都迎來了用戶和在線時(shí)長的爆發(fā)式增長，同時(shí)還有很多垂直行業(yè)由于各種壓力，開始在各種平臺進(jìn)行電商帶貨。企業(yè)無法進(jìn)行線下宣傳活動(dòng)，也紛紛搬到線上進(jìn)行，因此企業(yè)直播也迎來了很大的發(fā)展機(jī)遇，包括金融機(jī)構(gòu)的在線培訓(xùn)等。 這些行業(yè)的發(fā)展和應(yīng)用的催熟，都需要依賴底層基礎(chǔ)設(shè)施的成熟，利用云計(jì)算、音視頻通訊等技術(shù)，更多垂直行業(yè)才能快速將線下內(nèi)容轉(zhuǎn)移到線上進(jìn)行，以適應(yīng)在新的危機(jī)之下發(fā)現(xiàn)新的發(fā)展之路。 下面我將分別從不同的場景分享一些應(yīng)用和技術(shù)的發(fā)展趨勢。 2. 停課不停學(xué)，在線教育迎來新機(jī)遇

疫情期間，在停課不停學(xué)的政策指導(dǎo)下，在線教育成為了教學(xué)的唯一手段。 2.1 騰訊課堂一周上線極速版

在疫情發(fā)展最初的一周內(nèi)，根據(jù)用戶迫切的需求，騰訊課堂臨危受命，快速上線極速版。其核心能力是基于音視頻的實(shí)時(shí)通訊以及大房間直播的應(yīng)用。在上線的過程中，我們發(fā)現(xiàn)很多音視頻領(lǐng)域的新能力得到了廣泛應(yīng)用，例如騰訊云的超低延時(shí)直播—— 快直播產(chǎn)品，它可以幫助騰訊課堂在短時(shí)間內(nèi)極速擴(kuò)容，以支持百萬級師生同時(shí)在線的低延時(shí)課堂需求。 2.2 超低延時(shí)直播技術(shù)發(fā)展

對于直播延時(shí)技術(shù)，直播延時(shí)需要越來越短已經(jīng)達(dá)成共識，觀眾和主播端可以有越來越多交互的可能性。 海外的一些廠商會主推HLS、CMAF等技術(shù)，其本質(zhì)都是基于HTTP編碼快，傳輸切片更小，一般延時(shí)在2-3秒左右；國內(nèi)最初的直播技術(shù)棧始于RTMP/FLV，目前RTMP/FLV成為了一個(gè)標(biāo)準(zhǔn)，其機(jī)制是通過流式傳輸，再通過協(xié)議棧不斷優(yōu)化，目前的延時(shí)在1-2秒左右。 HLS、CMAF、RTMP/FLV這三種技術(shù)都存在自身天花板的局限，縱觀業(yè)界另一個(gè)領(lǐng)域：實(shí)時(shí)音視頻領(lǐng)域，WebRTC的延時(shí)可以做到很低，但其不足的是直播房間人數(shù)會受到限制。 騰訊云利用WebRTC技術(shù)推出的快直播應(yīng)用，可以將直播延時(shí)降低到1秒以內(nèi)，目前在其他一些產(chǎn)品上也實(shí)現(xiàn)了超低延時(shí)的需求。 未來隨著直播技術(shù)的發(fā)展，將會出現(xiàn)越來越多低延時(shí)交互場景的需求，WebRTC有可能成為新一代低延時(shí)直播的標(biāo)準(zhǔn)。 2.3 停課不停學(xué)，站在“云”的肩膀上

從技術(shù)的發(fā)展來看，上圖中最下方的標(biāo)準(zhǔn)直播，從推流的接入-轉(zhuǎn)碼-中間處理-CDN分發(fā)，整體延時(shí)在3-10秒，這套標(biāo)準(zhǔn)直播流程是目前主流的直播技術(shù)。 騰訊云通過WebRTC的代理實(shí)現(xiàn)了快直播應(yīng)用，其本質(zhì)是將直播的后半段用WebRTC協(xié)議和JitterBuffer的特性替換RTMP/FLV等推拉流的方式，這樣做的優(yōu)點(diǎn)在于可以支持H5播放器，支持低延時(shí)準(zhǔn)實(shí)時(shí)音視頻的應(yīng)用，同時(shí)提供WebRTC的SDK可以集成在觀眾端的APP上，以實(shí)現(xiàn)與WebRTC瀏覽器同樣的體驗(yàn)效果。 圖中最上層是基于RTC架構(gòu)，存在一定人數(shù)上限的低延時(shí)大型直播的技術(shù)方案，在強(qiáng)互動(dòng)場景得到了廣泛的應(yīng)用。 以上三種方案未來可以根據(jù)不同的需求選擇對應(yīng)的解決方案。 2.4 騰訊課堂“極速版”效果

騰訊課堂“極速版”應(yīng)用到快直播架構(gòu)，受到很多學(xué)生和老師的喜愛，作為主推線路使用。據(jù)反饋，騰訊課堂在使用過程中的平均延時(shí)在500毫秒左右，因此在疫情期間，快直播用量得到了百倍增長，產(chǎn)品依賴智能選路的調(diào)度系統(tǒng)，實(shí)現(xiàn)了高穩(wěn)定性和高容災(zāi)能力的低延時(shí)直播系統(tǒng)需求。 3.在線協(xié)同，將改變企業(yè)工作方式

在疫情期間，視頻會議得到了很大的發(fā)展，傳統(tǒng)的視頻會議已經(jīng)滿足不了廣大用戶的接入需求，有很多基于互聯(lián)網(wǎng)應(yīng)用的新型輕量級的視頻會議紛紛出現(xiàn)并迎來很大用戶增長。 3.1 騰訊會議高速發(fā)展的背后

騰訊會議產(chǎn)品推出兩個(gè)月的時(shí)間，日活賬戶數(shù)量過千萬，為了抗擊疫情，騰訊會議面向全國免費(fèi)提供300方會議能力，作為底層支撐平臺，騰訊云不斷地進(jìn)行擴(kuò)容和技術(shù)支持，滿足了疫情期間對于視頻辦公的需求。 正是基于騰訊云多年在音視頻技術(shù)方面的積累，才能在短時(shí)間內(nèi)推出這款高品質(zhì)產(chǎn)品。目前騰訊會議的國際版—VooV Meeting已經(jīng)在全球100多個(gè)國家和地區(qū)上線，架起了中國企業(yè)與外國企業(yè)之間溝通的橋梁。 3.2 騰訊會議針對視頻和音頻的優(yōu)化

對于騰訊會議隱藏的底層技術(shù)優(yōu)化，在很多音頻、視頻的處理方面都優(yōu)化到了極致。 3.2.1 音頻領(lǐng)域的超分-帶寬擴(kuò)展

音頻是視頻會議最重要的組成，也是最核心優(yōu)化的點(diǎn)，相比于PSTN的音質(zhì)，騰訊會議無論從音質(zhì)或是去噪部分，都應(yīng)用了黑科技元素，這使得騰訊會議的音頻質(zhì)量有很大的提升。同時(shí)，騰訊云將算法壓縮到最小，以便在客戶端完成部署。 3.2.2 降噪語音增強(qiáng)

在降噪方面，針對不同場景進(jìn)行不同噪聲消除，同時(shí)結(jié)合了深度學(xué)習(xí)算法和傳統(tǒng)信號處理的算法，將PESQ提升0.3-0.5，STOI提升0.1-0.2，在特定場景下降噪能力得到了很大的提升。 3.3 超強(qiáng)網(wǎng)絡(luò)適應(yīng)能力及流控

關(guān)于視頻會議下的弱網(wǎng)問題，除了傳統(tǒng)處理方式之外，騰訊會議還對音頻進(jìn)行了更多的優(yōu)化，使用帶內(nèi)FEC+PLC的丟包恢復(fù)技術(shù)，在弱網(wǎng)情況下，音頻部分得到了較大提升，在視頻卡頓的情況下可以做到在音頻丟包80%的情況下，語音依然自然流暢。同時(shí)應(yīng)用SVC技術(shù)，視頻端質(zhì)量可以適配不同網(wǎng)絡(luò)的終端，讓不同能力的終端可以享受到能力上限的體驗(yàn)感受。 3.3.1 配套的質(zhì)量監(jiān)控有助于產(chǎn)品質(zhì)量快速提升

除了局部技術(shù)的優(yōu)化之外，騰訊會議還有很多配套的質(zhì)量監(jiān)控手段，端到端的全鏈路監(jiān)控運(yùn)營工具可以幫助用戶在平常處理較常見的異常情況，通過異常反饋不斷優(yōu)化接入點(diǎn)或調(diào)度的能力，快速提升產(chǎn)品質(zhì)量。 3.3.2 微信小程序，讓會議足夠輕

微信小程序是騰訊會議較為亮點(diǎn)的入口工具，騰訊會議的傳播和入口體驗(yàn)都較為加分，目前在微信小程序中可以使用live-pusher或live-player標(biāo)簽調(diào)用RTC的mod，即可在微信小程序中實(shí)現(xiàn)準(zhǔn)RTC服務(wù)，騰訊會議同樣應(yīng)用了該能力，通過小程序讓用戶更方便的接入。除此以外，小程序因?yàn)榛炝餍阅茉驘o法實(shí)現(xiàn)本地更多方的音頻和視頻的接入，騰訊會議通過云端MCU和混音引擎把音頻與視頻在云端進(jìn)行混合處理再推送到小程序，使得性能與網(wǎng)絡(luò)帶寬都得到很大提升，從而保證小程序入會體驗(yàn)達(dá)到普通終端要求。 3.3.3 騰訊云實(shí)時(shí)音視頻通信

騰訊云實(shí)時(shí)音視頻通信產(chǎn)品在疫情期間得到了很大發(fā)展，例如騰訊會議，在一周內(nèi)完成緊急擴(kuò)容100萬核的巨量擴(kuò)容體系，最高峰突破1000萬PCU，日通話分鐘數(shù)突破30億。 3.4 視頻制作在線化，足不出戶協(xié)同創(chuàng)作

疫情期間有很多視頻創(chuàng)作者以及直播工作者無法正常線下辦公，由于騰訊云豐厚的前期技術(shù)積累，這些技術(shù)在騰訊云的云導(dǎo)播臺、云剪輯等都得到了很廣泛的應(yīng)用。 3.4.1 騰訊云導(dǎo)播解決演播在線協(xié)同

由于復(fù)課需求，很多在線教育機(jī)構(gòu)需要將優(yōu)質(zhì)課程資源分發(fā)給各大視頻平臺，通過騰訊云導(dǎo)播項(xiàng)目可以解決優(yōu)質(zhì)資源快速分發(fā)等問題。可以在云導(dǎo)播平臺實(shí)現(xiàn)音視頻軌道的切換、特效疊加等效果，未來也會向智能化和多人協(xié)同的方向發(fā)展。

除此之外，騰訊云還推出了云剪服務(wù)，在疫情期間這項(xiàng)服務(wù)也得到廣泛應(yīng)用，可實(shí)現(xiàn)輕量化的Web在線編輯，可以實(shí)現(xiàn)較為初級的處理能力，未來也會增加更加智能化和多人協(xié)作能力。 3.4.2 騰訊云剪解決方案在線視頻制作的智能化和協(xié)作需求

騰訊云剪目前已經(jīng)在和很多公司合作，例如云剪支持SaaS的“一鍵換皮”，一些客戶希望可以完整部署云剪的SaaS產(chǎn)品在自己的專有云上，可以使用”一鍵換皮”的方式更換logo、顏色、風(fēng)格模板等。 另外云剪也支持公有云Paas方案，目前與虎牙的合作，提供了內(nèi)嵌的騰訊云剪編輯器到虎牙主播助手中，支持主播在直播結(jié)束后可以快速編輯視頻進(jìn)一步分發(fā)。 4. 直播帶貨正當(dāng)時(shí)

由于疫情的原因，越來越多的網(wǎng)紅大V開始接觸直播帶貨，同時(shí)越來越多的線下電商平臺以及微信內(nèi)小型電商平臺都開始將直播作為基礎(chǔ)功能，搬進(jìn)其應(yīng)用中。 4.1 騰訊云直播帶貨產(chǎn)品框架圖

騰訊提供的小程序云直播插件在疫情期間得到了非常廣泛的應(yīng)用，可以支持目前微信生態(tài)中很多電商的小程序，可以使用小程序插件的方式集成直播功能，進(jìn)一步結(jié)合IM能力，即可快速構(gòu)建小程序直播應(yīng)用，實(shí)現(xiàn)完整的電商帶貨能力。 4.2 騰訊云小程序直播插件在電商場景的應(yīng)用

直播帶貨場景在小程序的實(shí)現(xiàn)背后有很多的技術(shù)綁定：

場景化的定制方案：將騰訊云的IM產(chǎn)品和直播、線上點(diǎn)贊、優(yōu)惠券推送等功能集成在一起，實(shí)現(xiàn)完整的場景定制方案。

支持多平臺直播互通：不僅在微信小程序內(nèi)可以打開和關(guān)閉直播觀看，同樣也可以與APP進(jìn)行互通，因此，很多電商平臺就可以輕松構(gòu)建APP+小程序的一體化電商直播。

基于微信生態(tài)高效傳播與轉(zhuǎn)化：很多電商應(yīng)用通過群組和朋友圈的社交裂變，可以很便捷的實(shí)現(xiàn)小程序直播的快速傳播。

4.3 騰訊視頻云小程序直播插件

據(jù)統(tǒng)計(jì)，小程序電商直播方案相較于普通APP，可以帶來2倍以上的轉(zhuǎn)化率提升，用戶的流量和使用頻率都更大，活躍用戶次日留存率提升將近35%，在小程序中以輕量化方式構(gòu)建直播帶貨，下單速度可以提升將近2.28倍。 5. 沉浸式多媒體技術(shù)

沉浸式多媒體技術(shù)在疫情期間迎來了在線營銷的新機(jī)遇，疫情期間無法實(shí)現(xiàn)車、房等大件的線下購物，因此騰訊云利用沉浸式多媒體技術(shù)將其搬到了線上。 5.1 線上沉浸式營銷新場景

如上圖是沉浸式全景空間體驗(yàn)結(jié)合營銷場景的介紹，在展會中基于點(diǎn)云技術(shù)之上的沉浸式多媒體的應(yīng)用，再結(jié)合線上文字和視頻解說，可以給用戶帶來身臨其境的觀展體驗(yàn)。另外，可以通過音視頻在線通訊能力，實(shí)現(xiàn)真人客服講解。 與騰訊云合作的貝殼如視，在疫情期間實(shí)現(xiàn)云代看應(yīng)用，其用戶轉(zhuǎn)化率和使用時(shí)長比傳統(tǒng)圖文介紹效率高很多。 線上汽車銷售場景，全景車內(nèi)和3D外觀演示，再疊加圖文介紹和實(shí)時(shí)音視頻通信，實(shí)現(xiàn)真人在線銷售。 5.2沉浸式媒體解決方案的關(guān)鍵技術(shù)

關(guān)于沉浸式媒體解決方案的關(guān)鍵技術(shù)介紹是必不可少的，在采集端，目前點(diǎn)云數(shù)據(jù)的采集仍依賴于傳統(tǒng)相機(jī)的采集，越來越多的手機(jī)、ipad也開始支持點(diǎn)云的拍攝和采集。后臺處理涉及空間建模的拼接、空間深度推算、物體三維建模等專業(yè)的沉浸式多媒體算法內(nèi)容。 基于騰訊云強(qiáng)大的音視頻及通訊能力，快速接入沉浸式代看、沉浸式客服坐席、沉浸式視頻講解、沉浸式實(shí)時(shí)通訊等營銷能力，可以快速實(shí)現(xiàn)相應(yīng)功能。 5.3沉浸式媒體解決方案主要解決的技術(shù)問題

騰訊云和騰訊多媒體實(shí)驗(yàn)室也做了很多技術(shù)儲備和研究，點(diǎn)云涉及海量數(shù)據(jù)及計(jì)算問題，例如大量點(diǎn)的集合、6DOF數(shù)據(jù)和靜、動(dòng)態(tài)的千萬級的數(shù)據(jù)量，如何利用這些數(shù)據(jù)實(shí)現(xiàn)高維數(shù)據(jù)生成、三維場景重建以及相關(guān)數(shù)據(jù)的存儲和管理等，都是我們主要的技術(shù)課題。 6. 在線娛樂需求井噴下的云游戲發(fā)展

疫情期間，用戶都是居家隔離狀態(tài)，以致于游戲需求呈現(xiàn)井噴式增長。因此，云游戲發(fā)展迎來了歷史性拐點(diǎn)。 6.1 云游戲在多端開始應(yīng)用落地

如上圖是一些騰訊云云游戲的應(yīng)用和進(jìn)展，目前已經(jīng)對很多設(shè)備完成了很好的適配，例如將PC端的網(wǎng)游搬到手機(jī)端實(shí)現(xiàn)，在TV端、Web端也已經(jīng)完成了對很多網(wǎng)游大作的適配。

云游戲的發(fā)展中，底層計(jì)算技術(shù)具有不可忽視的重要作用，包括大計(jì)算量的畫面渲染和編解碼，需要使用到GPU虛擬化技術(shù)，利用底層服務(wù)引擎進(jìn)行游戲適配，以及大規(guī)模的性能提升、數(shù)據(jù)計(jì)算等的應(yīng)用。 邊緣計(jì)算也是不可或缺的技術(shù)，云游戲的要求是低延時(shí)甚至超低延時(shí)，未來在公有云上的邊緣計(jì)算，甚至5G時(shí)代的運(yùn)營商邊緣EC點(diǎn)，都需要使用底層資源。在此之上構(gòu)建的容器化的平臺、云游戲引擎以及音視頻的編解碼、渲染等，才可實(shí)現(xiàn)高性能、低延時(shí)的云游戲。 傳輸部分，低延時(shí)音視頻通訊能力非常重要，需要使用到資源的調(diào)度管理、高性能的JS-API/SDK集成技術(shù)。 6.2 Tencent-RTC技術(shù)

騰訊云的Tencent-RTC技術(shù)在云游戲中保證了低時(shí)延，高質(zhì)量的視頻展示效果。 6.3 云游戲未來發(fā)展趨勢

云游戲未來的發(fā)展趨勢：

云游戲體驗(yàn)趨向于原生化，精品的原生云游戲誕生是標(biāo)志著云游戲技術(shù)的成熟。

趨向底層應(yīng)用定制化，過去的云游戲使用的是通用型計(jì)算服務(wù)器，未來隨著云游戲的發(fā)展，將會誕生越來越多的定制化專用云游戲服務(wù)器。

云游戲會結(jié)合越來越多的場景，起到流量分發(fā)的作用，通過云游戲的試玩帶動(dòng)原生游戲的下載，將云游戲與直播、短視頻、廣告場景無縫結(jié)合

騰訊云希望可以通過一體化的云游戲平臺幫助客戶高效、低成本獲取云游戲技術(shù)能力，讓云游戲成為未來游戲的基礎(chǔ)設(shè)施。 7. 騰訊云視頻產(chǎn)品全景圖

在疫情之下，危機(jī)催熟了在線行業(yè)的應(yīng)用，很多應(yīng)用都是由音視頻技術(shù)的驅(qū)動(dòng)，目前騰訊云視頻的產(chǎn)品已經(jīng)涵蓋了方方面面，背后依賴的是騰訊云視頻技術(shù)以及上層一體化的解決方案。