介紹GRTN的技術(shù)演進(jìn)路線及未來規(guī)劃

為了全面提升淘寶直播體驗和互動能力，淘系技術(shù)團(tuán)隊聯(lián)合阿里云經(jīng)歷三年時間打造了首個全鏈路RTC實時傳輸網(wǎng)。在時延、成本、抗弱網(wǎng)等指標(biāo)均取得巨大提升。小編將介紹GRTN的技術(shù)演進(jìn)路線及未來規(guī)劃。

我從2016年開始做淘寶直播，在2017年也做了很多分享。從2016年啟動到現(xiàn)在這幾年內(nèi)淘寶直播還是有了很多技術(shù)沉淀，記得2017年當(dāng)時最早說的是在直播上行上通過RTC優(yōu)化直播鏈路，這個方案當(dāng)時在業(yè)界還比較少被談到，因為當(dāng)時大部分方案都是傳統(tǒng)的上行走RTMP，下行走FLV，沒記錯的話我們應(yīng)該是較早在直播上引入RTC的技術(shù)，當(dāng)時來看淘寶直播在技術(shù)上還是具備一定的前瞻性。技術(shù)一直在進(jìn)步，說明從2016年到現(xiàn)在RTC技術(shù)在直播的應(yīng)用越來越廣，研究也越來越深入。

從淘寶的經(jīng)驗來看，引入RTC技術(shù)后對整個淘寶直播的體驗、核心的業(yè)務(wù)指標(biāo)都帶來很大的幫助。GRTN是淘寶直播和阿里云團(tuán)隊共建的RTC網(wǎng)絡(luò)，我會分享GRTN在淘系內(nèi)容業(yè)務(wù)上的落地和規(guī)劃，也會介紹下GRTN的關(guān)鍵技術(shù)點。

1淘寶的業(yè)務(wù)數(shù)據(jù)

回顧淘寶直播以往的業(yè)務(wù)數(shù)據(jù)，2016年啟動淘寶直播，到2020年雙十一為止整個數(shù)據(jù)的增速非常驚人，這是一個從0到1的業(yè)務(wù)，剛啟動時既沒有業(yè)務(wù)基礎(chǔ)也缺少技術(shù)儲備，唯一有的是2016年淘寶直播在手淘首頁的“愛逛街”有一個很小的版塊，只有60萬DAU，但較好的點是在主播供給有一些沉淀。實際在逛逛的業(yè)務(wù)之前，淘系在一些小的內(nèi)容賽道上如有好貨、必買清單上還是做了不少嘗試。愛逛街也是其中一個典型例子，當(dāng)然后面遇到了很多困難，DAU跌得比較厲害，在首頁的位置也往下移。但在早期為淘系積累了一大批優(yōu)質(zhì)的內(nèi)容生產(chǎn)者，達(dá)人、寫手，這些積累為淘寶直播在最早啟動時帶來了幫助。

回到2016年的啟動淘寶直播的時間點，早期對整個直播的業(yè)務(wù)模式定義很清楚，2016年市場并沒有電商直播的概念，所謂的“百播大戰(zhàn)”，其實大家提到的都是秀場、游戲、或是傳統(tǒng)的YY直播廠商將直播平臺移動化的產(chǎn)物，基本沒有提到電商或“賣貨”在直播場景中的模式。這里可以重點提一下，確實是淘寶直播定義了整個電商直播的標(biāo)準(zhǔn)——邊看邊買：主播講、用戶問問題、主播回答問題形成的購買鏈路，這其實是2016年淘寶直播的第一個版本上線后，這個核心的商業(yè)模式已經(jīng)建立。后續(xù)我們做了很多工作，低時延、互動能力優(yōu)化、在多媒體互動上大量的玩法，都是在模式邊緣性的擴(kuò)充和升級，本質(zhì)并沒有變，過去4年內(nèi)的核心還是“邊看邊買”，并且非常好的將直播互動能力應(yīng)用起來。在很長一段時間，整個淘寶直播的轉(zhuǎn)換率僅次于“手猜”，對大部分人逛淘寶都是具備極強(qiáng)的目的性，很少逛“猜你喜歡”，大部分還是打開手淘搜索欄直接搜索。互動+電商直播對整個購買鏈路的轉(zhuǎn)換率提升影響很大，這就是創(chuàng)新的力量。

整體數(shù)據(jù)基本是連年翻倍的增速，無論是直播間DAU、還是整個直播開播場次、成交規(guī)模在去年全年已經(jīng)突破4000億。

覆蓋的內(nèi)容形態(tài)上也發(fā)生了很多變化，早期典型場景是女裝類和美妝類，但最近幾年如珠寶、美食，包括村播各種形態(tài)都涌現(xiàn)出來，數(shù)據(jù)表現(xiàn)還不錯，除了內(nèi)容的多樣化之外，成交規(guī)模上也有33個過億的直播間（雙11期間），整體呈現(xiàn)出非常健康的狀態(tài)，這也是我們過去在生態(tài)多樣性努力的成果。

在供給側(cè)，開播鏈路也做了大量的簡化。原來電商平臺上較為復(fù)雜的開店、上新、認(rèn)證安全機(jī)制導(dǎo)致淘寶直播在很長一段時間在開播、入駐、發(fā)送商品的整個流程會相當(dāng)復(fù)雜，所以從業(yè)務(wù)方面去年在開播鏈路上做了極簡：一鍵開播、一鍵入駐、一鍵上架，整個商家開播的場次、頻次得到大幅提升。技術(shù)上，去年雙11單個直播間同時在線人數(shù)突破200萬，這是真實連接的同時在線（淘寶直播間的口徑是嚴(yán)格意義上的真實在線，一定是長連接能夠維持在播放態(tài)），在200萬的真實在線中，單個直播間的播放時延在1.2s以內(nèi)，更大的困難在于極低時延的同時要確保畫面和消息的同步，要保證畫面中上鏈接時，鏈接能夠同時彈出來，這是很關(guān)鍵的。而且因為“搶到就是賺到”，目前直播間內(nèi)的購買模式已經(jīng)變成了強(qiáng)實時的“秒殺模式”，意味著推送的寶貝鏈接一定要第一時間與畫面同步且最低時延推送給直播間的所有用戶，才能夠?qū)崿F(xiàn)“看到就搶到”。這其實是規(guī)模所帶來的最大技術(shù)挑戰(zhàn)。

另外規(guī)模的上升如果沒有編解碼、碼率層面的優(yōu)化，會帶來成本線性的增加。所以我們也做了基于H.265的全鏈路、包括H.266的預(yù)研。利用帶寬95峰值計費的特性通過削峰填谷的手段做一些智能的調(diào)度，以達(dá)到兩個目的：第一個是使峰值降下來。第二個是在峰值不變（總成本不變）的條件下，把日常碼率提上去。

我的主題也會圍繞以上幾個方面展開。

2 玩法介紹

大家平?？粗辈ラg時，除了觀看之外，會給主播側(cè)提供一些營銷類能力包括抽獎、打賞、倒計時紅包。我會從業(yè)務(wù)角度重點介紹“情景互動”。

其實在我們做整個直播間的實時內(nèi)容理解之前，直播間的內(nèi)容分發(fā)鏈路是很困難的，因為直播間具有強(qiáng)實時性，可能存在兩個小時就結(jié)束了，意味著內(nèi)容只有在兩個小時內(nèi)分發(fā)價值最大。比如在主播賣貨結(jié)束后再進(jìn)行分發(fā)，此時貨已經(jīng)沒有了，分發(fā)的價值不大，只剩下簡單的內(nèi)容介紹價值。

第二個點是在直播的過程中，如何最大鏈路將分發(fā)價值發(fā)揮出來。分發(fā)網(wǎng)絡(luò)的實時性是沒有問題的，這是阿里巴巴集團(tuán)最大的優(yōu)勢。困難是直播間內(nèi)發(fā)生的事情無法預(yù)測，不像視頻、圖文，有大量已知的前置內(nèi)容，在上線內(nèi)容分發(fā)之前就有許多預(yù)處理可以將它做到結(jié)構(gòu)化。但直播不一樣，也是剛才所說的結(jié)合圖像識別，語音信息甚至上下文信息將整個直播間內(nèi)容做到結(jié)構(gòu)化。最佳狀態(tài)是主播正在賣連衣裙，而我們希望用戶在主搜中搜索“連衣裙”時命中的就是主播此時介紹的連衣裙，現(xiàn)在也已經(jīng)很接近這個狀態(tài)了。

3技術(shù)架構(gòu)

介紹一下我們的技術(shù)架構(gòu)。

首先從層次上看，最底層的基礎(chǔ)設(shè)施主要基于阿里云的多媒體體系，包括邊緣推流、中心轉(zhuǎn)碼、時移、錄制能力。第二點包括播放側(cè)的分發(fā)機(jī)制，這是阿里云的技術(shù)應(yīng)用。直播的一個比較大的不同點在于，淘寶直播在阿里云的基礎(chǔ)之上建立自己的分法體系——RTC分發(fā)體系，這是有一個過程的，不是一步到位的，它們共同構(gòu)成了淘寶直播底層基座。

直播開放平臺層核心分成三方面，一方面分為兩頭。一頭是生產(chǎn)側(cè)，包括編解碼體系、主播APP、前處理（美顏處理）、場景識別、端側(cè)推流能力、上線的處理包括流控。另一頭是觀看側(cè)，整個淘寶直播的房間應(yīng)用了自研播放器，做了大量后置電路處理包括畫面增強(qiáng)、自研的H.265軟件解碼器，值得一提的是淘寶直播間大概率是唯一一家實現(xiàn)了全鏈路H.265覆蓋，意味著整個鏈路沒有轉(zhuǎn)碼（生產(chǎn)、推流、分發(fā)側(cè)、播放側(cè)）完全支持全鏈路H.265，而且覆蓋比例非常高。有同學(xué)疑惑軟解H.265在端側(cè)實現(xiàn)的難度，解決了這個問題也就解決了整個H.265在端側(cè)解碼的覆蓋，結(jié)合硬解鏈路做到極大的提升，也會節(jié)約很多轉(zhuǎn)碼成本。

在流媒體鏈路之上，分裝了整個直播間直播業(yè)務(wù)領(lǐng)域模型的概念，比如流狀態(tài)、互動能力、商品管理能力、彈幕、營銷型玩法。我們分裝了整體的一套API支撐核心業(yè)務(wù)。

直播底層最核心的兩個傳輸鏈路：一個是流媒體鏈路，另一個是消息點鏈路。消息點鏈路是整個評論消息和營銷型類玩法怎么和流媒體鏈路同時向下做分發(fā)、同步。這是我們核心的幾個技術(shù)點。

4 技術(shù)演進(jìn)

直播在過去幾年除了基礎(chǔ)性優(yōu)化，最大的底層改造是從傳統(tǒng)基于CDN的中心化分發(fā)機(jī)制轉(zhuǎn)化為去中心化網(wǎng)絡(luò)上。我們先介紹一下原始網(wǎng)絡(luò)特點及問題。

首先在第一個階段（上方左圖），是迄今為止大部分直播廠商所用的最典型方案。大家基于CDN最傳統(tǒng)的中心分發(fā)網(wǎng)絡(luò)，主要以FLV文件為主。這樣的好處是一方面對整個CDN改造低，其二是無論是RTMP還是FLV，在兩端業(yè)務(wù)方面支持是最完備的。而且底層協(xié)議流控方面，都走TCP，不需要做太多優(yōu)化改造，是最快從0到1直播業(yè)務(wù)構(gòu)建體系，但這個模式存在的問題是什么？雖然這個模式很快，包括淘寶直播第一期也是這樣做的，但是整個鏈路一定會從L1到L2到中心節(jié)點，存在回源機(jī)制，這是不可避免的。因為這是靜態(tài)的結(jié)構(gòu)，不存在任何動態(tài)感知能力，會帶來大量回源成本和時延問題。時延問題一方面與回源有關(guān)系，也與整個流控協(xié)議缺少更精細(xì)力度的控制有關(guān)系，RTMP和端側(cè)的FLV是典型的TCP底層協(xié)議，在業(yè)務(wù)上能優(yōu)化的點有限，調(diào)調(diào)本地的Cache，L1緩存的GOP大小，手段有限，會帶來很多額外的成本。

我們在淘寶直播發(fā)現(xiàn)了這種體系下更為嚴(yán)重的一個點，淘寶直播的主播相對秀場、游戲等比較分散。秀場上熱門主播是比較集中的狀態(tài)，可能占了頭部整個流量的60%甚至80%，這樣它的中心化分發(fā)可以將成本攤平，而淘寶大部分主播在線處于平均水位線以下，和頭部差別很大，但這一部分用戶占了絕大多數(shù)。剛剛中心化機(jī)制主要解決熱點集中的問題，但在淘寶直播中，100萬的在線人數(shù)可能分布在上萬個直播間中，所以這個機(jī)制會進(jìn)一步放大成本高的問題。

以上就是為什么會演化出淘寶會向GRTN去中心化方式走，這里有一個形成過程。

第一個階段起源于一個很簡單的問題，當(dāng)時通過線上數(shù)據(jù)分析，絕大多數(shù)在播放側(cè)引發(fā)的卡頓大多是因為上行網(wǎng)絡(luò)的抖動，基本上在第一跳（主播的RTMP到L1節(jié)點之間的波動引發(fā)了大多數(shù)卡頓），但在當(dāng)時情況下無法對鏈路重新做優(yōu)化，很典型的設(shè)計機(jī)制是我們在與L1同級的節(jié)點中部署了淘寶直播自己的上升節(jié)點，與主播走的是私有的RTC協(xié)議，從RTC協(xié)議節(jié)點上直推到L1，中間走的是同一個地方，走專線或者GRTN，也就是最前面的一公里用私有協(xié)議走掉，這是第一步的RTC。

第二步先走的下行，就是主播的下行和下行的L1節(jié)點之間，把它改造成了RTC。改造后的效果比較好，但這里的效果更多的是解決卡頓問題?；赪ebRTC的上行，整個RTMP上行改造之后對卡頓的優(yōu)化非常明顯，卡頓降了接近1/3，尤其在弱網(wǎng)場景以及海外推流場景下表現(xiàn)非常突出。但是后面經(jīng)過時延統(tǒng)計，兩頭編解碼大概在60ms，整個發(fā)送在不到100ms，播放側(cè)也類似，核心在整個分發(fā)鏈路時延占的最多。所以說兩頭問題解決的話可以解決卡頓問題，但并不能解決時延的問題，這就回到了如何真正做到全鏈路RTC。

這不是業(yè)務(wù)型決策，中間的整個分發(fā)機(jī)制一定要跟整個CDN的原來的技術(shù)貼近。因為原來的CDN分發(fā)機(jī)制并不是流媒體的分發(fā)網(wǎng)絡(luò)，它本質(zhì)是文件的分發(fā)網(wǎng)絡(luò)。那么如何改造它，我們聯(lián)合了多個團(tuán)隊，最終完成了GRTN全鏈路RTC的升級。這里帶來的優(yōu)勢幾乎基本可以解決前面的問題，一方面它是完全去中心化不存在任何回源的邏輯，對一些區(qū)域非常接近的房室的話，利用整個動態(tài)路由的策略，完全可以不經(jīng)過中心的浪費。

全鏈路的RTC帶來的好處是節(jié)點和節(jié)點之間的感知以及傳輸做到更細(xì)密度的控制，甚至是一些針對流媒體傳輸?shù)奶厥庑?。流媒體傳輸中有些包可以丟，策略上面可以做一些更細(xì)力度的控制，不一定是可靠到達(dá)；在提出多網(wǎng)融合之前，我們在整個直播、視頻會議、連麥場景等很多時候其實走的是獨立的通道，播放的時候可能走FLV，用戶之間連麥用RTC。

目前為止大部分在線教育廠商因為成本問題還是采用的這個策略，但是如果完成了整個RTC全鏈路網(wǎng)絡(luò)，任何一個節(jié)點都可以做上行或下行，同時下行直播鏈路和它成為雙向的通話場景本質(zhì)上沒有任何區(qū)別，這意味著我們可以在同一個通道完成連麥和直播播放場景。當(dāng)然視頻會議在整個外圍系統(tǒng)增加了MCU或SIP網(wǎng)關(guān)中其實也是類似，也就是說在直播、連麥、視頻會議和點對點通話做到了四網(wǎng)合一。今天來說這個方向得到了普遍意義的認(rèn)可。

成本上面包括回源成本、鏈路過長的成本都會得到解決，全雙工和多網(wǎng)融合是一個概念，同時具備上行和下行的邏輯。

以上基本是網(wǎng)絡(luò)演進(jìn)的一個過程。

5 低延時直播

回到剛剛提到的直播間里主播上鏈接的機(jī)制，本質(zhì)上包括幾個問題：

消息到達(dá)率：消息超過百萬級在線的話其實跟原來幾千幾萬在線分發(fā)所面對的困難完全不是一個技術(shù)體系。做法上除了對原來的Push模式大量的改造，包括分統(tǒng)機(jī)制、飽和機(jī)制，這里最大的技術(shù)改造是把消息做到分層，包括主播推送給用戶的消息，這個到達(dá)率及對業(yè)務(wù)的價值我們認(rèn)為是最大的。這類采用Push消息，把原來的進(jìn)出直播間、評論、擴(kuò)散的消息更多在CDN靜態(tài)化。最終其實是把整個消息機(jī)制做成了推拉結(jié)合機(jī)制，把整個5s消息到達(dá)率做到高于三個9，大概是3s的三個9。

單純的消息穩(wěn)定到達(dá)率及時效性，它如果不能和畫面的到達(dá)率結(jié)合起來，效果是不能發(fā)揮出來的（上鏈接之后，畫面要更短時間看到，同時搶寶貝的鏈接在主播側(cè)盡可能短的看到并且時延要縮短，這里一方面依賴消息鏈路的改造，一方面依賴整個GRTN低時延傳輸之外，兩者的同步方面主要是基于幀的染色，目前走的SEI，或者是特殊幀的附加信息保證兩者同步，關(guān)鍵在于同步的時間窗要盡可能??；上鏈接過大的話，極有可能是畫面到了，用戶通過提前畫面的截選把鏈接解出來），這也是需要關(guān)注的點。2018年，有一個場景是“點題成金”-沖關(guān)答題分獎金，即使這種技術(shù)在“點題成金”模式下會更為迫切，但畫面和題目一定要高度一致，這就是直播和消息的強(qiáng)同步。

依賴于整個RTC的全鏈路，時延基本可以做到小于1s，這是一個均值，在一些更為非盲情況下，時延可以做到更低。

6淘寶直播連麥

雙通道帶來的優(yōu)勢是RTC通道可以同時承接直播推流與連麥，再借助于外圍系統(tǒng)的配套，視頻會議也可以承接（MCU），這也是我們正在做的方向，希望四個場景（直播、通話、視頻會議、連麥）各有一個真實的業(yè)務(wù)能夠承接起來，并具有一定的規(guī)模。

淘寶目前的端合流與云合流分別有一個演進(jìn)階段，但最終走向了融和型。因為端合流會帶來成本上的優(yōu)勢，但云合流在調(diào)度和擴(kuò)展性更有優(yōu)勢，所以兩種方向我們都做了支持。演進(jìn)的路徑上基本也是從早期的RTMP支持連麥的時候，后面因為上行和下行RTMP的階段化，已經(jīng)有了融和態(tài)，最后走了全鏈路RTC徹底解決了直播連麥通道上不統(tǒng)一的問題。

7GRTN動態(tài)路徑規(guī)劃

GRTN的動態(tài)路徑規(guī)劃中有幾個重點。

一個是動態(tài)路由規(guī)劃，這里核心是每一個節(jié)點對任一個節(jié)點的到達(dá)路徑都是可感知的，有很多衡量的指標(biāo)，比如任何兩個節(jié)點之間的丟包率、時延、抖動、容量、成本都有動態(tài)預(yù)估。因為中間整個網(wǎng)絡(luò)會持續(xù)發(fā)送探測包把信息記錄下來，所以節(jié)點1方面它對自己可連接的節(jié)點到任意一個節(jié)點的路由都是有動態(tài)的策略表并記錄的。根據(jù)策略方式，有些質(zhì)量最優(yōu)，那在丟包、時延、抖動方面有權(quán)重的設(shè)計，保證它一定處于最低時延及最小卡頓率下傳輸；另一種成本最優(yōu)，可能中間的鏈路比較長，走的節(jié)點成本消耗不同，有些走專線，有些走LTN，會產(chǎn)生成本的不同，這塊也會計算成本還是質(zhì)量最優(yōu)。

目前GRTN真正在線上跑的版本還是融合了各種策略，典型的一個例子如果是RTC通話連麥場景，它對時延也就是質(zhì)量要求最高，卡頓要求最低，這就會選擇質(zhì)量最優(yōu)的策略。所以這塊也會根據(jù)不同場景做一些設(shè)計。

8參數(shù)自學(xué)習(xí)

在整個網(wǎng)絡(luò)上面，很多參數(shù)是此消彼長的（卡頓和時延），但這只是最終的表現(xiàn)。如果在細(xì)粒度，如編碼側(cè)、解碼側(cè)、端側(cè)的緩存設(shè)置上面，整個系統(tǒng)目前有超過400個參數(shù)，這些參數(shù)的最優(yōu)解是什么，在收斂過程中很難確定也很難證實。

所以我們做了參數(shù)自學(xué)習(xí)的方式，前期有人工剪枝，之后利用線上大量的AP系統(tǒng)對400個參數(shù)的收斂做了非?？斓脑O(shè)計。純粹通過參數(shù)優(yōu)化方式帶來收益，在底層機(jī)制不變的條件下純粹的參數(shù)優(yōu)化已經(jīng)對卡頓和時延帶來明顯的優(yōu)勢。

9 游戲玩法

去年我們做了大量了基于玩法型的優(yōu)化，包括營銷類優(yōu)化（抽獎、發(fā)紅包）和社區(qū)互動型玩法或游戲類玩法，可以拉近主播和用戶之間的連接（如：抖音前段時間的潛水艇），既有樂趣也有內(nèi)容的產(chǎn)出。但這個模式在之前沒有很好的應(yīng)用在直播中，會遇到幾個問題：

首先，用到大量端側(cè)推理模型，在手淘無論是MN還是端側(cè)的網(wǎng)絡(luò)小樣本訓(xùn)練都沒有完全跟上。今年基本可以做到和業(yè)界對齊。

其次，有很多探索靠單純端側(cè)的算力無法滿足。比如3D直播間、虛擬主播技術(shù)，對一些算力的訴求是綜合的單純放在端上是不現(xiàn)實的，如何用更好的方案一方面把端側(cè)和云端的算力一致化運用起來，去除差異。本質(zhì)上來說，前處理的模式就識別或是畫面特效配合，在端側(cè)或云側(cè)處理對于用戶側(cè)和主播側(cè)是無感知的。舉個例子，比如人臉識別或是特效識別，我們既可以把這個模型放在主播側(cè)推優(yōu)之前，完全用主播側(cè)APP或PC處理，也可以完全放在GRTN的某個節(jié)點處理完成后通過實時回顯鏈路放到主播側(cè)APP上。所以對主播來說，如果可以解決時延的問題，回顯來自本地還是云端是沒有任何區(qū)別的。解決如何充分靈活地調(diào)動云端算力，并結(jié)合GRTN實時回顯鏈路解決直播的流內(nèi)互動玩法問題是我們的根本目的。

簡單介紹一下，上圖中的幾個玩法。第二個“打年獸”，主播通過人臉控制屏幕下方炮臺的左右移動，打上方小蜜蜂，通過人臉輸入控制道具。游戲基于兩種機(jī)制，人臉的識別、流的處理、渲染和最終合成完全是一個端上的版本，同時我們也做了云端的版本。

3D直播間，人員站在綠幕前，后面的場景是3D數(shù)字直播間，通過摳圖、合成方式做成。在3D場景下，完全放在端側(cè)不現(xiàn)實，沒有很好的算力，它和后面的3D場景完全不交互，但做到完全的3D化后，可以和場景中的元素交互，解決直播間里的遠(yuǎn)程機(jī)樣的問題。

10多媒體處理中心

整個的設(shè)計模式上述介紹的差不多，最重要的的幾點是把前置的能力作為GRTN的算子掛接上去，還可以掛在端上調(diào)度的系統(tǒng)上。另外GRTN整個實時回顯模式也做到了云端一體化設(shè)計。

11智能控制

最后一部分的核心是針對目前帶寬的水位或是業(yè)務(wù)數(shù)據(jù)上的策略，對于整個線上碼率、根據(jù)更細(xì)粒度人群的投放，我們做整個成本和畫質(zhì)的平衡，在雙11期間發(fā)揮了很好的作用，晚上可以做到分裝級降碼率，還會自動根據(jù)線上的變化提升整個畫質(zhì)。

以上是分享的內(nèi)容，謝謝！

責(zé)任編輯：lq6