淺析RTC技術(shù)及應(yīng)用實(shí)踐

概念

RTC（Real-Time Communication）意為實(shí)時(shí)通信，是一項(xiàng)已發(fā)展十余年的技術(shù)，主要是以語(yǔ)音、視頻、網(wǎng)絡(luò)電話作為通信主體，通常不要求完全必達(dá)，以RTP/RTCP、UDP作為主要數(shù)據(jù)傳輸協(xié)議，同時(shí)也具備TCP傳輸能力。在熟悉RTC技術(shù)之前，我們首先了解下RTC與IM（即時(shí)通訊，Instant Message）、WebRTC、實(shí)時(shí)音視頻、實(shí)時(shí)互動(dòng)幾個(gè)常用概念的區(qū)別。

IM主要是指以文本、短語(yǔ)音、文件等內(nèi)容為主的信息傳遞，通常要求信息必達(dá)，以TCP/UDP作為主要傳輸協(xié)議。

WebRTC（Web Real-Time Communications，Web 實(shí)時(shí)通信），目前作為網(wǎng)頁(yè)端實(shí)時(shí)通信的標(biāo)準(zhǔn)，已得到各個(gè)瀏覽器廠商的廣泛支持，提供了基礎(chǔ)的前端功能實(shí)現(xiàn)，WebRTC并不等同于RTC，而是RTC技術(shù)棧中的重要組成部分。

實(shí)時(shí)音視頻則是RTC技術(shù)在音視頻領(lǐng)域最常見的應(yīng)用場(chǎng)景。

實(shí)時(shí)互動(dòng)則是將RTC技術(shù)和IM、美顏特效、語(yǔ)音特效、AI智能處理、互動(dòng)白板、轉(zhuǎn)碼推流、內(nèi)容審核等多種核心能力集成在一起形成的以超低延時(shí)、強(qiáng)互動(dòng)為主要目標(biāo)的技術(shù)場(chǎng)景化集合，RTC技術(shù)是實(shí)時(shí)互動(dòng)的重要組成部分。

發(fā)展簡(jiǎn)史

回顧RTC技術(shù)的發(fā)展歷程，自1995年，首款基于VoIP（Voice over Internet Protocol）的通信產(chǎn)品誕生，實(shí)現(xiàn)了基于IP傳輸?shù)恼Z(yǔ)音通話和多媒體會(huì)議。到1999年，GIPS（Global IP Solutions）利用PC計(jì)算能力對(duì)聲音算法進(jìn)行創(chuàng)新，為互聯(lián)網(wǎng)通信提供新引擎，并陸續(xù)向QQ、Skype、Webex等產(chǎn)品提供音頻引擎。到2010谷歌收購(gòu) GIPS并于2011年更名為WebRTC進(jìn)行開源，實(shí)現(xiàn)了視頻流、音頻流或者其他任意數(shù)據(jù)在瀏覽器之間的點(diǎn)對(duì)點(diǎn)連接傳輸。再到2014年，全球首個(gè)商用實(shí)時(shí)音視頻傳輸網(wǎng)絡(luò)RTN（Real-time Network)開始搭建，使用邊緣計(jì)算節(jié)點(diǎn)與智能路由提升通信傳輸效率，為RTC大規(guī)模實(shí)時(shí)互動(dòng)提供網(wǎng)絡(luò)保障。再到2021年萬(wàn)維網(wǎng)聯(lián)盟（W3C）和互聯(lián)網(wǎng)工程任務(wù)組（IETF）宣布WebRTC成為官方標(biāo)準(zhǔn)，成為線上通信及協(xié)作服務(wù)的基石。在新冠疫情的推動(dòng)下，RTC技術(shù)更是在直播連麥、遠(yuǎn)程教育、線上會(huì)議、電商直播、游戲直播、云游戲、遠(yuǎn)程控制等場(chǎng)景下得到了極大程度的推廣和普及應(yīng)用，目前RTC技術(shù)已快速滲透到各行各業(yè)中。

** 技 術(shù) 篇 **

互動(dòng)直播系統(tǒng)架構(gòu)

前面提到了RTC技術(shù)在很多種場(chǎng)景下都得到了運(yùn)用，本篇文章將主要從音視頻通話和連麥的角度來(lái)探討RTC關(guān)鍵技術(shù)。接下來(lái)，我們了解下RTC技術(shù)在互動(dòng)直播應(yīng)用中的角色，如圖1所示：

圖1 互動(dòng)直播系統(tǒng)整體架構(gòu)圖

圖1為典型的互動(dòng)直播整體架構(gòu)圖，包括直播平面、互動(dòng)平面和調(diào)度平面，RTC系統(tǒng)主要包括調(diào)度平面和互動(dòng)平面，主要負(fù)責(zé)實(shí)時(shí)音視頻流的接入和轉(zhuǎn)發(fā)，以滿足超低延時(shí)音視頻互動(dòng)能力，再將RTC媒體流混合后轉(zhuǎn)推到CDN網(wǎng)絡(luò)（步驟4、6），以滿足弱互動(dòng)性、高并發(fā)、低成本的直播觀看能力。

RTC實(shí)時(shí)音視頻系統(tǒng)整體架構(gòu)

接下來(lái)，我們?cè)賮?lái)看一下典型的RTC實(shí)時(shí)音視頻系統(tǒng)整體架構(gòu)情況，如圖2所示：

圖2 RTC實(shí)時(shí)音視頻系統(tǒng)整體架構(gòu)圖

RTC實(shí)時(shí)音視頻系統(tǒng)整體架構(gòu)主要包括圖2中的RTC平臺(tái)層和資源層，RTC平臺(tái)層又包括SDK能力和后臺(tái)服務(wù)能力兩部分，SDK能力主要包括底層能力層和各平臺(tái)封裝層兩部分；后臺(tái)服務(wù)能力主要包括適配網(wǎng)關(guān)、調(diào)度系統(tǒng)、信令系統(tǒng)、媒體轉(zhuǎn)發(fā)系統(tǒng)、后臺(tái)管理、混流轉(zhuǎn)推、大數(shù)據(jù)分析、運(yùn)維監(jiān)控管理等等。資源層包括云主機(jī)、物理機(jī)、網(wǎng)絡(luò)、存儲(chǔ)、DNS等等。

生產(chǎn)消費(fèi)流程

接下來(lái)，我們?cè)賮?lái)看一看RTC實(shí)時(shí)音視頻系統(tǒng)中數(shù)據(jù)的生產(chǎn)消費(fèi)流程，如圖3所示：

圖3 RTC音視頻數(shù)據(jù)生產(chǎn)消費(fèi)流程圖

從發(fā)送端數(shù)據(jù)的采集開始到接收端數(shù)據(jù)的渲染播放，整個(gè)流程要先后經(jīng)過(guò)采集、前處理、編碼、傳輸、解碼、后處理、渲染播放等環(huán)節(jié)。其中采集、前處理、編碼、解碼、后處理、渲染播放在RTC SDK終端完成，傳輸環(huán)節(jié)由RTC SDK終端和RTC后端媒體轉(zhuǎn)發(fā)系統(tǒng)共同完成。

采集環(huán)節(jié)主要包括音頻采集、視頻采集、文件采集等；

前處理環(huán)節(jié)主要包括視頻美顏、視頻濾鏡、音視頻識(shí)別、音頻3A、音頻特效等；

編碼環(huán)節(jié)主要包括編碼器類型選擇、編碼參數(shù)調(diào)控、編碼策略控制等；

傳輸環(huán)節(jié)相對(duì)比較復(fù)雜，既包括客戶端SDK數(shù)據(jù)的發(fā)送和接收，還包括數(shù)據(jù)在RTC媒體網(wǎng)絡(luò)中的轉(zhuǎn)發(fā)和質(zhì)量反饋，涉及到ARQ（Automatic Repeat-reQuest，自動(dòng)重傳請(qǐng)求）、FEC（Forward Error Correction，前向糾錯(cuò)）、JitterBuffer（視頻網(wǎng)絡(luò)抖動(dòng)緩沖器）、NetEQ（Network Equalizer，音頻網(wǎng)絡(luò)抖動(dòng)緩沖器）、PacedSender（平滑發(fā)送控制器）、GCC（Google Congestion Control，擁塞控制算法）等多種網(wǎng)絡(luò)傳輸關(guān)鍵技術(shù)；

解碼環(huán)節(jié)主要包括解碼器類型選擇、解碼參數(shù)調(diào)控、解碼策略控制等；后處理主要包括音畫同步、音頻3A、音頻混音等；

渲染播放主要包括音視頻的即時(shí)渲染、GPU渲染等。

調(diào)度系統(tǒng)

RTC調(diào)度系統(tǒng)的本質(zhì)是在實(shí)時(shí)音視頻數(shù)據(jù)傳輸?shù)馁|(zhì)量、傳輸成本、資源利用等諸多約束因素情況下，綜合運(yùn)用工程與算法手段，得到網(wǎng)絡(luò)路徑、資源分配等實(shí)時(shí)近似最優(yōu)解。一般又可細(xì)分為接入調(diào)度、負(fù)載調(diào)度、資源調(diào)度、場(chǎng)景調(diào)度等。

質(zhì)量方面需要考慮用戶地理位置、網(wǎng)絡(luò)運(yùn)營(yíng)商、本地網(wǎng)絡(luò)特征、設(shè)備性能、RTC使用場(chǎng)景類型、場(chǎng)景對(duì)質(zhì)量要求的SLA、參與互動(dòng)人數(shù)、各服務(wù)運(yùn)行指標(biāo)等條件；成本方面需要考慮資源預(yù)留、資源利用率、帶寬削峰填谷等。目前行業(yè)領(lǐng)先的實(shí)踐是基于接入負(fù)載均衡、骨干網(wǎng)路規(guī)劃、實(shí)時(shí)質(zhì)量檢測(cè)等能力基礎(chǔ)之上，結(jié)合機(jī)器學(xué)習(xí)預(yù)測(cè)方法，通過(guò)抽象多種不同RTC應(yīng)用場(chǎng)景需求并轉(zhuǎn)化為數(shù)學(xué)優(yōu)化問(wèn)題，采用最優(yōu)化算法，尋求得出最優(yōu)調(diào)度決策方案。同時(shí)調(diào)度系統(tǒng)在部署上，除了要考慮機(jī)房?jī)?nèi)集群化部署，還需要考慮多中心分布式部署，以避免單機(jī)房故障導(dǎo)致的調(diào)度系統(tǒng)功能失效等問(wèn)題。

實(shí)時(shí)信令系統(tǒng)

RTC實(shí)時(shí)信令系統(tǒng)的主要作用是通過(guò)傳輸實(shí)時(shí)控制指令，控制RTC媒體流的發(fā)布、訂閱和轉(zhuǎn)發(fā)，以及實(shí)時(shí)同步房間及用戶的各種狀態(tài)。另外，RTC實(shí)時(shí)信令系統(tǒng)通常還支持傳遞用戶自定義消息，可以滿足應(yīng)用內(nèi)的文字消息、彈幕等輕聊天場(chǎng)景。

在一些面向未來(lái)的實(shí)時(shí)互動(dòng)場(chǎng)景中，實(shí)時(shí)信令技術(shù)能帶來(lái)例如虛擬人物的表情、道具狀態(tài)等實(shí)時(shí)同步；SLG、MOBA等類型游戲核心業(yè)務(wù)的實(shí)時(shí)數(shù)據(jù)傳輸，比如行軍狀態(tài)同步，地圖資源同步等；直播中的其他業(yè)務(wù)數(shù)據(jù)（如送禮物，抽獎(jiǎng)等）的實(shí)時(shí)傳輸；物聯(lián)網(wǎng)和智能設(shè)備的實(shí)時(shí)通信、監(jiān)控元數(shù)據(jù)、處理數(shù)據(jù)傳入和傳出。消息必達(dá)、超低延遲、高并發(fā)是RTC實(shí)時(shí)信令系統(tǒng)的顯著特征，因此，在傳輸上既要支持常規(guī)TCP協(xié)議，還要支持UDP協(xié)議，以滿足超低延時(shí)要求。在網(wǎng)絡(luò)架構(gòu)上，針對(duì)中小規(guī)模RTC系統(tǒng)，通常采用純網(wǎng)狀的網(wǎng)絡(luò)架構(gòu)；針對(duì)大規(guī)模RTC系統(tǒng)，純網(wǎng)狀網(wǎng)絡(luò)架構(gòu)已無(wú)法完全滿足超高并發(fā)信令的實(shí)時(shí)分發(fā)，通常需要引入中心網(wǎng)狀+邊緣樹狀模型的網(wǎng)絡(luò)架構(gòu)。

在RTC系統(tǒng)中，只有同時(shí)滿足信令消息的高可靠、超低延時(shí)、高并發(fā)，才能保證RTC系統(tǒng)媒體的正常分發(fā)，以及房間和人員狀態(tài)的正常同步。

媒體分發(fā)系統(tǒng)

RTC媒體分發(fā)系統(tǒng)主要作用是從接收到應(yīng)用終端發(fā)送的音視頻媒體數(shù)據(jù)開始，到最后將數(shù)據(jù)發(fā)送到其他應(yīng)用終端的過(guò)程中，對(duì)音視頻數(shù)據(jù)在RTC媒體系統(tǒng)中的轉(zhuǎn)發(fā)控制。在網(wǎng)絡(luò)傳輸方面會(huì)涉及到ARQ（Automatic Repeat-reQuest，自動(dòng)重傳請(qǐng)求）、FEC（Forward Error Correction，前向糾錯(cuò)）、PacedSender（平滑發(fā)送控制器）、GCC（Google Congestion Control，擁塞控制算法）、Simulcast（視頻大小流控制）、帶寬探測(cè)、碼率控制、數(shù)據(jù)緩存、質(zhì)量反饋等技術(shù)；在級(jí)聯(lián)轉(zhuǎn)發(fā)方面通常會(huì)涉及到服務(wù)器內(nèi)核級(jí)聯(lián)、機(jī)器級(jí)聯(lián)、機(jī)房級(jí)聯(lián)等策略。超低延時(shí)、高并發(fā)、轉(zhuǎn)發(fā)調(diào)控是RTC媒體分發(fā)系統(tǒng)的顯著特征。

RTC媒體分發(fā)系統(tǒng)通常還分為SFU（Selective Forwarding Unit）和MCU（MultiPoint Control Unit）兩種分發(fā)架構(gòu)，如圖4所示。

SFU架構(gòu)是將所有參與會(huì)話的流都發(fā)送到服務(wù)端，服務(wù)端將同等數(shù)量的流轉(zhuǎn)發(fā)給應(yīng)用終端，適合對(duì)超低延時(shí)要求高，并發(fā)要求不是特別高的場(chǎng)景，例如會(huì)議系統(tǒng)、直播連麥、遠(yuǎn)程面試等。

MCU架構(gòu)是將所有參與會(huì)話的流都發(fā)送到服務(wù)端，服務(wù)端將所有流混流合并成一路流，然后再下發(fā)到應(yīng)用終端，適合對(duì)超低延時(shí)要求不高，對(duì)并發(fā)要求特別高的場(chǎng)景，比如大規(guī)模賽事直播等場(chǎng)景。

業(yè)內(nèi)主流是使用SFU分發(fā)架構(gòu)，當(dāng)有超大規(guī)模分發(fā)需求時(shí)，通過(guò)MCU混流后，再將媒體流轉(zhuǎn)推到CDN系統(tǒng)，由CDN系統(tǒng)來(lái)支撐超大規(guī)模并發(fā)能力。不過(guò)，目前業(yè)內(nèi)也出現(xiàn)了以阿里的GRTN和騰訊TRTC為代表的基于SFU模型的全鏈路RTC分發(fā)方案，具備支撐百萬(wàn)級(jí)并發(fā)，且延時(shí)可控制在秒內(nèi)的能力，同時(shí)，也給RTC媒體分發(fā)系統(tǒng)的級(jí)聯(lián)策略、轉(zhuǎn)發(fā)性能、資源調(diào)度、信令協(xié)助等能力帶來(lái)了非常大的挑戰(zhàn)。

圖4 SFU和MCU分發(fā)架構(gòu)示意圖

混流轉(zhuǎn)推系統(tǒng)

如圖1中所示，RTC混流轉(zhuǎn)推系統(tǒng)主要作用是將RTC系統(tǒng)中所有參與會(huì)話的音視頻數(shù)據(jù)流混合成為1路或多路媒體流，然后再轉(zhuǎn)發(fā)到CDN或文件錄制等旁路系統(tǒng)，以支持RTC系統(tǒng)和其他音視頻系統(tǒng)之間的數(shù)據(jù)流轉(zhuǎn)。業(yè)內(nèi)使用的典型案例，就是圖1中的互動(dòng)直播場(chǎng)景，將主播和嘉賓連麥的數(shù)據(jù)流混合后，旁路轉(zhuǎn)推到CDN系統(tǒng)，以滿足超高并發(fā)的直播觀看需求，并能有效地減少運(yùn)營(yíng)成本。

RTC混流轉(zhuǎn)推系統(tǒng)主要包括接入網(wǎng)關(guān)、RTC流拉取、編碼、布局管理、圖像合成、多協(xié)議轉(zhuǎn)推等能力。在技術(shù)指標(biāo)上，對(duì)混流服務(wù)器性能要求較高，如果在高并發(fā)混流任務(wù)情況下，通常還需要使用服務(wù)器GPU硬件編碼及渲染合成能力，實(shí)現(xiàn)高效率完成音視頻編解碼和圖像合成。

數(shù)據(jù)質(zhì)量分析系統(tǒng)

RTC數(shù)據(jù)質(zhì)量分析系統(tǒng)在RTC系統(tǒng)中，主要起到兩方面作用，一個(gè)是通過(guò)實(shí)時(shí)數(shù)據(jù)的上報(bào)、收集、查詢、分析，實(shí)時(shí)了解從整體到個(gè)別用戶的體驗(yàn)，快速響應(yīng)由于個(gè)別用戶的設(shè)備、網(wǎng)絡(luò)環(huán)境差異、服務(wù)異常等造成的體驗(yàn)問(wèn)題。依賴于實(shí)時(shí)的大數(shù)據(jù)處理能力，包括分布式數(shù)據(jù)庫(kù)技術(shù)和實(shí)時(shí)數(shù)據(jù)監(jiān)控與分析，能夠?qū)崟r(shí)反饋每一個(gè)用戶的終端體驗(yàn)情況，形成實(shí)時(shí)鏈路監(jiān)控和告警，是RTC系統(tǒng)里除了運(yùn)維告警之外的另一種有效的監(jiān)控告警方式。另一個(gè)作用是通過(guò)查詢分析離線數(shù)據(jù)，形成對(duì)用戶數(shù)量、音視頻數(shù)據(jù)用量的統(tǒng)計(jì)，以及對(duì)不同時(shí)間段音視頻傳輸各環(huán)節(jié)質(zhì)量情況的分析和對(duì)比，對(duì)RTC系統(tǒng)QOS指標(biāo)的提升具有重要的參考意義。

網(wǎng)絡(luò)體驗(yàn)優(yōu)化

RTC網(wǎng)絡(luò)體驗(yàn)優(yōu)化技術(shù)是，在RTC應(yīng)用場(chǎng)景中，為了保證音視頻數(shù)據(jù)在網(wǎng)絡(luò)中的傳輸質(zhì)量而采取的多種網(wǎng)絡(luò)技術(shù)和算法相結(jié)合的工程技術(shù)的統(tǒng)稱，是實(shí)時(shí)RTC技術(shù)體系的重要環(huán)節(jié)，其中包括文章前面提到的ARQ、FEC、NetEQ、JitterBuffer、GCC、PacedSender、帶寬探測(cè)、碼率控制、視頻大小流策略，還包括視頻SVC分層編碼技術(shù)、視頻超分辨率技術(shù)等等。通過(guò)合理地運(yùn)用各種網(wǎng)絡(luò)技術(shù)和算法，以對(duì)抗網(wǎng)絡(luò)傳輸過(guò)程中出現(xiàn)的丟包、高時(shí)延、窄帶寬、網(wǎng)絡(luò)抖動(dòng)等問(wèn)題，從而達(dá)到低延時(shí)、低卡頓的效果，顯著提升實(shí)時(shí)互動(dòng)場(chǎng)景的用戶體驗(yàn)。網(wǎng)絡(luò)體驗(yàn)優(yōu)化中每一項(xiàng)技術(shù)和算法都值得深入研究和探討，由于本篇文章技術(shù)角度主要是介紹RTC音視頻系統(tǒng)的整體架構(gòu)情況，這里就不再詳細(xì)展開介紹。

** 應(yīng) 用 篇 **

當(dāng)前RTC技術(shù)已廣泛應(yīng)用于各行各業(yè)中，已成為數(shù)字經(jīng)濟(jì)新的生產(chǎn)力來(lái)源。尤其是新冠疫情的到來(lái)，以RTC技術(shù)為基礎(chǔ)的在線辦公、遠(yuǎn)程會(huì)議、在線教學(xué)、電商直播、文旅直播、云K歌、云包廂、云游戲等數(shù)字化場(chǎng)景蓬勃涌現(xiàn)；伴隨著實(shí)體經(jīng)濟(jì)數(shù)字化轉(zhuǎn)型，RTC技術(shù)逐漸在遠(yuǎn)程醫(yī)療、遠(yuǎn)程機(jī)器操控、遠(yuǎn)程驗(yàn)車、遠(yuǎn)程保險(xiǎn)、自動(dòng)泊車、車載監(jiān)控等場(chǎng)景中滲透開來(lái)。RTC技術(shù)作為新一代數(shù)字經(jīng)濟(jì)發(fā)展的底座支撐，將加速新型數(shù)字產(chǎn)業(yè)體系的形成與發(fā)展，開辟經(jīng)濟(jì)增長(zhǎng)新空間。伴隨著元宇宙概念的突然爆發(fā)，RTC技術(shù)已經(jīng)成為元宇宙場(chǎng)景中不可或缺的技術(shù)底座，超低延時(shí)效果也將是元宇宙沉浸式體驗(yàn)不可或缺的因素之一。

互動(dòng)直播

在直播觀影/觀賽的互動(dòng)場(chǎng)景，咪咕視頻推出了云包廂、云觀影、云觀眾、云打Call等業(yè)務(wù)。在云觀賽場(chǎng)景中，咪咕視頻“云包廂”實(shí)現(xiàn)云聚會(huì)看比賽，在享受精彩賽事的同時(shí)，基于RTC實(shí)時(shí)互動(dòng)網(wǎng)絡(luò)，準(zhǔn)實(shí)時(shí)的端到端時(shí)延，穩(wěn)定流暢的數(shù)據(jù)傳輸，身處各地的朋友可以如面對(duì)面般進(jìn)行賽事評(píng)論和聊天，極大提升觀賽的娛樂(lè)性和沉浸感。

此外可以在常規(guī)實(shí)時(shí)互動(dòng)基礎(chǔ)上，融合引入VR/AR、數(shù)智人、虛擬演播等技術(shù)，創(chuàng)新互動(dòng)場(chǎng)景，實(shí)現(xiàn)全場(chǎng)景沉浸式極致體驗(yàn)。在2022年北京冬奧會(huì)期間，中國(guó)移動(dòng)5G冰雪推廣大使谷愛凌的數(shù)智分身Meet Gu“走進(jìn)”咪咕演播室，運(yùn)用AR、虛擬演播、實(shí)時(shí)互動(dòng)等技術(shù)，實(shí)現(xiàn)場(chǎng)內(nèi)與場(chǎng)外、虛擬與現(xiàn)實(shí)的同臺(tái)互動(dòng)，帶給觀眾耳目一新的體驗(yàn)。

健康生活

十四五規(guī)劃強(qiáng)調(diào)要落實(shí)全民健身國(guó)家戰(zhàn)略。面對(duì)當(dāng)前疫情反復(fù)的現(xiàn)狀，咪咕善跑推出智能互動(dòng)健身功能，支持通過(guò)手機(jī)或大屏（帶攝像頭）點(diǎn)播健身課程，基于邊緣AI實(shí)時(shí)監(jiān)控用戶運(yùn)動(dòng)數(shù)據(jù)，通過(guò)RTC技術(shù)和用戶實(shí)時(shí)互動(dòng)，并糾正錯(cuò)誤動(dòng)作，達(dá)成私人教練及健身館效果。

文博文旅

數(shù)字文旅可以從線下游覽升級(jí)成線上虛擬空間與線下現(xiàn)實(shí)增強(qiáng)相結(jié)合的全新體驗(yàn)。在云景區(qū)中設(shè)置超寫實(shí)虛擬人作為導(dǎo)覽員，游客還能夠在游覽時(shí)與同游的游客進(jìn)行互動(dòng)；數(shù)字藏品技術(shù)能夠讓景區(qū)增加更多的運(yùn)營(yíng)增長(zhǎng)空間。數(shù)字文博有云博物館、歷史重現(xiàn)、文物復(fù)原、導(dǎo)覽講解、互動(dòng)游戲等。咪咕和博物館和景區(qū)合作在文博文旅場(chǎng)景有很多創(chuàng)新，如線上推出云博物館，線下提供AR講解、AR歷史合拍、AR探究鏡、AR尋寶等多種虛實(shí)結(jié)合的實(shí)時(shí)互動(dòng)業(yè)務(wù)。

游戲互動(dòng)

咪咕快游云游戲在前面提到的技術(shù)的基礎(chǔ)上，基于中國(guó)移動(dòng)“5G+云+邊”算力和網(wǎng)絡(luò)能力，將游戲與視頻結(jié)合的方式為玩家?guī)?lái)創(chuàng)新的游戲場(chǎng)景。例如實(shí)時(shí)互動(dòng)的游戲直播，玩家可以圍觀游戲主播，并實(shí)現(xiàn)連麥、游戲控制權(quán)轉(zhuǎn)移等新的實(shí)時(shí)互動(dòng)方式。針對(duì)跨端或跨設(shè)備場(chǎng)景，解決用戶因設(shè)備、地點(diǎn)等因素帶來(lái)的游戲體驗(yàn)限制，在手機(jī)、電腦、平板之間實(shí)現(xiàn)跨平臺(tái)跨端游戲內(nèi)容隨意無(wú)縫切換。

?

** 展 望 篇 **

RTC技術(shù)雖然已經(jīng)比較成熟，但仍然面臨諸多難題和挑戰(zhàn)，有待提高。

網(wǎng)絡(luò)層面，完全沉浸感需要超高分辨率、超低時(shí)延的數(shù)據(jù)傳輸，這對(duì)于網(wǎng)絡(luò)傳輸?shù)膸挕⒀舆t提出了更高要求，同時(shí)將來(lái)以億計(jì)的交互用戶量級(jí)將對(duì)網(wǎng)絡(luò)傳輸?shù)目煽啃蕴岢龈咭?，目前業(yè)內(nèi)的RTC技術(shù)體系，還無(wú)法真正做到身臨其境的沉浸式體驗(yàn)感，RTC傳輸技術(shù)上還需要繼續(xù)不斷成熟和提高。

算力層面，基礎(chǔ)設(shè)施工藝能力不足，工業(yè)母機(jī)、高端芯片、基礎(chǔ)軟硬件、開發(fā)平臺(tái)、基本算法等方面的瓶頸依然存在。算力網(wǎng)絡(luò)面臨技術(shù)不完備，產(chǎn)業(yè)標(biāo)準(zhǔn)和理解不統(tǒng)一等問(wèn)題。算法的不足和算力網(wǎng)絡(luò)的不完整，也將是RTC技術(shù)在更多產(chǎn)業(yè)上廣泛應(yīng)用的制約因素。

規(guī)?；瘜用?，RTC技術(shù)以超低延時(shí)作為其最為顯著的特征，但也因此導(dǎo)致其在超大規(guī)模的并發(fā)實(shí)現(xiàn)上瓶頸明顯，但伴隨著以賽事直播、文藝匯演直播、元宇宙場(chǎng)景為典型代表的大規(guī)模用戶量應(yīng)用場(chǎng)景對(duì)使用超低延時(shí)技術(shù)的渴望，以RTC為基礎(chǔ)的超大規(guī)模超低延時(shí)互動(dòng)分發(fā)系統(tǒng)，已經(jīng)成為業(yè)內(nèi)強(qiáng)需求，急需突破制約和快速提升。

RTC技術(shù)缺乏統(tǒng)一標(biāo)準(zhǔn)，行業(yè)互通有待提升。

RTC技術(shù)已經(jīng)經(jīng)歷了十余年的發(fā)展時(shí)間，在國(guó)內(nèi)和國(guó)外也已經(jīng)形成較多成熟的RTC技術(shù)服務(wù)提供商。但由于RTC技術(shù)的開放性，導(dǎo)致RTC技術(shù)到目前為止并沒有形成統(tǒng)一的行業(yè)標(biāo)準(zhǔn)。雖然萬(wàn)維網(wǎng)聯(lián)盟（W3C）和互聯(lián)網(wǎng)工程任務(wù)組（IETF）在2021年宣布WebRTC成為官方標(biāo)準(zhǔn)，但仍然難以解決RTC整體技術(shù)體系標(biāo)準(zhǔn)的統(tǒng)一性，尤其是RTC實(shí)時(shí)信令系統(tǒng)的開放性，導(dǎo)致行業(yè)內(nèi)的RTC產(chǎn)品無(wú)法無(wú)障礙地實(shí)現(xiàn)互聯(lián)互通。伴隨著RTC技術(shù)未來(lái)在工業(yè)制造、安全生產(chǎn)、醫(yī)療、金融等行業(yè)快速鋪開落地，將會(huì)對(duì)RTC技術(shù)產(chǎn)品在融合通信、互聯(lián)互通方面的能力提出更高的要求。

行業(yè)發(fā)展處于早期，監(jiān)管法規(guī)待完善。

RTC技術(shù)的應(yīng)用作為新興賽道，包括用戶層面、技術(shù)層面、市場(chǎng)層面的相關(guān)法律法規(guī)和行業(yè)標(biāo)準(zhǔn)仍需完善，由于互動(dòng)方式的創(chuàng)新、技術(shù)的突破，會(huì)帶來(lái)一些新的隱私保護(hù)、數(shù)據(jù)安全、合規(guī)等方面的問(wèn)題，需要加強(qiáng)監(jiān)管及行業(yè)自治；行業(yè)對(duì)于服務(wù)到達(dá)質(zhì)量、不同類型產(chǎn)品能夠接受的延遲數(shù)據(jù)等還沒有統(tǒng)一的系統(tǒng)化的標(biāo)準(zhǔn)，這在行業(yè)協(xié)作、跨企業(yè)共建的過(guò)程中降低了一定的效率。