0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

如何為應(yīng)用程序提供一個(gè)更小更快的視頻通話庫(kù)?

LiveVideoStack ? 來(lái)源:LiveVideoStack ? 作者:Ishan Khot ? 2021-01-13 14:11 ? 次閱讀

在研究如何使視頻通話在未來(lái)更高效,更易于擴(kuò)展時(shí),F(xiàn)acebook意識(shí)到,最好的方法是從頭開(kāi)始重新設(shè)計(jì)庫(kù)并重寫(xiě)整個(gè)庫(kù),也就是Rsys。

我們將在我們的應(yīng)用程序和服務(wù)的所有相關(guān)產(chǎn)品上推出一個(gè)新的視頻通話庫(kù),包括Instagram、Messenger、Portal、Workplace chat等。

通過(guò)創(chuàng)建一個(gè)通用類(lèi)庫(kù)足以支持所有這些不同的用例,但我們需要從頭重寫(xiě)現(xiàn)有庫(kù)使用最新版本的開(kāi)源的WebRTC庫(kù)。這是一個(gè)非常令人難以置信的任務(wù),以至于我們整個(gè)公司工程師都參與到了其中。

與前面的庫(kù)相比,Rsys能夠支持多個(gè)平臺(tái),包括Android, iOS, MacOS, Windows和Linux。它的大小大約小了20%,這使得它很容易集成到大小受限的平臺(tái)中,比如Messenger Lite。Rsys擁有大約90%的單元測(cè)試覆蓋率和一個(gè)完整的集成測(cè)試框架,它涵蓋了我們所有的主要調(diào)用場(chǎng)景。

為此,我們通過(guò)將庫(kù)和體系結(jié)構(gòu)的大小優(yōu)化為二進(jìn)制大小來(lái)實(shí)現(xiàn)這一目標(biāo),方法是將調(diào)用所需的部分分成獨(dú)立的獨(dú)立模塊,并利用不依賴于操作系統(tǒng)和環(huán)境的跨平臺(tái)解決方案。

Facebook的視頻通話初始版本是在一個(gè)已有7年歷史的WebRTC分支上編寫(xiě)的,專門(mén)用于在Messenger中啟用本機(jī)音頻通話。當(dāng)時(shí),我們的目標(biāo)是為我們的用戶提供功能最豐富的體驗(yàn)。從那時(shí)起,我們添加了視頻通話,群組通話,視頻聊天引擎和交互式AR效果。每月有數(shù)百萬(wàn)人使用視頻通話,這個(gè)功能齊全的庫(kù)表面上看起來(lái)簡(jiǎn)單,但在幕后卻變得復(fù)雜得多。我們有大量特定于Messenger的代碼,這使得我們很難支持像Portal和Instagram這樣的應(yīng)用程序。對(duì)于組調(diào)用和對(duì)等調(diào)用,我們有單獨(dú)的信令協(xié)議,這要求我們編寫(xiě)兩次特征,并在代碼庫(kù)中造成很大的不一致。我們還花費(fèi)了更多的時(shí)間來(lái)更新WebRTC的分支,并使用開(kāi)源的最新改進(jìn)功能。但最后,我們發(fā)現(xiàn)我們?cè)跒榈凸脑O(shè)備和低帶寬場(chǎng)景提供可靠服務(wù)方面落后了。

在研究如何使視頻通話在未來(lái)更高效,更易于擴(kuò)展時(shí),我們意識(shí)到,最好的方法是從頭開(kāi)始重新設(shè)計(jì)庫(kù)并重寫(xiě)整個(gè)庫(kù)。結(jié)果就是Rsys,這是一個(gè)視頻通話庫(kù),它讓我們能夠利用自2014年編寫(xiě)原始庫(kù)以來(lái)在視頻通話領(lǐng)域取得的一些重大進(jìn)步。與以前的版本相比,Rsys縮小了約20%,并且可在所有開(kāi)發(fā)中使用平臺(tái)。通過(guò)這一新的迭代,我們將重新構(gòu)想我們對(duì)視頻通話平臺(tái)的看法,并從頭開(kāi)始使用新的客戶端核心和可擴(kuò)展性框架。這有助于我們提升自己的最先進(jìn)技術(shù),新的代碼庫(kù)旨在在未來(lái)十年保持可持續(xù)性和可擴(kuò)展性,為跨應(yīng)用程序的遠(yuǎn)程存在和互操作性奠定基礎(chǔ)。

更快更小

無(wú)論設(shè)備類(lèi)型或網(wǎng)絡(luò)條件如何,使用較小的代碼庫(kù)可以為其用戶實(shí)現(xiàn)更快地加載、更新和啟動(dòng)。相比之下,小型庫(kù)也更易于管理、更新、測(cè)試和優(yōu)化。當(dāng)我們開(kāi)始考慮準(zhǔn)備新的版本時(shí),我們的峰值二進(jìn)制大小已高達(dá)20 MB。盡管我們可以通過(guò)編輯一些代碼段來(lái)減少一些內(nèi)容,但是要達(dá)到我們想要的效果,我們意識(shí)到我們需要從頭開(kāi)始重寫(xiě)整個(gè)代碼庫(kù)。

想要獲得較小的庫(kù),最簡(jiǎn)單方法是去掉多年來(lái)我們添加的許多功能特征,但是對(duì)我們來(lái)說(shuō),保留所有最常用的功能(如AR效果)很重要。因此,我們退后一步,研究了如何應(yīng)用過(guò)去十年中所學(xué)到的知識(shí)以及我們對(duì)如今使用我們產(chǎn)品的用戶的需求了解。探索完我們的這些選擇之后,我們決定需要越過(guò)接口,并深入研究庫(kù)本身的基礎(chǔ)結(jié)構(gòu)。

我們做了幾個(gè)架構(gòu)選擇來(lái)優(yōu)化大小,引入了一個(gè)即插即用的框架,使用selects有選擇地將特征編譯到需要它們的應(yīng)用程序中,并引入了一個(gè)通用框架來(lái)編寫(xiě)基于Flux架構(gòu)的新特性。我們也從Folly這樣的模板化通用庫(kù)轉(zhuǎn)向了像Boost這樣規(guī)模更優(yōu)的庫(kù)。SML在所有應(yīng)用程序中實(shí)現(xiàn)大小增益。

最后,我們將核心二進(jìn)制文件的大小減少了大約20%,從大約9MB減少到大約7MB。我們通過(guò)重新構(gòu)建我們的特征以適應(yīng)簡(jiǎn)化的體系結(jié)構(gòu)和設(shè)計(jì)來(lái)實(shí)現(xiàn)這一點(diǎn)。雖然我們保留了大部分特性,但隨著時(shí)間的推移,我們將繼續(xù)引入更多可插入特性。更少的代碼行數(shù)使代碼庫(kù)更輕、更快、更可靠,而精簡(jiǎn)的代碼庫(kù)意味著工程師可以更快地進(jìn)行創(chuàng)新。

這項(xiàng)工作的主要目標(biāo)之一是最小化代碼復(fù)雜性和消除冗余。我們知道,一個(gè)統(tǒng)一的體系結(jié)構(gòu)將允許全局優(yōu)化(而不是讓每個(gè)特性都集中在局部?jī)?yōu)化上),并允許代碼重用。為了構(gòu)建這個(gè)統(tǒng)一的體系結(jié)構(gòu),我們做了一些主要的更改:

信令:我們?yōu)樾帕顥L岢隽艘环N狀態(tài)機(jī)架構(gòu),它可以統(tǒng)一對(duì)等調(diào)用和組調(diào)用協(xié)議語(yǔ)義。我們能夠從庫(kù)的其余部分抽象出任何特定于協(xié)議的細(xì)節(jié),并提供一個(gè)信令組件,該組件將全權(quán)負(fù)責(zé)在調(diào)用參與者之間協(xié)商共享狀態(tài)。通過(guò)減少重復(fù)代碼,我們可以一次編寫(xiě)特性,并允許輕松更改協(xié)議,并為對(duì)等調(diào)用和組調(diào)用提供統(tǒng)一的用戶體驗(yàn)。

媒體:我們決定重用我們的狀態(tài)機(jī)架構(gòu),并將其應(yīng)用到媒體堆棧中,但這次我們捕獲了開(kāi)源WebRTC API的語(yǔ)義。同時(shí),我們還致力于用最新版本替換我們的分支版本W(wǎng)ebRTC,同時(shí)保留所有針對(duì)產(chǎn)品的特定優(yōu)化。這使我們能夠在狀態(tài)機(jī)下更改WebRTC版本,只要API本身的語(yǔ)義沒(méi)有明顯變化,我們就可以從開(kāi)放源碼代碼庫(kù)中設(shè)置定期常規(guī)拉取。這使我們能夠輕松地更新到最新的功能,而不會(huì)出現(xiàn)任何停機(jī)或延遲。

SDK:為了具有特定于功能的狀態(tài),我們使用Flux架構(gòu)來(lái)管理數(shù)據(jù),并為調(diào)用產(chǎn)品提供API,這些API的工作原理類(lèi)似于web開(kāi)發(fā)人員熟悉的基于React js的應(yīng)用程序。每個(gè)API調(diào)用都會(huì)導(dǎo)致通過(guò)中央調(diào)度程序路由的特定操作。然后,這些動(dòng)作由特定的reducer類(lèi)處理,并根據(jù)動(dòng)作的類(lèi)型發(fā)出模型對(duì)象。這些模型對(duì)象被發(fā)送到包含所有特定于功能的業(yè)務(wù)邏輯的網(wǎng)橋,并導(dǎo)致更改模型的后續(xù)操作。最后,所有的模型更新都被發(fā)送到UI,在那里它們被轉(zhuǎn)換成特定于平臺(tái)的視圖對(duì)象進(jìn)行渲染。這使我們能夠清晰地定義一個(gè)包含減速器、橋接器、動(dòng)作和模型的特性,從而使我們能夠在運(yùn)行時(shí)為不同的應(yīng)用程序配置特性。

OS:為了使我們的平臺(tái)具有通用性和可擴(kuò)展性,我們決定抽象出直接依賴于OS的所有功能。我們知道,對(duì)于某些功能(例如創(chuàng)建硬件編碼器,解碼器,線程抽象等),必須具有針對(duì)Android,iOS等的特定于平臺(tái)的代碼,但是我們嘗試為這些功能創(chuàng)建通用接口,以便MacOS和Windows等平臺(tái)可以通過(guò)代理對(duì)象提供不同的實(shí)現(xiàn)來(lái)輕松插入。我們還大量使用Buck中的cxx_library來(lái)以簡(jiǎn)便的方式配置特定于平臺(tái)的庫(kù),以用于編譯器標(biāo)志,鏈接器參數(shù)等。

2dc6f8b8-521b-11eb-8b86-12bb97331649.png

用于調(diào)用的Rsys架構(gòu)

下一步的計(jì)劃

如今,我們的調(diào)用平臺(tái)明顯要小得多,并且能夠在許多不同的用例和平臺(tái)上擴(kuò)展。我們支持每天都有數(shù)百萬(wàn)人使用的電話。我們的庫(kù)是我們所有主要通話應(yīng)用程序的一部分,包括Messenger,Instagram,Portal和Workplacechat。構(gòu)建Rsys需要一個(gè)很長(zhǎng)的過(guò)程,但是,對(duì)于使用這些應(yīng)用程序的人們來(lái)說(shuō),它的感覺(jué)并沒(méi)有太大不同。它將繼續(xù)為人們提供出色的通話體驗(yàn)。但這僅僅是開(kāi)始。

我們?cè)赗sys中所做的工作將使我們?cè)谶~向未來(lái)的過(guò)程中能夠繼續(xù)創(chuàng)新和擴(kuò)展我們的通話體驗(yàn)。除了構(gòu)建可在未來(lái)十年或更長(zhǎng)時(shí)間保持可持續(xù)發(fā)展的庫(kù)之外,這項(xiàng)工作還為我們所有應(yīng)用的跨應(yīng)用調(diào)用奠定了基礎(chǔ)。它也為我們建立以遠(yuǎn)程存在為中心的環(huán)境奠定了基礎(chǔ)。

這項(xiàng)工作得益于與客戶平臺(tái)團(tuán)隊(duì)合作。我們感謝所有為Rsys做出貢獻(xiàn)的人,特別是Ed Munoz,Hani Atassi,Alice Meng,Shelly Willard,Val Kozina,Adam Hill,Matt Hammerly,Ondrej Lehecka,Eugene Agafonov,Michael Stella,Cameron Pickett,Ian Petersen和Mudit Goel在實(shí)施方面提供了幫助,并繼續(xù)提供指導(dǎo)和支持。

原文標(biāo)題:如何為我們的應(yīng)用程序提供一個(gè)更小、更快的視頻通話庫(kù)

文章出處:【微信公眾號(hào):LiveVideoStack】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯:haq

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 網(wǎng)絡(luò)
    +關(guān)注

    關(guān)注

    14

    文章

    7486

    瀏覽量

    88545
  • 視頻通話
    +關(guān)注

    關(guān)注

    0

    文章

    49

    瀏覽量

    11728

原文標(biāo)題:如何為我們的應(yīng)用程序提供一個(gè)更小、更快的視頻通話庫(kù)

文章出處:【微信號(hào):livevideostack,微信公眾號(hào):LiveVideoStack】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦

    使用OpenVINO GenAI API在C++中構(gòu)建AI應(yīng)用程序

    許多桌面應(yīng)用程序是使用 C++ 開(kāi)發(fā)的,而將生成式AI(GenAI)功能集成到這些應(yīng)用程序中可能會(huì)很具有挑戰(zhàn)性,尤其是因?yàn)槭褂孟?Hugging Face 這樣的 Python 庫(kù)的復(fù)雜性。C++
    的頭像 發(fā)表于 10-12 09:36 ?271次閱讀
    使用OpenVINO GenAI API在C++中構(gòu)建AI<b class='flag-5'>應(yīng)用程序</b>

    Adobe將推出全新免費(fèi)應(yīng)用程序

    Adobe近日宣布了項(xiàng)令人振奮的新舉措——從明年起,將推出款免費(fèi)的基于網(wǎng)絡(luò)的應(yīng)用程序。這款應(yīng)用的主要功能是為圖像、視頻和音頻創(chuàng)作者提供便
    的頭像 發(fā)表于 10-10 16:54 ?304次閱讀

    可以在單個(gè)esp8266上安裝兩個(gè)NON OS SDK應(yīng)用程序嗎?

    個(gè)簡(jiǎn)單的問(wèn)題。我可以在單個(gè) esp8266 上安裝兩個(gè) NON OS SDK 應(yīng)用程序嗎?我的自定義引導(dǎo)加載程序(包括 os libs)和
    發(fā)表于 07-19 07:28

    何為ESP8266構(gòu)建自定義盾牌?

    我正在尋找某種如何為ESP8266構(gòu)建自定義盾牌的指南。 到目前為止,我已經(jīng)使用 NODEMCU 構(gòu)建了功能原型,但我現(xiàn)在想簡(jiǎn)化事情并使其更小。 1. 是否有些書(shū)面的、開(kāi)放的硬件指南 (很好
    發(fā)表于 07-08 07:17

    何為SPI OLED顯示屏添加另一個(gè)設(shè)備?

    SPI 數(shù)據(jù)接口將圖像傳送到 OLED 顯示屏。使用 UVC 應(yīng)用說(shuō)明中的說(shuō)明操作 UVC 部件。如何為 SPI OLED 顯示屏添加另一個(gè)設(shè)備? 謝謝。
    發(fā)表于 05-31 06:18

    使用FX3實(shí)現(xiàn)個(gè)UVC MJPEG應(yīng)用程序,MJPEG幀損壞的原因?

    我正在使用 FX3 實(shí)現(xiàn)個(gè) UVC MJPEG 應(yīng)用程序,該程序從 FPGA 發(fā)送 MJPEG 視頻幀數(shù)據(jù),我們看到了以下幀損壞現(xiàn)象。 我
    發(fā)表于 05-28 06:39

    請(qǐng)問(wèn)FW OTA二進(jìn)制文件是否包含應(yīng)用程序和BT棧/程序庫(kù)?

    你好,先生: 因?yàn)橛w凌仍在不斷更新 BT 棧和庫(kù)。 那么 如果客戶在第一個(gè)版本中有 OTA 功能。 FW OTA 二進(jìn)制文件是否包含應(yīng)用程序和 BT 棧/程序庫(kù)?
    發(fā)表于 05-20 07:28

    使用Docker部署Go Web應(yīng)用程序步驟

    大多數(shù)情況下Go應(yīng)用程序被編譯成單個(gè)二進(jìn)制文件,web應(yīng)用程序則會(huì)包括模版和配置文件。而當(dāng)個(gè)項(xiàng)目中有很多文件的時(shí)候,由于很多文件沒(méi)有同步就會(huì)導(dǎo)致錯(cuò)誤的發(fā)生并且產(chǎn)生很多的問(wèn)題。
    發(fā)表于 04-20 09:33 ?466次閱讀
    使用Docker部署Go Web<b class='flag-5'>應(yīng)用程序</b>步驟

    LTE MQTT通信應(yīng)用程序說(shuō)明

    電子發(fā)燒友網(wǎng)站提供《LTE MQTT通信應(yīng)用程序說(shuō)明.pdf》資料免費(fèi)下載
    發(fā)表于 02-21 10:47 ?0次下載
    LTE MQTT通信<b class='flag-5'>應(yīng)用程序</b>說(shuō)明

    RTC第二個(gè)功能和應(yīng)用程序

    般RTC模塊設(shè)備管理時(shí)間日歷、計(jì)時(shí)器等。從年到二。些愛(ài)普生RTC模塊可以通過(guò)使用來(lái)自32768 Hz的分割頻率來(lái)管理次第二功能。本文件描述了RTC模塊的三個(gè)具體的應(yīng)用程序。(表1)
    發(fā)表于 01-03 15:45 ?0次下載

    如何在Spring Boot應(yīng)用程序中整合ZXing庫(kù)

    在數(shù)字化時(shí)代,二維碼已經(jīng)成為了信息交流的種常見(jiàn)方式。它們被廣泛用于各種應(yīng)用,從產(chǎn)品標(biāo)簽到活動(dòng)傳單,以及電子支付。本文將向您展示如何在Spring Boot應(yīng)用程序中整合ZXing庫(kù),以創(chuàng)建和解析QR碼。
    的頭像 發(fā)表于 12-03 17:39 ?1048次閱讀

    【從0開(kāi)始創(chuàng)建AWTK應(yīng)用程序】創(chuàng)建應(yīng)用程序并在模擬器運(yùn)行

    。創(chuàng)建工程本篇文章我們來(lái)創(chuàng)建第一個(gè)AWTK程序,也就是HelloWorld程序,它總共包含兩個(gè)頁(yè)面,先來(lái)看下最終效果圖:圖1Hello工程兩個(gè)
    的頭像 發(fā)表于 12-01 08:24 ?455次閱讀
    【從0開(kāi)始創(chuàng)建AWTK<b class='flag-5'>應(yīng)用程序</b>】創(chuàng)建<b class='flag-5'>應(yīng)用程序</b>并在模擬器運(yùn)行

    開(kāi)發(fā)java應(yīng)用程序的基本步驟是

    ava是種面向?qū)ο蟮木幊陶Z(yǔ)言,廣泛用于開(kāi)發(fā)各種類(lèi)型的應(yīng)用程序。在開(kāi)發(fā)Java應(yīng)用程序時(shí),有些基本步驟需要遵循,以確保應(yīng)用程序的正確性和可
    的頭像 發(fā)表于 11-28 16:52 ?1495次閱讀

    .NET 8.0中有哪些新的變化?

    發(fā)布容器映像,并且默認(rèn)情況下是非 root 的。由于 .NET 基礎(chǔ)映像更小,因此可以更快地部署容器化應(yīng)用程序 - 包括我們映像的新實(shí)驗(yàn)變體,這些變體可為本機(jī) AOT 提供真正最小的
    的頭像 發(fā)表于 11-20 16:15 ?884次閱讀
    .NET 8.0中有哪些新的變化?

    mysql是個(gè)什么類(lèi)型的數(shù)據(jù)庫(kù)

    MySQL是種關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)(RDBMS),用于存儲(chǔ)和管理大量結(jié)構(gòu)化數(shù)據(jù)。它被廣泛用于各種應(yīng)用程序和網(wǎng)站的后端,包括電子商務(wù)平臺(tái)、社交媒體網(wǎng)站、金融系統(tǒng)等等。MySQL的特點(diǎn)是性能高、可靠性
    的頭像 發(fā)表于 11-16 14:43 ?1646次閱讀