為OpenHarmony打造的一款新音視頻引擎——HiStreamer

原標題：OpenHarmony新音視頻引擎——HiStreamer

OpenAtom OpenHarmony（以下簡稱“OpenHarmony”）是由開放原子開源基金會（OpenAtom Foundation）孵化及運營的開源項目，目標是面向全場景、全連接、全智能時代，基于開源的方式，搭建一個智能終端設(shè)備操作系統(tǒng)的框架和平臺，促進萬物互聯(lián)產(chǎn)業(yè)的繁榮發(fā)展。面對萬物互聯(lián)時代種類眾多、且差異巨大的終端設(shè)備，我們?yōu)镺penHarmony打造了一款新的音視頻引擎——HiStreamer。

一、 HiStreamer產(chǎn)生背景

數(shù)字多媒體技術(shù)在過去的數(shù)十年里得到了飛速的發(fā)展，音樂、電話、電視、電影、視頻會議等等，伴隨著我們度過每一天。為了給用戶提供豐富的多媒體處理能力，業(yè)界已經(jīng)有比較成熟的音視頻引擎，比如開源的音視頻引擎GStreamer。為什么我們還要打造一款新的音視頻引擎呢？

隨著萬物互聯(lián)時代的到來，越來越多的智能化設(shè)備出現(xiàn)在我們的生活中。比如：智能冰箱可以通過屏幕和聲音，告訴人們儲藏的菜品快要過期了；智能閘機可以通過人臉識別，自動完成檢票工作；智能門鎖可以通過語音和視頻，提升開鎖的效率和安全性......

與PC、手機等標準（Standard）設(shè)備不同，很多智能化設(shè)備的CPU處理能力比較弱、內(nèi)存也比較小，傳統(tǒng)的音視頻引擎無法支持此類設(shè)備。HiStreamer應(yīng)運而生，既支持輕量級的Mini/Small設(shè)備，也支持Standard設(shè)備（目前支持部分功能）。HiStreamer在不斷發(fā)展和完善中，未來將會支持Standard設(shè)備的更多功能。

二、 “管道+插件”，實現(xiàn)彈性部署

為了支持Mini/Small/Standard設(shè)備，HiStreamer采用管道（Pipeline）和插件（plugin）的軟件架構(gòu)，從而可以根據(jù)設(shè)備的硬件和需求差異進行彈性部署。HiStreamer把音視頻處理的每個過程抽象成節(jié)點，上一個節(jié)點的輸出，作為下一個節(jié)點的輸入，把多個節(jié)點連接起來，整體形成一個管道（Pipeline），完成音視頻的數(shù)據(jù)讀取、解封裝、解碼、輸出的完整流程。同時，插件可以為Pipeline的節(jié)點提供豐富的擴展功能，讓HiSteamer的音視頻處理能力更強大。

1. Pipeline框架介紹

為了讓大家理解HiStreamer的Pipeline框架，下面以MP3音頻播放為例講解：

輸入是一個MP3文件，輸出是播放出的音樂，這中間經(jīng)過了很多步驟。

先來看一下MP3文件結(jié)構(gòu)：

圖1 MP3文件結(jié)構(gòu)

MP3文件由ID3 Metadata容器頭和若干MP3 Frame（MP3數(shù)據(jù)幀）構(gòu)成。每個MP3 Frame又由MP3 Header（MP3頭信息）和MP3 Data構(gòu)成。這一系列的MP3 Frame稱為ES Data（ Element Stream Data）。

● ID3 Metadata：容器頭，主要包括標題、藝術(shù)家、專輯、音軌數(shù)量等。

● MP3 Header：包含MP3 Sync word（標識MP3數(shù)據(jù)幀起始位置）和MPEG版本信息等。

● MP3 Data：包含壓縮的音頻信息。

播放MP3文件，首先需要把MP3文件數(shù)據(jù)讀進來，然后去掉ID3 Metadata容器頭（即解封裝），再把一系列MP3 Frame解壓縮成PCM（Pulse-Code Modulation）數(shù)據(jù)，最后驅(qū)動喇叭發(fā)聲。這個過程按順序可以抽象成如下四個節(jié)點：

圖2 MP3音頻播放的Pipeline

1. 輸入節(jié)點（MediaSourceFilter）: 讀取MP3原始數(shù)據(jù)，傳給下一個節(jié)點。

2. 解封裝節(jié)點（DemuxerFilter）: 解析ID3 Metadata容器頭信息，作為后續(xù)節(jié)點的參數(shù)輸入，并且把一幀幀MP3 Frame（即ES Data）傳給后續(xù)的解碼節(jié)點。

3. 解碼節(jié)點（AudioDecoderFilter）: 把ES Data解碼成PCM數(shù)據(jù)，傳給輸出節(jié)點。

4. 輸出節(jié)點（AudioSinkFilter）: 輸出PCM數(shù)據(jù)，驅(qū)動喇叭發(fā)聲。

由以上示例可知，HiStreamer通過Pipeline框架把音視頻處理的每個過程抽象成一個個節(jié)點。這些節(jié)點是解耦的，可以靈活拼裝，從而可以根據(jù)業(yè)務(wù)需要拼裝出不同的Pipeline。同時，為了使多個節(jié)點能更好地協(xié)同工作，HiStreamer還支持節(jié)點間的參數(shù)自動協(xié)商。

2. HiStreamer插件介紹

了解了HiStreamer的Pipeline框架后，我們再來看看HiStreamer插件。

HiStreamer的Pipeline框架的很多節(jié)點（比如輸入節(jié)點、解封裝節(jié)點、解碼節(jié)點、輸出節(jié)點等）都支持插件擴展。通過插件，節(jié)點的功能變得更加豐富、更加強大。

插件的應(yīng)用場景非常廣泛，比如：

● 媒體格式非常多，且以后還會有新的格式產(chǎn)生，可以通過插件支持新的媒體格式。

● 不同OS平臺或設(shè)備，處理方式存在差異，可以通過插件支持不同的處理方式。

● 不同類型的設(shè)備，需求不同，能提供的CPU/ROM/RAM資源多少也不同，也可以通過插件來支持。

3. 彈性部署

HiStreamer基于管道（Pipeline）和插件（plugin）的軟件架構(gòu)，可以根據(jù)設(shè)備的硬件和需求差異實現(xiàn)彈性部署。

圖3 HiStreamer彈性部署

如圖3所示，Mini設(shè)備（比如音箱），它的CPU處理能力很弱，ROM/RAM資源很少，需要的功能也比較少，只需要音頻播放功能。HiStreamer可以配置成只支持音頻播放，并且選擇輕量級的插件，配置同步解碼模式，減少資源消耗。而Small設(shè)備，CPU處理能力強一些，ROM/RAM空間大一些，需要音頻播放和視頻播放功能。HiStreamer可以配置成支持音視頻播放，并且選擇功能更強的插件。

三、HiStreamer邏輯架構(gòu)

經(jīng)過上面的介紹，我們了解了HiStreamer的“管道+插件”的軟件架構(gòu)。下面我們再來看看HiStreamer的詳細的邏輯架構(gòu)。

圖4 HiStreamer邏輯架構(gòu)圖

HiStreamer主要由HiStreamer引擎和HiStreamer插件構(gòu)成。

其中，HiStreamer引擎又分為以下四層：

● 業(yè)務(wù)封裝層：基于Pipeline封裝實現(xiàn)播放器、錄音機功能，簡化上層應(yīng)用使用。

● Pipeline框架層：提供Pipeline和若干個節(jié)點（輸入、解封裝、解碼和輸出）的實現(xiàn)，支持把多個節(jié)點連接在一起形成Pipeline。

● 插件管理層：用于插件生命周期管理，支持動態(tài)加載或靜態(tài)鏈接兩種方式使用插件。

● 工具庫層：提供框架依賴的工具，隔離操作系統(tǒng)差異，提供調(diào)測功能。

HiStreamer插件，則分為平臺軟件插件和廠商硬插件兩類：

● 平臺軟件插件：由OpenHarmony平臺提供，可跨產(chǎn)品復用的軟件算法插件。

● 廠商硬插件：由廠商提供的基于硬件加速的插件，如硬件加速的編解碼插件。

應(yīng)用開發(fā)者可以直接使用現(xiàn)成的插件來實現(xiàn)多媒體功能，節(jié)省大量的開發(fā)時間。插件越豐富，HiStreamer的音視頻處理能力會更強大。OpenHarmony歡迎廣大開發(fā)者參與HiStreamer插件的開發(fā)，一起來豐富HiStreamer插件！

四、HiStreamer插件開發(fā)及實例

下面就為大家介紹HiStreamer插件的開發(fā)過程及實例講解，感興趣的小伙伴們趕緊學起來，一起參與HiStreamer插件開發(fā)吧~

1. 插件的開發(fā)

HiStreamer插件的開發(fā)主要分為插件定義和功能實現(xiàn)兩個部分。

（1）插件定義

HiStreamer插件是通過PLUGIN_DEFINITION宏來定義的。以輸入插件FileSource為例，定義代碼如下：

使用PLUGIN_DEFINITION宏定義插件（即上面最后一行代碼）時，傳入了四個參數(shù)：

a) 插件名稱：即示例中的“FileSource”。

b) License信息：即示例中的“LicenseType::APACHE_V2”。

c) 插件注冊函數(shù)：即示例中的“FileSourceRegister”，該函數(shù)描述了插件基本信息，包括插件對象創(chuàng)建函數(shù)，并且還調(diào)用AddPlugin把插件注冊到系統(tǒng)中。

d) 插件反注冊函數(shù)：可以傳為空實現(xiàn)。

（2）功能實現(xiàn)

實現(xiàn)插件功能時，需根據(jù)要實現(xiàn)的插件類型，繼承對應(yīng)插件接口類，并實現(xiàn)相關(guān)接口。比如實現(xiàn)輸入插件FileSource，需要繼承SourcePlugin，并實現(xiàn)SetSource、Read等接口，代碼如下：

FileSource插件的完整代碼可參考碼云平臺OpenHarmony項目：

https://gitee.com/openharmony/multimedia_histreamer/tree/master/engine/plugin/plugins/source/file_source

2. 插件的部署

使用PLUGIN_DEFINITION定義的HiStreamer插件，可以是單一功能的插件，也可以是有多個功能的插件包。每個這樣的插件或插件包，可以獨立編譯成.a或者.so，分別對應(yīng)以下兩種部署方式：

● 靜態(tài)部署：一般用在mini設(shè)備上，插件編譯成靜態(tài)庫.a，鏈接到系統(tǒng)中。

● 動態(tài)部署：一般用在small/standard設(shè)備上，插件編譯成動態(tài)庫.so，放到系統(tǒng)指定目錄下，動態(tài)加載運行。

3. 插件的運行

插件開發(fā)完成且部署到系統(tǒng)之后，HiStreamer啟動時就會自動完成插件的注冊。下一步，就是運行插件了。

運行新實現(xiàn)的插件，需要先滿足該插件的運行條件。比如：FileSource只會在播放本地文件時運行；MP3解碼插件只會在播放MP3文件時運行......

開發(fā)者可以通過日志信息，查看是否運行了自己的插件。如果有別的插件注冊到系統(tǒng)中，導致自己的插件無法運行時，可以卸載引起干擾的插件。卸載動態(tài)部署的插件，刪除對應(yīng)的.so即可；卸載靜態(tài)部署的插件，需要修改編譯腳本取消對應(yīng)插件的編譯。

五、結(jié)束語

OpenHarmony歡迎廣大開發(fā)者一起加入HiStreamer插件開發(fā)，擴展自己想要的媒體功能，共同豐富HiStreamer媒體生態(tài)!

同時，預告大家： HiStreamer的下一個版本將為Standard設(shè)備增強更多功能，敬請期待！

審核編輯：符乾江