OpenHarmony4.0源碼解析之媒體框架

媒體框架簡介

媒體框架 multimedia_player_framework 主要提供音視頻的錄制與播放功能。

框架簡介

從框架圖中可以看出，媒體框架的主要工作模式為通過 Gstreamer 的插件自動化注冊及插件組合功能，將其余媒體播放相關(guān)的框架功能插件化，配合 Gstreamer 自身豐富的插件，共同來對外提供音視頻的錄制與播放功能。如通過 audio-sink 及 audio-source 插件調(diào)用音頻框架的播放及采集功能來實現(xiàn)音頻的播放與錄制；通過 surface-sink 調(diào)用圖形框架，video-decoder 調(diào)用解碼驅(qū)動模塊實現(xiàn)視頻的硬解播放等。

Gstreamer 基本概念

Gstreamer 是媒體框架中的重要組成部分，采用基于插件（plugin）和管道（pipeline）的體系結(jié)構(gòu)，框架中的所有的功能模塊都被實現(xiàn)成可以插拔的組件（plugin），能夠很方便地安裝到任意管道上。插件架構(gòu)是 GStreamer 的核心，幾乎所有的媒體處理功能都可以抽象成為插件的一部分。

以一個圖中完整的 ogg 播放流程為例： GStreamer 內(nèi)部使用 pipeline（管線）機制來做信令控制，元素組件管理和數(shù)據(jù)傳輸，一個 pipeline 內(nèi)部存在多個 element（元素），每個元素內(nèi)部存在輸入和輸出的端口（pad）；
解碼流程具體為 ogg 文件源 source 經(jīng)過解封裝器 demuxer 產(chǎn)生 vorbis 編碼的數(shù)據(jù)流，之后經(jīng)過解碼器 decoder 解碼為浮點 float 格式的 raw 數(shù)據(jù)，浮點 raw 數(shù)據(jù)通過轉(zhuǎn)換器轉(zhuǎn)換為整形 raw 數(shù)據(jù)，最后通過輸出 sink 完成音頻信號輸出。虛線下面的標注為經(jīng)過每個 pad 的輸入格式和輸出格式。
GStreamer 定義了以下元素概念：

Source:可以理解為數(shù)據(jù)源，也就是數(shù)據(jù)流的起始地。例如文件，網(wǎng)絡(luò)源，攝像機麥克風(fēng)的輸入。

Filter: 過濾器, 也可理解為中間處理單元，將 sink pad 傳入的數(shù)據(jù)經(jīng)過內(nèi)部處理通過 src pad 傳出。編解碼器，封裝/解封裝都可以認為是 Filter。有人可能會與 Ffmpeg 的 filter 相混淆，F(xiàn)fmpeg 中 Filter 定義為處理原始數(shù)據(jù)（解碼后數(shù)據(jù)的）的功能單元。提供音視頻后處理功能。Gstreamer 中 Filter 更強調(diào)同時存在輸入和輸出的概念，功能的范圍更大一些。

Sink:數(shù)據(jù)接受者，source 產(chǎn)生的數(shù)據(jù)流最終要流向的地方。例如輸出文件，屏幕顯示，揚聲器輸出。

Bin: 與 pipeline 類似，它們的區(qū)別為 pipeline 肯定是一個 bin，但 bin 不一定是 pipeline，它就像一個盒子，存放了多個元素，實現(xiàn)了部分甚至完整的由 source 到 sink 的流程。Bin 提供了軟總線 Bus 用于處理內(nèi)部產(chǎn)生的信號（這些消息包括:錯誤消息(error messages),卷標消息(tag messages),EOS 消息(EOS messages)）。**PipeLine: pipeline 是高級的 Bin。**當(dāng)你設(shè)定管道的暫?；蛘卟シ艩顟B(tài)的時候,數(shù)據(jù)流將開始流動,并且媒體數(shù)據(jù)處理也開始處理。一旦開始,管道將在一個單獨的線程中運行,直到被停止或者數(shù)據(jù)流播放完畢。

音視頻播放流程

1.視頻播放流程如下：

2.視頻播放的接口調(diào)用時序圖如下：播放器在設(shè)置播放源時，完成 Gstreamer engine 的加載，在 prepare 時 完成對于 gsreamer playbin 的初始化，后續(xù)的播放，暫停等接口都是通過控制 Gstreamer playbin 的狀態(tài)來控制播放流。

音視頻錄制流程

1.音視頻錄制流程如下：

2.音視頻錄制接口調(diào)用時序圖如下：以音頻錄制為例，用戶在調(diào)用 prepare 接口時，會依次設(shè)置音頻源，音頻輸出格式，以及音頻配置參數(shù)和音頻輸出路徑，在基本配置完成后，才會形成音頻錄制的 pipeline，與播放器不同，該 pipeline 為框架自定義。在音頻錄制的 pipeline 形成后，即可通過 recorderPipeline 的狀態(tài)來控制錄制流。

媒體框架 4.0 新增能力

1 ScreenCapture

ScreenCapture 為屏幕采集模塊，提供屏幕畫面采集及音頻采集功能。主要提供如下接口：

class ScreenCapture {
public:
    virtual ~ScreenCapture() = default;
    virtual int32_t Init(AVScreenCaptureConfig config) = 0;
    virtual int32_t SetMicrophoneEnabled(bool isMicrophone) = 0;
    virtual int32_t StartScreenCapture() = 0;
    virtual int32_t StopScreenCapture() = 0;
    virtual int32_t AcquireAudioBuffer(std::shared_ptr &audiobuffer, AudioCaptureSourceType type) = 0;
    virtual sptr AcquireVideoBuffer(int32_t &fence, int64_t ×tamp, Rect &damage) = 0;
    virtual int32_t ReleaseAudioBuffer(AudioCaptureSourceType type) = 0;
    virtual int32_t ReleaseVideoBuffer() = 0;
    virtual int32_t Release() = 0;
    virtual int32_t SetScreenCaptureCallback(const std::shared_ptr &callback) = 0;
};

?
從提供的結(jié)構(gòu)體 AVScreenCaptureConfig 來看，主要采集類型如下：CaptureMode : 采集模式包括了主屏幕、特定屏幕（暫不支持）、特定窗口（暫不支持）采集；DataType : 數(shù)據(jù)類型包括原始流，編碼流（暫不支持）和文件（暫不支持）；AudioInfo : 音頻信息包括對采樣率，采樣格式以及音頻源的設(shè)置。音頻源支持麥克風(fēng)以及系統(tǒng)內(nèi)部音源；VideoInfo : 視頻信息主要包括分辨率以及視頻源類型，視頻源類型主要為 yuv（暫不支持），es 流（暫不支持），rgba；

struct AVScreenCaptureConfig {
    CaptureMode captureMode;
    DataType dataType;
    AudioInfo audioInfo;
    VideoInfo videoInfo;
    RecorderInfo recorderInfo;
};

?
音視頻數(shù)據(jù)的流轉(zhuǎn)如下圖，分別存在音頻和視頻數(shù)據(jù)的緩存隊列，通過 bufferavailable 來通知用戶可用 buffer，用戶可通過 acquireBuffer 和 releaseBuffer 來獲取和刪除音視頻數(shù)據(jù)

2 SoundPool

SoundPool 為音頻池管理模塊，提供集中管理多個音頻資源的功能。該框架實際并未經(jīng)過媒體框架的 IPC，而是在 client 端直接調(diào)用了音頻解碼器和音頻渲染器。

SoundPool 通過 SoundIdManager 來管理 SoundParser 獲取音頻流解碼數(shù)據(jù)，通過 StreamIdManager 來管理 CacheBuffer 控制音頻流的播放，加載資源及播放的調(diào)用流程如下：

3 Monitor

媒體框架的播放及錄制 client 與 stub 分別通過繼承 MonitorClientObject，MonitorServerObject 來實現(xiàn)對于媒體播放錄制運行狀態(tài)的監(jiān)控。client 在開始播放或者錄制后每隔 1s 向 server 端發(fā)送 click 指令，Server 端每隔 1.5s 檢查對應(yīng)的 client 是否過長時間未發(fā)送指令，若出現(xiàn)異常，則調(diào)用暫停命令，否則調(diào)用恢復(fù)播放指令。

為了能讓大家更好的學(xué)習(xí)鴻蒙 (OpenHarmony) 開發(fā)技術(shù)，這邊特意整理了《鴻蒙 (OpenHarmony)開發(fā)學(xué)習(xí)手冊》，希望對大家有所幫助：

《鴻蒙（Harmony OS）開發(fā)學(xué)習(xí)手冊》

入門必看：https://docs.qq.com/doc/DUk51cHZJaUpmSlhH
1.應(yīng)用開發(fā)導(dǎo)讀（ArKTS）
2.……

HarmonyOS概念：https://docs.qq.com/doc/DUk51cHZJaUpmSlhH
1.系統(tǒng)定義
2.技術(shù)框架
3.技術(shù)特性
4.系統(tǒng)安全

快速入門：https://docs.qq.com/doc/DUk51cHZJaUpmSlhH
1.基本概念
2.構(gòu)建第一個ArkTS應(yīng)用
3.……

開發(fā)基礎(chǔ)知識：https://docs.qq.com/doc/DUk51cHZJaUpmSlhH
1.應(yīng)用基礎(chǔ)知識
2.配置文件
3.應(yīng)用數(shù)據(jù)管理
4.應(yīng)用安全管理
5.應(yīng)用隱私保護
6.三方應(yīng)用調(diào)用管控機制
7.資源分類與訪問
8.學(xué)習(xí)ArkTS
9…

基于ArkTS 開發(fā)：https://docs.qq.com/doc/DUk51cHZJaUpmSlhH
1.Ability開發(fā)
2.UI開發(fā)
3.公共事件與通知
4.窗口管理
5.媒體
6.安全
7.網(wǎng)絡(luò)與鏈接
8.電話服務(wù)
9.數(shù)據(jù)管理
10.后臺任務(wù)(Background Task)管理
11.設(shè)備管理
12.設(shè)備使用信息統(tǒng)計
13.DFX
14.國際化開發(fā)
15.折疊屏系列
16………

審核編輯 黃宇