基于OpenHarmony 3.2 Beta1版本的媒體能力

一、背景

全民直播時(shí)代，人們每天刷著五花八門(mén)的短視頻，每分每秒都有無(wú)數(shù)的視頻文件被生成、播放。但你可曾想過(guò)這些電視劇、電影、視頻廣告、短視頻等影音是以怎樣的數(shù)據(jù)形式在我們的顯示設(shè)備中播放出來(lái)的？本文將基于 OpenHarmony 3.2 Beta1 版本的媒體能力，為你詳細(xì)解讀一個(gè)視頻文件（本文以 MP4 封裝格式、H264 壓縮格式的視頻文件為例）是怎么在基于 OpenHarmony 標(biāo)準(zhǔn)系統(tǒng)的設(shè)備上播放出來(lái)的。同時(shí)也帶你一窺“播放一個(gè)視頻文件”這件對(duì) OpenHarmony 3.2 Beta1 版本系統(tǒng)能力很輕松的事，是由多少服務(wù)層、功能接口、工具、插件、命令行及代碼等共同協(xié)作完成的。

二、OpenHarmony 3.2媒體能力全景

OpenHarmony 技術(shù)架構(gòu)如下圖所示，完成視頻文件播放功能的是多媒體子系統(tǒng)。

下圖所示為多媒體子系統(tǒng)框架圖

如圖所示，OpenHarmony 多媒體子系統(tǒng)拉起了一個(gè)叫 mediaserver 的服務(wù)來(lái)處理媒體事務(wù)，并且封裝了接口層包括JS接口、native 接口提供給 APP 調(diào)用，mediaserver 的核心則是引入了 gstreamer（以下簡(jiǎn)稱 gst）框架來(lái)完成媒體功能（注：gstreamer 是一套功能強(qiáng)大、兼容性好、結(jié)構(gòu)清晰的開(kāi)源媒體框架，這里不做贅述，后面有專文解析）。OpenHarmony 也在 gst 的基礎(chǔ)上開(kāi)發(fā)了 player engine 來(lái)實(shí)現(xiàn)播放，同時(shí)也利用 gst 豐富的插件資源實(shí)現(xiàn)幾乎所有的媒體功能。截至目前，已移植進(jìn)來(lái)的開(kāi)源插件包括 file source、demuxer、video decoder、libav 插件等，當(dāng)然也包括 OpenHarmony 自研的 video sink、memsink、codec hdi 插件等。

三、把大象裝冰箱（H264視頻播放）總共分幾步？

視頻播放流程圖如下：

如圖所示，播放一個(gè)視頻大致分為 4 步：

解協(xié)議->解封裝->解壓縮->送顯

播放pipeline

根據(jù)視頻播放的步驟，我們?cè)?OpenHarmony 上每一個(gè)環(huán)節(jié)都能找到對(duì)應(yīng)的插件來(lái)完成，同時(shí)參考 media_standard 代碼倉(cāng)的代碼目錄，相關(guān)的代碼都可以找到對(duì)應(yīng)的實(shí)現(xiàn)邏輯。

1、對(duì)于一個(gè)本地視頻文件（比如/data/h264-640x480.mp4），對(duì)應(yīng)的 filesrc 插件來(lái)完成文件的解析，拿到MP4文件流；

OpenHarmony 處理本地視頻文件 URI 的 SetSource 邏輯代碼如下：

int32_t PlayerEngineGstImpl::SetSource(const std::string &url){ std::unique_lock lock(mutex_); CHECK_AND_RETURN_RET_LOG(!url.empty(), MSERR_INVALID_VAL, "input url is empty!"); CHECK_AND_RETURN_RET_LOG(url.length() <= MAX_URI_SIZE, MSERR_INVALID_VAL, "input url length is invalid!"); std::string realUriPath; int32_t ret = MSERR_OK; if (IsFileUrl(url)) { ret = GetRealPath(url, realUriPath); if (ret != MSERR_OK) { return ret; } url_ = "file://" + realUriPath; } else { url_ = url; } MEDIA_LOGD("set player source: %{public}s", url_.c_str()); return ret;}?

這樣就會(huì)得到一個(gè) URI：file:///data/h264-640x480.mp4，gst 正是通過(guò) URI 前綴來(lái)判斷是否是本地視頻文件，然后獲取文件內(nèi)容。

2、拿到 MP4 文件流后，對(duì)應(yīng)的 qtdemux 插件來(lái)解封裝，完成音視頻分流，輸出 H264 裸碼流和音頻流；

3、拿到 H264 碼流后，h264parse 插件開(kāi)始切片，輸出 H264 幀數(shù)據(jù)；

4、處理 H264 幀數(shù)據(jù)，就由 avdec_h264 插件來(lái)完成，一般情況會(huì)輸出 NV12 的像素?cái)?shù)據(jù)，當(dāng)然這個(gè)解碼器是基于 ffmpeg 的軟解插件，相信不久各個(gè)芯片廠商的硬件加速解碼器都會(huì)加進(jìn)來(lái)；

可以使用 gst-inspect 工具查看 avdec_h264 解碼插件，使用 ffmpeg 的解碼能力，支持的格式非常豐富。

5、至此解碼的工作已經(jīng)完成，后面就要根據(jù)顯示的像素格式、size 來(lái)對(duì)解碼輸出數(shù)據(jù)進(jìn)行后處理（轉(zhuǎn)換、縮放、裁剪等），會(huì)由 Converter、Scaler、Clip 插件來(lái)完成；

6、滿足顯示要求后就會(huì)使用 surfacesink 插件完成合成送顯。

送顯需要先申請(qǐng)顯示 surface buffer，申請(qǐng)邏輯代碼如下：

GstSurfaceMemory *gst_surface_allocator_alloc(GstSurfaceAllocator *allocator, GstSurfaceAllocParam param){ g_return_val_if_fail(allocator != nullptr && allocator->surface != nullptr, nullptr); static constexpr int32_t stride_alignment = 8; int32_t wait_time = param.dont_wait ? 0 : INT_MAX; // wait forever or no wait. OHOS::BufferRequestConfig request_config = { param.width, param.height, stride_alignment, param.format, static_cast(param.usage) | HBM_USE_CPU_READ | HBM_USE_CPU_WRITE | HBM_USE_MEM_DMA, wait_time }; int32_t release_fence = -1; OHOS::sptr surface_buffer = nullptr; OHOS::SurfaceError ret = allocator->surface->RequestBuffer(surface_buffer, release_fence, request_config); if (ret == OHOS::SURFACE_ERROR_NO_BUFFER) { GST_INFO("there is no more buffers"); } if (ret != OHOS::SURFACE_ERROR_OK || surface_buffer == nullptr) { return nullptr; } ret = surface_buffer->Map(); if (ret != OHOS::SURFACE_ERROR_OK) { GST_ERROR("surface_buffer Map failed"); return nullptr; } OHOS::sptr autoFence = new(std::nothrow) OHOS::SyncFence(release_fence); if (autoFence != nullptr) { autoFence->Wait(100); // 100ms } GstSurfaceMemory *memory = reinterpret_cast(g_slice_alloc0(sizeof(GstSurfaceMemory))); if (memory == nullptr) { GST_ERROR("alloc GstSurfaceMemory slice failed"); allocator->surface->CancelBuffer(surface_buffer); return nullptr; } gst_memory_init(GST_MEMORY_CAST(memory), (GstMemoryFlags)0, GST_ALLOCATOR_CAST(allocator), nullptr, surface_buffer->GetSize(), 0, 0, surface_buffer->GetSize()); memory->buf = surface_buffer; memory->fence = -1; memory->need_render = FALSE; GST_DEBUG("alloc surface buffer for width: %d, height: %d, format: %d, size: %u", param.width, param.height, param.format, surface_buffer->GetSize()); return memory;}

申請(qǐng)好的 buffer 會(huì)放入 buffer pool，形成一個(gè) buffer 隊(duì)列。

解碼器解完一幀會(huì)將數(shù)據(jù)放入 buffer pool，sink 插件會(huì)從 buffer pool 中拿到數(shù)據(jù)送顯，代碼邏輯如下：

static GstFlowReturn gst_surface_mem_sink_do_app_render(GstMemSink *memsink, GstBuffer *buffer, bool is_preroll){ g_return_val_if_fail(memsink != nullptr && buffer != nullptr, GST_FLOW_ERROR); GstSurfaceMemSink *surface_sink = GST_SURFACE_MEM_SINK_CAST(memsink); g_return_val_if_fail(surface_sink != nullptr, GST_FLOW_ERROR); GstSurfaceMemSinkPrivate *priv = surface_sink->priv; GST_OBJECT_LOCK(surface_sink); if (gst_surface_mem_sink_drop_frame_check(surface_sink) == FALSE) { GST_OBJECT_UNLOCK(surface_sink); GST_DEBUG_OBJECT(surface_sink, "user set rate, drop same frame"); return GST_FLOW_OK; } if (surface_sink->firstRenderFrame) { GST_WARNING_OBJECT(surface_sink, "KPI-TRACE: first render frame"); surface_sink->firstRenderFrame = FALSE; } for (guint i = 0; i < gst_buffer_n_memory(buffer); i++) { GstMemory *memory = gst_buffer_peek_memory(buffer, i); if (!gst_is_surface_memory(memory)) { GST_WARNING_OBJECT(surface_sink, "not surface buffer !, 0x%06" PRIXPTR, FAKE_POINTER(memory)); continue; } GstSurfaceMemory *surface_mem = reinterpret_cast(memory); surface_mem->need_render = TRUE; gboolean needFlush = TRUE; if (is_preroll) { surface_sink->prerollBuffer = buffer; } else { if (surface_sink->prerollBuffer == buffer) { // if it's paused, then play, this buffer is render by preroll surface_sink->prerollBuffer = nullptr; needFlush = FALSE; } } if (needFlush) { OHOS::BufferFlushConfig flushConfig = { { 0, 0, surface_mem->buf->GetWidth(), surface_mem->buf->GetHeight() }, }; gst_surface_mem_sink_dump_buffer(surface_sink, buffer); OHOS::SurfaceError ret = priv->surface->FlushBuffer(surface_mem->buf, surface_mem->fence, flushConfig); if (ret != OHOS::SURFACE_ERROR_OK) { surface_mem->need_render = FALSE; GST_ERROR_OBJECT(surface_sink, "flush buffer to surface failed, %d", ret); } } } GST_OBJECT_UNLOCK(surface_sink); GST_DEBUG_OBJECT(surface_sink, "End gst_surface_mem_sink_do_app_render"); return GST_FLOW_OK;}

再加上 audio 的插件解碼出音頻數(shù)據(jù)，OpenHarmony 的 player 會(huì)完成音視頻同步，至此一個(gè)視頻文件就會(huì)播放顯示在屏幕上。

OpenHarmony 為了實(shí)現(xiàn)更好的用戶體驗(yàn)，同時(shí)也引入了一些解決性能問(wèn)題的插件，比如 multiqueue 插件來(lái)實(shí)現(xiàn) buffer 隊(duì)列，也使用 decodebin 高級(jí)插件來(lái)完成解碼 element 的選擇。

通過(guò)梳理，我們最終可以得到一條播放的 pipeline：

而通過(guò)播放 OpenHarmony 自帶的圖庫(kù)播放本地 H264 視頻，抓取 log，搜索 OnElementSetupCb 關(guān)鍵字也可以得到播放的 pipeline，這也進(jìn)一步驗(yàn)證了本文的分析。

另外，我們也可以使用 gst-launch 手動(dòng)創(chuàng)建 pipeline 來(lái)驗(yàn)證：

gst-launch--gst-plugin-path=/system/lib/media/pluginsfilesrclocation=/data/media/h264.mp4!qtdemux!h264parse!avdec_h264!videoconvert!videoscale!video/x-raw,width=640,height=480!surfacememsink

附錄：

OpenHarmony標(biāo)準(zhǔn)系統(tǒng)media組件介紹

https://gitee.com/openharmony/multimedia_media_standardhttps://gitee.com/openharmony/multimedia_media_standard

MP4封裝格式介紹

https://wenku.baidu.com/view/b4f52a376ddb6f1aff00bed5b9f3f90f76c64dbd.htmlhttps://wenku.baidu.com/view/b4f52a376ddb6f1aff00bed5b9f3f90f76c64dbd.html

gst介紹

https://gstreamer.freedesktop.org/documentation/tutorials/index.html?gi-language=chttps://gstreamer.freedesktop.org/documentation/tutorials/index.html?gi-language=c

https://blog.csdn.net/qq_45662588/article/details/120763198https://blog.csdn.net/qq_45662588/article/details/120763198

OpenHarmony 3.2 Beta1 版本路書(shū)

https://gitee.com/openharmony/docs/blob/master/zh-cn/release-notes/OpenHarmony-v3.2-beta1.md

OpenHarmony媒體子系統(tǒng)框架介紹

https://gitee.com/openharmony/docs/blob/master/zh-cn/readme/%E5%AA%92%E4%BD%93%E5%AD%90%E7%B3%BB%E7%BB%9F.mdhttps://gitee.com/openharmony/docs/blob/master/zh-cn/readme/%E5%AA%92%E4%BD%93%E5%AD%90%E7%B3%BB%E7%BB%9F.md

OpenHarmony視頻播放應(yīng)用開(kāi)發(fā)指導(dǎo)

https://gitee.com/openharmony/docs/blob/master/zh-cn/application-dev/media/video-playback.md

審核編輯 ：李倩