8. 100ASK_V853-PRO開(kāi)發(fā)板支持MPP媒體處理平臺(tái)

0.前言

? MPP 系統(tǒng)控制模塊，根據(jù)芯片特性，完成硬件各個(gè)部件的復(fù)位、基本初始化工作，同時(shí)負(fù)責(zé)完成 MPP（Media Process Platform 媒體處理平臺(tái)）系統(tǒng)各個(gè)業(yè)務(wù)模塊的初始化、去初始化以及管理 MPP 系統(tǒng)各個(gè)業(yè)務(wù)模塊的工作狀態(tài)、提供當(dāng)前 MPP 系統(tǒng)的版本信息等功能。 應(yīng)用程序啟動(dòng) MPP 業(yè)務(wù)前，必須完成 MPP 系統(tǒng)初始化工作。同理，應(yīng)用程序退出 MPP 業(yè)務(wù)后，也要完成 MPP 系統(tǒng)去初始化工作，釋放資源。

? 本章主要講述如何在Tina SDK中增加MPP補(bǔ)丁包和如何編譯使用，該補(bǔ)丁包含有MPP部分的源碼。具體MPP如何開(kāi)發(fā)可以參考位于百度網(wǎng)盤(pán)中的100ASK_V853-PRO開(kāi)發(fā)板的資料光盤(pán)中01_學(xué)習(xí)手冊(cè)/《100ASK-V853_Pro系統(tǒng)開(kāi)發(fā)手冊(cè)》，該手冊(cè)中的第四篇 基礎(chǔ)組件開(kāi)發(fā)中的第七章 Tina Linux 多媒體MPP 開(kāi)發(fā)指南，此章節(jié)詳細(xì)說(shuō)明了100ASK_V853-PRO開(kāi)發(fā)板針對(duì)MPP 系統(tǒng)控制模塊的開(kāi)發(fā)指導(dǎo)。

100ASK_V853-PRO開(kāi)發(fā)板的資料光盤(pán)：

鏈接：https://pan.baidu.com/s/1TX742vfEde9bMLd9IrwwqA?pwd=sp6a
提取碼：sp6a

全志MPP_sample_使用說(shuō)明：https://tina.100ask.net/SdkModule/Linux_MPP_Sample_Instructions-01/

100ASK_V853-PRO開(kāi)發(fā)板資料匯總：

鏈接：100ASK_100ASK-PRO 資料匯總 - Allwinner / V853-Pro - 嵌入式開(kāi)發(fā)問(wèn)答社區(qū)

100ASK_V853-PRO開(kāi)發(fā)板購(gòu)買(mǎi)鏈接：100ASK_V853-PRO開(kāi)發(fā)板

1.增加MPP擴(kuò)展包

MPP擴(kuò)展包：

下載完成后，將sunxi-mpp.tar.gz壓縮包放入虛擬機(jī)的任意目錄，假設(shè)放在/home/book/workspaces目錄下，

例如：

ook@100ask:~/workspaces$ ls
100ASK_V853-PRO_TinaSDK  sunxi-mpp.tar.gz  tina-v853-open

解壓sunxi-mpp.tar.gz壓縮包，輸入

tar -xzvf sunxi-mpp.tar.gz 

例如：

book@100ask:~/workspaces$ tar -xzvf sunxi-mpp.tar.gz 
sunxi-mpp/
sunxi-mpp/CMake/
sunxi-mpp/CMake/sunxi_mpp_lib.cmake
sunxi-mpp/CMake/sunxi_mpp_include.cmake
...

等待解壓完成后進(jìn)入sunxi-mpp目錄下，即可查看當(dāng)前目錄下的文件

book@100ask:~/workspaces$ cd sunxi-mpp/
book@100ask:~/workspaces/sunxi-mpp$ ls
CMake  CMakeLists.txt  include  lib  README.md  sample  STAGING_DIR.sh  toolchain

下面對(duì)各文件夾進(jìn)行說(shuō)明

CMake：設(shè)置mpp各文件的頭文件和依賴(lài)目錄
CMakeLists.txt：設(shè)置編譯文件、交叉編譯工具鏈位置、依賴(lài)等位置和規(guī)則信息
include:包含MPP擴(kuò)展包所需的頭文件
lib:包含MPP擴(kuò)展包所需的依賴(lài)文件
sample:包含MPP個(gè)應(yīng)用示例源碼
STAGING_DIR.sh:設(shè)置環(huán)境變量
toolchain:包含V853交叉編譯工具鏈

2.編譯MPP擴(kuò)展包

添加交叉編譯環(huán)境變量，這里僅需要增加sunxi-mpp的位置的環(huán)境變量，輸入

book@100ask:~/workspaces/sunxi-mpp$ export CMAKE_CURRENT_SOURCE_DIR=~/workspaces/sunxi-mpp

激活環(huán)境變量，輸入

book@100ask:~/workspaces/sunxi-mpp$ source STAGING_DIR.sh

創(chuàng)建build目錄，用于編譯和存儲(chǔ)編譯后的應(yīng)用程序

book@100ask:~/workspaces/sunxi-mpp$ mkdir build

進(jìn)入build目錄下，執(zhí)行cmake .. ，配置工具鏈、暫存目錄和編譯規(guī)則

book@100ask:~/workspaces/sunxi-mpp$ cd build/
book@100ask:~/workspaces/sunxi-mpp/build$ cmake ..
-- The C compiler identification is GNU 7.5.0
-- The CXX compiler identification is GNU 7.5.0
-- Check for working C compiler: /usr/bin/cc
-- Check for working C compiler: /usr/bin/cc -- works
-- Detecting C compiler ABI info
-- Detecting C compiler ABI info - done
-- Detecting C compile features
-- Detecting C compile features - done
-- Check for working CXX compiler: /usr/bin/c++
-- Check for working CXX compiler: /usr/bin/c++ -- works
-- Detecting CXX compiler ABI info
-- Detecting CXX compiler ABI info - done
-- Detecting CXX compile features
-- Detecting CXX compile features - done
-- STAGING_DIR: build
-- Configuring done
-- Generating done
-- Build files have been written to: /home/book/workspaces/sunxi-mpp/build

執(zhí)行完成后會(huì)在build目錄下生成以下文件，其中bin目錄用于存儲(chǔ)生成后的二進(jìn)制應(yīng)用程序。

book@100ask:~/workspaces/sunxi-mpp/build$ ls
bin  CMakeCache.txt  CMakeFiles  cmake_install.cmake  Makefile  sample  STAGING_DIR.sh

編譯mpp應(yīng)用程序，輸入

book@100ask:~/workspaces/sunxi-mpp/build$ make
Scanning dependencies of target sample_virvi2vo
[  1%] Building C object sample/sample_virvi2vo/CMakeFiles/sample_virvi2vo.dir/sample_virvi2vo.c.o
[  2%] Linking C executable ../../bin/sample_virvi2vo
[  2%] Built target sample_virvi2vo
...
Scanning dependencies of target sample_demux2adec2ao
[ 99%] Building C object sample/sample_demux2adec2ao/CMakeFiles/sample_demux2adec2ao.dir/sample_demux2adec2ao.c.o
[100%] Linking C executable ../../bin/sample_demux2adec2ao
[100%] Built target sample_demux2adec2ao

編譯完成后可以進(jìn)入bin目錄下查看編譯生成的二進(jìn)制文件。

book@100ask:~/workspaces/sunxi-mpp/build$ cd bin/
book@100ask:~/workspaces/sunxi-mpp/build/bin$ ls
sample_adec               sample_CodecParallel         sample_MotionDetect         sample_uvc2vo        sample_virvi2venc
sample_aec                sample_demux2adec            sample_multi_vi2venc2muxer  sample_uvcout        sample_virvi2venc2muxer
sample_aenc               sample_demux2adec2ao         sample_rtsp                 sample_uvc_vo        sample_virvi2vo
sample_ai                 sample_demux2vdec            sample_smartIPC_demo        sample_venc          sample_virvi2vo_zoom
sample_ai2aenc            sample_demux2vdec2vo         sample_smartPreview_demo    sample_venc2muxer    sample_vo
sample_ai2aenc2muxer      sample_demux2vdec_saveFrame  sample_timelapse            sample_vi_g2d        yuv420pTobmp
sample_ao                 sample_driverVipp            sample_UILayer              sample_vin_isp_test
sample_ao_resample_mixer  sample_g2d                   sample_uvc2vdec_vo          sample_vi_reset
sample_aoSync             sample_glog                  sample_uvc2vdenc2vo         sample_virvi

關(guān)于如何測(cè)試使用MPP應(yīng)用程序，請(qǐng)一定要參考：

全志MPP_sample_使用說(shuō)明：https://tina.100ask.net/SdkModule/Linux_MPP_Sample_Instructions-01/

如果《全志MPP_sample_使用說(shuō)明》中沒(méi)有測(cè)試說(shuō)明，可查看每個(gè)示例程序中的Readme.txt。例如，假設(shè)我需要sample_driverVipp程序，需要進(jìn)入該源碼目錄下，輸入

book@100ask:~/workspaces/sunxi-mpp$ cd sample/sample_driverVipp/
book@100ask:~/workspaces/sunxi-mpp/sample/sample_driverVipp$ ls
CMakeLists.txt  Readme.txt  sample_driverVipp.c  sample_driverVipp.h

可以看到源碼目錄中有一個(gè)Readme.txt文件，該文件詳細(xì)說(shuō)明了如何進(jìn)行測(cè)試。

book@100ask:~/workspaces/sunxi-mpp/sample/sample_driverVipp$ cat Readme.txt 
sample_driverVipp：
    該sample演示直接調(diào)用linux內(nèi)核驅(qū)動(dòng)獲取frame。按下ctrl+c，終止測(cè)試。
    每隔若干幀保存一幀到指定的目錄。

讀取測(cè)試參數(shù)的流程：
    sample只支持命令行模式輸入?yún)?shù)。如果不輸入?yún)?shù)，會(huì)提示輸入。
    從命令行啟動(dòng)sample_driverVipp的指令：
    ./sample_driverVipp
    或
    ./sample_driverVipp 0 1920 1080 8 60 0 10 60 /mnt/extsd

測(cè)試參數(shù)的說(shuō)明：
(1)video device: 0~3 (vipp0~vipp3)
(2)capture_width：指定camera采集的圖像寬度
(3)capture_height：指定camera采集的圖像高度
(4)pixel_format：指定camera采集的圖像格式
(5)fps：指定camera采集的幀率
(6)test frame count：指定測(cè)試采集的frame總數(shù)，0表示無(wú)限。
(7)store count: 指定保存的圖像數(shù)量。
(8)store interval: 指定保存圖像的周期，即每n幀圖像保存1幀。
(9)frame saving path: 指定保存圖像的目錄，該目錄要確保存在。

? 如果您想使用MPP進(jìn)行開(kāi)發(fā)，編寫(xiě)自己的應(yīng)用程序，請(qǐng)閱讀位于百度網(wǎng)盤(pán)資料中的100ASK_V853-PRO開(kāi)發(fā)板的資料光盤(pán)中01_學(xué)習(xí)手冊(cè)/《100ASK-V853_Pro系統(tǒng)開(kāi)發(fā)手冊(cè)》，該手冊(cè)中的第四篇 基礎(chǔ)組件開(kāi)發(fā)中的第七章 Tina Linux 多媒體MPP 開(kāi)發(fā)指南，此章節(jié)詳細(xì)說(shuō)明了100ASK_V853-PRO開(kāi)發(fā)板針對(duì)MPP 系統(tǒng)控制模塊的開(kāi)發(fā)指導(dǎo)。

3.測(cè)試MPP應(yīng)用程序

測(cè)試MPP應(yīng)用程序需要增加開(kāi)發(fā)板的依賴(lài)文件，該依賴(lài)文件位于sunxi-mpp/lib目錄下，如下圖所示

將該目錄下的全部文件拷貝到開(kāi)發(fā)板的lib目錄下，假設(shè)我使用TF卡將其拷貝到開(kāi)發(fā)板上，將lib文件夾拷貝到TF卡中，在將TF插入100ASK_V853-PRO開(kāi)發(fā)板上，掛載TF卡，輸入

root@TinaLinux:/# mount /dev/mmcblk1p1 /mnt/extsd/

掛載完成后進(jìn)入TF目錄下

root@TinaLinux:/# cd /mnt/extsd/
root@TinaLinux:/mnt/extsd# ls
System Volume Information        lib

可以看到lib文件夾，將lib目錄下的全部文件拷貝到開(kāi)發(fā)板的lib目錄下，輸入

root@TinaLinux:/mnt/extsd# cp lib/* /lib/

等待拷貝完成即可。

3.1 測(cè)試LCD上實(shí)時(shí)預(yù)覽攝像頭數(shù)據(jù)應(yīng)用程序

? 硬件要求：100ASK_V853-PRO開(kāi)發(fā)板、4寸MIPI顯示屏、MIPI攝像頭。

? 示例名稱(chēng)為：sample_virvi2vo

? 源碼路徑：sunxi-mpp/sample/sample_virvi2vo/

? 該示例演示了通過(guò)攝像頭獲取數(shù)據(jù)并實(shí)時(shí)顯示在LCD屏幕上，下面演示如何將編譯好的應(yīng)用程序在100ASK_V853-PRO開(kāi)發(fā)板上運(yùn)行。

? 編譯mpp擴(kuò)展包后，會(huì)在sunxi-mpp/build/bin目錄下生成sample_virvi2vo文件，將生成的文件拷貝到TF卡上備用。

? 將sunxi-mpp/sample/sample_virvi2vo目錄下的sample_virvi2vo.conf拷貝到TF卡下備用。

? 將sunxi-mpp/lib整個(gè)目錄拷貝到TF卡備用。

拷貝完成后，將TF卡插入100ASK_V853-PRO開(kāi)發(fā)板后，將TF卡掛載到開(kāi)發(fā)板上，輸入mount /dev/mmcblk1p1 /mnt/extsd/

root@TinaLinux:/# mount /dev/mmcblk1p1 /mnt/extsd/
[  168.601231] FAT-fs (mmcblk1p1): Volume was not properly unmounted. Some data may be corrupt. Please run fsck.

進(jìn)入掛載目錄/mnt/extsd/

root@TinaLinux:/# cd /mnt/extsd/

查看對(duì)應(yīng)文件是否存在

root@TinaLinux:/mnt/extsd# ls
System Volume Information  sample_virvi2vo
sample_virvi2vo.conf

運(yùn)行測(cè)試程序，輸入./sample_virvi2vo -path ./sample_virvi2vo.conf

 root@TinaLinux:/mnt/extsd# ./sample_virvi2vo -path ./sample_virvi2vo.conf

執(zhí)行完后，會(huì)在MIPI屏上實(shí)時(shí)顯示攝像頭獲取的圖像數(shù)據(jù)。

應(yīng)用程序執(zhí)行設(shè)定時(shí)間后會(huì)自動(dòng)結(jié)束，也可以通過(guò)按下Crtl+C提前結(jié)束測(cè)試。

3.2 測(cè)試實(shí)時(shí)預(yù)覽人臉識(shí)別和人形識(shí)別應(yīng)用程序

? 硬件要求：100ASK_V853-PRO開(kāi)發(fā)板、4寸MIPI顯示屏、MIPI攝像頭。

? 示例名稱(chēng)為：sample_smartPreview_demo

? 源碼路徑：sunxi-mpp/sample/sample_smartPreview_demo

? 該示例演示了通過(guò)攝像頭獲取圖像數(shù)據(jù)后使用人臉模型或人形模型進(jìn)行處理后，將打框后的結(jié)果實(shí)時(shí)顯示在LCD屏幕上，下面演示如何將編譯好的應(yīng)用程序在100ASK_V853-PRO開(kāi)發(fā)板上運(yùn)行。

? 編譯mpp擴(kuò)展包后，會(huì)在sunxi-mpp/build/bin目錄下生成sample_smartPreview_demo文件，將生成的文件拷貝到TF卡上備用。

? 將sunxi-mpp/sample/sample_smartPreview_demo/models/fdet目錄下的face.nb人臉模型拷貝到TF卡中備用。

? 將sunxi-mpp/sample/sample_smartPreview_demo/models/pdet目錄下的2.0.0_Gamma.nb人形模型文件拷貝到TF卡中備用。

? 將sunxi-mpp/sample/sample_smartPreview_demo目錄下的sample_smartPreview_demo.conf參數(shù)文件拷貝到TF卡中備用。

拷貝完成后，將TF卡插入100ASK_V853-PRO開(kāi)發(fā)板后，將TF卡掛載到開(kāi)發(fā)板上，輸入mount /dev/mmcblk1p1 /mnt/extsd/

root@TinaLinux:/# mount /dev/mmcblk1p1 /mnt/extsd/
[  168.601231] FAT-fs (mmcblk1p1): Volume was not properly unmounted. Some data may be corrupt. Please run fsck.

進(jìn)入掛載目錄/mnt/extsd/

root@TinaLinux:/# cd /mnt/extsd/

查看對(duì)應(yīng)文件是否存在

root@TinaLinux:/mnt/extsd# ls
2.0.0_Gamma.nb                   sample_smartPreview_demo
System Volume Information        sample_smartPreview_demo.conf
face.nb

修改sample_smartPreview_demo.conf文件，假設(shè)我這里使用的是百問(wèn)網(wǎng)的4寸MIPI屏和2Line MIPI攝像頭，需要測(cè)試的是人臉識(shí)別模型，需要修改該文件為：

########### paramter (ref to tulip_cedarx.conf)############
[parameter]
main_isp_dev = 0
main_vipp_dev = 0
main_capture_width = 360
main_capture_height = 640
main_layer_num = 0
main_display_x = 0
main_display_y = 0
main_display_width = 480
main_display_height = 800
main_nn_nbg_type = 1                    #-1:disable, 0:human, 1:face
main_nn_isp = 0
main_nn_vipp = 8
main_nn_vi_buf_num = 3
main_nn_src_frame_rate = 20             #fps
main_nn_nbg_file_path = "face.nb"
main_nn_draw_orl_enable = 1

sub_isp_dev = 1
sub_vipp_dev = 1
sub_capture_width = 1920
sub_capture_height = 1080
sub_layer_num = 1
sub_display_x = 0
sub_display_y = 00
sub_display_width = 480
sub_display_height = 800
sub_nn_nbg_type = 1                    #-1:disable, 0:human, 1:face
sub_nn_isp = 1
sub_nn_vipp = 9
sub_nn_vi_buf_num = 3
sub_nn_src_frame_rate = 20             #fps
sub_nn_nbg_file_path = "face.nb"
sub_nn_draw_orl_enable = 1

disp_type = "lcd"                      #disp_type is lcd, hdmi, cvbs
pic_format = "nv21"                    #pic_format is yu12, yv12, nv21, nv12
frame_rate = 20                        #fps

orl_thick=200
test_duration = 0                      #unit:s, 0:Infinite duration.

如果需要測(cè)試人形檢測(cè)，也需要修改sample_smartPreview_demo.conf文件中的，將main_nn_nbg_type設(shè)置為0、main_nn_nbg_file_path設(shè)置為人形模型的路徑名稱(chēng)，例如：

main_nn_nbg_type = 1 
main_nn_nbg_file_path = "2.0.0_Gamma.nb"

運(yùn)行測(cè)試程序：

root@TinaLinux:/mnt/extsd# ./sample_smartPreview_demo -path sample_smartPreview_demo.conf 

執(zhí)行后，顯示屏端會(huì)接收攝像頭的數(shù)據(jù)，但一開(kāi)始會(huì)丟棄部分圖像數(shù)據(jù)，可能會(huì)導(dǎo)致一開(kāi)始的畫(huà)面卡頓。測(cè)試成功后會(huì)在顯示屏上實(shí)時(shí)顯示攝像頭的數(shù)據(jù)，并可以對(duì)攝像頭的圖像中的人臉進(jìn)行打框。

4.總結(jié)

? 對(duì)于其他應(yīng)用程序這里就不逐一去演示，大家可以參考每個(gè)示例的程序的Readme.txt或《全志MPP_sample_使用說(shuō)明》進(jìn)行測(cè)試體驗(yàn)，參考《Tina Linux 多媒體MPP 開(kāi)發(fā)指南》進(jìn)行開(kāi)發(fā)。MPP媒體處理平臺(tái)的可玩性和公開(kāi)程度都適合大家去開(kāi)發(fā)自己的應(yīng)用程序，希望通過(guò)這章節(jié)可以讓大家了解MPP的使用。