V4L2框架概述 Xilinx視頻編解碼詳解

1. 1、V4L2框架概述

2. V4L2是Video for Linux2的簡稱,為Linux中關(guān)于視頻設(shè)備的內(nèi)核驅(qū)動。在Linux中，視頻設(shè)備是設(shè)備文件，可以像訪問普通文件一樣對其進行讀寫。

3. 1.1 V4L2設(shè)備應(yīng)用層流程

4. 注冊的設(shè)備節(jié)點有/dev/video和/dev/v4l2-subdev；其應(yīng)用層操作video設(shè)備主要流程如下:

5. 1) 通過打開video設(shè)備設(shè)置video參數(shù)；

6. 2) 設(shè)置采集方式；

7. 3) 將數(shù)據(jù)取出、處理、放回,可循環(huán)處理；

8. 4) 完成相應(yīng)的任務(wù)后關(guān)閉。

10. 1.2 內(nèi)核V4L2模塊

應(yīng)用層流程可以通過打開文件一樣打開視頻輸入設(shè)備，并且配置設(shè)備相關(guān)參數(shù), 這是由于內(nèi)核相關(guān)模塊做了很多基礎(chǔ)工作。跟V4L2相關(guān)的模塊如下圖所示:

圖1 V4L2基本框架

1.3 典型捕獲管道：

圖2 Xilinx視頻典型捕獲管道

1. 1、硬件視圖

2. 1）多種組合可以開發(fā)一個捕獲管道；

3. 2）使用標(biāo)準(zhǔn)化接口（AXI總線接口）在管道中縫合多個IP。

4. 2、軟件視圖

5. 1）復(fù)雜性存在于軟件級別，以支持多種組合；

6. 2）由于沒有任何標(biāo)準(zhǔn)的方法來配置管道中的不同元素，這給軟件開發(fā)人員帶來了更大的復(fù)雜性。

8. 1.4具有流媒體和/或內(nèi)存接口的基于幀的視頻管道視頻捕獲設(shè)備：

9. 1）視頻存儲器到存儲器設(shè)備；

10. 2）視頻輸出設(shè)備（無圖形）；

11. 3）DMABUF:0拷貝緩沖區(qū)共享Media controller；

12. 4）描述邏輯拓?fù)浜蛿?shù)據(jù)流；

13. 5）多媒體庫 GStreamer、FFMPEG、OpenCV、OpenMAX、LibAV、VLC媒體播放器、MPlayers。

15. 

16. 圖3 V4L2框架對應(yīng)設(shè)備

18. 2、Xilinx 視頻編解碼

在使用gst命令創(chuàng)建pipeline 完成視頻輸入到編碼輸出的過程如下：

圖4 Xilinx 視頻輸入設(shè)備及相關(guān)內(nèi)核模塊

1. 2.1 應(yīng)用程序通過V4L2接口采集視頻數(shù)據(jù)步驟

2. 1）打開視頻設(shè)備文件，通過視頻采集的參數(shù)初始化， 通過V4L2接口設(shè)置視頻圖像屬性；

3. 2）申請若干視頻采集的幀緩存區(qū)，并將這些幀緩沖區(qū)從內(nèi)核空間映射到用戶空間，便于應(yīng)用程序讀取/處理視頻數(shù)據(jù)；

4. 3）將申請到的幀緩沖區(qū)在視頻采集輸入隊列排隊，并啟動視頻采集；

5. 4）驅(qū)動開始視頻數(shù)據(jù)的采集，應(yīng)用程序從視頻采集輸出隊列中取出幀緩沖區(qū)，處理后，將幀緩沖區(qū)重新放入視頻采集輸入隊列，循環(huán)往復(fù)采集連續(xù)的視頻數(shù)據(jù)。最后停止視頻采集。

流程圖如下所示

1. 2.2 V4L2ioctl控制符

2. 1）VIDIOC_QUERYCAP 查詢設(shè)備的屬性；

3. 2）VIDIOC_ENUM_FMT 幀格式；

4. 3）VIDIOC_S_FMT 設(shè)置視頻幀格式，對應(yīng)struct v4l2_format；

5. 4）VIDIOC_G_FMT 獲取視頻幀格式等；

6. 5）VIDIOC_REQBUFS 請求/申請若干個幀緩沖區(qū)，一般為不少于3個；

7. 6）VIDIOC_QUERYBUF 查詢幀緩沖區(qū)在內(nèi)核空間的長度和偏移量；

8. 7）VIDIOC_QBUF 將申請到的幀緩沖區(qū)全部放入視頻采集輸出隊列；

9. 8）VIDIOC_STREAMON 開始視頻流數(shù)據(jù)的采集；

10. 9）VIDIOC_DQBUF 應(yīng)用程序從視頻采集輸出隊列中取出已含有采集數(shù)據(jù)的幀緩沖區(qū)；

11. 10）VIDIOC_STREAMOFF 應(yīng)用程序?qū)⒃搸彌_區(qū)重新掛入輸入隊列。

13. 2.3 控制字符解析和使用用例：

2）VIDIOC_ENUM_FMT-------->struct v4l2_fmtdesc

//通過這個結(jié)構(gòu)體，可以顯示對應(yīng)的攝像頭所支持視頻幀格式。例如

3、Xilinx V4L2 Demo

圖5：Xilinx V4L2 demo

圖6：Xilinx V4L2 + CTRLSW encode

1. 3.1Xilinx使用V4L2實現(xiàn)視頻輸入的代碼

2. 

4. 

3.2應(yīng)用程序?qū)彌_區(qū)重新排入輸入隊列

ioctl(fd_v4l2,VIDIOC_QBUF, &buf)

1. 3.3開始視頻流數(shù)據(jù)的采集

2. ioctl(fd_v4l2,VIDIOC_STREAMON, &type)

3.4 應(yīng)用程序?qū)⒁曨l采集輸出隊列中取出已含有采集數(shù)據(jù)的幀緩沖區(qū) ioctl(fd_v4l2, VIDIOC_DQBUF, &buf)

審核編輯：湯梓紅