基于S3C2410處理器和Linux操作系統(tǒng)實(shí)現(xiàn)數(shù)字圖像處理系統(tǒng)的設(shè)計(jì)

引言

在研究遠(yuǎn)程數(shù)字圖像處理與傳輸?shù)倪^程中，需要在遠(yuǎn)端現(xiàn)場進(jìn)行圖像處理，本文提出一個集圖像采集、處理與顯示于一體的嵌入式數(shù)字圖像處理系統(tǒng)，通過圖像獲取設(shè)備獲取目標(biāo)圖像并進(jìn)行相關(guān)的算法處理，通過模塊化編程，將原始圖像和圖像處理結(jié)果獨(dú)立顯示出來，修改圖像處理模塊可以對不同的數(shù)字圖像處理算法進(jìn)行驗(yàn)證和分析。利用本文所建立的系統(tǒng)可以大大提高遠(yuǎn)端數(shù)字圖像處理的效率，并可利用該系統(tǒng)的網(wǎng)絡(luò)功能實(shí)現(xiàn)遠(yuǎn)程傳輸，本文僅就系統(tǒng)的圖像獲取與處理功能作簡要分析。

1 系統(tǒng)組成

硬件組成以S3C2410為核心，S3C2410內(nèi)部集成了一個USB主控制器，所以無須外接USB控制芯片就可以做為USB主機(jī)．USB Host控制器與視頻采集攝像頭相連，通過在USB接口上外接的帶USB口的攝像頭，實(shí)現(xiàn)圖像采集。處理后的圖像可以顯示在一個320X240分辨率的液晶屏幕上，F(xiàn)lash用作存儲器保存系統(tǒng)軟件和圖像采集、處理的結(jié)果。圖1給出了系統(tǒng)的硬件組成框圖，圖2給出了系統(tǒng)的軟件層次結(jié)構(gòu)圖。

圖1 硬件組成構(gòu)圖

圖2 軟件層次結(jié)構(gòu)閣

軟件組成可以分為引導(dǎo)程序、操作系統(tǒng)和圖像采集與處理三部分。

引導(dǎo)程序的作用是初始化硬件設(shè)備、建立內(nèi)存空間的映射圖，從而將系統(tǒng)的軟硬件環(huán)境帶到一個合適的狀態(tài)，以便為最終調(diào)用操作系統(tǒng)內(nèi)核或用戶應(yīng)用稃序準(zhǔn)備好正確的環(huán)境。在本應(yīng)用中采用的是ViVi作為引導(dǎo)程序來引導(dǎo)操作系統(tǒng)。

本系統(tǒng)選擇的是ARM-Linux作為操作系統(tǒng)，針對本系統(tǒng)的具體應(yīng)用，需要配置操作系統(tǒng)內(nèi)核支持Video For Linux和USB OV511 Camera，同時去掉一些不需要的模塊以減小操作系統(tǒng)內(nèi)核的體積。操作系統(tǒng)內(nèi)核是通過引導(dǎo)程序ViVi來下載到Flash存儲器上的，而引導(dǎo)程序ViVi則是通過Jtag下載到Flash存儲器中的。

圖像的采集、處理、顯示的程序是運(yùn)行在ARM-Linux操作系統(tǒng)之上的，其中圖像采集與圖像顯示模塊與操作系統(tǒng)平臺緊密相關(guān)，而圖像處理算法部分與平臺無關(guān)。

2 圖像采集

在本設(shè)計(jì)中通過USB攝像頭來采集圖像，在Linux內(nèi)核中視頻部分的接口是Video For Linux（V4L），V4L標(biāo)準(zhǔn)定義了一套接口，內(nèi)核、驅(qū)動、應(yīng)用程序遵循這個接口標(biāo)準(zhǔn)就可以使視頻設(shè)備正常工作。目前V4L涵蓋了視、音頻流捕捉與處理方面的內(nèi)容，USB攝像頭也屬于V4L支持的范疇。

在ARM-Linux中，攝像頭設(shè)備映射為/dev/v41/vide00，所以只需對這個設(shè)備按照V4L標(biāo)準(zhǔn)規(guī)定的流程進(jìn)行操作就可以了。以下是關(guān)鍵步驟的程序代碼。

第一步：打開采集設(shè)備

Fd_video=open（”/dev/v41/video0”，0_RDWR）；

第二步：查詢設(shè)備屬性

rc=ioctl（Fd_video，VIDIOCGCAP，&vC）；通過設(shè)備驅(qū)動程序提供的ioctl接口來查詢設(shè)備的相關(guān)屬性，具體屬性用struct tvideo_capture類型的結(jié)構(gòu)體變量vc來存儲。video_capture是Linux下對視頻設(shè)備描述的結(jié)構(gòu)體變量類型之一。

第三步：查詢、設(shè)置將要采集的圖像的格式，包括大小、顏色位數(shù)、圖像數(shù)據(jù)表示格式等信息。在Linux中，這些信息保存在一個struct video_picture類型的變量中。在本設(shè)計(jì)中用全局變量vp來保存查淘的信息。

ret=iocfl（Fd_video，VIDIOCGPICT，&vp）；//圖像相關(guān)信息保存在vP變量中

可以通過以VIDIOCSPICT為參數(shù)的ioctl調(diào)用來設(shè)置圖像的類型，如在本系統(tǒng)中支持如下幾種類型的圖像：24位RGB888格式的彩色圖像、16位RGB565格式的彩色圖像、256級灰度的灰度圖像。設(shè)置方法是先對vp的成員變量vp．palette進(jìn)行賦值，如VIDEO_PALETTE_RGB24、VIDEO_PALETFE_RGB565或者VIDEO_PALETYE_GREY等之一，然后調(diào)用ioetl（video，VIDIOCSPICT，&vp）來設(shè)置。同樣也可以設(shè)置分辨率等其它參數(shù)，方法與設(shè)置數(shù)據(jù)格式大同小異，不再贅述。

第四步：建立內(nèi)存映射，把視頻設(shè)備的數(shù)據(jù)緩沖區(qū)地址映射到用戶進(jìn)程地址空間，這樣做比直接調(diào)用read（）函數(shù)讀取數(shù)據(jù)的速度要快的多。在本設(shè)計(jì)中定義了一個unsigned char * 型的指針變量memoryMap來保存數(shù)據(jù)緩沖區(qū)的映射地址。

memoryMap = （unsigned char *） mmap （0，memoryBuffer．size，PROT_READ | PROT_WRITE，MAP_SHARED，F(xiàn)d_video， 0 ）；//建立數(shù)據(jù)緩沖區(qū)的映射

第五步：讀取數(shù)據(jù)。到這一步就可以采集圖像數(shù)據(jù)了，可以在采集到一幅圖像的數(shù)據(jù)后觸發(fā)下一個幅圖像開始采集的信號，然后在這段時間里進(jìn)行圖像處理的運(yùn)算，這樣可以最大限度的利用圖像采集設(shè)備，從而提高系統(tǒng)的效率。攝像頭的驅(qū)動提供了這種雙緩沖機(jī)制，通過向攝像頭發(fā)送VIDIOCMCAPTURE控制命令，就會觸發(fā)采集圖像數(shù)據(jù)到指定的緩沖區(qū)中，這一步是不會阻塞當(dāng)前進(jìn)程的，程序會執(zhí)行下一條指令而不是等到數(shù)據(jù)采集完畢。通過向攝像頭發(fā)送VIDIOCSYNC控制命令，當(dāng)前進(jìn)程就會阻塞直到指定的緩沖區(qū)數(shù)據(jù)填滿。處理的流程如下所示：

VIDIOCMCA玎uRE buffer 0 //觸發(fā)buffer0開始采集

While（1）

{

VIDIOCMCAPTURE buffer 1 //觸發(fā)buffer1開始采集

VIDIOCSYNC buffer 0 //同步buffer0中的數(shù)據(jù)

。..

//process buffer 0 //處理得到的buffer0中數(shù)據(jù)

。..

VIDIOCMCAPTURE buffer 0 //觸發(fā)buffer0開始采集

VIDIOCSYNC buffer 1 //同步buffer1中的數(shù)據(jù)

。..

//process buffer 1 //處理得到的bufferl中數(shù)據(jù)

。..

}

3 圖像處理

圖像處理是一門復(fù)雜的技術(shù)，它涉及到圖像預(yù)處理、圖像分析、圖像理解等多個方面。它和其它多個學(xué)科有著密切的聯(lián)系，尤其是近年來模式識別理論和技術(shù)、人工智能理論、分形理論以及小波分析技術(shù)等相關(guān)理論和技術(shù)的發(fā)展，為圖像處理技術(shù)的研究提供了堅(jiān)實(shí)的理論基礎(chǔ)和新的分析手段。針對于不同應(yīng)用背景采用的處理流程和算法各不相同，但是都必須首先獲得圖像的數(shù)據(jù)，然后在根據(jù)需要選擇處理流程和相關(guān)算法。在這里本文并不詳細(xì)介紹圖像處理的流程和算法，只給出在本系統(tǒng)平臺上實(shí)現(xiàn)的圖像處理算法的效果圖。圖3是通過攝像頭采集到的彩色圖像，圖4是經(jīng)過灰度轉(zhuǎn)化、二值化、邊緣檢測、細(xì)化和連通域榆測后的效果圖。

圖3 攝像頭采集到的圖像

圖4 處理效果顯示

4 圖像顯示

本設(shè)計(jì)采用的是一個240X320分辨率的16位液晶屏幕，可以通過操作S3C2410內(nèi)部的相關(guān)寄存器來直接控制顯示，由于采用了ARM-Linux作為操作系統(tǒng)，可以直接操作Linux下的Framebuffer設(shè)備來完成圖像的顯示，幀緩沖（Framebuffer）是Linux為顯示設(shè)備提供的一個接口，把顯存抽象后的一種設(shè)備，他允許上層應(yīng)用程序在圖形模式下直接對顯示緩沖區(qū)進(jìn)行讀寫操作。這種操作是抽象的、統(tǒng)一的。用戶不必關(guān)心物理顯存的位置、換頁機(jī)制等等具體細(xì)節(jié)。這些都是由Framebuffer設(shè)備驅(qū)動來完成的。

在應(yīng)用程序中首先要打開Framebuffer設(shè)備，在Linux系統(tǒng)中Framebuffer設(shè)備一般映射為/dev/fb，可以有多個設(shè)備。然后調(diào)用ioctl提供的接口獲取設(shè)備信息，主要是獲得當(dāng)前Framebuffer設(shè)備的分辨率、色深、每一行數(shù)據(jù)占的字節(jié)數(shù)。關(guān)鍵的一步是將屏幕緩沖區(qū)映射到用戶空間，F(xiàn)ramebuffer設(shè)備可以看成是顯存的映像，但是Linux所有的設(shè)備驅(qū)動均在內(nèi)核態(tài)工作，所以無法在當(dāng)前進(jìn)程空間中直接訪問，通過映射機(jī)制可以直接把顯存的起始地址映射到當(dāng)前進(jìn)程的地址空間，從而可以快速方便的實(shí)現(xiàn)顯示，建立映射的方法如下：

pfb=mmap （0，F(xiàn)BDraw_finfo．smem_len，PROT_READ | PROT_WRITE，MAP_SHARED，fd，0）； //以read、write和share方式映射

屏幕上坐標(biāo)為（x，y）的點(diǎn)在顯存中的位置是：

pro+x * （fb_vinfo．bits_per_pixel》》3）+Y * fb_finfo．line_length， 對這個位置賦響應(yīng)的顏色值就可以在屏幕上顯示出來。需要注意的是當(dāng)色深（fb_vinfo．bits_per_pixel）不同時，顏色值的格式也不一樣。

把經(jīng)過圖像處理后的圖像數(shù)據(jù)或者采集到的原始圖像數(shù)據(jù)轉(zhuǎn)化成Framebuffer設(shè)備的顏色數(shù)據(jù)格式（RGB565、RGB888等）后，將數(shù)據(jù)復(fù)制到從地址pfb開始的內(nèi)存中，就可以實(shí)現(xiàn)圖像的顯示。

5 結(jié)束語

本文設(shè)計(jì)了以ARM核處理器S3C2410為計(jì)算與控制核心，以ARM-Linux為操作系統(tǒng)的圖像采集、處理、顯示的一個平臺，用于圖像處理中算法驗(yàn)證，調(diào)試與實(shí)際使用表明，該系統(tǒng)具有良好的使用效果和較高的丁作效率，現(xiàn)已用于戰(zhàn)場偵察系統(tǒng)的演示。同時本系統(tǒng)具有功耗小、體積小、網(wǎng)絡(luò)功能強(qiáng)等特點(diǎn)，可以方便的擴(kuò)展到偵察、安防、視頻采集等領(lǐng)域。

本文創(chuàng)新點(diǎn)：利用ARM平臺，結(jié)合嵌入式操作系統(tǒng)進(jìn)行圖像采集和處理，在較小的系統(tǒng)內(nèi)實(shí)現(xiàn)了主要的圖像系統(tǒng)功能，取得較好的效果，并具有良好的應(yīng)用前景。

責(zé)任編輯：gt