請(qǐng)問(wèn)如何FPGA上使用SVM進(jìn)行圖像處理呢？

SVM簡(jiǎn)介

面部識(shí)別是一個(gè)經(jīng)常討論的計(jì)算機(jī)科學(xué)話題，并且由于計(jì)算機(jī)處理能力的指數(shù)級(jí)增長(zhǎng)而成為人們高度關(guān)注的話題。面部識(shí)別在機(jī)器人、生物安全和汽車工業(yè)等許多領(lǐng)域都有廣泛的應(yīng)用，涉及對(duì)輸入圖像應(yīng)用數(shù)學(xué)算法，提取不同的特征，表明所提供的圖片中是否存在人臉。方向梯度直方圖（HOG）是一種傳統(tǒng)算法，用于提取圖像特征，例如像素方向，并且可以與線性支持向量機(jī)（SVM）一起使用來(lái)將輸入圖像識(shí)別為人臉或不是人臉。

我們將使用下面圖像作為參考和測(cè)試：

圖像處理

卷積

兩個(gè)函數(shù)的卷積是一種重要的數(shù)學(xué)運(yùn)算，在信號(hào)處理中廣泛應(yīng)用。在計(jì)算機(jī)圖形和圖像處理領(lǐng)域，我們通常使用離散函數(shù)（例如圖像）并應(yīng)用離散形式的卷積來(lái)消除高頻噪聲、銳化細(xì)節(jié)或檢測(cè)邊緣。

卷積是對(duì)兩個(gè)信號(hào) f 和 g 的數(shù)學(xué)運(yùn)算，定義為：

在圖像領(lǐng)域，我們可以將卷積想象為單個(gè)像素與其相鄰像素之間的關(guān)系。這種關(guān)系主要應(yīng)用搜索顏色變化、亮度差異和像素周期性等獨(dú)特特征檢測(cè)。

下圖說(shuō)明了使用小型 3 x 3 內(nèi)核的卷積濾波器。濾波器被定義為一個(gè)矩陣，其中中心項(xiàng)對(duì)中心像素進(jìn)行加權(quán)，其他項(xiàng)定義相鄰像素的權(quán)重。我們也可以說(shuō) 3×3 核的半徑為 1，因?yàn)樵诰矸e過(guò)程中只考慮“一環(huán)”鄰域。在圖像邊界要定義卷積的行為，其中內(nèi)核映射到圖像外部未定義的值。

使用 3 x 3 窗口和 3 x 3 內(nèi)核的卷積運(yùn)算可以定義如下：

staticintconvolve(unsignedintwindow[3][3],intkernel[3][3])
{
intresult=0;

for(inti=0;i

	

	為了對(duì)整個(gè)圖像進(jìn)行卷積運(yùn)算，可以應(yīng)用滑動(dòng)窗口技術(shù)。從第一個(gè)像素開(kāi)始，每 8 個(gè)臨近像素被分組為一個(gè)方形窗口，窗口內(nèi)的輸入像素與內(nèi)核進(jìn)行卷積，產(chǎn)生一個(gè)像素值放置在輸出圖像中。重復(fù)此步驟直到圖像結(jié)束。

	

	Sobel-索貝爾

	邊緣檢測(cè)是檢測(cè)灰度圖像中不連續(xù)性的最常見(jiàn)方法。邊緣被定義為位于兩個(gè)區(qū)域之間的特定邊界上的一組連接的像素。

	如果輸入圖像是彩色圖像，則在應(yīng)用卷積運(yùn)算之前，將其轉(zhuǎn)換為灰度圖像。

	假設(shè)每個(gè)像素都使用 32 位無(wú)符號(hào)整數(shù)表示，則 RGB 轉(zhuǎn)換為灰度的代碼如下所示：

	
#defineR(pixel)(((pixel)>>16)&0xFF)
#defineG(pixel)(((pixel)>>8)&0xFF)
#defineB(pixel)(((pixel))&0xFF)

floatrgb2gray(unsignedintpixel)
{
return(R(pixel)*0.2989+G(pixel)*0.5870+B(pixel)*0.1440);
}


	

	運(yùn)行后，測(cè)試圖像將如下所示：

	

	Sobel 算子是邊緣檢測(cè)中最常用的算子之一。Sobel 算子使用兩個(gè) 3×3 內(nèi)核與原始圖像進(jìn)行卷積來(lái)計(jì)算導(dǎo)數(shù)的近似值 - 一個(gè)用于水平變化，另一個(gè)用于垂直變化。如果我們將 A 定義為源圖像，G x和 G y是兩個(gè)圖像，每個(gè)點(diǎn)分別包含水平和垂直導(dǎo)數(shù)近似值，則計(jì)算如下：

	

	通過(guò)前面的卷積函數(shù)，我們可以使用以下代碼計(jì)算輸出圖像：

	
intdx=convolve(window,kernel_x);
intdy=convolve(window,kernel_y);


	

	其中窗口定義為 3 x 3 滑動(dòng)窗口，內(nèi)核是 Sobel 算子使用的內(nèi)核：

	
staticintkernel_x[3][3]={
{1,2,1},
{0,0,0},
{-1,-2,-1}
};

staticintkernel_y[3][3]={
{1,0,-1},
{2,0,-2},
{1,0,-1}
};


	

	卷積計(jì)算后得到的圖像如下：

	

	正如所看到的，垂直和水平細(xì)節(jié)得到增強(qiáng)并且更易于觀察。盡管它有幫助，但我們需要一個(gè)更獨(dú)特的特征圖像，僅代表邊緣。

	下一步將組合這兩個(gè)圖像并獲得雙向變化圖。我們可以通過(guò)計(jì)算每個(gè)像素值的大小或強(qiáng)度以及當(dāng)前像素與邊緣線中的另一個(gè)像素鏈接的方向或角度來(lái)做到這一點(diǎn)。

	在圖像中的每個(gè)點(diǎn)，可以使用以下方法組合所得的近似值來(lái)給出幅度：

	

	以及使用的角度：

	

	squareroot 和 atan2 函數(shù)都已在 HLS 命名空間中實(shí)現(xiàn)：

	
unsignedintmagnitude=hls::sqrt(dx*dx+dy*dy);
intangle=hls::atan2(dx,dy);


	

	結(jié)果是：

	 幅度  角度

	我們已經(jīng)得到邊緣更加集中的圖像。盡管如此，在多種形式的領(lǐng)域，邊緣會(huì)變得更寬。我們需要使用一種稱為非極大值抑制的技術(shù)來(lái)抑制這些錯(cuò)誤邊緣：

	
unsignedintnms(unsignedintmag[3][3],intang){
unsignedintq,r;

q=r=255;

if((0<=?ang?=q&&mag[1][1]>=r)
returnmag[1][1];

return0;
}


	

	現(xiàn)在邊緣更薄、更簡(jiǎn)潔。

	

	實(shí)施

	如前所述，輸入圖像以數(shù)據(jù)流的形式逐像素輸入。為了應(yīng)用卷積運(yùn)算，我們需要將數(shù)據(jù)打包在 3 x 3 窗口下?？梢允褂镁哂袃蓚€(gè)緩沖區(qū)的架構(gòu)來(lái)實(shí)現(xiàn)這一點(diǎn)，其中元素?cái)?shù)量等于寬度，如果我們的輸入圖像：

	

	這里將有兩個(gè)輔助函數(shù)用于移動(dòng)行緩沖區(qū)和滑動(dòng)窗口：

	
staticvoidshift_w(unsignedintwindow[3][3],unsignedintv1,unsignedintv2,
unsignedintv3)
{
window[0][0]=window[0][1];
window[0][1]=window[0][2];
window[0][2]=v1;
window[1][0]=window[1][1];
window[1][1]=window[1][2];
window[1][2]=v2;
window[2][0]=window[2][1];
window[2][1]=window[2][2];
window[2][2]=v3;
}

staticvoidshift_b(unsignedintline_buffer[2][1280],intpos,
unsignedintval)
{
line_buffer[0][pos]=line_buffer[1][pos];
line_buffer[1][pos]=val;
}


	

	最后，我們可以將整個(gè)過(guò)程打包成一個(gè) HLS 函數(shù)（代碼見(jiàn)附件）。

	得到了代碼后，還應(yīng)該對(duì)其進(jìn)行測(cè)試。GIMP （https://www.oschina.net/p/gimp?hmsr=aladdin1e1）有一個(gè)非?？岬墓δ?，可以直接將圖像導(dǎo)出為頭文件。假設(shè)我們將測(cè)試圖像導(dǎo)出到文件 image.h 下，就可以利用如下代碼實(shí)現(xiàn)我們要測(cè)試的功能（代碼見(jiàn)文末）。

	驗(yàn)證 HLS IP 的另一種方法是直接在 FPGA 上進(jìn)行驗(yàn)證。

	第一步是創(chuàng)建block design并將合成的 Sobel IP 添加到存儲(chǔ)庫(kù)：

	

	添加已實(shí)現(xiàn)的 IP，其中一個(gè) DMA 向其提供數(shù)據(jù)，另一個(gè)讀取輸出：

	

	生成比特流后就可以驗(yàn)證功能。

	生成的圖像應(yīng)與模擬圖像相似。

	現(xiàn)在我們需要實(shí)現(xiàn)一個(gè)直接從相機(jī)輸入的架構(gòu)。

	第一個(gè)組件是 Znyq 處理系統(tǒng)和用于配置相機(jī)接口的 i2c 控制器：

	

	在圖像流方面，需要一個(gè) MIPI 控制器和一個(gè) Demosaic IP 將流轉(zhuǎn)換為 RGB24：

	

	最后添加我們的圖像處理IP和VDMA：

	

	


	審核編輯：劉清