基于視頻速度應用在FPGA上實現(xiàn)的結構光中心線提取算法

引言

隨著測控技術及數(shù)字圖像處理技術的高速發(fā)展，基于三角法線結構光的三維測量具有高精度、非接觸、實時性和強主動受控性的特性，因此在現(xiàn)實中有廣泛的應用，尤其是在計算機視覺、醫(yī)療診斷和工業(yè)檢測等領域應用價值日漸增強。在結構光檢測系統(tǒng)中，利用CCD相機以及工業(yè)相機攝取用線結構平面激光照射照在物體表面形成的光條紋中心信息，然后根據(jù)光條紋中心偏移量進行三維定標，這樣可以得到物體表面的各類信息，比如表面的缺陷以及形變等。有鑒于此，線結構光條中心信息的圖像處理在測量過程中就顯得十分關鍵。雖然目前結構光中心線的提取方法有許多種，比如：閾值法、極值法、灰度重心法、方向模板法、Hessian矩陣法等，這些方法都有各自的優(yōu)缺點以及一定的應用范圍?；跀?shù)字圖像處理的特點是處理的數(shù)據(jù)量非常大，處理非常耗時。所以本文研究了在FPGA上用硬件描述語言實現(xiàn)圖像的中心線提取算法，采用了極值法、閾值法和重心法相結合的中心線提取方法。通過功能模塊的硬件化，以便高速提取結構光中心線。結果表明，實驗系統(tǒng)達到了基于視頻速度的應用要求。

1 、系統(tǒng)硬件設計

圖1為光條中心線提取系統(tǒng)的硬件設計框圖。整個中心線提取系統(tǒng)主要有四個組成部分：

（1）視頻數(shù)據(jù)編碼模塊：編碼器采用ANALOG DEVICES公司的ADV7179芯片，該編碼器能實現(xiàn)ITU—R BT601/BT656 YCrCb（其比例為4:2：2）格式的數(shù)字信號轉(zhuǎn)為NTSC/PAL摸擬視頻輸出信號;

（2）DDR2 SDRAM存儲器控制模塊：選用兩片MICRON公司的MT47H64M16 DDR2存儲器來實現(xiàn)圖像幀數(shù)的交叉緩存，為后面的中心線提取提供像素值以及坐標值;

（3）中心線提取模塊：FPGA采用的是Altera公司Cyclone III系列的EP3C40F484C6芯片，該芯片價格低廉、實用性強，能充分發(fā)揮芯片的并行計算能力，實現(xiàn)中心線的快速提取;

（4）視頻數(shù)據(jù)編解碼模塊：解碼器采用TEXAS INSTRUMENT 公司的TVP5150芯片，該芯片低功耗，能解決視頻輸入輸出同步問題，而且輸出型號的特性可以通過I2C串行接口進行編程配置。

整個系統(tǒng)從CCD攝像機接收的模擬視頻信號通過視頻解碼芯片解碼后，轉(zhuǎn)換成BT656（4：2：2）YCbCr SDTV（標清）格式的數(shù)字視頻信號，通過一個FIFO來進行行/場消隱、解出同步信息等操作，之后提取圖像信息的Y（亮度值）分量，然后在數(shù)據(jù)上傳輸。對于圖像的傳送采用兩片DDR2來進行奇偶兩場傳送;同時對視頻解碼器輸出的同步信號進行檢測。當有效數(shù)據(jù)到來時，F(xiàn)PGA選擇一片DDR2，使用隔行存儲方式，完成一幀圖像的存儲，當?shù)诙瑘D像有效數(shù)據(jù)到來時，F(xiàn)PGA選擇另一片DDR2，以相同的方式完成第二幀圖像的存儲，依次交叉存儲，然后經(jīng)內(nèi)部的處理模塊處理后得到圖像光帶中心線坐標［8］。將提取的一行中心線坐標存儲在RAM里面，再經(jīng)過視頻編碼器將數(shù)字視頻信號轉(zhuǎn)換成模擬視頻信號輸出到顯示終端顯示。

2、 算法的FPGA實現(xiàn)

2.1 算法流程

我們首先以列掃描的方式讀出一幀數(shù)據(jù)，并將讀出的亮度值與所設定的閾值進行比較。濾除不需要的點，然后通過像素值比較得到像素值最大點，之后用最大點周邊的3*3鄰接點來進行灰度重心法計算出光條中心點。具體做法如下：

2.2 存儲單元

對于算法的實現(xiàn)，還要考慮圖像數(shù)據(jù)的存儲結構。這其中包括：點存儲器，用來存儲需要運算的單個像素點;行存儲器，用來緩存需要運算的圖像的一行像素點;幀存儲器，用來存儲整幀圖像。一般幀存儲器都需要很大的容量，而FPGA內(nèi)部實現(xiàn)起來比較困難，所以FPGA板都會增加外部存儲器，由外部的DDR2 SDRAM 芯片實現(xiàn)［9］;為了使進行運算的領域9個3*3的像素點能在同一時鐘輸出，便于進行之后的流水線算法模塊，因此在3*3的滑動窗的硬件設計中，本文采用了2個RAM存儲器來進行行存儲。具體操作是：先用兩個RAM存儲器存儲兩行數(shù)據(jù)，等到第三行到來時，再將前兩行的數(shù)據(jù)讀出來，之后用9個寄存器存儲這9個數(shù)據(jù)，以保證數(shù)據(jù)的同時獲取［10］。存儲結構見圖2所示。

這樣，當圖像像素點串行輸入時，經(jīng)過這種結構的存儲器系統(tǒng)，即可得到相應點進行灰度重心法計算所需的所有鄰域點的并行輸出。

2.3 運算單元

運算單元由乘法器和流水線加法樹兩部分構成，乘法器的作用是執(zhí)行運算中的坐標值與像素相乘，流水線加法樹的作用是提高運算速度以及減少運算單元占用的硬件資源，該加法數(shù)設計為4段流水線結構，第一段為6個2輸入的8位乘法器和2個2輸入的8位加法器以及2個延遲單元;第二段為2個2輸入的15位加法器和2個2輸入的9位加法器以及2個延遲單元;第三段為2個2輸入的16位加法器和2個延遲單元;第四段為2個除法器，作用是將運算的像素與像素坐標值的乘積累加后除以運算的像素的累加值，輸出的結果即為中心點 的坐標值。運算如圖3和圖4所示。

3、 FPGA實現(xiàn)的結果

本文FPGA采用的是Altera公司Cyclone III系列的EP3C40F484C6芯片，并在Altera公司的QUARTUS II 軟件平臺上，利用硬件描述語言Verilog HDL 表達實現(xiàn)。對于一幅大小為576行、720列的結構光條紋圖像，以每秒25幀的速率到達時，利用配置為2.53GHz Intel CPU 、3GB內(nèi)存的通用微型計算機通過軟件編程的方式實現(xiàn)對一幀大小為576行、720列的圖像進行提取激光中心線操作，耗時71.5 毫秒。而利用以上專用硬件實現(xiàn)的算法經(jīng)過仿真的系統(tǒng)最高頻率達到100MHz ，高出了系統(tǒng)像素點時鐘頻率（50MHz ），處理同樣的一幀圖像需耗時4.1毫秒，速度提高將近20倍，且FPGA邏輯資源占用16% 。足以在視頻圖像輸入的同時完成計算，達到了設計目的。并將系統(tǒng)的采集圖片與處理后的圖片進行比較，處理結果圖6圖7所示。圖6a、7a為采集圖像，圖6b、7b為MATLAB處理結果，圖6c、7c為EP3C40F484C6處理結果。

實驗結果顯示可以看出：在精度上FPGA相比PC端稍好，體現(xiàn)在線條的細節(jié)表現(xiàn)及線條提取的平滑度上。而且在運行速度上，F(xiàn)PGA提取速度明顯優(yōu)于PC機提取的速度。但是不足的是由于模板所取的寬度較小，所以對于一些光帶寬度較大，光強橫向分布不均勻的圖像，正如圖7所示，則該方法提取的圖形精度不高，圖像較為不平滑。這些也將是下一步需要研究的內(nèi)容。

4、 結束語

精度和速度是大數(shù)據(jù)量背景下中心線提取方法的核心指標，本文利用FPGA硬件電路的并行體系結構，將以FPGA為核心的實時處理系統(tǒng)應用結構光三維測量系統(tǒng)當中，以硬件形式實現(xiàn)圖像光帶中心線提取的算法，經(jīng)過實驗表明，對于這些寬度不大且分布均勻的結構光，該方法對中心線提取精確、快速。滿足結構光三維測量的要求。

責任編輯：gt