基于FPGA+DSP的智能車(chē)全景視覺(jué)系統(tǒng)解析

基于單相機(jī)的全景視覺(jué)系統(tǒng)是利用凸面鏡反射四周圖像進(jìn)行定位，在計(jì)算資源有限時(shí)是一種較好的選擇，且視覺(jué)導(dǎo)航等方向的應(yīng)用也成為一種最實(shí)用的方法［1-2］，這種方案雖然視野開(kāi)闊，但獲取的信息有限，真實(shí)的系統(tǒng)中很難應(yīng)用。隨著芯片計(jì)算能力的不斷提高，基于多通道的全景視覺(jué)系統(tǒng)已逐漸成為可能。本文介紹的智能車(chē)多通道全景視覺(jué)是指以觀測(cè)點(diǎn)為中心，多個(gè)相機(jī)可同時(shí)觀測(cè)車(chē)輛的前中、前左、前右、后左、后右和頂上6個(gè)方向的景物。該系統(tǒng)中的6臺(tái)數(shù)字相機(jī)中5臺(tái)分布在車(chē)輛的側(cè)面，1臺(tái)在頂部，可以得到車(chē)輛周?chē)?60°的圖像。該系統(tǒng)每個(gè)相機(jī)的分辨率為百萬(wàn)像素，即1 280×1 024，幀率為30 f/s，即便圖像為8 bit單色，系統(tǒng)的總數(shù)據(jù)率也高達(dá)200 MB/s以上。同時(shí)，6個(gè)相機(jī)圖像需要預(yù)處理，投影到同一坐標(biāo)系，或者拼接成單幅完整圖像才能滿足智能車(chē)導(dǎo)航系統(tǒng)的要求，這些涉及到大量復(fù)雜計(jì)算。針對(duì)這些要求，該系統(tǒng)的硬件處理部分利用了DSP和FPGA芯片各自的特長(zhǎng)，選用高速DSP+FPGA［3-6］的方案，而DSP方案也是海量圖像處理中普遍應(yīng)用的［7］。高性能通用C6416 DSP芯片，配合FPGA進(jìn)行高度并行數(shù)據(jù)處理，可實(shí)現(xiàn)高速實(shí)時(shí)的視覺(jué)圖像處理。這種方案的優(yōu)點(diǎn)在于，不僅可以利用DSP的高速處理能力，同時(shí)利用FPGA的控制能力和在高度并行化數(shù)據(jù)處理方面的優(yōu)勢(shì)，相比其他方案更容易滿足全景視覺(jué)系統(tǒng)所需要的高度實(shí)時(shí)處理。
　　1 系統(tǒng)總體方案設(shè)計(jì)
　　為適合高速圖像采集，本系統(tǒng)選用CMOS傳感器，CMOS的一個(gè)優(yōu)點(diǎn)是數(shù)據(jù)讀取速度快。系統(tǒng)由高速CMOS相機(jī)、基于CamLink技術(shù)的圖像讀取、FPGA+DSP的圖像處理三部分構(gòu)成，如圖1所示。從圖1可以看出，該系統(tǒng)有兩片F(xiàn)PGA，圖像讀取模塊中的FPGA1負(fù)責(zé)從CMOS相機(jī)抓圖和通訊控制，F(xiàn)PGA2則輔助兩片DSP進(jìn)行高速圖像處理，實(shí)現(xiàn)同時(shí)對(duì)6個(gè)相機(jī)圖像的實(shí)時(shí)處理。
　　
　　邏輯控制芯片FPGA1選用XILINX公司的XC3S1000LFG456作為視頻數(shù)據(jù)采集控制芯片，該芯片是Spartan3低功耗系列的一種，具有1 M個(gè)邏輯門(mén)，24個(gè)18×18乘法器及豐富的片上存儲(chǔ)空間，足夠進(jìn)行視頻采集的同步邏輯控制。并行計(jì)算FPGA選用XILINX公司Virtex-4系列中的XC4VFX60-FF1152，內(nèi)部有4 Mbit RAM，56 880個(gè)邏輯門(mén)和128個(gè)XtremeDSP模塊，足夠進(jìn)行大量高速數(shù)據(jù)處理，特別是片上18 KRAM模塊工作在500 MHz，支持真正的雙端口讀寫(xiě)同步操作，為該芯片作為芯片間高速數(shù)據(jù)交互提供了資源。2個(gè)協(xié)處理DSP芯片為TI公司高性能C6416，擁有8個(gè)并行處理單元，工作頻率為600 Hz，最高處理速度可達(dá)4 800 兆指令/秒（MFLOPS）。
　　系統(tǒng)設(shè)計(jì)采集圖像大小為1 280×1 024像素，最高速度可達(dá)每相機(jī)60 f/s的實(shí)時(shí)采集。6路攝像頭輸出的數(shù)字視頻信號(hào)經(jīng)過(guò)FPGA1進(jìn)行同步分離后，進(jìn)入輸入端高速數(shù)據(jù)緩沖區(qū)。系統(tǒng)采用兩片ZBT SRAM進(jìn)行乒乓數(shù)據(jù)采集，當(dāng)一幀圖像采集完，F(xiàn)PGA1通知FPGA2進(jìn)行數(shù)據(jù)轉(zhuǎn)移，F(xiàn)PGA2將數(shù)據(jù)預(yù)處理后由DSP經(jīng)EDMA保存到SRAM后等待進(jìn)一步處理。