本人有過多年用FPGA做圖像處理的經(jīng)驗,在此也談一下自己的看法。用FPGA做圖像處理最關(guān)鍵的一點優(yōu)勢就是:FPGA能進行實時流水線運算,能達到最高的實時性。因此在一些對實時性要求非常高的應(yīng)用領(lǐng)域,做圖像處理基本就只能用FPGA。例如在一些分選設(shè)備中圖像處理基本上用的都是FPGA,因為在其中相機從看到物料圖像到給出執(zhí)行指令之間的延時大概只有幾毫秒,這就要求圖像處理必須很快且延時固定,只有FPGA進行的實時流水線運算才能滿足這一要求。
圖1 FPGA實現(xiàn)圖像的流水處理
所以要了解FPGA進行圖像處理的優(yōu)勢就必須理解FPGA所能進行的實時流水線運算和DSP,GPU等進行的圖像處理運算有何不同。DSP,GPU,CPU對圖像的處理基本是以幀為單位的,從相機采集的圖像數(shù)據(jù)會先存在內(nèi)存中,然后GPU會讀取內(nèi)存中的圖像數(shù)據(jù)進行處理。假如采集圖像的幀率是30幀,那么DSP,GPU要是能在1/30秒內(nèi)完成一幀圖像的處理,那基本上就能算是實時處理。
FPGA對圖像進行實時流水線運算是以行為單位的。FPGA可以直接和圖像傳感器芯片連接獲得圖像數(shù)據(jù)流,如果是RAW格式的則還可以進行插值以獲得RGB圖像數(shù)據(jù)。FPGA能進行實時流水線處理的關(guān)鍵是它可以用其內(nèi)部的Block Ram緩存若干行的圖像數(shù)據(jù)。這個Block Ram可以說是類似于CPU里面的Cache,但Cache不是你能完全控制的,但Block Ram是完全可控的,可以用它實現(xiàn)各種靈活的運算處理。這樣FPGA通過緩存若干行圖像數(shù)據(jù)就可以對圖像進行實時處理,數(shù)據(jù)就這樣一邊流過就一邊處理好了,不需要送入DDR緩存了之后再讀出來處理。
這樣的數(shù)據(jù)流處理顯然是順序讀取數(shù)據(jù)的,那么也就只能實現(xiàn)那些順序讀取數(shù)據(jù)的算法,也就是圖像處理中那一大類用3x3到NxN的算子進行的濾波、取邊緣、膨脹腐蝕等算法??赡艽蠹視X得這些運算似乎都是最基本的圖像處理運算,只是個前端的預處理,似乎用處不大。但問題是只有FPGA做這樣的運算才是速度最快效率最高的,比如用CPU做一個取邊緣的算法根本就達不到實時。另外別小看了這種NxN算子法,它可以有各種組合和玩法,可以實現(xiàn)分選多種顏色,甚至分辨簡單形狀等功能。FPGA進行的這種算子法處理是并行流水線算法,其延時是固定的,比如用3x3的算子進行處理其給出結(jié)果的延時是兩行圖像的時間。還有這個算子法和現(xiàn)在卷積神經(jīng)網(wǎng)絡(luò)中最前面的卷積層運算是類似的。
圖2 FPGA對圖像做n行緩存輸出
FPGA中的Block Ram是重要和稀缺資源,能緩存的圖像數(shù)據(jù)行數(shù)是有限的,所以這個NxN的算子中的N不能特別大。當然FPGA也可以接DDR把圖像緩存到其中再讀出來進行處理,但這種處理模式就和CPU差不多了,達不到最高的實時性。其實有些我們認為需要隨機讀取數(shù)據(jù)的圖像處理算法也是可以并行流水線化的,比如連通域識別?!禙PGA實現(xiàn)的連通域識別算法升級》這是我的一篇文章。
現(xiàn)在貌似神經(jīng)網(wǎng)絡(luò)也可以用FPGA來實現(xiàn),并且據(jù)說效率比較高。我暫時還沒玩過這個,但知道為什么FPGA在進行某些運算的時候效率會比較高。因為在密集運算中,耽誤時間和消耗功耗的操作往往不是運算本身,而是把數(shù)據(jù)從內(nèi)存中搬來搬去。GPU,CPU在進行運算時要把數(shù)據(jù)從內(nèi)存中取出來,算好了在放回去。這樣內(nèi)存帶寬往往成了運算速度的瓶頸,數(shù)據(jù)搬運過程中的功耗占的比重也不會小。FPGA則可以通過堆很多計算硬件的方法把要做的運算都展開,然后數(shù)據(jù)從中流過,完成一個階段的運算之后就直接流入第二個階段,不需要把一個計算階段完成后的數(shù)據(jù)再送回內(nèi)存中,再讀出來交給下一個階段的運算。這樣就會節(jié)省很多時間和功耗?,F(xiàn)在用FPGA做圖像處理就是這樣干的,比如先用一個3x3的算子進行濾波,再用一個3x3的算子進行取邊緣,在FPGA流水線算法中,濾波處理完了數(shù)據(jù)立即就會進行取邊緣處理,是不需要像CPU那樣存回內(nèi)存再讀出來的。
圖3 簡單的神經(jīng)網(wǎng)絡(luò)
綜上所述,我覺得用FPGA進行圖像處理的前景還是挺廣闊的,越來越多的工業(yè)應(yīng)用場合都要求更高的實時性,而這正是FPGA所適合的。還有機器學習領(lǐng)域,神經(jīng)網(wǎng)絡(luò)這種層狀的,不需要很隨機的讀取數(shù)據(jù)的運算是比較適合用FPGA來做的。不過FPGA不擅長浮點運算,如果能整出不需要浮點運算的神經(jīng)網(wǎng)絡(luò),那么FPGA在這方面的應(yīng)用將會更大。
FPGA圖像處理視頻欣賞
可能制約FPGA在這些方面應(yīng)用的關(guān)鍵還是人才的缺乏。大家不知道FPGA擅長什么,想用卻又不知道怎么用。網(wǎng)上很多傳說都說這個FPGA編程很底層,很不好用。這些說法也對也不對。剛開始學的時候是會有一些困惑。關(guān)鍵是這其中要經(jīng)歷一個思維方式的轉(zhuǎn)變,從CPU編程思維到硬件編程思維的轉(zhuǎn)變。轉(zhuǎn)變過來了之后就會發(fā)現(xiàn),其實FPGA還是很單純很靈活很好用的,硬件描述語言沒有高級語言那么復雜。
圖4 FPGA圖像處理辦法的多樣化
總結(jié):近年來隨著半導體的工藝不斷提升,F(xiàn)PGA自身的各種資源容量在不斷地提升的同時也出現(xiàn)了一些異構(gòu)架構(gòu)的FPGA豐富了FPGA圖像處理的方法。
HLS的出現(xiàn)使FPGA開發(fā)走向高級語言,也變的更為簡單。有一些公司用新的技術(shù)快速開發(fā)出有圖像識別功能的設(shè)備。由于FPGA開發(fā)慢、成本高、可重復配置、有點門檻等等特點,它能夠在DSP、單片機、ASIC之間分一杯羹。應(yīng)用領(lǐng)域主要在量不大、可定制、可升級、成本不敏感的地方,比如軍工、醫(yī)療、安防。單位主要是科研院所、醫(yī)療設(shè)備公司、安防設(shè)備、視頻傳輸拼接設(shè)備公司。
-
傳感器芯片
+關(guān)注
關(guān)注
6文章
198瀏覽量
23701 -
流水線
+關(guān)注
關(guān)注
0文章
112瀏覽量
25464
原文標題:FPGA圖像處理的前景如何?
文章出處:【微信號:leezym0317,微信公眾號:FPGA開源工作室】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論