如何用FPGA并行高速運算實現(xiàn)實時的引導濾波算法？

首先，給出上篇中最后的matlab 引導濾波的代碼，如下所示。

其中框框中為主要的計算過程，下一圖為計算a/b的最后的公式（引導圖=本身）。

雙邊濾波由于其只是在空間距離及像素相似度上進行權重計算，加權濾波，相對算法不是特別復雜，FPGA也易于實現(xiàn)（某司的USB工業(yè)相機2D濾波就是雙邊濾波），但是確實效果上不如引導濾波，那么引導濾波FPGA計算真有那么難嗎？為此我翻閱了一些資料，也從頭到尾推到計算了一遍，略有所成，出來和大家分享下。

在Matlab/C的加速中，引導濾波采用了盒式濾波的方式去加速，將運算復雜度從O(MN)的降低到了O(4)，其方法就是先計算當前像素到原點像素組成的矩形區(qū)域的和/平方和等，對于線程的Matlab/C而言確實有很大的加速作用

另附上架構實現(xiàn)圖，但我估計這幾個小朋友還沒有想明白boxfilter是怎么回事，生搬硬套軟件boxfilter加速的思維嘛？？？

圖中，計算均值，平方均值，a的均值，b的均值采用了4個boxfilter，也就是說如果輸入1280*720的圖像，那就需要緩存4個那么大地址空間的區(qū)域來存儲中間變量，這顯然是不適合FPGA加速運算的啊。FPGA的意義在于高速并行技術，盡可能的避免沖入進入緩存，而是以Pipeline的方式流水線完成運算，實現(xiàn)真正低延時+實時處理的目標。

所以為什么不能流水線完成所有的計算操作呢？

不服來戰(zhàn)，沒有啥難度的……下面開始我的表演。

【第一步】

以33的濾波為例（這里的引導圖都是原圖），按行從傳感器或者DDR中讀取原圖，采用移位寄存后得到33的矩陣行，如下所示：

如上圖中，以P00-P22為例，這9個像素，我們可以通過計算得均值，以及平方的均值，緊接著繼續(xù)計算得到a與吧，詳見下圖，其中相關的參數(shù)定義如下：

從上圖可知，通過三行組成的矩陣，以流水線方式，最快用了6個時鐘得到了參數(shù)a與b；

由于全圖流水線運行，因此從第6個時鐘開始，將持續(xù)的輸出每一個像素對應的a與b，等同于我們通過這一階段的實現(xiàn)方式，得到了參數(shù)a/b陣列。

另外，上圖中可知，除以9的運算我已經(jīng)默默轉換為乘法與移位，clk4中將涉及到的小數(shù)點，已經(jīng)提前擴大了1024倍，同等的b中也做了變更（紅/藍色字體），這就是FPGA定點化的加速的方式。

再者，由于最后的計算還需要P的參與，因此上述步驟中，需要將輸入的原始圖像進行移位延時，最終能和后續(xù)am/bm對齊。

【第二步】

接下來，進一步計算am與bm，這個就簡單的多了，類似第一步，直接緩存3行得到3*3的矩陣行，通過加權后得到am與bm。這個過程中am與bm的計算可以完全并行，每個am/bm的計算耗時3個時鐘。

詳見下圖計算流：

【第三步】

此時我們已經(jīng)同時得到了am，bm，以及通過移位delay后和am/bm對齊的P，那么直接套用公式，我們就可以計算出每一個像素濾波后的值:

即輸出Q=(am*P+bm)>>10

這里還需要右移10bit，是因為前面第一步中，由于涉及到了小數(shù)，我們提前進行了1024倍的擴大，來減少計算誤差的損失。

至此，流水線操作，沒有使用boxfilter，沒有將數(shù)據(jù)回寫入DDR，我們采用了若干行l(wèi)ine buffer的形式，完成了實時引導濾波的FPGA加速實現(xiàn)。

整體流程再梳理一下，相關的依賴以及流水方式，如下圖所示，應該可以看的更明白。其中綠色為第一步計，灰色為第二步計算，紅色為最后一步計算。

所以，這就是FPGA并行加速運算的價值與意義，按照我的實現(xiàn)方式，可以用最小的代碼實現(xiàn)實時的引導濾波，甚至連低端的EP4CE6E都不是問題。

同樣一個算法，可以有n種實現(xiàn)方式，你甚至可以把算法挪到MPSOC的PS中執(zhí)行，然后忍受龜速的同時你可能還會抱怨FPGA跑的慢，CPU性能不足之類的，但是永遠不要忘記，架構的意義。正如軟件的優(yōu)化，其實很多時候，并不是算法本身不行，而是你對系統(tǒng)底層，對計算優(yōu)化的能力不行。