介紹一下使用FPGA實(shí)現(xiàn)低延遲的成像系統(tǒng)

目前商用領(lǐng)域的成像系統(tǒng)還是以嵌入式ASIC為主（成品時(shí)間快，性價(jià)比高），對(duì)于一些軍工、醫(yī)學(xué)等特殊領(lǐng)域還是以FPGA為主，在特殊領(lǐng)域里延遲是最先考慮的問題（成本不是主要問題），所以今天介紹一下使用FPGA實(shí)現(xiàn)低延遲的成像系統(tǒng)，這里說明一下，整個(gè)系統(tǒng)調(diào)試比較麻煩（和sensor有關(guān)），很大可能調(diào)試不出圖像，所以大家只需要知道有這個(gè)架構(gòu)即可，有需求可以自己調(diào)試。

低延遲架構(gòu)

我們這次使用的是AMD-Xilinx FPGA，大部分的圖像處理都有IP可以使用，在官方文檔中有相關(guān)的架構(gòu)，具體如下：

上面的架構(gòu)是比較通用的架構(gòu)，官方也有例程可以參考，但是上面架構(gòu)多了一個(gè)VDMA，這就導(dǎo)致視頻傳輸?shù)臅r(shí)候有1到幾幀的延遲，這對(duì)于低延遲、高分辨率的情形肯定是不能容忍的。所以官方對(duì)于特殊情況建議使用下面的架構(gòu)：

去掉了VDMA，但是對(duì)于時(shí)鐘系統(tǒng)要去更高，對(duì)于視頻輸入輸出在不同時(shí)鐘域情況下是使用不了的，所以整體要求比較高。但是砍掉了VDMA和DDR，所以整體成本會(huì)低很多。關(guān)于沒有VDMA情況下的各個(gè)IP的設(shè)置及測(cè)試可以看下面的文章《不使用VDMA情況下使用AXI4總線實(shí)現(xiàn)視頻輸入輸出（低延遲首選）》。

FPGA系統(tǒng)架構(gòu)設(shè)計(jì)

我們還是參考上面的架構(gòu)來(lái)設(shè)計(jì)我們的系統(tǒng)。

當(dāng)我們與圖像sensor對(duì)接時(shí)，我們通常會(huì)以不同的格式接收?qǐng)D像，例如 MIPI 、并行接口，在我們接收視頻之前，我們需要先配置sensor按照我們的需求運(yùn)行。通常，sensor需要通過 I2C 或 SPI 進(jìn)行配置。

這次演示的平臺(tái)：

7系列FPGA

MT9M114 sensor

sensor 的接口非常簡(jiǎn)單，可以分為視頻接口和配置接口（IIC）。

視頻接口由 10 位數(shù)據(jù)（分為 8 位和 2 位）、幀和行有效、像素時(shí)鐘和參考時(shí)鐘 (24 MHz) 組成。

配置接口由連接到sensor的 I2C 和 復(fù)位IO組成。

該解決方案的架構(gòu)如下：軟核處理器（MicroBlaze）通過 I2C 配置sensor。雖然圖像處理路徑將在 FPGA 中實(shí)現(xiàn)，但由于這是一種低成本應(yīng)用，該解決方案不會(huì)使用 DDR 存儲(chǔ)器中實(shí)現(xiàn)外部幀緩沖區(qū)，而是圖像處理流水線將完全在 FPGA 中實(shí)現(xiàn)。

Sensor中由于我們配置的是RAW數(shù)據(jù)，所以還需要使用Sensor Demosaic和Gamma（基本成像IP）IP。

該設(shè)計(jì)還將使用軟核處理器來(lái)控制視頻時(shí)序和圖像處理路徑的其他相關(guān)配置任務(wù)。

Vivado 工程構(gòu)建

搭建MicroBlaze 系統(tǒng)

添加其他IP

整個(gè)系統(tǒng)需要的IP主要如下：

CAM 接口 - 此接口與 sensor接口連接，簡(jiǎn)單處理數(shù)據(jù)（選擇RAW數(shù)據(jù)的位數(shù)），此IP非必須

Video to AXIS - 這會(huì)將并行視頻轉(zhuǎn)換為 AXI 流格式

Sensor Demosaic - 將代表 R、G 或 B 的 RAW 像素值轉(zhuǎn)換為 24 位 RGB 格式

Video Timing Generator - 生成輸出格式的視頻時(shí)序信號(hào)

AXI Stream to Video Out - 將 AXI Stream 轉(zhuǎn)換為并行視頻

AXI IIC - 連接到 MicroBlaze，用于配置sensor

AXI UART - 連接到 MicroBlaze，用于軟件調(diào)試

添加完后就可以連線了，完整的框圖應(yīng)如下所示。完整的工程在文章最后給出。

在 AXI Stream 中，使用 TUser 指示幀的開始，使用 TLast 指示行的結(jié)束。

IP的關(guān)鍵設(shè)置

Video to AXIS

Sensor Demosaic

AXI IIC 設(shè)置

其他IP可以查看文章最后的工程查看。

資源使用率

在Arty S7-50 的總利用率如下所示。

SDK 中編寫軟件

生成 Vivado 硬件后，下一步就是編寫應(yīng)用軟件，用于配置sensor和視頻處理IP核。

因此，軟件中將執(zhí)行以下操作：

初始化 AXI IIC、VTC 和中斷控制器

設(shè)置AXI 相關(guān)中斷控制器 - 這包括三個(gè)中斷服務(wù)例程。IIC 發(fā)送、接收和狀態(tài)各一個(gè)。

在 VTC 配置輸出時(shí)序

通過 I2C 復(fù)位sensor并點(diǎn)亮 sensor板子上 LED

通過I2C讀取sensor-MT9M114的ID，來(lái)檢測(cè)相機(jī)是否存在（外圍設(shè)置是否正確）

通過 I2C 配置和初始化相機(jī) - 這是最浪費(fèi)時(shí)間的，好在有很多資料可以參考

初始化相機(jī)后，我們將能夠在 ILA 上看到視頻流。

調(diào)試過程中測(cè)量的FPGA和sensor之間的 I2C 通信信號(hào)。

使用 AXI UART 調(diào)試軟件：

一旦相機(jī)初始化，我們可以使用 ILA 采集信號(hào)：

上圖顯示了 1280 像素的線寬。

AXI Stream 是一種單向總線，用于將數(shù)據(jù)從主機(jī)傳輸?shù)綇臋C(jī)，作為數(shù)據(jù)流，它不包含地址通道。為了通過 AXI 流控制流和傳遞視頻時(shí)序信息，我們使用了以下信號(hào)：

TReady - 當(dāng)準(zhǔn)備好接收數(shù)據(jù)時(shí)由下游外設(shè)斷言

TValid - 當(dāng)輸出數(shù)據(jù)有效時(shí)通過發(fā)送外設(shè)斷言

TUser - 為幀的開始發(fā)出

TLast - 為行尾標(biāo)志

由于我們沒有 使用VDMA，所以 AXIS 流上的視頻輸出是一個(gè)連續(xù)塊，并且 TValid 在活動(dòng)像素周期內(nèi)不會(huì)斷言和取消斷言。

我們可以通過使用圖像處理鏈的像素時(shí)鐘來(lái)確保 Tvalid 是連續(xù)的。

軟件部分還是參考最后的工程吧，除了sensor需要單獨(dú)編寫，其他都是由SDK自帶的例程修改而來(lái)。

總結(jié)

雖然上面的架構(gòu)和最后的設(shè)計(jì)比較簡(jiǎn)單，但是調(diào)試起來(lái)還是很難得，只不過我寫的比較簡(jiǎn)單，一旦出不來(lái)視頻，重點(diǎn)按照最開始官方架構(gòu)檢查PCLK。

該工程主要參考架構(gòu)和架構(gòu)中時(shí)鐘域的處理，注意pCLK（像素時(shí)鐘）和ACLK的走向。

審核編輯：劉清