求一種基于FPGA原型驗(yàn)證系統(tǒng)的圖像處理解決方案

視覺(jué)是人類(lèi)最高級(jí)別的感知，以視頻、圖像等形式為信息載體可以創(chuàng)造出豐富多彩的應(yīng)用。視覺(jué)信息處理技術(shù)的實(shí)現(xiàn)和發(fā)展極大改變了現(xiàn)代社會(huì)的生產(chǎn)活動(dòng)：智能設(shè)備的拍照和視頻、醫(yī)學(xué)成像、人臉識(shí)別、科學(xué)可視化、行車(chē)記錄、安防監(jiān)控、國(guó)防探測(cè)、太空探索等前沿領(lǐng)域無(wú)不滲透著視覺(jué)信息處理技術(shù)，視覺(jué)信息處理已無(wú)處不在，并形成龐大的上下游產(chǎn)業(yè)。

隨著算法水平不斷進(jìn)步和計(jì)算機(jī)處理能力以及存儲(chǔ)能力的提升，再加上市場(chǎng)日益增長(zhǎng)的消費(fèi)應(yīng)用升級(jí)的推動(dòng)，從真實(shí)世界中得到的視覺(jué)信息數(shù)據(jù)通過(guò)ADC采集、再到數(shù)字化的算法處理分析、再經(jīng)過(guò)DAC的轉(zhuǎn)換輸出技術(shù)，已經(jīng)發(fā)展到相當(dāng)復(fù)雜的水平，其中圖像傳感器采集數(shù)據(jù)的像素不斷提升，圖像信號(hào)處理器能夠?qū)崿F(xiàn)自動(dòng)對(duì)焦、自動(dòng)曝光、壞點(diǎn)去除、鏡頭陰影矯正、去馬賽克、顏色矯正、伽馬矯正、降噪、數(shù)據(jù)的壓縮和存儲(chǔ)等各種功能，滿(mǎn)足更前沿的應(yīng)用場(chǎng)景使得當(dāng)前圖像處理設(shè)計(jì)需要支持復(fù)雜多樣的功能，同時(shí)當(dāng)前數(shù)字圖像處理的應(yīng)用越來(lái)越趨向于小型化SoC系統(tǒng)以適應(yīng)移動(dòng)互聯(lián)網(wǎng)的蓬勃發(fā)展，實(shí)現(xiàn)多重功能和高集成度需求使得當(dāng)前的SoC設(shè)計(jì)復(fù)雜度指數(shù)級(jí)提升，同時(shí)對(duì)設(shè)計(jì)的仿真驗(yàn)證提出了更高要求，不僅需要對(duì)圖形處理設(shè)計(jì)模塊進(jìn)行大量測(cè)試驗(yàn)證，還需要對(duì)目標(biāo)SoC進(jìn)行充分的評(píng)估和驗(yàn)證。

亞科鴻禹VeriTiger原型驗(yàn)證系統(tǒng)

圖像處理解決方案

圖像處理是最直觀可視的應(yīng)用功能實(shí)現(xiàn)，FPGA原型驗(yàn)證系統(tǒng)利用真實(shí)的傳感設(shè)備和輸出顯示設(shè)備提供直觀可視的DUT執(zhí)行結(jié)果展現(xiàn)，是最適合進(jìn)行圖像處理設(shè)計(jì)功能驗(yàn)證的手段。亞科鴻禹VeriTiger原型驗(yàn)證系統(tǒng)為各類(lèi)圖像處理設(shè)計(jì)提供高性能原型驗(yàn)證解決方案。

VeriTiger圖像處理原型驗(yàn)證解決方案整體框架

VeriTiger原型驗(yàn)證系統(tǒng)圖像處理解決方案的硬件環(huán)境由VeriTiger原型驗(yàn)證母板、配套功能子卡、采集攝像頭、輸出顯示器、數(shù)據(jù)傳輸連接線(xiàn)組成，通過(guò)子卡提供真實(shí)的外設(shè)來(lái)構(gòu)建設(shè)計(jì)原型，進(jìn)行功能驗(yàn)證并提供深度調(diào)試。配合我司自研軟件ProtoWizard可以進(jìn)行時(shí)鐘電壓的配置，bit文件的燒錄以及統(tǒng)一的子卡管理。

為應(yīng)對(duì)不同的視覺(jué)信息處理場(chǎng)景，圖像處理SoC設(shè)計(jì)會(huì)選用各種類(lèi)型的接口協(xié)議以滿(mǎn)足對(duì)采集像素、傳輸速度、集成度等的不同需求。DP、HDMI、MIPI是當(dāng)前最為常見(jiàn)的多媒體處理接口類(lèi)型，亞科鴻禹基于VeriTiger原型驗(yàn)證平臺(tái)，提供成熟的DP、HDMI、MIPI子卡硬件以及工程方案。在SoC原型驗(yàn)證過(guò)程中，采用VeriTiger原型驗(yàn)證平臺(tái)和相關(guān)子卡組成完整的驗(yàn)證解決方案，進(jìn)行SoC相關(guān)場(chǎng)景接口的驗(yàn)證，可極大縮短原型驗(yàn)證平臺(tái)的搭建時(shí)間，提升驗(yàn)證效率，從而進(jìn)一步縮短SoC的開(kāi)發(fā)時(shí)間。

01

“DP外設(shè)驗(yàn)證需求” 解決方案：

通過(guò)亞科鴻禹自研的HSMGT-DSIP、HSPI2-GPIO等子卡完成原型環(huán)境創(chuàng)建，啟動(dòng)工程驗(yàn)證。HSMGT-DSIP為DISPLAY輸入輸出子卡，該方案支持Xilinx原生的DISPLAY協(xié)議，通過(guò)調(diào)用Xilinx提供的DisplayPort 1.4 RX Subsystem和DisplayPort 1.4 TX Subsystem IP，選擇本地或AXI4-Stream視頻輸入接口，支持MST和SST輸出。其中包含一個(gè)專(zhuān)用輸入DP接口和一個(gè)專(zhuān)用輸出DP接口，一組GPIO。使用時(shí)可單獨(dú)開(kāi)發(fā)DP的TX發(fā)送端或RX接收端功能；RX端可將HPD、AUX等信號(hào)抓取，針對(duì)調(diào)試DP握手時(shí)遇到的問(wèn)題提供更多的解決思路。

TX工程整體結(jié)構(gòu)如下圖：

視頻數(shù)據(jù)由Stream Pattern Generator產(chǎn)生，通過(guò)CRC校驗(yàn)后傳輸給TX Subsystem，經(jīng)過(guò)處理后給到Video PHY Controller，最后通過(guò)DP Mainlink輸出。

RX工程整體結(jié)構(gòu)如下圖：

數(shù)據(jù)由DP Mainlink進(jìn)入，經(jīng)過(guò)Video PHY Controller處理后給到RX Subsystem，隨后進(jìn)行EDID等數(shù)據(jù)的確認(rèn)，建立握手后數(shù)據(jù)經(jīng)過(guò)CRC校驗(yàn)，給到ILA。

方案適用于驗(yàn)證：

大型視頻處理系統(tǒng)中串行數(shù)字視頻數(shù)據(jù)接收和發(fā)送的插件設(shè)計(jì)。

02

“HDMI外設(shè)驗(yàn)證需求” 解決方案：

通過(guò)亞科鴻禹自研的HSMGT-HD20等子卡完成原型環(huán)境創(chuàng)建，啟動(dòng)工程驗(yàn)證。HSMGT-HD20子卡為HDMI2.0輸入輸出子卡。該方案通過(guò)調(diào)用Xilinx提供的HDMI Transmitter/Receiver Subsystem IP，從PHY層接收捕獲的TMDS數(shù)據(jù)，然后從HDMI流中提取視頻和音頻流，并將其轉(zhuǎn)換為視頻和音頻流，以便進(jìn)行視頻、音頻的處理，隨后由HDMI Transmitter Subsystem將處理好的視頻和音頻流傳輸?shù)紿DMI流，從而完成視頻流的傳輸，可選擇AXI4-Stream、Native Video作為HDMI 1.4/2.0子系統(tǒng)的視頻接口。該子卡包含一個(gè)專(zhuān)用輸入HDMI接口和一個(gè)專(zhuān)用輸出HDMI接口，一個(gè)時(shí)鐘芯片，一個(gè)顯示端口重定時(shí)器。該子卡輸出為T(mén)I的PHY，輸入直接接到了FPGA的MGT通道。使用時(shí)可以單獨(dú)開(kāi)發(fā)HDMI的TX或者RX功能；TX端掛載了顯示端口重定時(shí)器，支持高達(dá)6Gbps的數(shù)據(jù)速率。搭配時(shí)鐘芯片，可滿(mǎn)足不同分辨率輸出下所需求的時(shí)鐘速率。

下圖為該工程整體結(jié)構(gòu)：

工程支持兩種工作方式：

1. Passthrough工作模式。

該模式下，視頻數(shù)據(jù)通過(guò)Source端給入HDMI RX Subsystem，經(jīng)過(guò)處理后由HDMI TX Subsystem輸出到Sink端，完成視頻數(shù)據(jù)的接收和發(fā)送。

2. TX工作模式。

該模式下，視頻數(shù)據(jù)由MicroBlaze產(chǎn)生，經(jīng)過(guò)處理后通過(guò)HDMI TX Subsystem輸出到Sink端。

方案適用于驗(yàn)證：

HDMI視頻系統(tǒng)中HDMI接收和發(fā)送的插件設(shè)計(jì)。

03

“MIPI（Mobile Industry

Processor Interface）

外設(shè)驗(yàn)證需求”解決方案：

MIPI移動(dòng)產(chǎn)業(yè)處理器接口(Mobile Industry Processorinterface)是為移動(dòng)應(yīng)用處理器制定的開(kāi)放標(biāo)準(zhǔn)?，F(xiàn)代移動(dòng)應(yīng)用設(shè)備由于高分辨率的要求，現(xiàn)在基本上都是基于MIPI協(xié)議來(lái)實(shí)現(xiàn)的。方案通過(guò)亞科鴻禹自研的HSPI2-MIPI等子卡完成原型環(huán)境創(chuàng)建，啟動(dòng)工程驗(yàn)證。HSPI2-MIPI子卡為MIPI攝像頭子板，用于視頻接收。該方案采用MIPI CSI-2 RX Subsystem IP，該子系統(tǒng)從MIPI CSI-2攝像機(jī)傳感器捕獲圖像，并輸出AXI4- Stream視頻數(shù)據(jù)，以便進(jìn)行圖像處理。該子系統(tǒng)允許快速選擇頂級(jí)參數(shù)，并自動(dòng)完成大部分較低級(jí)別參數(shù)化，AXI4-Stream視頻接口允許與其他基于AXI4-Stream的子系統(tǒng)無(wú)縫連接。該子卡包含兩路MIPI微型接頭，支持ov9281，ov9280；兩路FPC接口，支持ov5640；支持三路MMCX差分對(duì)。兩種不同的攝像頭接口，為客戶(hù)提供了不同的選擇。

工程整體結(jié)構(gòu)：

數(shù)據(jù)通過(guò)Sensor采集后給到 MIPI CSI-2 RX Subsystem，經(jīng)過(guò)Sensor Demosaic，將拜爾圖像傳感器捕獲的圖像還原出符合色彩顯示設(shè)備的真實(shí)世界色彩后給到VDMA，VDMA將視頻數(shù)據(jù)緩存并輸出。輸出視頻數(shù)據(jù)格式支持AXI-Stream和MIPI PHY形式。

方案適用于驗(yàn)證：

高集成度、高傳輸速率要求的移動(dòng)設(shè)備圖像處理設(shè)計(jì)。

審核編輯：劉清