FPGA供電的顯示控制器可實(shí)時(shí)增強(qiáng)ISR視頻

作者：JASON WADE，RANDALL MILLAR

軍方依靠視頻圖像進(jìn)行態(tài)勢(shì)感知，但圖像質(zhì)量通常很差，以至于操作員可能會(huì)錯(cuò)過重要細(xì)節(jié)。為顯示控制器配備實(shí)時(shí)運(yùn)行圖像增強(qiáng)算法的FPGA，為觀看者提供更好的圖像。

現(xiàn)代國(guó)防能力、情報(bào)、監(jiān)視和偵察 （ISR） 的支柱依賴于由集成傳感器、飛機(jī)和人力組成的強(qiáng)大而多樣化的網(wǎng)絡(luò)。該網(wǎng)絡(luò)的價(jià)值最終取決于人類能夠清楚地看到傳感器圖像，識(shí)別重要細(xì)節(jié)并采取果斷行動(dòng)。在現(xiàn)場(chǎng)，我們很少或根本無(wú)法控制從傳感器獲取圖像的照明和環(huán)境條件。但是，可以通過允許查看實(shí)時(shí)傳感器圖像的人實(shí)時(shí)微調(diào)視頻圖像以提取更多信息來(lái)為他們提供更多控制。

實(shí)時(shí)增強(qiáng)視頻需要巨大的計(jì)算吞吐量。它需要將復(fù)雜的圖像處理算法應(yīng)用于傳入的視頻流，而不會(huì)引入延遲。高性能現(xiàn)場(chǎng)可編程門陣列（FPGA）提供了一個(gè)理想的平臺(tái)，允許使用并行計(jì)算技術(shù)實(shí)現(xiàn)軟件算法。當(dāng)嵌入到智能顯示控制器中時(shí)，這些算法使操作員能夠最大程度地控制圖像質(zhì)量，并顯著提高圖像清晰度。

清晰度在旁觀者的眼中

全動(dòng)態(tài)視頻 （FMV） 是軍事態(tài)勢(shì)感知的首選工具。幾乎所有軍用車輛都有自動(dòng)視頻錄制功能，包括戰(zhàn)斗機(jī)、卡車和坦克等載人船只，以及無(wú)人駕駛飛機(jī)系統(tǒng)（UAS）。在移動(dòng)平臺(tái)上生成高質(zhì)量圖像會(huì)帶來(lái)許多挑戰(zhàn)。除了與攝像機(jī)運(yùn)動(dòng)和由此產(chǎn)生的圖像透視相關(guān)的問題外，視頻圖像的質(zhì)量還可能因惡劣的環(huán)境條件、數(shù)據(jù)鏈路降級(jí)和帶寬限制而受到影響。大氣因素（如黎明、黃昏或夜間照明不佳）以及惡劣天氣（包括沙塵暴和多變的云層）可能會(huì)遮擋重要細(xì)節(jié)。

然而，傳感器圖像質(zhì)量并不是唯一的問題。觀看視頻的條件差異很大，因此帶來(lái)了另一組挑戰(zhàn)。例如，視頻流可以在明亮的陽(yáng)光下、水下或屏幕上有前照燈的黑暗洞穴中觀看。因此，在顯示器本身內(nèi)提供圖像增強(qiáng)功能具有明顯的優(yōu)勢(shì)，而不是在傳感器或網(wǎng)絡(luò)上的其他地方。

確保良好圖像質(zhì)量的唯一方法是讓觀看者能夠根據(jù)自己的需要調(diào)整圖片。實(shí)現(xiàn)這一目標(biāo)的最佳方法是為戰(zhàn)術(shù)邊緣帶來(lái)實(shí)時(shí)視頻增強(qiáng)。FPGA 提供 將 這種 功能 直接 構(gòu)建 到 顯示 控制器 中 所需 的 性能、 設(shè)計(jì) 靈活 性 和 彈性。

具有實(shí)時(shí)圖像增強(qiáng)功能的視頻控制器

所有顯示控制器都執(zhí)行基本圖像處理，這意味著它們以特定分辨率接收視頻并以顯示器的原始分辨率顯示。例如，如果它是 1，920 x 1，080 的顯示器，則它需要為每一幀接收 1，920 x 1，080 像素。但是，不能保證用戶將插入與此匹配的柵格。事實(shí)上，他很可能不會(huì)。相反，傳入的視頻流的格式可能為 1，024 x 768 或類似格式。視頻處理是縮放行為，即將傳入的視頻信號(hào)從一種大小或分辨率轉(zhuǎn)換為另一種大小或分辨率，以便與顯示面板配合使用。這就是通常所說的“視頻處理”，與視頻增強(qiáng)相比，這是一項(xiàng)小壯舉。

視頻增強(qiáng)從視頻處理結(jié)束的地方開始。專為實(shí)時(shí)視頻增強(qiáng)而設(shè)計(jì)的視頻控制器可能從現(xiàn)成的視頻處理芯片或?qū)ｉT構(gòu)建的ASIC開始，該芯片可以預(yù)先進(jìn)行縮放和基本圖像處理。一旦該操作完成，視頻流將被傳遞到特殊用途的處理器，如FPGA以進(jìn)行增強(qiáng)。

當(dāng)然，可以選擇將視頻處理和視頻增強(qiáng)功能組合在一個(gè)ASIC中。事實(shí)上，這是消費(fèi)類電視制造商經(jīng)常做的事情。但是，這種實(shí)現(xiàn)最適合基本的視頻增強(qiáng)，例如邊緣銳化，并且?guī)缀鯖]有為復(fù)雜的圖像增強(qiáng)算法留下多少空間。通過內(nèi)置于實(shí)時(shí)視頻增強(qiáng)的FPGA，可以超越傳統(tǒng)的顯示功能并提供高級(jí)增強(qiáng)功能（圖1）。

圖 1：具有內(nèi)置實(shí)時(shí)視頻增強(qiáng)功能的顯示控制器：視頻處理芯片對(duì)傳入的視頻流進(jìn)行格式化，以滿足顯示要求。FPGA運(yùn)行圖像增強(qiáng)算法，以實(shí)現(xiàn)顯著更好的圖像清晰度。

驚人的算法是計(jì)算密集型的

任何熟悉照片編輯程序（如 Adobe Photoshop）的人都可以欣賞軟件算法在增強(qiáng)靜止圖像方面的強(qiáng)大功能。使用復(fù)雜的軟件算法將數(shù)學(xué)函數(shù)應(yīng)用于圖像矩陣，可以在不丟失細(xì)節(jié)的情況下揭示隱藏的視覺信息層。這是一種純粹的數(shù)學(xué)方法，利用所有可用的圖像信息，包括人眼通常不可見的部分。

在過去的幾十年中，使用直方圖操作、卷積、形態(tài)學(xué)、過采樣和欠采樣、量化和光譜處理（包括傅里葉變換和離散余弦變換 （DCT））等技術(shù)開發(fā)了大量的圖像處理算法。這些算法往往是計(jì)算密集型的。傳統(tǒng)的處理器技術(shù)無(wú)法提供滿足 FMV 所需的性能，速度高達(dá) 60 幀/秒 （fps），或每 16.67 毫秒 1 幀。處理標(biāo)清 （SD） 視頻流需要大約 150 到 200 千萬(wàn)億次浮點(diǎn)運(yùn)算，而 1，080p 流需要大約 1.2 萬(wàn)億次浮點(diǎn)運(yùn)算。這就是 FPGA 發(fā)揮作用的地方。

卷積核過濾在工作

當(dāng)使用并行處理技術(shù)重寫圖像增強(qiáng)算法并移植到FPGA時(shí)，可以實(shí)時(shí)顯著增強(qiáng)ISR視頻。在多種類型的圖像增強(qiáng)算法中，空間卷積核濾波產(chǎn)生的結(jié)果最顯著。

雖然卷積濾波的基礎(chǔ)數(shù)學(xué)很復(fù)雜，但執(zhí)行圖像卷積運(yùn)算非常簡(jiǎn)單。卷積核根據(jù)感興趣的像素值與其周圍像素的值之間的關(guān)系生成新的像素值。在卷積中，兩個(gè)函數(shù)相互疊加和相乘。其中一個(gè)函數(shù)是視頻幀圖像，另一個(gè)是卷積核。幀圖像由一大數(shù)組表示，這些數(shù)字是 x 軸和 y 軸中的像素值。卷積核是一個(gè)較小的數(shù)組，或一個(gè)掩碼，其中的值是根據(jù)所需的過濾函數(shù)（例如，模糊、銳化和邊緣檢測(cè)）分配的。此數(shù)組的大?。ǚQ為內(nèi)核大?。┐_定將使用多少個(gè)相鄰像素來(lái)生成新像素。在卷積中，內(nèi)核對(duì)圖像進(jìn)行操作，以便在每次應(yīng)用掩模時(shí)創(chuàng)建一個(gè)新像素，因此必須對(duì)圖像中的每個(gè)像素重復(fù)該操作（圖 2）。

圖 2：卷積核掩碼操作：源像素被自身及其相鄰像素的加權(quán)平均值替換。

大果仁產(chǎn)生更好的結(jié)果

卷積是計(jì)算密集型的，因此大多數(shù)實(shí)現(xiàn)僅使用小內(nèi)核（3 x 3，9 x 9，16 x 16）。但是，使用獨(dú)特的非傳統(tǒng)編程技術(shù)，可以實(shí)現(xiàn)非常大的卷積核，從而產(chǎn)生更好的結(jié)果。非常大的內(nèi)核產(chǎn)生更好結(jié)果的原因與給定區(qū)域（稱為空間頻率）上亮度的范圍和變化有關(guān)。

在處理時(shí)，通過考慮以每個(gè)像素為中心的大型鄰域中的數(shù)據(jù)，大內(nèi)核包含更大的空間頻率范圍。傳統(tǒng)的小核處理只能增強(qiáng)最高空間頻率下的細(xì)節(jié)，這些頻率通常只包含圖像的光譜內(nèi)容（全色范圍），并且是噪聲普遍存在的地方。因此，小型內(nèi)核處理器必須采用高增益才能對(duì)圖像產(chǎn)生明顯的影響。高增益往往會(huì)產(chǎn)生清晰的輪廓偽像，并增加可見的噪點(diǎn)。大的內(nèi)核處理（在圖像的更多“肉”上操作）可以產(chǎn)生顯著的結(jié)果，增益要低得多，并具有大面積著色的額外好處，產(chǎn)生更自然的圖像，增加局部對(duì)比度，增加維度，并改善細(xì)微細(xì)節(jié)和特征的可見性。

一種大型內(nèi)核卷積算法，旨在通過消除霧霾和增強(qiáng)圖像細(xì)節(jié)來(lái)澄清圖像，使用 400 x 400 內(nèi)核。該澄清器算法的工作原理是求解一個(gè)數(shù)學(xué)方程，該方程將“完美圖像”的模型與傳感器相機(jī)捕獲的測(cè)量的不完美圖像相關(guān)聯(lián)。該技術(shù)反向工作，去除損壞的噪聲和圖像模糊，同時(shí)調(diào)整每個(gè)像素的強(qiáng)度，直到出現(xiàn)適合實(shí)時(shí)數(shù)據(jù)的最簡(jiǎn)單的圖像。這個(gè)概念是，因?yàn)橐阎h(huán)境因素會(huì)扭曲圖像，如果知道扭曲是如何產(chǎn)生的，那么它可以被撤消。其他技術(shù)使用的方法可以去除失真并接近真實(shí)圖像，但僅此而已。相比之下，這種方法更進(jìn)一步，繼續(xù)將算法應(yīng)用于圖像，直到它盡可能接近完美圖像。因此，它能夠去除所有不屬于真實(shí)圖像的不必要的數(shù)據(jù)。一旦消除了環(huán)境失真，并且隨著更多真實(shí)圖像的顯現(xiàn)，就會(huì)實(shí)現(xiàn)非凡的清晰度。

追求完美的形象

FPGA 打開了通往大量復(fù)雜算法的大門，這些算法可用于實(shí)時(shí)增強(qiáng) ISR 視頻。FPGA是計(jì)算主力，非常適合軍用視頻顯示控制器應(yīng)用。它們可以承受惡劣的環(huán)境，并滿足嚴(yán)格的軍事要求，包括堅(jiān)固性、溫度耐受性、可靠性和保證較長(zhǎng)的產(chǎn)品壽命。由于 FPGA 可 重新 編 程， 因此 可 實(shí)現(xiàn) 設(shè)計(jì) 靈活 性， 因此 顯示 控制器 可以 輕松 適應(yīng) 變化 的 視頻 標(biāo)準(zhǔn) 或 特殊 任務(wù) 要求。此外，一旦部署，基于FPGA的顯示控制器可以現(xiàn)場(chǎng)升級(jí)，以添加附加功能和新的圖像增強(qiáng)算法。

審核編輯：郭婷