增強的全動態(tài)視頻推進軍用無人機監(jiān)控

來自UAS的實時全動態(tài)視頻（FMV）已成為軍事和情報行動中不可或缺的一部分。隨著這些視頻流在作戰(zhàn)中發(fā)揮越來越大的作用，圖像質(zhì)量不一致或較差正在成為任務(wù)成功的威脅。幸運的是，基于FPGA的并行處理技術(shù)的進步現(xiàn)在允許實時圖像處理，可以顯著提高UAS視頻饋送的質(zhì)量和實用性。FMV路由平臺也是確保FMV數(shù)據(jù)落入正確手中不可或缺的一部分。

軍事戰(zhàn)略家正在與無人駕駛飛機系統(tǒng)（UASs）合作，以提供當(dāng)今作戰(zhàn)環(huán)境所需的視覺監(jiān)視。去年，空軍首次訓(xùn)練了比傳統(tǒng)戰(zhàn)斗機和轟炸機飛行員加起來更多的無人駕駛飛機飛行員。機器人技術(shù)，尤其是UAS，已經(jīng)改變了作戰(zhàn)的性質(zhì)。

UASs可以將視頻直接傳輸?shù)礁浇牡孛婵刂普?，或通過衛(wèi)星廣播到全球的指揮中心。它們提供了戰(zhàn)斗區(qū)的按需特寫視圖，否則這是不可能實現(xiàn)的。無人機使指揮官能夠在安全距離內(nèi)做出決定和執(zhí)行任務(wù)，而不會危及其部隊的生命。負責(zé)UAS突破性能力和隨后的戰(zhàn)爭轉(zhuǎn)型的關(guān)鍵使能技術(shù)是全動態(tài)視頻（FMV）。實際上，如果沒有來自飛機機載攝像頭的FMV，飛行員將無法從地面遠程導(dǎo)航UAS。

問題在于，即使是從最佳角度看，即使是最復(fù)雜的相機，也可能無法提供關(guān)鍵任務(wù)應(yīng)用所需的清晰可靠的可見性。例如，現(xiàn)場部署的UAS飛機會遇到大氣條件，如黃昏，黎明，霧，霧，煙霧和明亮的陽光。此外，在UAS等移動平臺上生成高質(zhì)量圖像由于其運動和由此產(chǎn)生的圖像視角而帶來了一些有趣的挑戰(zhàn)。視頻圖像的質(zhì)量可能會因攝像機視場狹窄、數(shù)據(jù)鏈路降級、帶寬限制或高度混亂的視覺場景（如城市地區(qū)或山區(qū)地形）而受到影響。事實上，軍方報告說，F(xiàn)MV圖像的質(zhì)量不一致是一個嚴重的問題。任務(wù)的成功通常取決于積極識別目標(biāo)的能力，這需要清晰的圖像，在許多情況下，需要增強的圖像。

幸運的是，現(xiàn)在可以解決這些問題并顯著提高FMV圖像質(zhì)量?；贔PGA的并行處理技術(shù)的最新進展現(xiàn)在提供了使用復(fù)雜的圖像處理軟件算法所需的計算能力，這些算法可以實時產(chǎn)生顯著增強的FMV。將FMV路由到適當(dāng)手中的平臺也是不可或缺的。

并行處理打破了速度障礙

數(shù)字圖像處理科學(xué)已經(jīng)產(chǎn)生了大量有用的圖像處理軟件算法。這些算法中的大多數(shù)最初都是為處理靜止圖像而開發(fā)的。這些算法往往是計算密集型的，在過去，處理器技術(shù)無法提供跟上FMV需求所需的速度。若要了解 FMV 的處理要求，請考慮以下示例。每秒的幀數(shù)、每幀的行數(shù)和每行的像素數(shù)取決于視頻標(biāo)準(zhǔn)。美國國家電視系統(tǒng)委員會 （NTSC） 標(biāo)清視頻以 720 x 480 或全 D1 分辨率以每秒 30 幀的速度進行數(shù)字化，從而產(chǎn)生 10.4 MHz 的像素速率。此外，高清 （HD） 視頻標(biāo)準(zhǔn)每幀的數(shù)據(jù)量高達 6 倍。因此，計算負載可能高出六倍。

每個像素所需的實際處理量取決于圖像處理算法。例如，流行的邊緣檢測算法要求每個像素大約 130 次操作。再加上以多種分辨率運行，使用時鐘速度為600 MHz的可編程DSP串行實現(xiàn)該算法只能處理每秒460萬像素。這不足以支持高分辨率的實時視頻流。例如，高清全動態(tài)視頻 （HD FMV） 流更適合以 30 fps 的速度處理算法，全分辨率為 1，920 x 1，080 像素：像素速率為 1600 萬像素/秒。此外，處理一個樣本所需的時間可能長于兩個連續(xù)樣本到達之間的時間，因此需要并行執(zhí)行操作。因此，數(shù)字視頻信號的實時處理需要并行處理來處理高數(shù)據(jù)吞吐量。

如今，有一些FPPA可以實時處理FMV，并且可以擴展以處理任意數(shù)量的視頻流。與其他處理器相比，F(xiàn)PGA的優(yōu)勢在于其無與倫比的并行處理能力。FPGA受益于任意數(shù)量的數(shù)據(jù)路徑和操作，直至器件容量的限制。但是，盡管FPGA的速度很快，但要實現(xiàn)實時FMV所需的零延遲目標(biāo)，就需要一些獨創(chuàng)性。訣竅是根據(jù)第一幀計算必要的調(diào)整，但將其應(yīng)用于下一幀，依此類推。下一幀的計算與當(dāng)前幀的處理并行完成，因此不會引入延遲。

開放式架構(gòu)算法提供高質(zhì)量的圖像

使用基于FPGA的圖像處理平臺可以應(yīng)用現(xiàn)有和新的圖像處理算法來解決高質(zhì)量FMV圖像的許多障礙。

這樣的平臺將受益于一個開放的架構(gòu)，該架構(gòu)將促進算法移植，從而更容易地利用市售的各種圖像處理算法。

現(xiàn)有的圖像處理算法為從 FMV 流中獲取新的有用信息提供了無數(shù)的可能性。有圖像增強算法可以過濾掉視覺干擾，同時調(diào)整對比度和顏色，以幫助眼睛專注于感興趣的元素。其他算法可以精確定位隱藏在大景觀中的主題，就像大海撈針一樣。圖像馬賽克算法可以將來自多個攝像頭和多個視角的圖像拼接在一起，形成一個統(tǒng)一的更高分辨率視圖。還有編碼/解碼和壓縮/解壓縮算法，使圖像數(shù)據(jù)傳輸和存儲更加高效。算法可以單獨使用，也可以將多個算法應(yīng)用于同一視頻流。

基于 FPGA 的圖像 處理 算法 可以 在 并行 和 順序 模式 中 運行。在并行模式下，圖像幀可以同時饋送到多個FPGA中，每個FPGA都在其分配的感興趣區(qū)域工作。在順序（或菊花鏈模式）下，一個FPGA的輸出被饋送到隨后的FPGA中以進行額外的處理。例如，視頻流可能首先需要處理以消除空間或時間噪聲，然后再流入發(fā)生穩(wěn)定、對象識別或其他功能的第二種算法。因此，許多不同類型的算法對于UAS應(yīng)用非常重要。這些算法包括色度摳像、穩(wěn)定、融合、局部自適應(yīng)對比度和跟蹤移動器等。

用于動態(tài)、增強型 FMV 路由的平臺

以實時速度捕獲高質(zhì)量圖像只是解決方案的一部分。能夠在正確的時間將正確的視覺信息發(fā)送給正確的人也同樣重要。例如，地面站人員可能會使用來自UAS的FMV來駕駛飛機，而華盛頓的指揮人員將需要同一視頻饋送的不同視圖來識別目標(biāo)。

將大規(guī)模視頻路由功能與復(fù)雜的圖像處理相結(jié)合的集成平臺將是軍事現(xiàn)場行動的理想選擇。此平臺可能使用交換結(jié)構(gòu)作為視頻矩陣交換機，以允許將任何視頻輸入路由到任何視頻輸出，包括多個輸出。視頻輸入可以路由到任何算法或算法的任意組合。這樣的平臺可以獲取任何視頻源，并將其路由到連接的顯示器或網(wǎng)絡(luò)連接的任意組合。它可以將多個源路由到一個監(jiān)視器，或路由到監(jiān)視器中的虛擬屏幕。操作員可以打開或關(guān)閉圖像處理功能，或者使用觸摸屏交換主窗口和畫中畫窗口。

這種類型的平臺提供任務(wù)可配置的聊天，移動地圖，平視顯示器，傳感器視頻和態(tài)勢感知。對于UAS監(jiān)控，該技術(shù)可以安裝在UAS地面控制站（GCS）上，以將圖像增強和邊緣檢測算法應(yīng)用于傳入的視頻流。邊緣檢測算法將識別異常形狀并突出顯示監(jiān)視和炸彈損壞評估（BDA）的細節(jié)。

突破性的圖像清晰度

來自UAS的實時，高質(zhì)量，實時FMV已成為軍事和情報行動中不可或缺的一部分。新的 COTS 系統(tǒng)利用 FPGA 進行實時、可擴展的圖像處理，例如 Z 微系統(tǒng)隨處圖像 （AIA） 系統(tǒng)，可提供前所未有的視覺清晰度。

審核編輯：郭婷