智能化紅外焦平面應(yīng)用前景與發(fā)展現(xiàn)狀綜述

智能化紅外焦平面探測器的出現(xiàn)，依賴于先進(jìn)的紅外材料、器件技術(shù)和工藝水平以及集成電路技術(shù)和工藝的飛速發(fā)展；其能夠針對不同的場景對探測器的工作狀態(tài)進(jìn)行自適應(yīng)調(diào)整，而且在探測器上能夠?qū)崿F(xiàn)部分信號處理功能。智能化紅外探測器的出現(xiàn)，大大提高了紅外系統(tǒng)的靈活性，同時為日益復(fù)雜的探測場景提供了更加精準(zhǔn)的探測能力。

據(jù)麥姆斯咨詢報道，近期，中電科光電科技有限公司的科研團(tuán)隊(duì)在《激光與紅外》期刊上發(fā)表了以“智能化紅外焦平面應(yīng)用前景與發(fā)展現(xiàn)狀”為主題的文章。該文章第一作者為袁媛。

本文從智能化紅外探測器應(yīng)用的背景需求作為切入點(diǎn)，闡明發(fā)展智能化探測器的必要性；最后介紹了智能化紅外探測器發(fā)展?fàn)顩r及未來發(fā)展趨勢。

智能化紅外焦平面發(fā)展的背景需求

智能化紅外系統(tǒng)是用紅外傳感器代替人的眼睛，用專用高速微型計算機(jī)模擬人的分析、推理、判斷、決策等邏輯功能，用“算法”復(fù)制人的思維過程。而智能化紅外傳感器在“看”的同時，也要對看到信息作出判斷和反饋，從而替代高速微型計算機(jī)完成思維過程。

在現(xiàn)代軍事應(yīng)用中，為實(shí)現(xiàn)紅外系統(tǒng)高集成度小型化，需要進(jìn)一步降低系統(tǒng)的體積、重量、功耗等；同時，為了使后端成像系統(tǒng)更加簡化，部分成像算法需要在探測器內(nèi)部實(shí)現(xiàn)；以上兩個應(yīng)用成為智能化紅外焦平面技術(shù)發(fā)展的動力。根據(jù)實(shí)際應(yīng)用背景，智能化紅外焦平面需要突破一系列關(guān)鍵技術(shù)，從而使紅外系統(tǒng)變得更緊湊，具備靈活機(jī)動性、大大提高了可靠性。如圖1所示為智能化紅外探測器概念示意圖。

圖1 智能化紅外探測器概念示意圖

紅外遙感應(yīng)用需求

紅外遙感中在對區(qū)域目標(biāo)進(jìn)行成像時，探測器的視場角和像素數(shù)量限制了衛(wèi)星單次觀測的信息量，成像系統(tǒng)單次獲取的信息無法形成完整視場圖像，因此需要采用紅外圖像拼接技術(shù)將多次觀測獲取的不同圖像拼接到一起，從而獲得探測區(qū)域的完整信息。

紅外遙感圖像拼接的原理是將多張紅外遙感圖像重疊的區(qū)域進(jìn)行特征點(diǎn)提取、描達(dá)，最終通過圖像融合拼接成一張圖像。其中，圖像特征匹配（特征點(diǎn)提取、描述）是紅外遙感圖像拼接至關(guān)重要的一步，該過程的數(shù)據(jù)會對圖像質(zhì)量的高低與獲取圖像時間的長短產(chǎn)生重要影響。為了使各圖像重疊區(qū)域的特征能夠精確匹配，需要對探測器采集的多張原始圖像進(jìn)行圖像預(yù)處理，保證拼接過程中對圖像特征點(diǎn)的抓取淮確度以及特征點(diǎn)匹配精度不受原始圖像質(zhì)量影響。

紅外成像電路從探測器杜瓦接口處獲得的電信號往往會受到杜瓦內(nèi)部排線的干擾，從而在讀出電路輸出電信號上疊加了噪聲，特別是對于航天遙感應(yīng)用的大面陣、長線列拼接探測器；另外，在傳統(tǒng)的模擬域讀出電路內(nèi)部，探測器積分信號在讀出電路內(nèi)部傳輸鏈路上也易受到干擾，使探測器信噪比降低。這就使得紅外遙感原始圖像的信噪比、對比度和像素分辨率都處于較低水平，圖像的邊緣信息模糊不夠銳利，后端成像系統(tǒng)很難直接從圖像中獲得足夠精準(zhǔn)的信息，因此需要對原始圖像進(jìn)行圖像增強(qiáng)預(yù)處理。為了簡化圖像拼接過程，縮短圖像拼接時間，希望將圖像增強(qiáng)及降噪預(yù)處理放在探測器內(nèi)實(shí)現(xiàn)，通過簡單的時間、空間濾波等算法，獲得高信噪比、高對比度的原始圖像。

圖像預(yù)處理的另一個目的就是在探測器片外進(jìn)行盲元替換。紅外探測器存在盲元，其反應(yīng)在圖像上是分布在圖像中的一些無規(guī)律的白點(diǎn)或者黑點(diǎn)，若對地遙感成像時各張圖像中重復(fù)的位置落在盲元上，那么當(dāng)對圖像進(jìn)行相關(guān)的配準(zhǔn)時，會由于盲元的存在而造成對特征點(diǎn)抓取困難，從而導(dǎo)致匹配準(zhǔn)確率下降。在成像系統(tǒng)中對遙感原始圖像的盲元替代工作量非常大，若探測器能夠在成像過程中，實(shí)時檢測盲元，并對盲元進(jìn)行補(bǔ)償，那么將大大減輕圖像預(yù)處理的數(shù)據(jù)量；在紅外探測器內(nèi)部實(shí)現(xiàn)實(shí)時盲元檢測和補(bǔ)償?shù)牧硪粋€好處，是可以避免探測器在使用中產(chǎn)生地面無法獲得的臨時盲元信息，從而無法進(jìn)行地面盲元補(bǔ)償，降低各張圖像間的匹配準(zhǔn)確率。

紅外制導(dǎo)應(yīng)用需求

為了更好地適應(yīng)未來信息化電子戰(zhàn)環(huán)境，紅外導(dǎo)引頭作為紅外精確制導(dǎo)武器系統(tǒng)的核心，需要具備更強(qiáng)的紅外探測能力、更快的圖像實(shí)時處理速度和更敏銳的電子感知能力。其中，紅外成像探測技術(shù)、圖像實(shí)時處理技術(shù)等均是現(xiàn)階段各個國家圍繞提高制導(dǎo)武器系統(tǒng)智能化水平和抗干擾能力的重點(diǎn)發(fā)展方向。

紅外成像探測技術(shù)

隨著新型紅外干擾技術(shù)的日益發(fā)展，紅外成像探測技術(shù)所面臨的目標(biāo)信息、環(huán)境狀態(tài)和任務(wù)使命均更加復(fù)雜化多樣化。這就要求紅外探測器具備大視場、高分辨率的大規(guī)格、小尺寸像元特征；而且為了有效降低數(shù)據(jù)壓縮、特征提取以及數(shù)據(jù)鏈傳輸?shù)膹?fù)雜性，紅外探測器需要具備智能焦平面陣列的全數(shù)字化信息處理能力。

此外，紅外成像探測維度日趨豐富，目標(biāo)探測、跟蹤與識別的信號空間逐漸地由低維度向高維度演化，其表現(xiàn)為信號輸入維度和處理維度呈逐步增加的趨勢，這就引起了較高光譜分辨率和探測低特征目標(biāo)所需要的探測靈敏度的矛盾。為了解決這一矛盾，需要紅外探測器能夠動態(tài)感知目標(biāo)場景，并根據(jù)目標(biāo)場景變化具備實(shí)現(xiàn)動態(tài)開窗、局部像元重構(gòu)等能力，結(jié)合片內(nèi)數(shù)據(jù)信號壓縮感知算法（利用適度規(guī)格紅外焦平面陣列獲得的高分辨率圖像），在不影響高分辨率的同時提高低特征目標(biāo)的靈敏度。

圖像實(shí)時處理技術(shù)

在紅外制導(dǎo)系統(tǒng)中，圖像實(shí)時處理技術(shù)是對來自紅外成像探測系統(tǒng)信號進(jìn)行分析與甄別，并對目標(biāo)信號中的背景噪聲和紅外誘餌干擾進(jìn)行撇除，提取真實(shí)的目標(biāo)信號，進(jìn)而計算目標(biāo)位置和命中點(diǎn)。一般包括紅外圖像預(yù)處理、紅外圖像實(shí)時檢測、目標(biāo)圖像實(shí)時跟蹤三類關(guān)鍵技術(shù)。其中，目標(biāo)圖像實(shí)時跟蹤是紅外導(dǎo)引頭圖像實(shí)時處理的關(guān)鍵技術(shù)之一，現(xiàn)階段實(shí)現(xiàn)高精度目標(biāo)跟蹤的算法已經(jīng)獲得重大突破，但仍亟待解決的是算法運(yùn)算量和存儲空間的需求增加，造成實(shí)時跟蹤上的困難，這就對紅外探測器智能化提出了要求。希望通過在紅外焦平面讀出電路上完成時間濾波、空間濾波、圖像穩(wěn)定等算法，將圖像噪聲、背景抑制等預(yù)處理功能放在探測器內(nèi)部完成，片外釋放出的數(shù)據(jù)存儲空間可以更多的被目標(biāo)圖像實(shí)時跟蹤技術(shù)利用；另外，在片上增加運(yùn)動檢測、目標(biāo)軌跡識別等圖像實(shí)時檢測功能，可以大大降低紅外探測器數(shù)據(jù)吞吐量，從而降低目標(biāo)圖像實(shí)時跟蹤算法運(yùn)算量以及信號空間存儲量。

智能化紅外焦平面研制進(jìn)展

21世紀(jì)初期，由軍事需求做牽引，美國、法國、英國等西方技術(shù)發(fā)達(dá)國家提出了紅外焦平面智能化概念，意圖簡化外部信息處理，提高搜索速度和態(tài)勢感知速度，減小體積、質(zhì)量，降低功耗和成本，提高可靠性。

從傳統(tǒng)的被動接收光電信號并將其轉(zhuǎn)化為模擬域電壓信號，到對接收的光電信號進(jìn)行數(shù)字域信號轉(zhuǎn)化、片上信號處理功能、自主分析反饋，最后達(dá)到自主學(xué)習(xí)能力，智能化焦平面的發(fā)展不是一蹴而就的，其發(fā)展需通過技術(shù)不斷積累創(chuàng)新，也需要其他新興技術(shù)的支持。

智能化紅外焦平面基礎(chǔ)階段———數(shù)字像元焦平面

數(shù)字像元焦平面技術(shù)是實(shí)現(xiàn)智能化紅外焦平面的技術(shù)基礎(chǔ)，焦平面各光電二極管獲得的所有光電信號在讀出電路上都被轉(zhuǎn)換為數(shù)字格式，利用數(shù)字域信號處理的靈活性，在芯片級完成多種復(fù)雜的計算、控制等功能。因此，紅外數(shù)字像元焦平面是智能化紅外焦平面的初期階段。

法國sofradir公司聯(lián)合CEA-LETI研制出的幾款數(shù)字像元探測器在探測靈敏度、動態(tài)范圍等性能方面具備較高水平。土耳其自然科學(xué)工程院在兩步量化技術(shù)上也頗有研究，2015年，其報道了陣列規(guī)模32×32，中心間距30 μｍ兩級量化數(shù)字化焦平面樣品及測試結(jié)果。圖2為像素級數(shù)字化結(jié)合TDI功能讀出電路的結(jié)構(gòu)圖。

圖2 像素級數(shù)字化結(jié)合TDI功能讀出電路結(jié)構(gòu)圖

目前，國內(nèi)已具備數(shù)字像元焦平面探測器制備能力，多家致力于紅外焦平面研制的單位均已開展對數(shù)字像元焦平面的研制，并有相應(yīng)樣品報道。雖然已具備開展智能化紅外焦平面的基礎(chǔ)，但是受限于技術(shù)水平及CMOS工藝水平等，我國智能化紅外焦平面樣品問世還需要一段時間。

智能化紅外焦平面初級階段———被動式片上信號處理功能

在數(shù)字像元焦平面技術(shù)基礎(chǔ)上，利用光電信號轉(zhuǎn)換后的數(shù)字域信號為實(shí)現(xiàn)片上信號處理提供能了可能。

可變空間分辨率技術(shù)可以看做最早在焦平面內(nèi)實(shí)現(xiàn)的片上信號處理功能。在美國空軍研究實(shí)驗(yàn)室的贊助下，美國Nova Biomimietcs公司研制出一款像素陣列320×256，通過像元重構(gòu)獲得具有分辨率幀速率可變功能的紅外焦乎面。這種器件通過片外程控，用戶以幀速率調(diào)整陣列元空間分布，像元的空間組態(tài)可以依據(jù)用戶需求調(diào)整出各種組合狀態(tài)。像元空間分布窗口的中心可在整個焦平面陣列內(nèi)移動，從而獲實(shí)現(xiàn)探測目標(biāo)的高精度跟蹤。這種片上可變空間分辦率技術(shù)，對于所關(guān)心的探測目標(biāo)在空間維度上能夠達(dá)到最優(yōu)的空間分辨率，同時將不在探測關(guān)心范圍內(nèi)的背景像元利用更大超像元模式輸出實(shí)現(xiàn)高幀頻，這就使探測器在超寬的視場中具各最優(yōu)的分辦率，圖3展示了探測器不同像元空間組態(tài)及讀出狀態(tài)特征。此技術(shù)唯一的缺點(diǎn)是需要用戶在探測器外部進(jìn)行程控，探測器不具備自適應(yīng)能力。

圖3 不同像元空間組態(tài)及讀出狀態(tài)特征

美國麻省理工林肯實(shí)驗(yàn)室，一直致力于開發(fā)數(shù)字智能化焦平面陣列讀出電路。2006年，研制出的第一款數(shù)字像元焦平面探測器就利用信號在正交的四個方向上進(jìn)行數(shù)據(jù)傳輸并與像素內(nèi)計算相結(jié)合，實(shí)現(xiàn)背景減除和空間濾波功能，該探測器陣列規(guī)模256×256，像元中心間距30 μｍ，讀出電路采用90 nm CMOS工藝，圖4展示了信號正交傳輸數(shù)字像元讀出電路原理圖。

圖4 信號正交傳輸數(shù)字像元讀出電路原理圖

隨后幾年，林肯實(shí)驗(yàn)室以相同陣列規(guī)模探測器作為典型產(chǎn)品，通過片上功能算法開發(fā)、像素級ADC優(yōu)化，至2014年，采用更小CMOS線寬65 nm工藝，使得讀出電路片上集成的功能達(dá)到頂峰。其通過像素內(nèi)雙向計數(shù)ADC使探測器獲得對變化場景實(shí)時探測及背景減除的能力；通過正交傳輸架構(gòu)，在獲取圖像時將圖像與預(yù)定義的濾波核進(jìn)行卷積，這就可以在片內(nèi)實(shí)現(xiàn)對二維圖像數(shù)據(jù)進(jìn)行低通濾波、高通濾波、紋理濾波，而不需要額外的成像處理系統(tǒng)對圖像進(jìn)行過濾，進(jìn)而實(shí)現(xiàn)了片上圖像穩(wěn)定處理、非均勻性校正、盲元替換、圖像時間空間濾波、圖像鎖定和放大等功能，圖5為采用不同圖像濾波算法得到的成像圖；通過像素內(nèi)增益轉(zhuǎn)換，使得讀出電路可以匹配從短波到甚長波紅外焦平面的應(yīng)用。雖然實(shí)現(xiàn)了多種片上信號處理功能，但是這些功能都是通過片外觸發(fā)的，距離自適應(yīng)智能化焦平面還有差距。未來，他們規(guī)劃將焦平面規(guī)模擴(kuò)展到4028×4028規(guī)模，像元間距縮小到12 μｍ以下，采用≤32 nm CMOS線寬工藝，重點(diǎn)是要在像素內(nèi)實(shí)現(xiàn)閾值比較邏輯計算，初步實(shí)現(xiàn)焦平面自適應(yīng)能力。

圖5 不同圖像濾波算法成像圖

美國Senseeker Engineering公司，在2021年報道了一款數(shù)字化高動態(tài)紅外成像儀，利用數(shù)字化焦平面技術(shù)實(shí)現(xiàn)幀內(nèi)高動態(tài)成像，替代傳統(tǒng)的采用多幀圖像組合的幀間高動態(tài)成像，大大提高了時間分辨率，并且解決了運(yùn)動目標(biāo)成像模糊的問題。該高動態(tài)紅外成像儀規(guī)模為1280×720，幀內(nèi)高動態(tài)成像是通過不同的積分時間對相鄰像素進(jìn)行空間插值來獲得的，圖6給出了不同時間交替積分的2×2像素棋盤陣列，實(shí)際電路中時間交替集成陣列規(guī)?？梢愿鶕?jù)不同應(yīng)用場景在外部程序控制下擴(kuò)展到任意規(guī)模，圖7展示了在同一場景下不同積分模式下得到的幀圖像。實(shí)現(xiàn)在不影響時間分辨率的情況下動態(tài)范圍提升了57 dB，并且基本保持了空間分辨率。不難看出，這種像素棋盤陣列的長短時間交替積分功能，在探測器內(nèi)部利用較少的資源實(shí)現(xiàn)片上圖像處理功能。

圖6 不同時間交替積分2×2像素棋盤陣列

圖7 同一場景的不同積分模式下幀圖像

英國航空航天系統(tǒng)公司（BAE）公司在智能化紅外焦平面研制方面也頗有成就，其采用三維垂直集成技術(shù)（如圖8所示），將焦平面、專用集成電路芯片、動態(tài)存儲器陣列芯片通過垂直互連從而能夠在探測器內(nèi)部實(shí)現(xiàn)高級圖像處理。雖然該焦平面為非制冷型，但三維垂直集成技術(shù)的出現(xiàn)，為焦平面智能化提供了更多的可能性。

圖8 采用三維垂直集成技術(shù)的智能化焦平面架構(gòu)

雖然目前單片集成像素探測感知、信號計算、圖像處理能力的紅外焦平面已經(jīng)被成功研制，但是仍然采用“先感知、后計算處理”以及外部程控的方式，距離完全智能化還有一定差距。

智能化紅外焦平面高級階段———自適應(yīng)能力及自主學(xué)習(xí)能力

智能化紅外焦平面的終極目標(biāo)，是實(shí)現(xiàn)能夠?qū)Σ煌瑘鼍?、探測目標(biāo)的實(shí)時變化通過調(diào)整參數(shù)配置，自動收集最相關(guān)數(shù)據(jù)的自適應(yīng)能力；以及對收集到最有價值的信息進(jìn)行自主學(xué)習(xí)判別、在復(fù)雜情況下自動決策的能力。

美國國防高級計劃研究局（DARPA）于2016年提出了“可重構(gòu)成像（Reimagine）”項(xiàng)目，核心目標(biāo)是研制智能化的成像探測器。項(xiàng)目中提出了具有內(nèi)部反饋成像系統(tǒng)的創(chuàng)新概念，該項(xiàng)目重點(diǎn)將開發(fā)自適應(yīng)學(xué)習(xí)的學(xué)習(xí)算法，并將開發(fā)出的創(chuàng)新概念在不同硬件層實(shí)現(xiàn)；利用集成電路的三維垂直集成技術(shù)，可以選擇不同類型探測器芯片與像素ADC讀出電路、適合成像探測器操作目的的硬件層進(jìn)行互連，從而針對不同應(yīng)用需求“重構(gòu)“成像系統(tǒng)（如圖9所示）。

圖9 “可重構(gòu)成像”實(shí)現(xiàn)邏輯圖

該項(xiàng)目將開發(fā)的可重構(gòu)集成電路試圖打破每像素固定資源的傳統(tǒng)模式，取而代之的是提供大量的數(shù)字邏輯資源和可重構(gòu)路由通道，這些路由通道可以根據(jù)需要使用與FPGA相同的編程技術(shù)分配給像素。這些算法能夠根據(jù)場景的背景和各種數(shù)據(jù)的預(yù)測值將信息內(nèi)容最大化并做出決策。

2017年，DARPA同時授予DRS網(wǎng)絡(luò)和成像系統(tǒng)公司、沃克特爾公司（Voxtel）、英國航空航天系統(tǒng)公司（BAE）電子系統(tǒng)部門和洛馬公司（LM）導(dǎo)航和火控部門“可重構(gòu)多功能成像傳感器”合同，計劃用時45個月，完成該項(xiàng)目的研制工作。可以預(yù)見“可重構(gòu)多功能成像傳感器”若成功研制，即將在全球范圍內(nèi)掀起自適應(yīng)能力及自主學(xué)習(xí)能力智能化紅外焦平面的熱潮。

總結(jié)與展望

以紅外制導(dǎo)、紅外遙感等應(yīng)用需求作為牽引，數(shù)字像元焦平面技術(shù)作為技術(shù)基礎(chǔ)，智能化紅外焦平面的研究已經(jīng)取得了階段性的發(fā)展，已經(jīng)獲得具備圖像穩(wěn)定處理、非均勻性校正、盲元替換、圖像時間空間濾波等片上信號處理功能的初級智能化焦平面探測器樣品，其在一定程度上減小傳感器帶寬和傳感器接口數(shù)據(jù)吞吐量，簡化了片外圖像信息處理系統(tǒng)硬件條件。對于自適應(yīng)能力和自主學(xué)習(xí)能力的智能化需求，更高一級的智能化紅外焦平面也正在開發(fā)中。

未來，紅外焦平面?zhèn)鞲衅鞯男螒B(tài)會更加多元化。隨著各學(xué)科技術(shù)的發(fā)展，學(xué)科間的壁壘將不斷被打破，將基于仿生學(xué)、新一代人工智能技術(shù)、以及先進(jìn)的制造技術(shù)等多學(xué)科與紅外焦平面技術(shù)相融合，將計算處理融入傳感器視覺信息感知過程，實(shí)現(xiàn)感知和處理“一體化”的智能型紅外焦平面。

審核編輯：劉清