紅外熱成像信號(hào)處理技術(shù)的最新科研進(jìn)展

1 問(wèn)題的引出

自然界中任何物體的溫度都高于絕對(duì)零度，會(huì)不斷向周圍空間發(fā)射紅外電磁能量。波長(zhǎng)在0.75 ? 1000μm范圍內(nèi)的紅外光位于電磁波譜中微波光和可見(jiàn)光之間。如圖1所示，這一光譜范圍可進(jìn)一步細(xì)分為短波紅外（0.76 ? 1.5μm）、中波紅外（1.5 ? 5.6μm）和長(zhǎng)波紅外（7.8 ? 13.5μm）。常用的可見(jiàn)光成像系統(tǒng)無(wú)法檢測(cè)紅外波長(zhǎng)范圍內(nèi)的能量信號(hào)，因此無(wú)法直接測(cè)量物體的溫度信息。如圖2所示，紅外熱像系統(tǒng)采集物體表面的紅外輻射能量，經(jīng)光學(xué)系統(tǒng)會(huì)聚，把接收的紅外光波映射至二維的紅外焦平面探測(cè)器（focal plane arrays，簡(jiǎn)稱FPA）上。焦平面探測(cè)器中的單個(gè)像元中的吸收層接收到紅外輻射能量后產(chǎn)生溫度變化，進(jìn)而導(dǎo)致非晶硅熱敏電阻的阻值變化，最后，互補(bǔ)式金屬氧化物半導(dǎo)體（complementary metal-oxide-semiconductor，簡(jiǎn)稱CMOS）電路將熱敏電阻阻值的變化轉(zhuǎn)變?yōu)椴罘?a href="http://ttokpm.com/tags/電流/" target="_blank">電流并進(jìn)行積分放大，得到紅外熱焦平面陣列中單個(gè)像元的輸出值。通過(guò)以上紅外熱成像技術(shù)，可以探測(cè)物體本身溫度導(dǎo)致的紅外熱輻射，產(chǎn)生與景物熱輻射分布相對(duì)應(yīng)的紅外熱成像圖像。

圖1 紅外電磁波頻率分布

圖2 紅外信號(hào)采集系統(tǒng)

紅外焦平面探測(cè)器是紅外熱成像系統(tǒng)的核心部件，根據(jù)其成像原理和工作溫度分為制冷和非制冷兩類。制冷紅外焦平面探測(cè)器基于光子探測(cè)原理進(jìn)行紅外輻射成像，具有極高的測(cè)溫靈敏性，能準(zhǔn)確地測(cè)量物體的絕對(duì)溫度，且紅外探測(cè)距離遠(yuǎn)。然而，制冷紅外探測(cè)器的工作性能受環(huán)境溫度變化影響嚴(yán)重。環(huán)境溫度升高會(huì)導(dǎo)致探測(cè)器材料固有的熱輻射能耗迅速增強(qiáng)，暗電流和噪聲的增大將嚴(yán)重降低探測(cè)器的性能，甚至無(wú)法正常工作成像。因此制冷探測(cè)器的正常工作溫度在200K溫度以下，通常需要用液氮制冷，導(dǎo)致其制作和維護(hù)成本昂貴，目前主要應(yīng)用于高端軍事裝備。非制冷紅外焦平面探測(cè)器能夠在室溫狀態(tài)下工作，具有啟動(dòng)快、功耗低、體積小、重量輕、壽命長(zhǎng)及成本低等諸多優(yōu)點(diǎn)。目前，現(xiàn)有的非制冷紅外焦平面探測(cè)器制作工藝可以精確捕捉微小的物體表面溫度變化，例如基于氧化釩（vana-dium oxide，簡(jiǎn)稱VOx）熱敏材料的非制冷紅外焦平面探測(cè)器的單個(gè)成像元在25℃室溫環(huán)境下可以測(cè)量到±0.05℃的溫度變化。雖然非制冷紅外焦平面探測(cè)器在測(cè)溫靈敏度上與制冷器件尚有一定差距，但針對(duì)許多工業(yè)檢測(cè)應(yīng)用已經(jīng)足夠，且性價(jià)比高，因此具有更加廣闊的市場(chǎng)應(yīng)用前景。

紅外熱成像技術(shù)可以將光譜中不可見(jiàn)的紅外輻射信號(hào)轉(zhuǎn)化成為可見(jiàn)的二維圖像，實(shí)現(xiàn)無(wú)光環(huán)境下的優(yōu)秀成像，也可對(duì)物體表面溫度進(jìn)行非接觸式的準(zhǔn)確測(cè)量。紅外熱成像技術(shù)被廣泛應(yīng)用于軍事和民用領(lǐng)域，如生物醫(yī)療、故障診斷、防火消防、智能駕駛及夜視安防等。然而紅外熱成像技術(shù)的發(fā)展也面臨一些主要瓶頸制約問(wèn)題，包括：a.信號(hào)采集系統(tǒng)中焦平面陣列傳感器存在固定模式噪聲干擾，嚴(yán)重影響紅外圖像信號(hào)的成像質(zhì)量；b.紅外探測(cè)器焦平面?zhèn)鞲衅髦谱鞴I(yè)復(fù)雜、成品率低、價(jià)格昂貴，制約了紅外熱成像技術(shù)的工業(yè)廣泛應(yīng)用；c.二維圖像采集過(guò)程中降維映射導(dǎo)致信息損失，影響了基于紅外溫度信息進(jìn)行設(shè)備狀態(tài)監(jiān)測(cè)系統(tǒng)的性能。針對(duì)以上3個(gè)主要問(wèn)題，文中分別闡述在紅外信號(hào)固定模式噪聲建模和除噪、紅外信號(hào)特征重建、多源信息融合3個(gè)紅外信號(hào)處理研究領(lǐng)域的最新科研進(jìn)展。

2 紅外熱成像技術(shù)基本原理

在熱輻射理論，黑體（black body）吸收所有入射放射能量，并根據(jù)普朗克定律產(chǎn)生如下輻射能量：

其中：λ為輻射的波長(zhǎng)（μm）；Mλ為絕對(duì)黑體的光譜輻射出射度（W ? cm2/μm）；T為絕對(duì)溫度（K）；c1和c2分別為第一和第二輻射常量。

在全部波長(zhǎng)范圍內(nèi)對(duì)普朗克公式積分，得到從黑體單位面積輻射至半球空間的總輻射功率，即總輻射出射度的表達(dá)式，通常稱為斯蒂芬?玻爾茲曼定律：

其中：M表示黑體的總輻射出射度（W ? | cm2）；δ為斯蒂芬?玻爾茲曼常數(shù)（5.676 X 10-8 W ? m2? K-4）。

斯蒂芬?玻爾茲曼定律表明了黑體輻射功率和絕對(duì)溫度之間的線性耦合關(guān)系，它是基于物體紅外輻射信號(hào)采集實(shí)現(xiàn)物體溫度測(cè)量的主要理論依據(jù)。根據(jù)維恩位移定律，黑體輻射光譜的極大值對(duì)應(yīng)的波長(zhǎng)為：

其中：b=2897.8 μm ? K。

維恩位移定律表明，光譜輻射出射度的峰值波長(zhǎng)與絕對(duì)溫度成反比，物體溫度愈高，對(duì)應(yīng)輻射的峰值波長(zhǎng)越短。根據(jù)式（3），在200 ? 3800K度范圍內(nèi)物體目標(biāo)的光譜出射度峰值波長(zhǎng)均落在紅外波譜中。因此，可以利用紅外熱成像技術(shù)實(shí)現(xiàn)大溫度范圍內(nèi)物體表面溫度的非接觸式測(cè)量。

3 紅外熱成像系統(tǒng)噪聲形態(tài)建模及補(bǔ)償方法

紅外焦平面探測(cè)器作為紅外熱成像系統(tǒng)的核心部件，需要有極高的溫度響應(yīng)率和靈敏度，因此要求探測(cè)器像元微橋具有良好的熱絕緣性。同時(shí)為保證紅外熱成像的高頻信號(hào)輸出，需使像元的熱容盡量小以保證足夠小的熱時(shí)間常數(shù)。圖3為焦平面中單個(gè)探測(cè)元的結(jié)構(gòu)示意圖。最新紅外像元制作工藝?yán)眉?xì)長(zhǎng)的微懸臂梁支撐熱敏材料以提高絕熱性能。制作輕、薄的橋面結(jié)構(gòu)以減小熱質(zhì)量，并在襯底制作反射層，與橋面之間形成諧振腔，提高紅外吸收效率。利用懸臂梁的兩端將像元微橋與襯底內(nèi)的CMOS讀出電路連接。CMOS電路將熱敏電阻阻值變化轉(zhuǎn)變?yōu)椴罘蛛娏鞑⑦M(jìn)行積分放大，采樣后得到紅外熱圖像中單個(gè)像元的輸出值。

紅外焦平面探測(cè)器的制作工藝復(fù)雜，難以保證每個(gè)單獨(dú)探測(cè)元的溫度響應(yīng)特性一致。此外，非制冷紅外焦平面探測(cè)器單個(gè)探測(cè)元的溫度-輸出響應(yīng)曲線會(huì)隨著相機(jī)工作溫度的變化發(fā)生遷移。如圖4所示，采集的紅外原始圖像（raw image）中包含明顯的固定模式噪聲（fixec-pattern noise，簡(jiǎn)稱FPN），需要對(duì)其進(jìn)行非均勾性矯正（non-uniformity correction），降低噪聲信號(hào)的干擾，獲得真實(shí)反映物體溫度場(chǎng)信息的紅外圖像。

圖3 紅外焦平面探測(cè)器像元結(jié)構(gòu)示意圖

圖4 紅外圖像除噪

利用紅外輻射源對(duì)焦平面探測(cè)元陣列進(jìn)行溫度響應(yīng)曲線標(biāo)定是最常用的非均勻性矯正方法之_。在《Linear theory of nonuniformity correctionin infrared staring sensors》中，通過(guò)采集標(biāo)定源的紅外圖像，利用“兩點(diǎn)矯正法”或“相機(jī)擋板矯正法”計(jì)算單個(gè)成像元的非均勻性誤差的校正參數(shù)（如增益參數(shù)和偏移參數(shù)），并通過(guò)線性矯正模型應(yīng)用于原始圖像中的對(duì)應(yīng)成像元消除陣列空間非均勻性導(dǎo)致的信號(hào)誤差。然而，基于輻射標(biāo)定的非均勻性矯正方法需要使用外置熱源，嚴(yán)重影響了紅外熱成像系統(tǒng)的尺寸、重量、功率及制造成本。此外，在進(jìn)行定期校準(zhǔn)標(biāo)定的過(guò)程中，紅外信息的采集會(huì)被迫中斷數(shù)秒鐘，降低了紅外熱成像儀器的動(dòng)態(tài)實(shí)時(shí)性，無(wú)法捕捉場(chǎng)景中快速變化的目標(biāo)信息。

為了克服上述缺陷，在紅外信號(hào)研究領(lǐng)域中已經(jīng)提出了多個(gè)基于紅外視頻場(chǎng)景分析技術(shù)的無(wú)基準(zhǔn)紅外像元非均勻性矯正方法。Torre等提出了—種基于場(chǎng)景的紅外熱成像陣列非均勻性自適應(yīng)校正方法。利用離散時(shí)間域內(nèi)的高斯?馬爾可夫（Gauss-Marko）建模方法，準(zhǔn)確獲得紅外熱成像陣列傳感器隨環(huán)境溫度變化導(dǎo)致固定模式噪聲中低頻和高頻漂移信號(hào)的不同形態(tài)規(guī)律。通過(guò)卡爾曼濾波器（Kalman filter）對(duì)陣列像元的輸出信號(hào)進(jìn)行時(shí)間域?yàn)V波分析，計(jì)算出探測(cè)器像元非均勻性矯正所需的增益和偏差參數(shù)。Vera等提出了一種基于場(chǎng)景輻照度變化估值最小化的紅外陣列非均勻性矯正方法。利用交替最小化的策略對(duì)定義的各向同性總變差損失函數(shù)進(jìn)行優(yōu)化，以更快的收斂速度準(zhǔn)確計(jì)算焦平面陣列中各個(gè)探測(cè)器的非均勻性矯正參數(shù)。然而，基于場(chǎng)景分析的非均勻性矯正方法通常需要緩存并處理一定數(shù)目的紅外圖像幀，才能完成非均勻性矯正參數(shù)的穩(wěn)定計(jì)算，因此難以實(shí)現(xiàn)基于現(xiàn)場(chǎng)可編程門陣列（field programable gate array，簡(jiǎn)稱FPGA）等信號(hào)處理硬件的實(shí)時(shí)計(jì)算。此外，基于場(chǎng)景分析的矯正方法需要其處理的圖像序列中包含足夠的場(chǎng)景信息變化，否則前幀圖像中的物體會(huì)作為偽影信息疊加至當(dāng)前幀。如圖5所示，此類偽影信息的產(chǎn)生將嚴(yán)重影響紅外圖像信息的真實(shí)性。

圖5 基于場(chǎng)景分析的紅外圖像非均勻性矯正過(guò)程中引入的偽影信息

由于以上基于熱源標(biāo)定和場(chǎng)景分析的非均勻性矯正方法的性能缺陷，紅外信號(hào)處理領(lǐng)域的研究焦點(diǎn)已逐漸轉(zhuǎn)移至基于單幀圖像處理的無(wú)基準(zhǔn)紅外焦平面陣列矯正方法的研發(fā)。Tendero等提出了一種基于中位直方圖均衡處理技術(shù)的單幀紅外圖像非均勻性矯正方法。如圖6所示，通過(guò)對(duì)像元列中不同輸出信號(hào)的出現(xiàn)頻率進(jìn)行概率統(tǒng)計(jì)，可以在保持紅外細(xì)節(jié)信息的同時(shí)有效消除紅外圖像中的條狀固定模式噪聲。如圖7所示，筆者設(shè)計(jì)并搭建固定模式噪聲信號(hào)模擬實(shí)驗(yàn)平臺(tái)，分析不同輻射強(qiáng)度輸入在紅外焦平面陣列上導(dǎo)致固定模式噪聲的形態(tài)特征，發(fā)現(xiàn)紅外熱成像系統(tǒng)中的條狀固定模式噪聲與輻射輸入呈局部線性耦合關(guān)系。

圖6 進(jìn)行條狀固定模式噪聲矯正前后的紅外圖

圖7 固定模式噪聲信號(hào)模擬實(shí)驗(yàn)平合示意圖

在對(duì)干擾噪聲進(jìn)行形態(tài)建模的基礎(chǔ)上，筆者提出基于一維引導(dǎo)濾波器的單幀紅外圖像非均勻性矯正方法，將高頻的紋理信息和干擾噪聲進(jìn)行準(zhǔn)確分離，并可以通過(guò)FPGA可編程信號(hào)處理器進(jìn)行實(shí)時(shí)圖像矯正處理。最近，科研人員開(kāi)始嘗試將深度學(xué)習(xí)領(lǐng)域中的科研成果應(yīng)用于解決紅外領(lǐng)域中的除 噪問(wèn)題。Kuang等在不同場(chǎng)景采集無(wú)噪聲紅外圖像，并通過(guò)條狀噪聲形態(tài)模型，模擬產(chǎn)生有固定模式噪聲的輸入圖像，通過(guò)搭建雙層卷積神經(jīng)網(wǎng)絡(luò)，以監(jiān)督學(xué)習(xí)的方式計(jì)算最優(yōu)的除噪模型參數(shù)，并通過(guò)圖形處理器（graphics processing unit，簡(jiǎn)稱GPU）并行編程實(shí)現(xiàn)視頻流的實(shí)時(shí)處理。然而，基于深度網(wǎng)絡(luò)學(xué)習(xí)的紅外圖像除噪研究尚處在起步階段?！禨ingle infrared image stripe noise removal using deep convolutional networks》中提出的條狀除噪方法僅通過(guò)簡(jiǎn)單的線性噪聲模型產(chǎn)生訓(xùn)練樣本，因此訓(xùn)練的深度網(wǎng)絡(luò)模型只能在模擬產(chǎn)生的含噪圖像上取得了較好的除噪效果，無(wú)法應(yīng)用于包含復(fù)雜噪聲形態(tài)變化的真實(shí)紅外圖像上。如何實(shí)現(xiàn)訓(xùn)練深度網(wǎng)絡(luò)模型所需大規(guī)模實(shí)驗(yàn)數(shù)據(jù)的快速采集，是將深度學(xué)習(xí)技術(shù)應(yīng)用于紅外信號(hào)除噪領(lǐng)域的關(guān)鍵科學(xué)問(wèn)題之一。

4 紅外信號(hào)特征提取及重建方法

高像素紅外焦平面陣列傳感器的制作工藝復(fù)雜、成品率低，導(dǎo)致其制作成本昂貴，嚴(yán)重制約了紅外熱成像技術(shù)的廣泛工業(yè)應(yīng)用。如何有效對(duì)低分辨率紅外圖片中的細(xì)節(jié)信息進(jìn)行提取、分析和擬合，通過(guò)特征重建的方式掌握低像素紅外圖像與高像素紅外圖像的復(fù)雜映射關(guān)系，是目前紅外信號(hào)處理領(lǐng)域的熱點(diǎn)研究方向。這種對(duì)低分辨率圖像進(jìn)行增強(qiáng)從而獲得其高分辨率版本的處理技術(shù)，在圖像處理領(lǐng)域中被稱作超分辨率。目前，大部分的超分辨率方案都是針對(duì)可見(jiàn)光頻譜中的彩色或者灰度圖像研發(fā)設(shè)計(jì)的，而適用于紅外圖像的超分辨率技術(shù)的研究尚處于探索階段。

超分辨率技術(shù)通?？梢苑譃榛跀?shù)據(jù)差插值、基于特征組合和基于樣本學(xué)習(xí)3大類。傳統(tǒng)的雙三次插值方法計(jì)算簡(jiǎn)單，運(yùn)行速度較快，但是得到的重建圖像比較模糊，并且會(huì)引入偽影。基于特征組合的超像素方法通過(guò)引入先驗(yàn)知識(shí)（如梯度一致、非局部均值等）來(lái)約束超分辨率重構(gòu)病態(tài)問(wèn)題的解集空間，獲得到較好的重建效果。近些年來(lái)，基于大數(shù)據(jù)學(xué)習(xí)的超像素方法發(fā)展迅速，重建性能遠(yuǎn)超基于數(shù)據(jù)差插值和基于特征組合的超像素方法。其基本原理是對(duì)大量匹配的低分辨率和高分辨率圖像的對(duì)應(yīng)特征變化規(guī)律進(jìn)行學(xué)習(xí)擬合，從而得到低分辨率至高分辨率圖像的映射函數(shù)。

稀疏編碼是一種具有代表性的機(jī)器學(xué)習(xí)方法。其基本假設(shè)是低分辨率和高分辨率圖像具有相似的稀疏系數(shù)。稀疏編碼法通過(guò)對(duì)圖像進(jìn)行編碼分析，分別得到低分辨率和高分辨率圖像對(duì)應(yīng)的特征字典。當(dāng)輸入一幅低分辨率圖像時(shí)，計(jì)算其基于低分辨率字典中的稀疏表示系數(shù)。然后，使用相同的系數(shù)與高分辨率字典重建得到其對(duì)應(yīng)的高分辨率圖像。類似的機(jī)器學(xué)習(xí)算法還包括領(lǐng)域嵌入法，該方法認(rèn)為低分辨率和高分辨圖像在低維非線性流場(chǎng)上具有相似的幾何結(jié)構(gòu)。

利用深度學(xué)習(xí)的方法，Dong等提出了基于卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨算法（super-resolutionconvolutional neural network，簡(jiǎn)稱SRCNN），從大規(guī)模樣本數(shù)據(jù)集里學(xué)習(xí)低分辨率至高分辨率圖像的最優(yōu)映射函數(shù)。如圖8所示，雖然SRCNN的網(wǎng)絡(luò)結(jié)構(gòu)相對(duì)簡(jiǎn)單（僅包含3層卷積層），但是可以取得超過(guò)稀疏編碼方法和領(lǐng)域嵌入方法的圖像重建效果。此外，SRCNN精簡(jiǎn)的網(wǎng)絡(luò)結(jié)構(gòu)也滿足實(shí)時(shí)視頻流處理的要求。為了進(jìn)一步提升深度網(wǎng)絡(luò)模型的運(yùn)行速度，Shi等引入基于亞像素層機(jī)構(gòu)的高效亞像素卷積神經(jīng)網(wǎng)絡(luò)（efficientsut-pixel conv-olutional neural neetwork，簡(jiǎn)稱ESPCN）網(wǎng)絡(luò)模型（如圖9所示）。這種網(wǎng)絡(luò)模型直接將低分辨率圖像作為訓(xùn)練輸入，所有的卷積操作也都在低分辨率圖上進(jìn)行，大大減少了每幅圖片樣本訓(xùn)練時(shí)所需的卷積運(yùn)算次數(shù)。

圖8 SRCNN網(wǎng)絡(luò)結(jié)構(gòu)

圖9 ESPCN網(wǎng)絡(luò)結(jié)構(gòu)

為了進(jìn)一步提升深度網(wǎng)絡(luò)模型的重建效果，Kim等提出了深層超像素網(wǎng)絡(luò)模型（very deep super reolution，簡(jiǎn)稱VDSR），如圖10所示。通過(guò)將SRCNN進(jìn)行網(wǎng)絡(luò)深度擴(kuò)展（從3層增加至20層），并且引入了跳躍連接，學(xué)習(xí)低分辨率與高分辨率圖像之間殘差信息的映射關(guān)系。通過(guò)對(duì)網(wǎng)絡(luò)層數(shù)擴(kuò)展，其包含的參數(shù)數(shù)目大大增加，從而可以更加精確地?cái)M合低分辨率和高分辨率圖片之間的復(fù)雜映射關(guān)系。然而，隨著網(wǎng)絡(luò)深度的增加，回傳誤差極大化或極小化的問(wèn)題也變得愈發(fā)嚴(yán)重，導(dǎo)致模型訓(xùn)練難度大大增加?！禔ccurate image super-resolution using very deep convolutional networks》通過(guò)使用較大的學(xué)習(xí)率加快了訓(xùn)練收斂速度，同時(shí)采用了可調(diào)節(jié)的回傳梯度限制，緩解了回傳誤差梯度極大化或極小化問(wèn)題。

圖10 VDSR網(wǎng)絡(luò)結(jié)構(gòu)

由于復(fù)雜的網(wǎng)絡(luò)模型會(huì)導(dǎo)致龐大模型參數(shù)占用大量存儲(chǔ)空間的問(wèn)題，Kim等提出了基于深度監(jiān)督和參數(shù)共享技術(shù)的深層遞歸卷積網(wǎng)絡(luò)（deep-recursiveconvolutional network，簡(jiǎn)稱DRCN）。多個(gè)模塊之間通過(guò)參數(shù)共享，大大減少模型的參數(shù)總和。并且每個(gè)模塊都通過(guò)跳躍連接將特征層輸出到重建層進(jìn)行重建，每個(gè)重建后的圖像都進(jìn)行互相監(jiān)督，并回傳誤差梯度。DRCN網(wǎng)絡(luò)模型在大大減少模型參數(shù)的情況下，取得了類似于VDSR模型的特征重建效果。如圖11所示，Tai等通過(guò)疊加了多個(gè)殘差網(wǎng)絡(luò)模塊（ResNet），構(gòu)建了一個(gè)包含52層網(wǎng)絡(luò)的深層遞歸殘差網(wǎng)絡(luò)（deep recursive residual net-work，簡(jiǎn)稱DRRN）結(jié)構(gòu)，取得了遠(yuǎn)超VDSR方法的重建效果。為了減少模型參數(shù)數(shù)目，每個(gè)殘差模塊之間共享參數(shù)。需要指出，雖然以上的參數(shù)共享的技術(shù)可以有效節(jié)省網(wǎng)絡(luò)模型參數(shù)的存儲(chǔ)空間，但在運(yùn)行模型時(shí)仍存在運(yùn)算速度過(guò)慢的問(wèn)題，因此僅適用于對(duì)運(yùn)行時(shí)間要求不高的離線圖像增強(qiáng)應(yīng)用中。

圖11 DRRN網(wǎng)絡(luò)結(jié)構(gòu)

鑒于深度學(xué)習(xí)方法應(yīng)用于可見(jiàn)光圖像超像素取得的優(yōu)良性能，Choi等提出了4層紅外增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)（thermal image enhancement network，簡(jiǎn)稱TEN），將深度學(xué)習(xí)方法應(yīng)用到紅外圖像的超像素處理。如圖12所示，與SRCNN網(wǎng)絡(luò)相似，TEN的網(wǎng)絡(luò)結(jié)構(gòu)也比較簡(jiǎn)單，方便對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行訓(xùn)練但難以達(dá)到較高的特征重建效果。此外，由于高分辨率的紅外圖像數(shù)據(jù)集較難獲得，且可見(jiàn)光圖像的紋理變化比紅外圖像更加豐富，Choi等認(rèn)為可以利用可見(jiàn)光圖像進(jìn)行訓(xùn)練，并將訓(xùn)練得到的網(wǎng)絡(luò)模 型直接應(yīng)用于紅外圖像，同樣能取得較好的效果。然后，由于沒(méi)有分析紅外和可見(jiàn)光圖像特征的本質(zhì)區(qū)別，TEN的增強(qiáng)效果十分有限。因此，研究基于深度學(xué)習(xí)方法的紅外圖像超像素技術(shù)，首先需要完成大規(guī)模紅外圖像特征庫(kù)采集，并針對(duì)紅外圖像的紋理信息和結(jié)構(gòu)信息的不同特征，提出相應(yīng)的學(xué)習(xí)方法分別掌握，在提高擬合精度的同時(shí)簡(jiǎn)化網(wǎng)絡(luò)結(jié)構(gòu)。此外，基于節(jié)省成本的要求，低分辨率紅外傳感器的像元數(shù)量通常極低（比如60像素 X 80像素），因此要求的超分辨方法的放大倍數(shù)也相對(duì)較大，這也給紅外超分辨率技術(shù)的發(fā)展提出了更高的要求。研發(fā)一種針對(duì)紅外圖像的高倍超分辨率算法也是廣大科研人員需要解決的問(wèn)題之一。

圖12 TEN網(wǎng)絡(luò)結(jié)構(gòu)

5 多源信息采集、融合及互補(bǔ)技術(shù)

使用二維紅外圖像表述三維物體的表面溫度分布具有嚴(yán)重局限性，包括只能獲取單個(gè)視角下物體的溫度信息、缺少溫度異常區(qū)域的三維信息、無(wú)法精確定位熱點(diǎn)位置等。因此，基于二維紅外圖像和三維深度信息融合互補(bǔ)技術(shù)的三維溫度場(chǎng)重建技術(shù)是紅外熱成像領(lǐng)域的熱點(diǎn)研究方向?，F(xiàn)有的三維溫度場(chǎng)重建系統(tǒng)通常包含以下主要步驟：a.對(duì)紅外相機(jī)與深度傳感器進(jìn)行外參標(biāo)定和視頻同步，實(shí)現(xiàn)單視角采集條件下的多維信息融合；b.將深度傳感器采集的物體單點(diǎn)三維信息進(jìn)行坐標(biāo)系統(tǒng)一匹配，獲取物體的完整三維信息；c.將采集的紅外溫度信息根據(jù)物體三維幾何信息進(jìn)行校正補(bǔ)償，并完成三維物體模型至二維紅外圖像的投影映射。

Skala等使用結(jié)構(gòu)光深度相機(jī)和紅外相機(jī)搭建三維溫度場(chǎng)重建系統(tǒng)。如圖13所示，他們制作特殊標(biāo)定板，使用立體標(biāo)定法計(jì)算出深度相機(jī)與紅外相機(jī)的外參矩陣，利用相機(jī)外參矩陣直接將溫度信息映射到三維模型上。Vidas等采集同時(shí)具備形狀和溫度明顯變化的物體（如工作狀態(tài)下的顯示器）的紅外圖像和深度圖像，通過(guò)對(duì)顯著邊緣信息的提取和匹配，計(jì)算紅外相機(jī)與深度傳感器之間的相對(duì)位姿，并完成多源傳感器的同步標(biāo)定。然而，由于標(biāo)定板邊緣處的深度信息不準(zhǔn)確和難以對(duì)低像素紅外圖像中的角點(diǎn)準(zhǔn)確定位等干擾因素，導(dǎo)致以上外參矩陣的計(jì)算方法存在誤差。

圖13 特殊標(biāo)定板對(duì)應(yīng)的圖像

為了獲取得物體的三維信息，Ju等搭建一套基于雙目立體視覺(jué)的三維重建系統(tǒng)。該系統(tǒng)使用兩個(gè)高分辨率的彩色相機(jī)，可以在光照條件良好的環(huán)境里，精確獲得物體的三維信息。然而該方案的測(cè)量精度易受環(huán)境光照、場(chǎng)景陰影等因素的影響，且配置多個(gè)高分辨率彩色相機(jī)價(jià)格昂貴，雙目成像系統(tǒng)體積大，無(wú)法勝任快速、靈活的三維掃描任務(wù)。Tanno等提出使用兩個(gè)紅外相機(jī)實(shí)現(xiàn)物體三維溫度場(chǎng)重建。但由于紅外圖片低分辨率、低紋理信息、缺乏特征點(diǎn)的成像特性，該方案獲取的物體三維信息精度較差。Ham等提出基于動(dòng)態(tài)、生成結(jié)構(gòu)（structure from motion，簡(jiǎn)稱SFM）技術(shù)的三維溫度場(chǎng)重建系統(tǒng)。然而，SFM算法只能生成稀疏點(diǎn)云且三維模型無(wú)尺度信息。激光雷達(dá)可獲得精確的三維點(diǎn)云并且受環(huán)境因素影響較小，Alba等使用激光雷達(dá)和紅外相機(jī)搭建三維溫度場(chǎng)重建系統(tǒng)。然而，基于激光雷達(dá)的三維信息采集方案的價(jià)格昂貴并且體積重量大等。近些年，基于主動(dòng)式結(jié)構(gòu)光投射原理的三維測(cè)量技術(shù)獲得了迅速發(fā)展。開(kāi)發(fā)的深度傳感器（如Microsoft Kinect相機(jī)）具有價(jià)格低、重量輕、體積小和可夜間成像等諸多優(yōu)勢(shì)。然而，基于結(jié)構(gòu)光的深度相機(jī)普遍存在著噪聲干擾嚴(yán)重，測(cè)量精度不高等問(wèn)題。Izadi等提出的基于GPU并行編程技術(shù)的Kinect Fusion算法，通過(guò)采集同一場(chǎng)景在臨近視角下的多幀深度信息，利用獲得的冗余三維信息，對(duì)傳感器噪聲進(jìn)行有效抑制，提高三維信息測(cè)量精度，可以實(shí)現(xiàn)±2cm精度的實(shí)時(shí)三維場(chǎng)景重建。

隨著多視角三維重建技術(shù)的發(fā)展，Vidas等提出基于結(jié)構(gòu)光深度相機(jī)的多視角全景三維溫度場(chǎng)重建系統(tǒng)。如圖14所示，該系統(tǒng)利用迭代最臨近點(diǎn)（iterative closest point，簡(jiǎn)稱ICP）算法來(lái)追蹤相機(jī)位姿得到深度相機(jī)位姿，并進(jìn)行多傳感器時(shí)間軸同步，估算出最近時(shí)刻紅外相機(jī)的位姿，最后將該視角下的三維信息與溫度信息融合到統(tǒng)_的全局坐標(biāo)系中，得到大場(chǎng)景的三維溫度場(chǎng)重建結(jié)果。然而，該系統(tǒng)使用的ICP匹配算法僅僅通過(guò)尋找?guī)缀梧徑c(diǎn)的簡(jiǎn)單方式建立三維匹配點(diǎn)，未能考慮其他有效的場(chǎng)景信息。因此，ICP算法在相機(jī)位姿變化劇烈的情況下容易失效，并且在全景三維重建的過(guò)程中無(wú)法有效處理累積誤差，導(dǎo)致重建的三維模型精度難以得到保障。

圖14 基于Kinect深度相機(jī)的三維溫度場(chǎng)重建結(jié)果

如圖15所示，《Real-time mobile 3D Temperature mapping》將基于視頻的位姿估計(jì)（video-based pose estimation，簡(jiǎn)稱VBPE）和ICP算法結(jié)合，提高追蹤相機(jī)位姿的穩(wěn)定性。為了保證三維溫度場(chǎng)重建系統(tǒng)的實(shí)時(shí)性，該系統(tǒng)只能提取簡(jiǎn)單的圖像特征點(diǎn)（如角點(diǎn)）對(duì)視頻圖像進(jìn)行匹配，因此仍然無(wú)法處理前后兩幀之間相機(jī)位姿變化大和物體缺少紋理信息的ICP失效問(wèn)題。

圖15 VBPE和ICP結(jié)合的三維溫度場(chǎng)重建系統(tǒng)框圖

在獲得準(zhǔn)確匹配的二維溫度場(chǎng)和三維深度信息后，可結(jié)合結(jié)構(gòu)變化對(duì)紅外輻射發(fā)射率的影響函數(shù)，對(duì)二維溫度信息進(jìn)行三維視角正規(guī)化補(bǔ)償。為了獲得更高精度的三維溫度場(chǎng)，Muller等研究了一系列影響三維溫度場(chǎng)重建精度的因素，如深度相機(jī)分辨率、相機(jī)軌跡追蹤算法的精度以及魯棒性、物體離紅外相機(jī)的距離、紅外線在大氣中傳播的能量損失、紅外線發(fā)射角度以及反光的影響等。如何有效解決大位移條件下多維傳感器系統(tǒng)運(yùn)動(dòng)軌跡的穩(wěn)定計(jì)算，以及如何建立結(jié)構(gòu)變化與紅外輻射發(fā)射率之間的耦合函數(shù)，對(duì)二維溫度信息進(jìn)行三維視角正規(guī)化補(bǔ)償，是三維溫度場(chǎng)重建技術(shù)未來(lái)發(fā)展的重要科研方向。

6 多頻譜紅外和可見(jiàn)光信息互補(bǔ)技術(shù)

目標(biāo)物體在光照條件較好的白天環(huán)境中，可見(jiàn)光圖像能夠提供更加豐富的顏色紋理信息，而在光照條件較差的夜間環(huán)境中，紅外圖像具有比可見(jiàn)光圖像更加清晰的物體溫度信息。因此利用不同傳感器的互補(bǔ)性，獲得目標(biāo)更全面、更豐富、更多細(xì)節(jié)的多源信息，能有效提升紅外熱成像系統(tǒng)目標(biāo)檢測(cè)準(zhǔn)確度。以智能駕駛應(yīng)用中的行人檢測(cè)為例，Hwang等搭建車載多頻譜信號(hào)采集系統(tǒng)（如圖16所示），對(duì)城市中不同光照條件下的行人目標(biāo)進(jìn)行圖像采集和樣本標(biāo)注。Hwang等通過(guò)無(wú)視差的可見(jiàn)光與紅外圖像采集系統(tǒng)得到了完全配準(zhǔn)好的多光譜圖像數(shù)據(jù)集，采用集合頻道特征（aggregate channel features，簡(jiǎn)稱ACF）特征提取算子和Adaboost分類器訓(xùn)練得到的可見(jiàn)光與紅外目標(biāo)檢測(cè)器性能在白天和夜晚測(cè)試集上均超過(guò)了單一光譜（可見(jiàn)光或紅外）目標(biāo)檢測(cè)器性能。Choi等采用深度神經(jīng)網(wǎng)絡(luò)（deep convolutional neuralnetworks，簡(jiǎn)稱DC-NNs）進(jìn)行目標(biāo)特征的提取，使用支持向量回歸（su-port vector regression，簡(jiǎn)稱SVR）取得了比傳統(tǒng)特征方法更好的效果。Liu等將深度神經(jīng)網(wǎng)絡(luò)用于分類器的訓(xùn)練中，進(jìn)一步地提升了檢測(cè)器的性能。Kgnig等針對(duì)快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)特征（fast regions wth CNN features，簡(jiǎn)稱Fast-RCNN）對(duì)尺度較小目標(biāo)分類性能較差的特點(diǎn)提出了采用Ada-boost對(duì)區(qū)域建議網(wǎng)絡(luò)（region proposal network，簡(jiǎn)稱RPN）特征進(jìn)行精分類，提升了目標(biāo)檢測(cè)性能。目前對(duì)可見(jiàn)光與紅外行人目標(biāo)檢測(cè)模型的優(yōu)化主要還是在特征提取方法和分類器模型的選擇上進(jìn)行調(diào)整。筆者將同步檢測(cè)分割區(qū)域建議網(wǎng)絡(luò)（simulta-neous detection segmentation & region proposal network，簡(jiǎn)稱SDS-RPN）可見(jiàn)光行人目標(biāo)檢測(cè)模型用于紅外與可見(jiàn)光行人目標(biāo)檢測(cè)器的訓(xùn)練與測(cè)試中，取得了目前最低的漏檢率，SDS-RPN同時(shí)作為特征提取器和分類器，在檢測(cè)速度上更有優(yōu)勢(shì)。基于可見(jiàn)光與紅外多頻譜信息融合的行人目標(biāo)檢測(cè)模型的性能對(duì)比如表1所示。目前研究的紅外與可見(jiàn)光目標(biāo)檢測(cè)器均采用相同的算法對(duì)紅外與可見(jiàn)光圖像進(jìn)行特征提取。針對(duì)紅外成像特性研究適用于紅外圖像的特征提取方法，是今后提升基于紅外與可見(jiàn)光信息融合目標(biāo)檢測(cè)性能的一個(gè)重要方向。

圖16 可見(jiàn)光與紅外圖像采集系統(tǒng)

表1 基于可見(jiàn)光與紅外多頻譜行人目標(biāo)檢測(cè)模型對(duì)比

7 結(jié)束語(yǔ)

紅外熱成像技術(shù)通過(guò)二維圖像的形式準(zhǔn)確反映物體表面溫度分布情況，實(shí)現(xiàn)無(wú)光環(huán)境下的優(yōu)秀成像，也可對(duì)物體表面溫度進(jìn)行非接觸式的準(zhǔn)確測(cè)量，廣泛應(yīng)用于醫(yī)療診斷、故障診斷、能耗監(jiān)控、智能駕駛等眾多工業(yè)領(lǐng)域。在對(duì)紅外熱成像技術(shù)進(jìn)行研究的過(guò)程中，筆者發(fā)現(xiàn)紅外熱成像技術(shù)的發(fā)展也面臨一些主要瓶頸制約問(wèn)題。由于紅外傳感器制作工藝的特殊性，存在嚴(yán)重的噪聲干擾，影響紅外圖像信號(hào)的成像質(zhì)量。此外，紅外探測(cè)器焦平面?zhèn)鞲衅鲀r(jià)格昂貴，難以進(jìn)行廣泛的工業(yè)應(yīng)用推廣。最后，紅外圖像只包含物體的溫度信息，無(wú)法單獨(dú)為準(zhǔn)確診斷提供依據(jù)，然而多源信息的采集融合工作目前還處于起步階段。

針對(duì)以上3個(gè)主要問(wèn)題，筆者詳細(xì)介紹在紅外信號(hào)固定模式建模和除噪、圖像信息特征重建、多源信息融合三個(gè)紅外信號(hào)處理研究方向的最新科研進(jìn)展。未來(lái)擬開(kāi)展的科研方向包括：a.紅外成像信號(hào)的噪聲構(gòu)成分析及形態(tài)建模方法；b.可見(jiàn)光和低像素紅外為信息源的紅外圖像重建理論；c.紅外圖像、可見(jiàn)光圖像、三維深度信息融合互補(bǔ)融合方法。研究成果將為新一代高成像精度、高分辨率、低制作成本的三維紅外成像儀器的研發(fā)具有重要的參考價(jià)值。