AI+熱成像：不僅看到你，還能看清你

導(dǎo)讀：今天我們要聊的，是一件讓人第一反應(yīng)很驚訝：“竟然還有這種操作？”，但細(xì)細(xì)想來，又極為驚恐的事情。這件事，就是美國軍方最近搞出來的一個大新聞。據(jù)《The Register》專欄記者凱蒂安娜·庫奇 4 月 17 日的一篇文章，美國陸軍研究實驗室正在研究一項技術(shù)，通過 AI 的深度學(xué)習(xí)技術(shù)加持，可以實現(xiàn)在黑暗中準(zhǔn)確識別人臉。

想在夜里獲得視野并不是什么難事，如今 紅外技術(shù)的發(fā)展已經(jīng)非常成熟。拍攝野生動物、24 小時監(jiān)控等等都會用到這類技術(shù)。再加上熱成像，在夜里能夠判斷前面站著的是個人而不是一塊石頭，已經(jīng)不是什么問題。

但要在沒有打光的情況下實現(xiàn)人臉識別的精度，這確實有點驚為天人。那么，美國軍方究竟是準(zhǔn)備怎么做的？

AI+ 熱成像：不僅看到你，還能看清你

首先我們需要知道的是，熱成像是通過非接觸探測紅外能量，將其轉(zhuǎn)換為電信號，進(jìn)而在顯示器上生成圖像和溫度值的一種技術(shù)。熱成像裝置在軍事用途中非常常見。比如 Apache 直升機(jī)等飛機(jī)和裝甲運兵車等地面交通工具，都是配備了熱成像相機(jī)。這能夠保證其在低能見度的情況下也能探測到人員，比如大霧、夜晚。

這里存在著一個問題，熱成像裝置雖然相當(dāng)于給在夜里活動的士兵們裝了一雙眼睛，但這雙眼睛其實是雙“近視眼”。它能夠顯現(xiàn)出對面出現(xiàn)的障礙物的基本輪廓，讓士兵們能夠判斷眼前是人還是石頭。但是，也就僅限于此。眼前的人是敵還是友，目前還是沒轍。

基于此，美國陸軍研究實驗室開發(fā)出了一套基于深度學(xué)習(xí)的 AI 識別系統(tǒng)。通過卷積神經(jīng)網(wǎng)絡(luò)的處理，熱圖像中人的眼睛、鼻子、嘴唇等的邊界被標(biāo)記出來，從而可以確定出人臉的整體形狀。接下來，非線性回歸模型將這些特征映射到相應(yīng)的面孔樣貌中。這種被稱為“多區(qū)域合成”的系統(tǒng)通過損失函數(shù)進(jìn)行訓(xùn)練，熱圖像和可見圖像之間的誤差會被最小化，從而可以構(gòu)建出一個相對準(zhǔn)確的人臉圖像。

技術(shù)深入解讀

陸軍研究實驗室（Army Research Laboratory，ARL）的科學(xué)家 Benjamin S. Riggan，Nathaniel J. Short 和 Shuowen Hu 在最近發(fā)表的論文《Thermal to Visible Synthesis of Face Images using Multiple Regions》中詳細(xì)地介紹了軍方是如何開發(fā)在熱成像圖像中應(yīng)用人臉識別技術(shù)的方法。

技術(shù)解讀部分由 AI 前線基于論文原文進(jìn)行編譯。

從熱圖像中合成可見光圖像是異質(zhì)人臉識別中十分有前景的一項方法，可以利用已有的在可見光人臉數(shù)據(jù)庫上訓(xùn)練的面部識別軟件，并且更有效地進(jìn)行跨光譜匹配。論文提出了一個利用全局（面部整體）和局部區(qū)域（五官）來增強(qiáng)判別性的可見光人臉圖像合成方法。

圖 1（a）熱紅外圖像與可見光圖像的跨模態(tài)匹配任務(wù)一直是異質(zhì)人臉識別的一項重要挑戰(zhàn)。而（b）（從熱紅外圖像中）合成的可見光圖像與可見光圖像則可能夠進(jìn)行更有效的跨光譜匹配和判斷。

跨光譜識別主要有兩類方法：（1）直接跨光譜識別，（2）跨光譜合成識別。在這篇論文中，作者提出了一個跨光譜合成方法，增強(qiáng)了面部細(xì)節(jié)，通過聯(lián)合優(yōu)化不同面部區(qū)域的目標(biāo)函數(shù)，使不同區(qū)域間的表示可以互補(bǔ)。這一多區(qū)域目標(biāo)函數(shù)利用了全局和局部信息來合成能夠保持整體面部結(jié)構(gòu)和局部人臉細(xì)節(jié)的可見光圖像，從而提高跨光譜識別率。

使用多區(qū)域進(jìn)行跨光譜識別

圖 2 算法框架圖

對于給定熱圖像，首先使用全卷積神經(jīng)網(wǎng)絡(luò) g(x) 在全局區(qū)域（紅色）和局部基準(zhǔn)區(qū)域（藍(lán)色，黃色和綠色）提取特征。然后使用特定區(qū)域的跨光譜映射從提取的熱圖像特征中估測對應(yīng)的可見光圖像表示。最后，通過反向傳播每個區(qū)域提取特征和估測特征之間的誤差，對全局和局部區(qū)域進(jìn)行梯度更新，然后合成可見光圖像。

論文主要考慮的是由于預(yù)訓(xùn)練的興趣區(qū)域（ROI）導(dǎo)致的多重?fù)p失和正則化函數(shù)的影響。盡管 ROI 是任意的，論文考慮了對應(yīng)局部判別特征（眼睛、鼻子和嘴巴）以及一個整體的區(qū)域的特征。

對于每個興趣區(qū)域，我們最小化以下目標(biāo)函數(shù)：

其中

L 代表損失函數(shù)，R 是 alpha 范數(shù)和整體的變量懲罰項，g 代表了從輸入圖像到表示特征的映射，hi 代表對應(yīng)區(qū)域 i 的跨光譜映射函數(shù)。在實現(xiàn)中，g 為全卷積神經(jīng)網(wǎng)絡(luò)，所以輸入圖像的尺寸不需要定義，hi 由 1x1 的卷積層組成。

合成的圖像通過求解如下優(yōu)化問題得到：

其中:

權(quán)重 w 平衡了全局結(jié)構(gòu)和局部細(xì)節(jié)，wi 對應(yīng)第 i 個區(qū)域。

實驗結(jié)果

合成方法對比

合成圖像與真實圖像（頂部）的對比：熱圖像 - 可見光合成效果（中間），極化圖像 - 可見光合成效果（底部）。

關(guān)鍵點檢測對比：真實圖像（頂部），熱圖像 - 可見光合成效果（中間），極化圖像 - 可見光合成效果（底部）。

識別效果對比如下表：

可以看到，目前基于熱成像技術(shù)多區(qū)域合成的模型精度和常規(guī)成像精度都超過了 80%。

想要深入了解相關(guān)技術(shù)細(xì)節(jié)，可查看論文原文：

https://arxiv.org/pdf/1803.07599.pdf

人臉識別數(shù)據(jù)庫才是關(guān)鍵！

但如何認(rèn)識這張臉？畢竟僅僅得出一個人臉的圖像是沒有多大用處的，這項技術(shù)的最主要目的是判斷對面的人是誰。這就需要有一個數(shù)據(jù)庫用來對即時生成的人臉進(jìn)行比對。

論文作者 Riggan 也強(qiáng)調(diào)說：

當(dāng)使用熱成像照相機(jī)拍攝面部圖像時，主要的挑戰(zhàn)在于捕獲的熱圖像必須與目標(biāo)人物的常規(guī)可見圖像的監(jiān)視圖像庫相匹配。

為了有效，需要將構(gòu)建出來的圖像與數(shù)據(jù)庫中的已知面部進(jìn)行匹配，如監(jiān)獄罪犯、***等，才能識別出目標(biāo)。也就是說，使用這套系統(tǒng)拍攝出的面部圖像，必須要與數(shù)據(jù)庫中的圖像進(jìn)行匹配。如果能早點應(yīng)用，類似波士頓恐襲事件中對犯罪分子的抓捕，也許就不會那么大費周折。這樣說來，目前來說這套系統(tǒng)的最大優(yōu)勢可以是抓在逃犯。

聽起來這項技術(shù)的可應(yīng)用前景還是很廣闊的。但還沒等美國軍方高興起來，有人就過來潑冷水了。

三月份在內(nèi)華達(dá)州舉行的 IEE 動機(jī)計算機(jī)視覺應(yīng)用會議上，有研究者就認(rèn)為，雖然熱成像技術(shù)多區(qū)域合成模型精度和常規(guī)成像精度都超過了 80%，看起來結(jié)果有一定的希望，但是由于熱成像精度的變化，該技術(shù)的人臉合成精度也會發(fā)生變化。因此，將這些算法和當(dāng)前的熱成像技術(shù)的完美結(jié)合仍然是有不同程度的困難。

有意思的是，國內(nèi)的一些媒體在進(jìn)行相關(guān)報道的時候，夸大其詞地轉(zhuǎn)譯了其具有“穿墻透視”的功能。我們需要知道的是，目前熱成像儀還無法突破墻體去探測人體發(fā)出的輻射，因此“穿墻”一說，噱頭的成分更大一點。

對于剛剛?cè)〉贸醪竭M(jìn)展的這項技術(shù)而言，這樣的批評之言應(yīng)該算是一種鞭策或者方向。但是現(xiàn)在問題又出來了。即便這項技術(shù)成熟了，但是數(shù)據(jù)庫里沒有那么多人臉來匹配，一切不都白瞎了？

目前來看，該算法在于現(xiàn)有數(shù)據(jù)庫進(jìn)行結(jié)合的情況下，可以暫時解決一部分的問題。但是如果想要實現(xiàn)更精準(zhǔn)而廣泛的應(yīng)用，仍然有賴于人臉識別數(shù)據(jù)庫的擴(kuò)建。比如一個名為 Terrogence 的商業(yè)機(jī)構(gòu)就聲稱自己擁有一個包含數(shù)以千計的***面孔數(shù)據(jù)庫。而這個數(shù)據(jù)庫的客戶，就包括國安局、美國海軍情報機(jī)構(gòu)和政府機(jī)構(gòu)。

可以想見，未來這項技術(shù)在追捕在逃犯、打擊***、夜間作戰(zhàn)方面還是有很大的用武之地的。

No entry：停在邊界線上

上面我們說到了驚訝，接下來，我們就要說驚恐了。

核武器的最大作用在于震懾，但當(dāng)其巨大的摧毀力被用來殺人的時候，愛因斯坦都為此而感到后悔。這也就說明，任何一項技術(shù)，包括我們今天所介紹的 AI+ 熱成像極大的降低了人臉識別的適用門檻，無論其初衷如何，如果會存在對公眾產(chǎn)生傷害的可能（尤其當(dāng)這項技術(shù)被軍方掌握時），那就必須要有人來監(jiān)管。

試想一下，你和朋友在夜里漫步街頭，享受著一天的疲倦之后的片刻輕松，而路口的紅外攝像頭則正在默不作聲地將你們兩個的頭像進(jìn)行掃描分析，同時比對著不知何時被搜集的數(shù)據(jù)庫中的你的頭像，然后作出判斷：安全人員。

雖然它不會影響你的正常的生活，但會給人一種深深的擔(dān)憂：我們的生活時時刻刻處在無數(shù)雙眼睛的監(jiān)控之下。也許我們并未感受到受到了某種傷害。但是這很可能意味著在這個城市里，我們已經(jīng)失去了未被授權(quán)的隱私。在這個個人隱私可以作為商品交換巨額利潤的時代，每個人都并不希望自己渾然不覺地成為商品。也正是因為如此，對 Facebook 泄露用戶的數(shù)據(jù)，人們才會感到如此的憤怒。

所以，不管美國軍方的這項技術(shù)的初衷如何，我們都希望其目的只是用來對付社會的陰暗分子，民眾也必然希望對這項技術(shù)有嚴(yán)格的監(jiān)管。同時，對政府和軍方的使用要進(jìn)行限制，并確保技術(shù)不會外流，以免被別有用心的人利用。畢竟，每個人都應(yīng)對自己的隱私享有自主的權(quán)力，而不能成為暴露在鏡頭下的楚門。