利用精妙的圖像處理技術(shù)，可以“看到”角落里不直接可見(jiàn)的信息

世界上充斥著大量我們的眼睛看不到的視覺(jué)信息。MIT兩名計(jì)算機(jī)視覺(jué)科學(xué)家的研究表明，利用精妙的圖像處理技術(shù)，可以“看到”角落里不直接可見(jiàn)的信息，捕捉到比普通照片暗1000倍的成像。

2012年，MIT計(jì)算機(jī)視覺(jué)科學(xué)家安東尼奧·托拉爾巴（Antonio Torralba）在西班牙海岸度假時(shí)，發(fā)現(xiàn)他酒店房間墻壁上的雜散陰影似乎不是由任何東西投射出來(lái)的。

托拉爾巴意識(shí)到，墻壁上的變色斑塊根本不是陰影，而是窗外庭院的一個(gè)微弱的倒立成像。窗戶充當(dāng)了一臺(tái)最簡(jiǎn)單的針孔相機(jī)，光線穿過(guò)一個(gè)小開(kāi)口，在另一側(cè)形成倒立的成像。在光線充足的墻壁上，這些圖像幾乎是察覺(jué)不到的。但讓Torralba感到吃驚的是，世界上充斥著大量我們的眼睛看不到的視覺(jué)信息。

“這些圖像對(duì)我們來(lái)說(shuō)是看不見(jiàn)的?！彼f(shuō)，“但它們一直都存在于我們的周?chē)?。?/p>

受到這一現(xiàn)象的啟發(fā)，托拉爾巴和他的同事，麻省理工學(xué)院教授比爾·弗里曼（Bill Freeman）將其稱(chēng)之為無(wú)意識(shí)的“意外相機(jī)”：窗戶、角落、室內(nèi)植物和其他常見(jiàn)物體，都可以生成周?chē)h(huán)境的微妙圖像。這些圖像比其他任何圖像都要暗1000倍，通常肉眼是看不見(jiàn)的。 “我們找到了提取這些圖像并使其變得可見(jiàn)的方法，”弗里曼解釋道。

在二人合作的第一篇論文中，弗里曼和托拉爾巴表明，用iPhone拍下房間墻壁上的燈光變化，在進(jìn)行圖像處理，就可以顯示出窗外的場(chǎng)景。去年秋天，他們又和合作者研究發(fā)現(xiàn)，通過(guò)拍攝墻角附近的地面，能夠發(fā)現(xiàn)人在墻角的另一邊的移動(dòng)。今年夏天，他們通過(guò)拍攝室內(nèi)植物，然后用植物葉子投下的不同陰影，重現(xiàn)了房間其他部分的三維圖像。

安東尼奧·托拉爾巴注意到他的酒店房間的窗戶是一個(gè)意外的針孔相機(jī)（1）。通過(guò)用紙板覆蓋大部分窗戶以減小針孔的尺寸，可以使墻壁（2）上的庭院的微弱圖像變清晰（3）。倒立的圖像（4）顯示出窗外的場(chǎng)景。

2012年，托拉爾巴和弗里曼關(guān)于“意外相機(jī)”的論文開(kāi)始引導(dǎo)研究人員研究周?chē)慕锹浜屯茢嗖恢苯涌梢?jiàn)的信息，稱(chēng)為“非視線成像”（non-line-of-sight imaging）。

2016年，基于上面的部分成果，美國(guó)國(guó)防部高級(jí)研究計(jì)劃局（DARPA）推出了2700萬(wàn)美元的REVEAL計(jì)劃，為全國(guó)各地許多新實(shí)驗(yàn)室提供資金。從此，一系列新的見(jiàn)解和數(shù)學(xué)工具，讓非視線成像技術(shù)變得更加強(qiáng)大和實(shí)用。

除了軍事和間諜方向上的應(yīng)用外，研究人員表示，該技術(shù)在自動(dòng)駕駛汽車(chē)、機(jī)器人視覺(jué)、醫(yī)學(xué)成像、天文學(xué)、太空探索以及搜索救援任務(wù)上都具備潛在的應(yīng)用前景。

托拉爾巴表示，他和弗里曼開(kāi)始研究時(shí)并沒(méi)有什么特別的應(yīng)用目的。他們只是深入研究圖像如何形成，以及相機(jī)構(gòu)成上的一些基礎(chǔ)知識(shí)，而這自然導(dǎo)致隨后對(duì)光與環(huán)境中的物體和表面的相互作用進(jìn)行更全面的研究。他們開(kāi)始發(fā)現(xiàn)一些沒(méi)有人想過(guò)要發(fā)現(xiàn)的東西。托拉爾巴說(shuō)，心理學(xué)研究表明，人類(lèi)對(duì)陰影的解釋是非常糟糕的。也許一個(gè)原因就是，我們看到的許多陰影實(shí)際上并不是真正的陰影。

“反針孔”透視相機(jī)

攜帶著我們視野外的場(chǎng)景圖像信息的光線，不斷撞擊墻壁和其他表面并反射到我們的眼睛中。但為什么我們看不見(jiàn)圖像呢？答案是這些光線中有太多的光線在太多不同的方向上傳播。圖像被極大地沖淡了。

要想形成人眼可見(jiàn)的圖像，對(duì)射在目標(biāo)表面上的光線有著極大的限制，只允許人看到一組特定的光線。這便是針孔相機(jī)的成像。托拉爾巴和弗里曼在2012年的最初想法是，我們的環(huán)境中有許多物體和特征，會(huì)自然而然對(duì)光線形成限制，可以生成足以能夠令計(jì)算機(jī)檢測(cè)到的微弱圖像。

針孔相機(jī)的孔徑越小，得到的圖像越清晰，因?yàn)槌上裎矬w上的每個(gè)點(diǎn)僅發(fā)射具有正確角度的單束光線穿過(guò)小孔。托拉爾巴2012年入住的酒店房間窗戶太大，無(wú)法產(chǎn)生清晰的圖像，他和弗里曼都知道，一般來(lái)說(shuō)，這種偶然發(fā)現(xiàn)的天然針孔像機(jī)是很少見(jiàn)的。不過(guò)他們意識(shí)到，由任何小的遮光物組成的“反針孔”（或者說(shuō)“針腳”）相機(jī)可以在整個(gè)區(qū)域內(nèi)成像。

計(jì)算機(jī)視覺(jué)科學(xué)家、麻省理工學(xué)院教授Bill Freeman（上圖）和Antonio Torralba（下圖）

除此之外，弗里曼和他的同事還設(shè)計(jì)了用于檢測(cè)和放大細(xì)微顏色變化的算法，例如人體面部的血液流動(dòng)，以及微型運(yùn)動(dòng)。他們現(xiàn)在可以輕松地將運(yùn)動(dòng)微分至百分之一像素級(jí)別，如此細(xì)微的運(yùn)動(dòng)一般都會(huì)被會(huì)噪音覆蓋掉。

他們的解決方法是，在數(shù)學(xué)上將圖像轉(zhuǎn)換為正弦波。至關(guān)重要的是，在變換空間中，信號(hào)不會(huì)受噪聲干擾，因?yàn)檎也ù矶鄠€(gè)像素的平均值，噪聲在這些波中傳播。因此，研究人員可以檢測(cè)從視頻序列某一幀到下一幀之間的正弦波位置的變化，加以放大，然后將數(shù)據(jù)轉(zhuǎn)換回來(lái)。

研究人員現(xiàn)在開(kāi)始結(jié)合使用這些不同的技巧來(lái)獲取隱藏的視覺(jué)信息。去年10月，在Freeman當(dāng)時(shí)的研究生Katie Bouman（現(xiàn)供職于哈佛-史密森天體物理中心）等人的研究報(bào)告中表明，以建筑物的角落充當(dāng)相機(jī)，可以呈現(xiàn)在拐角處的粗糙圖像。

通過(guò)在角落（1）附近拍攝陰影半影，可以獲得有關(guān)角落周?chē)矬w的信息（2）。當(dāng)隱藏圖像區(qū)域中的物體移動(dòng)時(shí)，它們向半影投射的光線相對(duì)于墻壁掃過(guò)不同的角度。這些細(xì)微的強(qiáng)度和顏色變化通常是肉眼看不到的（3），但可以通過(guò)算法來(lái)增強(qiáng)。圖示為從半影的不同角度投射的光的原始視頻顯示一個(gè)人在移動(dòng)（4）以及兩個(gè)人在角落處移動(dòng)（5）。

就像針孔和針腳一樣，邊緣和角落也限制了光線的通過(guò)。使用傳統(tǒng)的采集設(shè)備，比如iPhone，Bouman和公司拍攝了建筑物角落的“半影”：即陰影區(qū)域中被來(lái)自角落隱藏區(qū)域的一部分光線照亮的區(qū)域。比如，如果穿著一件紅色襯衫的人走到那里，襯衫就會(huì)向半影中投射出少量的紅光，當(dāng)人走路時(shí)，這道紅光會(huì)掃過(guò)半影，肉眼看不見(jiàn)。經(jīng)過(guò)處理后就很清楚了。

在6月的一項(xiàng)開(kāi)創(chuàng)性工作中，弗里曼及其同事重建了一個(gè)房間內(nèi)的“光場(chǎng)”：一張整個(gè)房間內(nèi)光線強(qiáng)度和方向的圖片，這是由墻壁附近的綠葉植物投下的陰影中重建的。葉子充當(dāng)了“針腳相機(jī)”，每片葉子阻擋了不同的光線。將每片葉子的陰影與其余部分進(jìn)行對(duì)比，可以發(fā)現(xiàn)其缺失的一組光線，從而構(gòu)建隱藏場(chǎng)景的一部分圖像。研究人員可以將這些圖像拼在一起。

這種“光場(chǎng)”方法比早期的“意外相機(jī)”生成的圖像更加清晰，因?yàn)樵谒惴ㄖ幸呀?jīng)輸入了關(guān)于外部世界的先驗(yàn)知識(shí)：包括室內(nèi)植物的形狀，自然圖像趨于平滑的假設(shè)，以及讓研究人員對(duì)噪聲信號(hào)進(jìn)行推斷的其他先驗(yàn)知識(shí)，這有助于對(duì)所得到的圖像進(jìn)行銳化。光場(chǎng)技術(shù)“需要對(duì)環(huán)境周?chē)私獾煤艹浞植拍苓M(jìn)行圖像重建，但可以提供大量信息，”托拉爾巴說(shuō)。

利用散射光構(gòu)建隱藏目標(biāo)的三維幾何結(jié)構(gòu)

雖然弗里曼和托拉爾巴等人在麻省理工學(xué)院校園內(nèi)的其他地方發(fā)現(xiàn)了一直存在的“不可見(jiàn)圖像”，不過(guò)，一位旨在“改變世界”的TED計(jì)算機(jī)視覺(jué)科學(xué)家Ramesh Raskar采用了一種名為“主動(dòng)成像”的方法：使用昂貴的專(zhuān)業(yè)相機(jī)激光系統(tǒng)來(lái)創(chuàng)建角落附近的高分辨率圖像。

麻省理工學(xué)院計(jì)算機(jī)視覺(jué)科學(xué)家拉梅什·拉斯卡爾（Ramesh Raskar）開(kāi)創(chuàng)了一種主動(dòng)非視距成像技術(shù)。

2012年，拉斯卡爾團(tuán)隊(duì)開(kāi)創(chuàng)了一項(xiàng)技術(shù)，朝墻壁上發(fā)射激光脈沖，讓一小部分散射光在屏障周?chē)瓷?。在每次發(fā)射脈沖后的瞬間，使用“條紋相機(jī)”，以每秒數(shù)十億幀的速度記錄單個(gè)光子的傳播路徑，從而檢測(cè)出從墻壁反彈回來(lái)的光子。通過(guò)測(cè)量返回光子的飛行時(shí)間，得出光子的行進(jìn)距離，從而重建了隱藏目標(biāo)的詳細(xì)的三維幾何結(jié)構(gòu)。一個(gè)比較復(fù)雜的問(wèn)題是，必須使用激光對(duì)墻壁進(jìn)行光柵掃描以形成三維圖像。比如，角落里有一個(gè)隱藏的人。

“那么，頭部特定點(diǎn)的光線，肩膀上的特定點(diǎn)以及膝蓋上的特定點(diǎn)都可能在相同的時(shí)間到達(dá)相機(jī)，”拉斯卡爾說(shuō)。 “但如果我將激光發(fā)射到稍微不同的位置，那么來(lái)自上述三個(gè)點(diǎn)的光將不會(huì)在相同的時(shí)間返回?！蹦惚仨殞⑺行盘?hào)組合起來(lái)，解決所謂的“逆問(wèn)題”，以重建隱藏的三維幾何結(jié)構(gòu)。

Raskar解決逆問(wèn)題的原始算法計(jì)算量很大，他的設(shè)備耗資50萬(wàn)美元。但在簡(jiǎn)化數(shù)學(xué)模型和削減成本方面取得了重大進(jìn)展。

拉斯卡爾團(tuán)隊(duì)的實(shí)驗(yàn)設(shè)置

在主動(dòng)的非視距成像中，激光從墻壁反射出去，從隱藏的物體上發(fā)生散射，然后返回原來(lái)的發(fā)射位置。反射光可用于對(duì)物體進(jìn)行三維結(jié)構(gòu)重建

過(guò)去的算法往往會(huì)因程序上的細(xì)節(jié)而陷入困境：研究人員通常選擇檢測(cè)返回墻上不同位置的光子，而不是激光發(fā)射的位置，這樣相機(jī)就可以避開(kāi)激光的反向散射光。但是，通過(guò)將激光和相機(jī)指向幾乎相同的點(diǎn)，可以使出射和入射的光子映射出相同的“光錐”。

每當(dāng)光從表面散射時(shí)，它就會(huì)形成一個(gè)擴(kuò)展的光子球體，這個(gè)球體的痕跡隨著時(shí)間的推移，顯現(xiàn)出錐形。 斯坦福大學(xué)的O'Toole等人將阿爾伯特·愛(ài)因斯坦的老師赫爾曼·明科夫斯基（Hermann Minkowski）在20世紀(jì)初提出的光錐物理學(xué)理論轉(zhuǎn)換成為關(guān)于光子飛行時(shí)間與散射表面位置的簡(jiǎn)明表達(dá)。他將這種轉(zhuǎn)換稱(chēng)為“光錐變換”。

自動(dòng)駕駛汽車(chē)已經(jīng)開(kāi)始使用直接成像的激光雷達(dá)系統(tǒng)，可以想象，它們有一天也可能配備“隱藏相機(jī)”來(lái)觀察角落。Raskar在2012年那篇開(kāi)創(chuàng)性論文的第一作者Andreas Velten預(yù)測(cè)： “在不久的將來(lái)，這些激光-SPAD傳感器將能夠出現(xiàn)手持設(shè)備上?！爆F(xiàn)在的任務(wù)是“在更復(fù)雜的場(chǎng)景下”和現(xiàn)實(shí)場(chǎng)景下實(shí)現(xiàn)這個(gè)功能，Velten說(shuō)，“而不是必須非常小心地設(shè)置一個(gè)白色物體和周?chē)谏谋尘埃覀兊哪繕?biāo)是一臺(tái)傻瓜相機(jī)。”

未來(lái)方向：可用于軍事、天文和醫(yī)療行業(yè)的成像

有朝一日，非視距成像可以幫助救援隊(duì)，消防員和自動(dòng)機(jī)器人。 Velten正在與NASA的噴氣推進(jìn)實(shí)驗(yàn)室合作，開(kāi)展一項(xiàng)旨在對(duì)月球洞穴內(nèi)部進(jìn)行遠(yuǎn)程成像的項(xiàng)目。與此同時(shí)，Raskar和公司已經(jīng)使用他們的方法閱讀了合上的書(shū)籍的前幾頁(yè)，并透過(guò)霧看到實(shí)現(xiàn)短距離透視。

除了音頻文件的重建，弗里曼的放大算法還可能會(huì)在醫(yī)療業(yè)、安全設(shè)備、或檢測(cè)微小運(yùn)動(dòng)的天文學(xué)研究中派上用場(chǎng)。該算法“是一個(gè)非常好的想法，”紐約大學(xué)和Flatiron研究所的天文學(xué)家和數(shù)據(jù)科學(xué)家大衛(wèi)·霍格說(shuō)。 “我認(rèn)為有必要在天文學(xué)中利用這一技術(shù)?！?/p>

當(dāng)被問(wèn)及應(yīng)用這一技術(shù)帶來(lái)的隱私問(wèn)題時(shí)，弗里曼表示： “這的確是個(gè)問(wèn)題，在我的職業(yè)生涯中，我對(duì)此考慮了很多很多，”他說(shuō)。弗里曼是一名攝影師，戴著眼鏡，從小就開(kāi)始拍攝照片，他說(shuō)，自己剛開(kāi)始做攝影師時(shí)，并不想從事任何和軍事或間諜應(yīng)用有關(guān)的事情。但隨著時(shí)間的推移，他開(kāi)始認(rèn)為“技術(shù)是一種工具。可以以多種不同方式加以利用。如果你總是去極力避免任何可能具有軍事用途的東西，那么你將永遠(yuǎn)不會(huì)做任何有用的成果。”他表示，即使用于軍事用途，對(duì)這項(xiàng)技術(shù)的利用方式也是非常豐富的。

不過(guò)，讓他感到興奮的不是技術(shù)上可能性，而是能夠發(fā)現(xiàn)隱藏在普通視野之外的現(xiàn)象。 “我認(rèn)為，在世界上有很多東西還等著我們?nèi)グl(fā)現(xiàn)?！彼f(shuō)。