世界上遍布著人眼看不見的視覺信息

2012年，計算機(jī)視覺科學(xué)家Antonio Torralba在西班牙海邊度假時發(fā)現(xiàn)，在他所住的賓館房間的墻上有著飄忽的影子，但卻沒找到影子的來源。最終，Torralba意識到，那面墻上斑駁的一塊區(qū)域根本不是某物的影子，而是窗外庭院微弱的倒置過來的一小部分影像。窗戶就像一個針孔攝像頭，構(gòu)成了最簡單的相機(jī)結(jié)構(gòu)，光線穿過其中，在另一端形成了倒置的圖像。最終的圖像在那片墻上很難辨認(rèn)，但是這給了Torralba啟發(fā)：世界上遍布著人眼看不見的視覺信息。

他說：“我們沒有發(fā)現(xiàn)這些圖像，但它們每時每刻都在我們身邊。”

這次的經(jīng)歷給讓他和同事Bill Freeman意識到這種“偶然的相機(jī)”無處不在，也許是窗戶、轉(zhuǎn)角、室內(nèi)植物等其他能在環(huán)境中微妙地創(chuàng)造圖像的物體。這些圖像可能非常暗淡，有時用肉眼不易察覺。Freeman解釋道：“我們想找到能讓這些圖像顯現(xiàn)的方法。”

在兩人的第一篇論文中，F(xiàn)reeman和Torralba證明了，改變房間墻上的光線，僅用iPhone拍攝出的圖片，就能通過處理反應(yīng)窗外風(fēng)景變化。去年秋天，他們和同事發(fā)表文章稱，可以通過靠近轉(zhuǎn)角的地面照片，發(fā)現(xiàn)另一面正在移動的物體。今年夏天，他們證明可以通過拍攝一株室內(nèi)植物的照片，對葉片的影子進(jìn)行分析，對整個房間進(jìn)行3D圖像的重建?；蛘咚麄兛梢詫⑷~子變成一個“視覺麥克風(fēng)”，增強(qiáng)它們的振動，聽清楚到底在說什么。

Torralba所居住的酒店房間，可依稀看到左二圖中倒映的陰影

這種通過觀察轉(zhuǎn)角推斷無法直接看到的信息，稱為“非視線成像（non-line-of-sight imaging）”。2016年，受之前研究的影響，美國國防高級研究計劃局（DARPA）發(fā)布了一項2700萬美元的REVEAL項目，為美國多個初創(chuàng)實驗室提供資金支持。從那之后，一些新技術(shù)和數(shù)學(xué)技巧讓非視線成像變得更加強(qiáng)大實用。

除了可以用于軍事和間諜行為，研究者還將這一技術(shù)用在自動駕駛汽車、機(jī)器人視覺、醫(yī)療影像、航空航天、太空探索、搜救任務(wù)等領(lǐng)域中。

Torralba說他們最初開始研究時并沒有什么特殊的目的，他們只是想探索圖像的基本形式和照相機(jī)的成像，由此引出了對光線是如何在環(huán)境中起到作用的調(diào)查研究。他們從一種從未有過的角度觀察事情，心理學(xué)的研究表明：“人類很不擅長解讀陰影。也許其中一個原因是我們看到的并不是真正的陰影。最終，眼睛會放棄分辨它們到底是什么?！?/p>

偶然生成的照相機(jī)

通常，光線會將我們視線之外的景觀打到墻面或其他物體表面上，再折射到我們的眼睛中。但是為什么這些影子都不太清楚呢？這是因為光線有很多不同的方向。

想要成像，對光線有著嚴(yán)格的要求，必須其中的一束要被人看到。這就是針孔攝像機(jī)的作用。Torralba和Freeman在2012年的發(fā)現(xiàn)中就提到，我們的生活環(huán)境中有很多會自然阻擋光線的物體或特征，由此形成的微弱圖像能被計算機(jī)檢測到。

針孔攝像機(jī)的光圈越小，最終的成像就越清晰，因為被拍攝物體上中的每個點(diǎn)只有一束光在正確的方向上才能穿過攝像機(jī)的光圈，Torralba酒店中的那扇窗戶太大了，無法生成清晰的圖像。并且，他和Freeman知道，在一般情況下，偶然生成的針孔攝像機(jī)非常少見。但是他們發(fā)現(xiàn)，“反針孔攝像機(jī)（pinspeck）”能夠包含任意小的、被光線阻擋的物體，能在任意地方形成圖像。

Bill Freeman

Antonio Torralba

假設(shè)現(xiàn)在你想透過窗戶縫拍攝房間內(nèi)的墻壁照片。突然有人的胳膊擋住了視線，你看不到前方的物體。通過比較有遮擋和無遮擋時墻壁上光線的強(qiáng)度可以揭示該場景的信息。第一幀中打到墻上的光在下一幀上被胳膊阻擋。Freeman說：“你可以還原被手臂遮擋的物體，如果你能看到擋住光線的物體，以及光線的來源，那么就能讓針孔成像更完整?！?/p>

除了用針孔攝像機(jī)處理微小的變化，F(xiàn)reeman和他的同事們還將算法用于檢測和填補(bǔ)微妙的顏色變化，例如人的臉色和表情的變化。如今，他們可以輕松捕捉到百分之一個像素上動作的變化，該方法的原理是將圖像用數(shù)學(xué)方法轉(zhuǎn)化成正弦波的圖形。重要的是，在轉(zhuǎn)化后的空間，信號并非充滿噪音因為正弦波圖表示的是多個像素的平均值。所以研究者可以檢測正弦波圖的位置變化，將其在轉(zhuǎn)換成數(shù)據(jù)。

現(xiàn)在，他們開始將這些技術(shù)結(jié)合，探索隱藏視覺信息。在去年十月，由Freeman的學(xué)生Katie Bouman主導(dǎo)的一項報告中表示，他們證明了建筑物拐角可以用作照相機(jī)，生成拐角另一面粗糙的圖像。

正如針孔攝像機(jī)和pinspecks一樣，線條和轉(zhuǎn)角同樣限制了光線的通過。只用一部iPhone，Bouman和同伴們拍攝了建筑物拐角的半影（penumbra）：陰影區(qū)域受到轉(zhuǎn)角處隱藏區(qū)域的光線著涼，如果有人身穿紅色裙子走過，那么裙子會在半影處投射少量紅色光線。肉眼雖然難以分辨，但是處理后卻清晰可見。

今年六月，F(xiàn)reeman和同事們在一間房間中重建了“光場”，從靠近墻的植物上投射光線，葉片猶如pinspeck攝像機(jī)，會遮擋住不同光線。將每片葉子的陰影與其余部分進(jìn)行對比，可以發(fā)現(xiàn)其中缺失的光線，從而重建隱藏場景的一部分圖像?？紤]到視差，研究人員可以將這些圖像拼湊在一起。

光場方法比此前的偶然攝像機(jī)生成的圖像更清晰，因為之前的方法是建立在算法之上。如今我們知道了室內(nèi)植物的形狀，假設(shè)自然圖像是流暢清晰的，有助于生成清晰的圖像。Torralba說：“光場技術(shù)需要了解很多有關(guān)環(huán)境的信息，但最終也會反饋給你很多信息?！?/p>

散射光

雖然Freeman、Torralba和同事們發(fā)現(xiàn)了這樣特殊的成像方法，但MIT的另一位科學(xué)家，Ramesh Raskar提充了一種“主動成像”的方法，他利用昂貴特制的相機(jī)激光系統(tǒng)，能生成拐角處的高分辨率圖像。

2012年，Raskar和他的團(tuán)隊創(chuàng)造出一種技術(shù)，將激光脈沖打到墻上，一小部分光束就會彈到圍欄上。每次脈沖后的瞬間，他們都會用“條紋相機(jī)（streak camera）”以每秒數(shù)十億幀的速度記錄單個光子，檢測從墻壁反彈回來的光子。通過測量返回光子的飛行時間，研究人員就可以知道他們行進(jìn)了多元，從而重建隱藏物體的三維幾何結(jié)構(gòu)。其中一個重要的原則是你必須用激光對墻壁進(jìn)行光柵掃描，建成三維圖像。Raskar說：“比如角落中有個人，到達(dá)它頭部、肩膀和膝蓋上的光線必須相同時間到達(dá)相機(jī)。你必須將所有信號組合起來解決所謂的逆問題，以重建隱藏的三維幾何。”

Raskar原始用于解決逆問題的算法需要大量計算，但在三月，一個重要進(jìn)步大大簡化了數(shù)學(xué)運(yùn)算和計算成本。一篇發(fā)表在Nature上的論文對物體的3D重建提出了新的高效的標(biāo)準(zhǔn)。斯坦福大學(xué)的三位研究者——Matthew O’Toole、David Lindell和Gordon Wetzstein提出了一種強(qiáng)大的算法，用相對便宜的SPAD相機(jī)就能解決這樣的逆問題。Raskar認(rèn)為這項工作是“他最喜歡的論文之一”。

此前的算法在程序細(xì)節(jié)上有些限制：研究人員通常選擇墻上不同位置的返回光子，而不是激光的指向，這樣他們的相機(jī)就可以避開激光返回的散射光。但是，通過將激光和相機(jī)指向幾乎相同的點(diǎn)，斯坦福大學(xué)的研究人員可以使射出和射入的光子映射出相同的“光錐”。每當(dāng)光從表面散射時，他就會形成一個擴(kuò)展的光子球體，隨著時間的推移，球體顯示出錐形。

自動駕駛汽車已經(jīng)有LIDAR系統(tǒng)作為直接成像的工具，可以想象有一天，也可以用SPAD相機(jī)來觀察角落。在2012年的研討會中，Andreas Velten預(yù)測：“在不久的將來，這些傳感器將會變成手持的形式?！?/p>

未來用途

Freeman研究小組的研究者已經(jīng)開始結(jié)合被動和主動兩種方法了，博士后Christos Thrampoulidis表示在用激光主動成像時，用pinspeck相機(jī)在已知形狀的轉(zhuǎn)角處可以用于隱藏場景的重建，無需計算光子的返回時間等信息。

非視線成像可以在未來用于急救隊伍、消防和自動機(jī)器人。Velten正在和NASA合作，對月球表面的山洞進(jìn)行成像。同時，Raskar和其團(tuán)隊正研究如何閱讀合著的書籍的前幾頁內(nèi)容，以及在大霧天氣看清前方。除了對音頻的重建，F(xiàn)reeman的運(yùn)動放大算法可能會用于健康和安全設(shè)備，或者監(jiān)測微小的天文運(yùn)動。

除此之外，隱私問題也是關(guān)注較多的話題。Freeman表示，當(dāng)他開始自己的研究時，并沒有想將任何技術(shù)用于軍事和間諜行動。但是隨著時間過去，他認(rèn)為科技可以用在多個領(lǐng)域的工具，如果你避免任何軍事用途，那么也許永遠(yuǎn)做不出有用的東西。即使在軍事中使用，它也可以幫助某人避免被人殺死。總的來說，了解事物的位置是一件好事。

但是，讓他緊張的并不是技術(shù)的潛力，而是發(fā)現(xiàn)隱藏在普通視野下的未被發(fā)現(xiàn)的東西。