單像素成像圖像智能處理算法和應(yīng)用場景

圖像傳感器是把攝像頭接收到的光信號轉(zhuǎn)化成電子信號的感光元件，可以記錄光場強度的分布，對于拍照設(shè)備來說，它就如同人眼的視網(wǎng)膜。手機或者相機的傳感器一般是一個包含了很多個小單元的陣列，每個小單元對應(yīng)著照片中的一個像素。我們平時說的，相機2000萬像素就是指圖像傳感器上有2000萬個小單元（感光點）。

圖像傳感器單像素成像原理然而，近十多年來，科學(xué)家們卻在探索一種新型的“單像素相機”[2]，即圖像傳感器只包含一個像素，這種另類的光學(xué)成像方式就是“單像素成像”[1]。 那么單像素相機又是怎么工作的呢？單像素成像中，通過一個投影器件不斷向目標(biāo)物體照射不同的結(jié)構(gòu)光圖案，單像素探測器依次記錄下每次照射時物體場景總體光強度，最后計算重建出具有空間分辨率的物體圖像。數(shù)學(xué)上來說，單像素探測器記錄的光強度是投影圖案和物體圖像之間的內(nèi)積。單像素成像與以往常常提到的鬼成像和關(guān)聯(lián)成像的概念比較接近。

典型的單像素成像系統(tǒng)單像素成像智能處理算法由于單像素相機與普通相機有著不同的成像機制和框架，在最近的研究中，筆者設(shè)計了四種為其“量身打造”的圖像智能處理算法。 （1）運動物體單像素成像中模糊去除和質(zhì)量提升 單像素成像中需要依次投影大量不同圖案，記錄下很長一串單像素值序列，才能重建出一張物體圖像，這顯然需要一定的成像時間。所以，拍攝快速運動的物體時，幀率往往比較低，記錄前幾個單像素值時還“朝發(fā)白帝”,記錄后幾個單像素值時就已經(jīng)“暮到江陵”了。這導(dǎo)致最后記錄下的單像素值數(shù)據(jù)里包含了不同位置物體的混合信息，重建的圖像會包含比較多模糊和噪聲，類似于普通相機拍攝一輛飛馳而過的汽車得到的“拖尾”照片一樣。 為解決這一問題，可以考慮一個基本的物理定律——運動的相對性，物體在運動，投影圖案是靜止的，等效于物體是靜止的，而投影圖案在反方向運動。物體從左到右運動，相當(dāng)于投影圖案從右到左運動；物體順時針轉(zhuǎn)動，相當(dāng)于投影圖案逆時針轉(zhuǎn)動。通過搜索估算物體的平移或者轉(zhuǎn)動速度，對投影圖案做相應(yīng)的反向變換，然后計算時使用變換后的投影圖案替代原本的投影圖案，重建出的物體圖像就會清晰很多，質(zhì)量得到明顯提升[3]。

實驗中，拍攝一個快速轉(zhuǎn)動圓盤上的數(shù)字，我們設(shè)計的算法可以去除重建圖像中的模糊和噪聲 [3]。 （2）基于單像素成像的全光學(xué)物體快速分類 圖像常常需要進(jìn)行自動分類識別，比如照片里的是一只貓，還是一只狗？一般無論普通相機還是單像素相機，都要先拍攝到物體（比如數(shù)字或交通標(biāo)志）清晰的圖片，才能使用機器學(xué)習(xí)方法進(jìn)行圖像分類任務(wù)。 不過，筆者提出的基于單像素成像的全光學(xué)物體快速分類方案中[4]，不需要重建物體圖像，物體只被很少數(shù)量的投影圖案所照射，探測器只記錄下“寥寥無幾”的單像素值，該算法直接基于這些單像素值，在“不知道物體到底長得什么樣”情況下，能夠進(jìn)行快速物體分類。比如我們要把物體分為10類，只需要從大量訓(xùn)練圖片中優(yōu)化設(shè)計出10個投影圖案，一共投影10次，而進(jìn)行完整的圖像重建可能需要投影幾百幾千次。

從10個類別的數(shù)字圖像和交通標(biāo)志圖像中分別優(yōu)化設(shè)計出的10個用于快速物體分類的投影圖案（第四行）。 分類結(jié)果可以通過單像素值序列中最大光強度值直接顯示出來，無需后續(xù)的數(shù)字處理，整個系統(tǒng)相當(dāng)于一個可以進(jìn)行線性分類任務(wù)的“光學(xué)計算機”。相比于2018年Science論文中多層級聯(lián)相位板結(jié)構(gòu)的全光學(xué)衍射神經(jīng)網(wǎng)絡(luò)(DNN)系統(tǒng)[5]，我們的系統(tǒng)可以完成類似的全光學(xué)物體分類任務(wù)，同時具有非相干光照射下工作，低實驗復(fù)雜性，高可編程性等優(yōu)點，更容易實現(xiàn)。 （3）單像素成像中圖像盲重建 單像素成像中一般既需要已知所有投影圖案，又需要已知所有單像素值，才能進(jìn)行物體圖像的重建。這樣看起來二者缺一就無法重建圖像，其實未必。

假設(shè)投影圖案雖然是未知的，但它們保持固定不變。如果已知一定數(shù)量不同的物體圖像和它們對應(yīng)單像素值序列作為訓(xùn)練樣本，可以通過機器學(xué)習(xí)方式實現(xiàn)盲重建。筆者在研究[6]中并沒有使用“時尚潮流之選”的深度學(xué)習(xí)方法，而使用了更簡單的基于線性回歸模型的方式恢復(fù)未知的投影圖案，但獲得的結(jié)果在一定條件下優(yōu)于深度學(xué)習(xí)的結(jié)果。 事實上，很多相干和非相干的光學(xué)成像系統(tǒng)都是線性的，一些傳統(tǒng)方法也可能對系統(tǒng)進(jìn)行精確模擬，那么近年在各領(lǐng)域都普遍使用的深度學(xué)習(xí)方法是否一定優(yōu)于傳統(tǒng)方法？一些仿真和實驗結(jié)果顯示，對于單像素成像系統(tǒng)和其他一些線性光學(xué)系統(tǒng)，深度學(xué)習(xí)其實未必總能表現(xiàn)出優(yōu)勢，尤其在需要大量訓(xùn)練樣本和泛化性這兩個方面表現(xiàn)出一定不足[6]。 （4）單像素成像中的可視加密 作為90后經(jīng)典童年回憶的《冒險小虎隊》中，通過解密卡才能看到雜亂無章的條紋中隱藏的信息，這其實很類似于一種“可視加密”技術(shù)。

可視加密(Visual Cryptography)把要隱藏的圖像分解成幾個隨機圖案，把它們打印在透明膠片上，每個圖案稱為一個可視密鑰(Visual Key)，無法從中看到隱藏的圖像?？墒钱?dāng)可視密鑰重疊在一起時，隱藏圖像就可以在視覺上顯現(xiàn)出來。單像素成像中的探測器收集物體圖像總體光強度的方式，相當(dāng)于進(jìn)行了像素值的虛擬疊加操作，與可視加密一定程度上“異曲同工”。 筆者提出通過物體圖像和通過投影圖案兩種方式將可視加密在單像素成像中實現(xiàn)[7]。單像素的可視加密可以適用于打印在不透明介質(zhì)上的可視密鑰圖案，并且容易在肉眼觀察不到的非可見光波段以及視平線之外隱藏角落實現(xiàn)可視加密，物理層面上提升可視加密的安全性。 例如，(a)和(b)兩個二維碼可以作為一組可視密鑰，用手機掃它們，可以讀出同樣的信息，不過讀出的并不是要隱藏的信息，而是做偽裝的“幌子”。通過單像素可視加密系統(tǒng)虛擬疊加到一起之后，依舊是一個可以用手機掃的二維碼(c)，不過真正隱藏的信息”O(jiān)K”浮現(xiàn)了出來。

此外單像素成像中，只對一組投影圖案的隨機置換也能實現(xiàn)圖像加密[8]。單像素成像的應(yīng)用單像素成像可以把傳感器從一個單元陣列簡化為單個像素，與此同時，則需要額外的投影器件，比如，數(shù)字微鏡陣列DMD，并且要投影照射和記錄很多次，而不是一次性成像。 然而，這不妨礙在很多情況下，單像素相機仍然比普通相機更具有優(yōu)勢，比如在可見光以外的一些波段，單元陣列傳感器難以制造，或者成本非常高，而只包含一個像素的簡單傳感器就容易實現(xiàn)得多，單像素成像為這些波段的低成本相機提供了一個好的選擇。 再比如普通相機拍攝照片時，物體需要放到鏡頭或者傳感器的視平線范圍內(nèi)，而單像素探測器可以拍攝隱藏在拐角處的物體。當(dāng)同時對多個光譜和多個偏振態(tài)的光場進(jìn)行記錄時，難以在同一個單元陣列傳感器上對這么多的“頻道”同時進(jìn)行復(fù)用，單像素探測器則比較容易在“頻道”間靈活來回切換。 目前，該技術(shù)已被研究者嘗試應(yīng)用于多個領(lǐng)域，如遙感成像、顯微鏡、光譜儀、無人駕駛激光雷達(dá)、加油站氣體泄露監(jiān)測、便攜式掃描儀等，單像素成像的潛在應(yīng)用場景一直在不斷被發(fā)掘和擴展。

作者簡介

焦述銘，深圳大學(xué)納米光子學(xué)研究中心副研究員，香港城市大學(xué)博士畢業(yè)。主要從事單像素成像，全息成像及顯示，圖像處理等方面研究。以第一作者發(fā)表期刊論文20余篇，曾入選Hong Kong PhD Fellowship Scheme和廣東省“珠江人才計劃”博士后資助項目。

審核編輯：郭婷