基于超表面實時超光譜成像芯片的研究進展

基于空間掃描或波長掃描的傳統(tǒng)光譜成像設(shè)備體積龐大，無法獲取動態(tài)的光譜信息。利用超表面可以實現(xiàn)豐富的光譜調(diào)制函數(shù)，結(jié)合計算重建和空分復(fù)用方法可以實現(xiàn)高光譜分辨率和空間分辨率的實時光譜成像芯片。

據(jù)麥姆斯咨詢報道，近期，清華大學(xué)電子工程系、北京國家信息科學(xué)技術(shù)研究中心和北京量子信息科學(xué)研究院的科研團隊在《光學(xué)學(xué)報》期刊上發(fā)表了以“基于超表面的實時超光譜成像芯片”為主題的文章。該文章第一作者為楊家偉，通訊作者為崔開宇副教授和黃翊東教授。

本文介紹了超表面光譜成像芯片的相關(guān)工作進展，給出了超表面光譜成像芯片的光譜成像原理，主要從結(jié)構(gòu)設(shè)計、重建算法、實際應(yīng)用等方面介紹了超表面光譜成像芯片的研究進展，并討論和展望了其未來的發(fā)展趨勢和應(yīng)用前景。根據(jù)數(shù)據(jù)采集方式的不同，還可將光譜成像分為點掃描、線掃描、波長掃描和快照式四類，如圖1所示。

圖1 光譜成像按采集方式的分類

超表面光譜成像的基本原理

超表面是具有亞波長周期的微納結(jié)構(gòu)陣列，具有高度靈活的光調(diào)控能力。利用超表面可以實現(xiàn)對入射光豐富的頻譜調(diào)制，結(jié)合計算光譜重建原理，可以實現(xiàn)結(jié)構(gòu)緊湊的微型光譜儀，通過陣列化排布可以實現(xiàn)片上光譜成像。

超表面光譜成像芯片的結(jié)構(gòu)示意圖如圖2（a）所示，芯片由超表面層和下方的CMOS圖像傳感器組成，超表面層包含多個超表面單元，每個超表面單元都是具有亞波長周期的微納結(jié)構(gòu)陣列，通過改變超表面單元的結(jié)構(gòu)參數(shù)，可以實現(xiàn)不同的光譜調(diào)制函數(shù)，即不同的透射譜Ti（λ）。入射光經(jīng)超表面單元調(diào)制后被其下方的圖像傳感器像素所探測，根據(jù)若干個光強探測值Ii便可重建得到入射光的光譜f（λ），實現(xiàn)微型光譜儀的作用，工作原理如圖2（b）所示。

圖2 基于超表面的光譜成像原理：（a）超表面光譜成像芯片的結(jié)構(gòu)示意圖，包括超表面層和CMOS圖像傳感器的兩部分；（b）單個超表面微型光譜儀的光譜重建原理；（c）超表面的空分復(fù)用原理

對于整個光譜成像芯片而言，在光譜信號測量時，會得到一幅透射強度圖，如圖2（c）所示。對于任一點而言，可以選取該點附近的任意個測量值進行計算。換言之，可以構(gòu)建一個任意N形狀的超表面光譜儀進行光譜測量，且相鄰微型光譜儀間可以共用相同的超表面單元。例如，圖2（c）中的1、2、3標記的框圖分別表示包含25個、49個、33個超表面單元的微型光譜儀，利用這種空分復(fù)用原理可以大大提升光譜成像的空間分辨率。

超表面單元的結(jié)構(gòu)設(shè)計

超表面單元的設(shè)計目標

為了提高超表面光譜儀的光譜分辨率，需要對測量矩陣進行優(yōu)化設(shè)計。從光譜分辨率的定義出發(fā)，結(jié)合光譜重建過程，可以確定的優(yōu)化目標。光譜分辨率一般是指光譜儀所能分辨的兩個相鄰譜線的最小波長間隔。圖3（a）展示了一個微型超表面光譜儀所包含的各個超表面單元的透射譜，當(dāng)波長為的單色光［圖3（a）中的左邊的豎線］入射到該超表面光譜儀時，在不考慮測量噪聲的情況下，其對應(yīng)的測量向量即為矩陣的某一列，如圖3（b）所示。同理，波長為的單色光［圖3（a）中的右邊的豎線］入射時，對應(yīng)的測量向量為矩陣的另一列。因此，要提高超表面光譜儀在某一波長處的分辨率，就要求矩陣的列向量與其他各列的最大相關(guān)性盡量小。那么，為了提高超表面光譜儀在整個工作波段的平均光譜分辨能力，本文定義了一個測量矩陣的設(shè)計目標，即使的平均最大列相關(guān)性盡量小。

圖3 超表面單元的設(shè)計目標

基于規(guī)則形狀超表面單元的光譜成像芯片

2022年，本文作者團隊基于規(guī)則形狀的超表面單元研制出國際首款實時超光譜成像芯片。如圖4（a）所示，設(shè)計的超表面單元分為五種類型：圓孔型、方孔型、十字孔型，以及方孔和十字孔經(jīng)過45°旋轉(zhuǎn)后得到的圖案。這五種類型的圖案均滿足四重旋轉(zhuǎn)對稱性，以保證對應(yīng)超表面單元在正入射條件下具有偏振無關(guān)的光譜調(diào)制特性。該款實時超光譜成像芯片將單點光譜儀的尺寸縮小到百微米量級以下，單次拍照可以獲得空間中超過15萬個點的光譜信息，即在0.5 cm2的芯片上集成了超過15萬個（356×436）微型光譜儀，每個微型光譜儀的工作譜寬為450~750 nm，單色光的測量精度（即波長精度）達到0.04 nm，光譜分辨率高達0.8 nm。

圖4 國際首款實時超光譜成像芯片及其性能指標

基于自由形狀超表面單元的光譜成像芯片

為突破規(guī)則形狀的設(shè)計自由度限制，本文作者團隊進一步提出了一種自由形狀超原子的超表面設(shè)計方法，通過對一個超原子內(nèi)的區(qū)域進行網(wǎng)格劃分、格點值隨機分配以及濾波和二值化處理來生成自由形狀。由于格點值是隨機分配的，每次得到的自由形狀都不盡相同，相應(yīng)的設(shè)計自由度與規(guī)則形狀相比擴大了2~3個數(shù)量級。得益于超表面參數(shù)設(shè)計空間的擴大，基于自由形狀超原子超表面的超光譜成像芯片的性能有了進一步提升，波長分辨率提升至0.5 nm（見圖5）。

圖5 基于自由形狀超原子超表面的超光譜成像芯片

利用該芯片對24色標準色卡和不同水果進行光譜成像的結(jié)果，如圖6所示。以空間掃描式的商用光譜相機（四川雙利合譜科技有限公司，型號為GaiaField Pro V10）所拍攝的結(jié)果作為參考，利用超光譜相機對24種顏色塊的平均光譜重建保真度達到98.78%。

圖6 基于自由形狀超原子超表面的超光譜成像芯片對標準色卡和水果的光譜成像結(jié)果

基于神經(jīng)網(wǎng)絡(luò)的快速重建算法

超表面光譜成像芯片需要對圖像各點通過求解欠定線性方程組進行光譜重建，以得到最終的光譜圖像。然而，基于線性方程組的迭代求解算法，無法實現(xiàn)光譜圖像的快速重建。此外，在光譜重建時假定了同一超表面光譜儀內(nèi)各個超表面單元接收的光譜是相同的，但是在圖像邊緣處這一假設(shè)并不成立，因此圖像邊緣處存在較大的重建誤差，導(dǎo)致重建的光譜圖像出現(xiàn)馬賽克現(xiàn)象。為了實現(xiàn)光譜圖像的快速重建，并盡可能消除圖像的馬賽克現(xiàn)象，本文作者團隊提出利用基于乘法器的交替方向法（ADMM）迭代算法的深度展開神經(jīng)網(wǎng)絡(luò)ADMM-net實現(xiàn)光譜圖像的快速重建。如圖7（a）所示，網(wǎng)絡(luò)由k=12個子網(wǎng)絡(luò)級聯(lián)而成，每個子網(wǎng)絡(luò)稱為一個階段，對應(yīng)于傳統(tǒng)的ADMM迭代算法中的每一步迭代，具體來說，每個階段都包含線性變換部分W（?）和卷積神經(jīng)網(wǎng)絡(luò)（CNN）降噪部分，分別對應(yīng)于ADMM迭代算法中的梯度下降和正則化過程。

圖7 ADMM-net的基本架構(gòu)及對標準色卡的重建結(jié)果

利用基于自由形狀超原子超表面的超光譜成像芯片對標準色卡進行成像測量后，再利用ADMM-net進行光譜圖像重建的結(jié)果如圖7（b）所示。與商用光譜相機的采集結(jié)果、傳統(tǒng)的利用CVX算法進行逐點光譜重建的結(jié)果、采用傳統(tǒng)的迭代算法GAP-TV的重建結(jié)果和采用端到端神經(jīng)網(wǎng)絡(luò)λ-net的重建結(jié)果進行對比，可以看到，相比于傳統(tǒng)的逐點光譜重建結(jié)果，ADMM-net的圖像細節(jié)重建效果更優(yōu)，顯著消除了圖像的馬賽克現(xiàn)象。并且，相比于其他三種算法，ADMM-net的光譜重建準確性也更優(yōu)，對于標準色卡中的四個采樣點，其平均光譜重建似然度為99.53%，而CVX、GAP-TV和λ-net對應(yīng)的平均似然度分別僅為97.32%、97.18%和97.72%。

表1比較了不同算法重建單個光譜圖像數(shù)據(jù)立方的耗時，并以推掃式商用光譜相機的單次數(shù)據(jù)采集時間為參考?？梢姡逃霉庾V相機采集單個數(shù)據(jù)立方需要1 min左右；而采用ADMM-net和λ-net重建大小為256×256×26的數(shù)據(jù)立方，在GPU（NVIDIA GeForce RTX 3080）上分別僅需18 ms和95 ms，在CPU（Intel Xeon Gold 6226R）上也分別只需要1.72 s和2.44 s；相比之下，采用傳統(tǒng)的迭代算法GAP-TV需要110 s，而CVX進行逐點光譜重建則需要4854 s。由此可見，ADMM-net的計算效率是最高的，其重建速度相比于CVX提升了約5個數(shù)量級，能夠?qū)崿F(xiàn)55 frame/s的光譜圖像數(shù)據(jù)立方重建速率，并且可以有效消除重建圖像的馬賽克現(xiàn)象。

表1 不同光譜成像方法的耗時比較

應(yīng)用實例

活體大鼠腦光譜成像

光譜成像技術(shù)可以應(yīng)用在腦科學(xué)的研究中。在可見光波段550 nm附近，生物體內(nèi)的血紅蛋白及其衍生物具有明顯的吸收特征，這會在其光譜的反射信號中出現(xiàn)一個明顯的吸收谷。因此，通過光譜成像技術(shù)將有可能實現(xiàn)區(qū)域血紅蛋白濃度的實時觀測。在生物學(xué)上，通過神經(jīng)-血氧耦合機制，還可進一步將光譜隨時間的變化和神經(jīng)活動聯(lián)系在一起，這為腦科學(xué)的研究提供了一種全新的方式。與傳統(tǒng)電極傳感方式不同，光譜成像無須侵入神經(jīng)細胞附近，可以做到非接觸式檢測，因而采集到的信息更加可靠。

利用圖8（b）所示的光譜相機對大鼠進行實時腦光譜成像，能夠測量活體大鼠腦部血紅蛋白及其衍生物的特征光譜的動態(tài)變化，時間分辨率可達30 Hz。圖8（a）是單幀的光譜成像結(jié)果，圖中標記出了6個區(qū)域用于分析血紅蛋白的光譜信號。圖8（c）中挑選了4個區(qū)域并繪制了該區(qū)域的光譜信號；其中，區(qū)域1和區(qū)域2為血管區(qū)，區(qū)域3和區(qū)域4為非血管區(qū)；該圖中用不同顏色的虛線標記出了氧合血紅蛋白（HbO）、碳氧血紅蛋白以及去氧血紅蛋白（HbR）各自的光譜吸收峰的位置，恢復(fù)得到的光譜數(shù)據(jù)明顯含有血紅蛋白的吸收特征。圖8（d）和8（e）展示了光譜信號的時域變化，圖的橫坐標為時間，縱坐標為相對光譜強度；在圖8（d）即血管區(qū)域，HbO和HbR的光譜信號成正相關(guān)的關(guān)系；在圖8（e）即非血管區(qū)域，兩者成負相關(guān)的關(guān)系。從理論上分析，在血管區(qū)域，血紅蛋白的輸運過程占主導(dǎo)，因此HbO和HbR的濃度同時增加或減少，兩者成正相關(guān)的關(guān)系；在非血管區(qū)域，細胞呼吸過程占據(jù)主導(dǎo)，因此HbO中的氧氣分子被消耗成為HbR，兩者成負相關(guān)的關(guān)系。理論上的結(jié)論和圖8（d）和8（e）中的實驗結(jié)果是保持一致的，這從側(cè)面印證了實時腦光譜成像實驗的數(shù)據(jù)的有效性。

圖8 國際首款實時超光譜成像芯片對大鼠的實時腦光譜成像結(jié)果

基于光譜成像的人臉防偽

人臉識別系統(tǒng)已得到了越來越廣泛的使用，由于其涉及到人民的隱私和財產(chǎn)安全，人臉識別系統(tǒng)的可靠性和安全性引起了越來越廣泛的關(guān)注，人臉防偽相關(guān)的研究也逐漸被重視?，F(xiàn)有的高安全性的人臉識別系統(tǒng)一般會使用額外的紅外相機和深度相機來獲取人臉的三維結(jié)構(gòu)特征以及紅外反射特征，提升人臉防偽的性能。這些額外的光學(xué)傳感器使得現(xiàn)有的人臉識別系統(tǒng)對屏幕回放、二維面具等常見人臉偽裝有著極強的鑒別能力，但對三維高仿真硅膠面具的鑒別能力依然有限。并且隨著3D打印技術(shù)的發(fā)展，制作三維高仿真硅膠面具的成本和門檻被降低，給現(xiàn)有人臉識別系統(tǒng)的安全性帶來了一定的挑戰(zhàn)。為了有效鑒別高仿真面具，需要引入新的傳感器來獲取有區(qū)分度的特征。而光譜是分析物質(zhì)成分的有效手段，因此光譜相機可被用于高可靠性的人臉防偽，快照式光譜成像芯片則為實時人臉防偽提供了有效的光譜感知信息。利用超表面光譜成像芯片可以實現(xiàn)快照式的光譜人臉防偽，如圖9所示，由于人皮膚內(nèi)血紅蛋白的吸收作用，活體皮膚的光譜反射特性在540 nm和580 nm左右有兩個特征吸收峰，能夠?qū)⒒铙w人臉和偽裝材料有效地區(qū)分，并且超表面光譜相機能夠較為準確地重建出此光譜特征。實現(xiàn)的快照式光譜人臉防偽系統(tǒng)首先自動檢測出人臉上多個關(guān)鍵點的位置，然后重建出關(guān)鍵點處的光譜特征，最后將光譜特征輸入基于神經(jīng)網(wǎng)絡(luò)的分類器得到最終的人臉防偽結(jié)果。整個系統(tǒng)能夠達到實時進行人臉防偽的性能要求，并且識別高仿真面具的準確率可達95%。

圖9 活體人臉與常見偽裝材料的快照式光譜測量結(jié)果

自動駕駛中的同色異譜識別

利用超表面光譜成像芯片結(jié)合ADMM-net可以實現(xiàn)實時光譜成像。圖10展示了戶外駕駛場景的動態(tài)光譜成像結(jié)果，在8.38 s的時間內(nèi)，一共采集了300 frame光譜圖像，實現(xiàn)了約36 frame/s的光譜成像速率，其中包含了測量圖像的采集時間和光譜圖像的重建時間。圖10給出了其中8 frame的重建結(jié)果，從RGB偽彩色圖中可以看到，車輛的色彩重建準確性較好；并且，從第20 frame和第100 frame圖像中的采樣點A和B的重建光譜來看，天空和白色車輛的光譜具有明顯的差異，因此通過實時光譜成像可以快速區(qū)分顏色相近但光譜不同的物體，有望解決自動駕駛場景的同色異譜識別問題，避免車輛將白色卡車誤認為天空而引起交通事故。

圖10 戶外駕駛場景的實時光譜成像結(jié)果

總結(jié)與展望

光譜儀和光譜成像器件具有小型化、集成化的發(fā)展趨勢，微型光譜儀的相關(guān)研究也不斷增多，其中，基于超表面的計算重建光譜儀能夠利用少量的光譜調(diào)制單元實現(xiàn)高精度的光譜重建，有效減小了單個微型光譜儀的體積，并且易于大規(guī)模集成以實現(xiàn)快照式的光譜成像芯片。本文回顧了基于規(guī)則形狀超表面單元實現(xiàn)的國際首款實時超光譜成像芯片以及基于自由形狀超表面單元的超光譜成像芯片等相關(guān)工作，主要從基本原理、結(jié)構(gòu)設(shè)計、重建算法和潛在應(yīng)用等方面對超表面光譜成像芯片的相關(guān)研究進行了總結(jié)。

在未來，具備高精度、低成本、可量產(chǎn)等優(yōu)勢的超表面光譜成像芯片，將有望成為人工智能和大數(shù)據(jù)行業(yè)發(fā)展的基礎(chǔ)，為智能手機、醫(yī)療器械、機器視覺、增強現(xiàn)實、自動駕駛、智慧城市等應(yīng)用場景拓展出新的傳感維度，真正讓光譜感知無處不在。目前超表面光譜成像芯片還可以優(yōu)化的方向包括：

1）進一步優(yōu)化光譜圖像重建算法。后續(xù)可以引入Transformer、3D CNN等新型網(wǎng)絡(luò)結(jié)構(gòu)，并通過商用光譜相機實際拍攝、數(shù)據(jù)增強等方式拓展光譜圖像數(shù)據(jù)集，提升光譜圖像的重建精度。

2）降低超表面的角度敏感性。超表面為天然的角度敏感型結(jié)構(gòu)，透射譜會隨著入射光角度改變，未來需要考慮通過結(jié)構(gòu)優(yōu)化或引入新的設(shè)計理念來實現(xiàn)角度不敏感的透射譜，提高光譜成像的效果。

審核編輯：劉清