“超像素”將合并的概念推向極限

隨著機(jī)器視覺及其應(yīng)用的最新進(jìn)展，相比基于幀的CCD或CMOS圖像傳感器，業(yè)界對(duì)更快、更節(jié)能、更靈敏的傳感器硬件的需求越來越高。除了基于傳統(tǒng)CMOS技術(shù)并已達(dá)到較高成熟度的事件相機(jī)（硅視網(wǎng)膜），現(xiàn)在對(duì)新型圖像采集和數(shù)據(jù)預(yù)處理技術(shù)的研究也越來越多，其中許多技術(shù)模擬了人類視覺系統(tǒng)的某些神經(jīng)生物學(xué)功能。

近幾十年來，一種被稱為像素合并（pixel binning）的圖像預(yù)處理技術(shù)得到了應(yīng)用，它是將圖像中相鄰的n個(gè)點(diǎn)像素相加合并變?yōu)橐粋€(gè)點(diǎn)像素的過程。這提供了很多優(yōu)勢(shì)，例如（1）由于輸出數(shù)據(jù)量減少而提高了幀速率，以及（2）在低光水平或短曝光時(shí)間下，提高了信噪比（SNR）等。對(duì)于后者來說，正常模式下每個(gè)探測(cè)像素都會(huì)受到暗噪聲的影響，但在合并模式下，每個(gè)像素僅受到一次噪聲影響。然而，合并的代價(jià)是空間分辨率降低，或者說丟失信息。在模式識(shí)別應(yīng)用中，即使信噪比很高，這也會(huì)降低結(jié)果的準(zhǔn)確性。

據(jù)麥姆斯咨詢介紹，維也納技術(shù)大學(xué)（Vienna University of Technology）光子學(xué)研究所的一支研究團(tuán)隊(duì)通過將大量傳感像素合并成一個(gè)“超像素”，將合并的概念推向了極限。超像素的最佳形狀通過機(jī)器學(xué)習(xí)算法在訓(xùn)練數(shù)據(jù)中確定。研究人員展示了在超短時(shí)間尺度上對(duì)光學(xué)投影圖像分類，具有增強(qiáng)的動(dòng)態(tài)范圍，并且不損失分類精度。這項(xiàng)研究成果已發(fā)表于Scientific Reports期刊。

像素合并

不同類型像素合并的人工神經(jīng)網(wǎng)絡(luò)（ANN）分類精度。傳統(tǒng)像素合并可以在低光照強(qiáng)度下擴(kuò)展動(dòng)態(tài)范圍，但隨著光照強(qiáng)度的提高會(huì)犧牲精度。數(shù)據(jù)驅(qū)動(dòng)（Data-driven）的像素合并則不存在這個(gè)缺點(diǎn)。

對(duì)于具有獨(dú)熱編碼（one-hot encoding）的多類分類，每個(gè)類都需要一個(gè)這樣的超像素。對(duì)于傳統(tǒng)合并，系統(tǒng)對(duì)噪聲變得更具彈性，并且提高了動(dòng)態(tài)范圍。然而，與傳統(tǒng)情況相比，對(duì)于更高的光照強(qiáng)度，其分類精度沒有損失，因此性能沒有妥協(xié)。當(dāng)然，這些優(yōu)勢(shì)的代價(jià)是降低了靈活性，因?yàn)槊總€(gè)特定應(yīng)用都需要自定義配置/設(shè)計(jì)。

光電傳感器實(shí)現(xiàn)

下圖展示了這款采用數(shù)據(jù)驅(qū)動(dòng)像素合并的光電傳感器示意圖。該傳感器由N個(gè)像素組成，排列成二維陣列。每個(gè)像素最多被劃分為M個(gè)子像素，這些子像素連接合并在一起形成M超像素，測(cè)量其輸出電流。

（a）光電傳感器示意圖。（b）用于MNIST數(shù)據(jù)集分類的NB分類器的顯微圖像，N=14 x 14像素，M=10個(gè)輸出通道。（c）具有兩個(gè)金屬層的GaAs肖特基光電二極管剖面圖。（d）光學(xué)照明下其中一個(gè)探測(cè)器元件的電流-電壓特性。

注：MNIST數(shù)據(jù)集（Mixed National Institute of Standards and Technology database）是美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究院收集整理的大型手寫數(shù)字?jǐn)?shù)據(jù)庫，包含60，000個(gè)示例的訓(xùn)練集以及10，000個(gè)示例的測(cè)試集。

樸素貝葉斯（NB）光電傳感器

（a）工作原理示意圖。（b）實(shí)驗(yàn)裝置示意圖。（c）根據(jù)MNIST訓(xùn)練數(shù)據(jù)集確定的NB分類器的超像素形狀。（d）計(jì)算混淆矩陣。（e）測(cè)量的光響應(yīng)圖。（f）實(shí)驗(yàn)混淆矩陣由10?位數(shù)字光學(xué)投影逐個(gè)確定，并將已知/真實(shí)類別標(biāo)簽與傳感器預(yù)測(cè)的標(biāo)簽進(jìn)行對(duì)比。

ANN光電傳感器

（a）具有權(quán)重和偏差約束的ANN示意圖。（b）ANN傳感器的混淆矩陣。（c）最高和所有其他輸出電流之間的相對(duì)差。ANN相比NB分類器展現(xiàn)了更寬的輸出電流分布。（d）ANN的超像素形狀。

數(shù)據(jù)驅(qū)動(dòng)像素合并的優(yōu)勢(shì)

顯然，與在傳統(tǒng)CMOS圖像傳感器中讀出整個(gè)圖像相比，讀出M超像素信號(hào)需要的時(shí)間、資源和能量更少。事實(shí)上，光電二極管陣列本身根本不消耗任何能量；能量?jī)H由選擇最高光電流的電子電路消耗。模式識(shí)別和分類實(shí)時(shí)進(jìn)行，并且僅受光電流產(chǎn)生的物理特性和/或數(shù)據(jù)采集系統(tǒng)的電帶寬的限制。

器件性能評(píng)估

結(jié)語

研究人員總結(jié)提出了未來研究的建議路線。當(dāng)前器件的主要限制是缺乏可重構(gòu)性。雖然在某些情況下（例如專用光譜應(yīng)用）可能是合適的，但通常很看重傳感器的可重構(gòu)性。例如，這可以通過利用具有可調(diào)響應(yīng)的光電探測(cè)器或基于非易失性存儲(chǔ)器材料的可編程網(wǎng)絡(luò)將各個(gè)像素合并在一起來實(shí)現(xiàn)。

除了標(biāo)準(zhǔn)獨(dú)熱編碼之外的其他方案，還可以節(jié)省硬件資源并進(jìn)一步擴(kuò)展動(dòng)態(tài)范圍。這項(xiàng)技術(shù)的可能應(yīng)用包括需要高速識(shí)別簡(jiǎn)單物體或圖案的工業(yè)圖像識(shí)別系統(tǒng)，以及光譜學(xué)應(yīng)用，其中入射光被分散成不同的顏色，傳感器經(jīng)過訓(xùn)練以識(shí)別某些特征光譜。在這兩種應(yīng)用中，經(jīng)典機(jī)器學(xué)習(xí)算法將為數(shù)據(jù)集的逼近提供足夠的繁復(fù)和深度?！　?/p>