視網(wǎng)膜形態(tài)芯片及其不同的圖像信息處理方式

在人腦處理的信息中，超過80%都是通過眼睛獲得的。人眼不僅可以進(jìn)行信息的探測(cè)和同步處理，而且整體功耗極?。ㄟh(yuǎn)小于20瓦）。相比而言，傳統(tǒng)的機(jī)器視覺系統(tǒng)需要先探測(cè)再處理，使用的圖像傳感器在探測(cè)目標(biāo)圖像的同時(shí)會(huì)產(chǎn)生大量冗余信息，此類信息通過有限的帶寬傳輸給所連接的計(jì)算機(jī)進(jìn)行處理和分析，從而導(dǎo)致較大的時(shí)間延遲和較高的功耗。因此，構(gòu)建一個(gè)可以媲美人眼、具備同步進(jìn)行信息探測(cè)和處理功能的類腦視覺傳感器是人們一直追求的夢(mèng)想，對(duì)于智能工業(yè)、自動(dòng)駕駛、智能安防等應(yīng)用的發(fā)展也至關(guān)重要。近日，南京大學(xué)物理學(xué)院繆峰教授團(tuán)隊(duì)基于二維材料異質(zhì)結(jié)，在可重構(gòu)類腦視覺傳感器領(lǐng)域取得重要進(jìn)展。

二維材料有望成為后摩爾時(shí)代重要的基礎(chǔ)電子材料，該領(lǐng)域的發(fā)展也讓人們可以對(duì)原子層材料進(jìn)行樂高式的堆疊和集成。近年來，南京大學(xué)繆峰團(tuán)隊(duì)（https://nano.nju.edu.cn）利用“原子樂高”分別在耐高溫憶阻器（Nature Electronics 2018）、彈道雪崩探測(cè)器件（Nature Nanotechnology 2019）、室溫高靈敏紅外探測(cè)器（Science Advances 2017）等方向取得突破。

在此基礎(chǔ)上，該團(tuán)隊(duì)近日提出，利用二維材料范德華異質(zhì)結(jié)器件的結(jié)構(gòu)特點(diǎn)和可調(diào)的光響應(yīng)特性，能夠?qū)崿F(xiàn)對(duì)人眼視網(wǎng)膜的層狀結(jié)構(gòu)和感光細(xì)胞、雙極細(xì)胞的生物特性模擬，基于這種類視網(wǎng)膜形態(tài)器件，團(tuán)隊(duì)進(jìn)一步構(gòu)建了能夠?qū)Ω兄膱D片信息進(jìn)行同步處理的類腦視覺器件陣列。該工作有望為未來開發(fā)基于范德華異質(zhì)結(jié)的新型類腦視覺芯片提供物理和技術(shù)基礎(chǔ)。相關(guān)研究成果以《Gate tunable van der Waals heterostructure for reconfigurable neural network vision sensor》（基于柵極可調(diào)范德華異質(zhì)結(jié)的可重構(gòu)神經(jīng)網(wǎng)絡(luò)視覺傳感器）為題于 2020年6月24日發(fā)表在Science Advances上。南京大學(xué)物理學(xué)院博士生王晨宇和梁世軍副研究員為共同第一作者，繆峰教授和美國(guó)麻省大學(xué)的楊建華教授為該工作的共同通訊作者，該工作同時(shí)得到了王振林教授課題組、陳坤基教授課題組和王肖沐教授課題組的實(shí)驗(yàn)協(xié)助，和國(guó)家杰出青年科學(xué)基金、國(guó)家自然科學(xué)基金等項(xiàng)目的資助，以及微結(jié)構(gòu)科學(xué)與技術(shù)協(xié)同創(chuàng)新中心的支持。

研究成果

人類視覺系統(tǒng)強(qiáng)大的信息處理能力很大程度上依賴于視網(wǎng)膜的結(jié)構(gòu)和功能。視網(wǎng)膜中的主要細(xì)胞包括感光細(xì)胞、雙極細(xì)胞等，這些細(xì)胞之間是垂直分層分布的結(jié)構(gòu)。光透過瞳孔入射到視網(wǎng)膜上后，感光細(xì)胞將入射光轉(zhuǎn)換為電學(xué)信號(hào)，流經(jīng)雙極性細(xì)胞，利用雙極性細(xì)胞的生物特性對(duì)電學(xué)信息進(jìn)行一定的加工和處理，加工后的圖像信息僅僅保留其主要的特征，再傳輸至大腦皮層進(jìn)行進(jìn)一步的圖像處理和理解。通過這種方式，視網(wǎng)膜在一定程度上實(shí)現(xiàn)了信息探測(cè)和處理的同步進(jìn)行。為了實(shí)現(xiàn)對(duì)視網(wǎng)膜結(jié)構(gòu)和功能的逼真模擬，在該工作中，繆峰團(tuán)隊(duì)提出可以通過“原子樂高”的方式搭建基于二維材料垂直異質(zhì)結(jié)的類腦視覺傳感器，這些垂直結(jié)構(gòu)不僅能夠自然地模仿視網(wǎng)膜的垂直分層結(jié)構(gòu)，而且異質(zhì)結(jié)中包含的不同二維材料可被用來模擬視網(wǎng)膜中不同細(xì)胞的功能。

在實(shí)驗(yàn)中，繆峰團(tuán)隊(duì)首先將機(jī)械剝離的薄層硒化鎢和氮化硼以及氧化鋁制備成垂直異質(zhì)結(jié)器件。該異質(zhì)結(jié)器件在無背柵或者正背柵電壓作用下，呈現(xiàn)出正的光電導(dǎo)行為，類似于雙極細(xì)胞的正的光響應(yīng)；當(dāng)所加背柵電壓為負(fù)的時(shí)候，器件展現(xiàn)出了負(fù)光電響應(yīng)特征與雙極細(xì)胞的負(fù)響應(yīng)類似。研究團(tuán)隊(duì)通過一系列的對(duì)比實(shí)驗(yàn)結(jié)果，指出器件的負(fù)光學(xué)響應(yīng)來源于光誘發(fā)帶電雜質(zhì)產(chǎn)生的電場(chǎng)屏蔽效應(yīng)。通過控制垂直異質(zhì)結(jié)器件的柵壓，團(tuán)隊(duì)首次實(shí)現(xiàn)了對(duì)感光細(xì)胞和雙極細(xì)胞的生物功能的模擬，器件的響應(yīng)時(shí)間和功耗均接近人類視網(wǎng)膜的水平（圖1）。

圖 1. 視網(wǎng)膜和視網(wǎng)膜形態(tài)器件。（a）視網(wǎng)膜的垂直分層結(jié)構(gòu)包括了視錐細(xì)胞和雙極性細(xì)胞以及視神經(jīng)節(jié)細(xì)胞；（b）雙極性細(xì)胞在不同刺激條件下所具有的生物光學(xué)響應(yīng)特征；（c）類視網(wǎng)膜形態(tài)器件的光學(xué)圖；（d）垂直異質(zhì)結(jié)器件在不同柵壓作用下展現(xiàn)出不同的光學(xué)響應(yīng)，類似于視網(wǎng)膜結(jié)構(gòu)中雙極性細(xì)胞的生物特征。

進(jìn)一步，研究團(tuán)隊(duì)將垂直異質(zhì)結(jié)器件組裝成 3×3 的一個(gè)陣列，利用異質(zhì)結(jié)器件柵壓可調(diào)的光電響應(yīng)特征，將圖像處理中常用的數(shù)學(xué)卷積核映射到3×3 的器件陣列中，實(shí)現(xiàn)了可重構(gòu)的圖像信息處理功能（圖2），包括邊緣增強(qiáng)、圖像風(fēng)格化、圖像強(qiáng)度校正等。研究發(fā)現(xiàn)這些實(shí)驗(yàn)結(jié)果與采用相同卷積核處理后的模擬結(jié)果一致，這表明基于垂直異質(zhì)結(jié)陣列能夠被用于在硬件上直接進(jìn)行圖片信息的處理。

圖 2. 可重構(gòu)的視網(wǎng)膜形態(tài)芯片及其不同的圖像信息處理方式。（a）背柵獨(dú)立控制的可重構(gòu)視覺傳感器陣列示意圖；利用傳感器陣列對(duì)南京大學(xué)校徽?qǐng)D片進(jìn)行（b）圖像風(fēng)格化（c）邊緣增強(qiáng)（d）強(qiáng)度校正處理，所處理后的圖片信息和采用相同卷積核的模擬結(jié)果一致。

基于范德華異質(zhì)結(jié)器件的功能應(yīng)用除了同步的探測(cè)和信息的處理之外，研究團(tuán)隊(duì)發(fā)現(xiàn)器件陣列還可以用于圖片的分類任務(wù)。通過將器件電導(dǎo)作為神經(jīng)網(wǎng)絡(luò)的權(quán)值，背柵的調(diào)節(jié)變化作為更新神經(jīng)網(wǎng)絡(luò)權(quán)值的一種手段，范德華異質(zhì)結(jié)器件陣列可以執(zhí)行神經(jīng)網(wǎng)絡(luò)的功能。研究團(tuán)隊(duì)在實(shí)驗(yàn)中采用軟件輔助硬件的訓(xùn)練方法實(shí)現(xiàn)了對(duì)輸入圖像“N”，” J”， “U”字母的快速識(shí)別（圖3）。這一項(xiàng)工作從原理上證明，利用范德華異質(zhì)結(jié)的特性模擬人類視網(wǎng)膜結(jié)構(gòu)和功能的研究思路有望將來被用來實(shí)現(xiàn)新型的類腦視覺芯片。

圖 3. 基于范德華異質(zhì)結(jié)視覺形態(tài)的傳感器神經(jīng)網(wǎng)絡(luò)及訓(xùn)練示意圖和識(shí)別結(jié)果。（a）待識(shí)別的圖片字母信息；（b）異質(zhì)結(jié)視覺形態(tài)傳感器神經(jīng)網(wǎng)絡(luò)訓(xùn)練示意圖；（c）N”，” J”， “U”三類字母平均識(shí)別結(jié)果與訓(xùn)練次數(shù)的關(guān)系；（d）N”，” J”， “U”三類字母的分類情況與訓(xùn)練次數(shù)的關(guān)系。
責(zé)任編輯:pj