據(jù)麥姆斯咨詢報道,近期,卡拉布里亞大學(University of Calabria)和比薩大學(University of Pisa)面向低分辨率圖像分類,聯(lián)合開發(fā)了一種基于兩層人工神經(jīng)網(wǎng)絡(luò)(artificial neural network,ANN)的全集成模擬CMOS認知圖像傳感器。研究人員主要設(shè)計了執(zhí)行認知感測任務(wù)(從圖像感測到輸出分類決策)所需的所有模擬子電路。作為一個案例研究,使用低分辨率版本的手寫數(shù)字MNIST數(shù)據(jù)集測試分類性能。該電路的分類精度為87.8%,平均每次推理能耗為6nJ,延遲為22.5μs,吞吐量每秒高達13.33萬次推理。
物聯(lián)網(wǎng)(IoT)的終端設(shè)備或邊緣設(shè)備,以及嵌入式智能視覺傳感器系統(tǒng),是網(wǎng)絡(luò)物理系統(tǒng)的關(guān)鍵組成部分,其中延遲、可擴展性和隱私是重要的挑戰(zhàn)。在傳統(tǒng)的機器視覺系統(tǒng)中,信息由圖像傳感器捕獲,進而轉(zhuǎn)換為數(shù)字格式,然后存儲在本地存儲器中或傳輸?shù)酵獠坑嬎銌卧詧?zhí)行所需的處理任務(wù)。由于其主要目標是減少如模擬-數(shù)字轉(zhuǎn)換和數(shù)據(jù)傳輸?shù)鹊托什僮鞯挠绊?,因此,具有嵌入式分類功能的認知圖像傳感器的概念將成為未來應(yīng)用(如可穿戴和移動醫(yī)療電子設(shè)備、電池供電系統(tǒng))的一個極具吸引力的解決方案。
智能視覺傳感器通過實施ANN為圖像傳感器提供認知能力,ANN是執(zhí)行類似人類任務(wù)的強大建模方法,例如對象分類和檢測。ANN中的基本計算是乘積累加(multiply-accumulate,MAC)運算,即向量-矩陣乘法的基本運算,其中輸入數(shù)據(jù)向量乘以固定權(quán)重的矩陣。為了降低每次推理的功耗,進而使電池供電系統(tǒng)能夠配備ANN,目前許多研究工作都致力于模擬ANN集成電路的設(shè)計,這種集成電路利用CMOS器件和電路的基本特性,使得MAC運算和內(nèi)存計算具有高度并行性。
基于此,研究人員提出了一種模擬CMOS圖像傳感器分類器的設(shè)計,該分類器基于在低分辨率環(huán)境下運行的兩層ANN,如下圖所示。與以往研究工作(通常只有部分片上設(shè)計)的主要區(qū)別在于,這是首次全模擬設(shè)計,包括執(zhí)行從圖像感測到圖像分類的整個處理任務(wù)所需的所有構(gòu)建塊。
低分辨率全模擬CMOS圖像傳感器分類器的概念
研究人員所開發(fā)的系統(tǒng)使用單層多晶硅180nm商用CMOS工藝設(shè)計,該工藝具有附加工藝選項,包括用于構(gòu)建光電二極管的特定模塊和現(xiàn)代CMOS圖像傳感器的補充構(gòu)建塊。所有其他構(gòu)建塊,如像素陣列、采樣保持(sample and hold,S&H)陣列、電壓-時間轉(zhuǎn)換器和激活函數(shù)都是在模擬域中精心設(shè)計的。此外,權(quán)重是可編程的,因此開發(fā)的分類器本質(zhì)上是可重新配置的,并且可以訓練其基于低分辨率圖像執(zhí)行一系列分類任務(wù)。
5x5像素CMOS圖像傳感器架構(gòu)及其傳感方案
作為案例研究,使用低分辨率的手寫數(shù)字MNIST數(shù)據(jù)集驗證了該分類器的推理能力。在室溫(27℃)下,其推理精度為87.8%,這與在數(shù)字域中以浮點數(shù)據(jù)精度運行的相同ANN架構(gòu)的軟件實現(xiàn)的結(jié)果相當。在較寬的溫度范圍內(nèi)(-10℃-70℃),精度保持在80%以上。研究人員所設(shè)計的分類器每次推理只消耗6nJ(其中大約一半的能量由像素感測矩陣消耗),同時具有每秒13.3萬次的吞吐量(延遲時間為22.5μs)。對于10μm的像素間距,其占位面積也非常小,僅為4000μm2。
500張圖像作為基準的軟件神經(jīng)網(wǎng)絡(luò)(a)和硬件神經(jīng)網(wǎng)絡(luò)(b)混淆矩陣
簡而言之,研究人員提出了一種全模擬認知CMOS圖像傳感器的設(shè)計,包括模擬域人工神經(jīng)網(wǎng)絡(luò)的硬件配置,并作為與5×5圖像傳感器集成的低分辨率圖像分類器工作。所開發(fā)的CMOS認知圖像傳感器在商用180nm CMOS工藝中進行了完全設(shè)計和模擬,獲得了87.8%的精度,與浮點軟件實現(xiàn)的精度(90.6%)相當。
審核編輯:郭婷
-
傳感器
+關(guān)注
關(guān)注
2541文章
49963瀏覽量
747546 -
神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
42文章
4717瀏覽量
100015
原文標題:基于人工神經(jīng)網(wǎng)絡(luò)的全集成模擬CMOS認知圖像傳感器,可實現(xiàn)低分辨率圖像分類
文章出處:【微信號:MEMSensor,微信公眾號:MEMS】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論