基于事件的視覺傳感，變革機(jī)器視覺技術(shù)

目前，我們正處于機(jī)器視覺和人工智能轉(zhuǎn)型的初期，據(jù)Yole Development等市場研究機(jī)構(gòu)的分析，預(yù)計到2030年，視覺技術(shù)將創(chuàng)造價值100億美元的市場。該技術(shù)會滲透到包括自動駕駛、AR、可穿戴計算成像、機(jī)器人技術(shù)等各個領(lǐng)域。

機(jī)器視覺和人工智能領(lǐng)域總是離不開視覺技術(shù)的，基于事件的神經(jīng)擬態(tài)視覺是一種新的成像技術(shù)范式，可以極大提高機(jī)器感知周圍環(huán)境的能力，從而做出智能決策。這種更進(jìn)一步的視覺技術(shù)如何在機(jī)器視覺和人工智能領(lǐng)域創(chuàng)造新的技術(shù)標(biāo)準(zhǔn)，如何將現(xiàn)有應(yīng)用的性能提升到全新的水平？

基于事件的視覺技術(shù)與傳統(tǒng)圖像傳感器的本質(zhì)區(qū)別

基于事件的神經(jīng)擬態(tài)視覺技術(shù)受生物原理啟發(fā)，與傳統(tǒng)的圖像傳感器工作方式有很大的不同。類似于人眼視網(wǎng)膜，基于事件的神經(jīng)擬態(tài)視覺技術(shù)傳感器不會在固定的時間生成圖像，而是著重于關(guān)注場景的動態(tài)變化。這種動態(tài)變化信息對于機(jī)器視覺和人工智能是相當(dāng)重要的。這種工作原理意味著基于該技術(shù)的傳感器采集圖像的方式是異步的、連續(xù)的，在模擬域中運(yùn)作。每個感光器都是獨(dú)立的，只對變化的事物作出反應(yīng)，靜態(tài)的背景信息不會被一遍又一遍被重復(fù)采集。

（像素的智能感知，Prophesee）

為了模擬這種生物學(xué)原理，需要設(shè)計智能像素，通過像素內(nèi)嵌的智能設(shè)計來實(shí)現(xiàn)。上圖所示的這套模擬處理系統(tǒng)，基于電平交叉采樣電路，每個像素都能夠?qū)鼍爸械牧炼茸兓龀龇磻?yīng)，從而壓縮冗余，提高數(shù)據(jù)傳輸速率。

以上圖中的傳感器為例，其時間可以精確至微秒級，而且數(shù)據(jù)采集速度非常快，更重要的是每個像素都能獨(dú)立異步工作。因此基于該技術(shù)的傳感器的數(shù)據(jù)采集功能并不受場景中照明條件的影響。如此一來，這代表著其動態(tài)范圍是比傳統(tǒng)的圖像傳感器要高的，大概在120-130dB之間。

基于事件的異步自適應(yīng)采樣和基于幀的數(shù)據(jù)采樣，差異也很明顯。在固定時間獲得的一系列圖像不可避免地會導(dǎo)致信息的冗余，雖然其產(chǎn)生的信息在時間上是連續(xù)的，但由于數(shù)據(jù)采集本身的非連續(xù)性，幀與幀之間會缺失信息?；谑录漠惒阶赃m應(yīng)采樣只獲取正在變化的信息，換個說法就是捕捉時空范圍內(nèi)連續(xù)的信息流（像素級別）。根據(jù)Prophesee的說法，這種傳感器不會產(chǎn)生原始數(shù)據(jù)，而是僅提供處理任務(wù)所需的必要信息。

（采集對比，Prophesee）

圖像之間隱藏信息

基于事件的傳感器可以快速響應(yīng)場景變化，揭示迄今為止基于幀的傳感器難以記錄的信息。基于幀的捕捉采集動態(tài)范圍不可避免是有限的，而且對光照條件極度依賴，對于新興的人工智能以及機(jī)器視覺并不友好。在對于運(yùn)動物體的理解上，幀與幀之間是沒有信息記錄的，這對于理解整個運(yùn)動來說是很困難的，甚至有時候是不可能的。而基于事件的傳感帶來的連續(xù)的信息流，讓處理系統(tǒng)的跟蹤變得更為容易，對動態(tài)信息的理解更深刻。這也意味著可以在本地更新跟蹤，在時間準(zhǔn)確度上提升一個大層次。

基于事件的傳感器能記錄亞毫秒時間級別的時間，等效于10000fps，能夠捕捉到那些轉(zhuǎn)瞬即逝的事件；因為不記錄冗余數(shù)據(jù)，系統(tǒng)需要處理的數(shù)據(jù)減少了10至1000倍，對于關(guān)鍵動態(tài)信息的獲取更準(zhǔn)確；同時其高動態(tài)范圍，能夠抓取極端照明條件下隱藏起來的信息。

從機(jī)器學(xué)習(xí)的角度來看，這種連續(xù)的信息流抓取、跟蹤，對于其數(shù)學(xué)模型的構(gòu)建也是一個相當(dāng)大的簡化。

基于事件的傳感器演進(jìn)

目前，基于事件的視覺技術(shù)傳感器已經(jīng)發(fā)展到了第四代。采用背照式（BSI）3D堆棧工藝制造，硅面積相比第三代VGA傳感器減少了10倍以上。因為將CIS層堆疊在了CMOS層之上，所以器件感光區(qū)域和邏輯電路較之前代也有一定的優(yōu)化。像素間距也降低至了4.86微米，加上超過80%的填充因子，傳感器具備更高的光電性能。

（應(yīng)用場景，Prophesee）

基于該傳感器的機(jī)器學(xué)習(xí)，可以不使用圖像來訓(xùn)練神經(jīng)網(wǎng)絡(luò)識別物體，二是使用時間編碼的信息。這給機(jī)器學(xué)習(xí)帶來了不小的改變，一是無需等待幀圖像大大降低了延遲，二是更容易泛化，抓取最主要的事件特征，減少數(shù)據(jù)集，最后則是減少了計算量。

小結(jié)

總的來看，基于事件的視覺傳感技術(shù)不受幀速率限制，實(shí)現(xiàn)了更快的速度和更高動態(tài)范圍，其生成的數(shù)據(jù)量比傳統(tǒng)圖像傳感器少且功率更低（<10 mW），為機(jī)器視覺和人工智能提供了更具成本效益的視覺解決方案。