事件相機的原理與應(yīng)用簡介

本文轉(zhuǎn)自空中機器人前沿，作者西湖大學(xué)-鄭業(yè)。

一．概述

事件相機（Event-based camera）是一種受生物啟發(fā)的新型視覺傳感器，有時也稱動態(tài)視覺傳感器（DVS，dynamic visionsensor）或DAVIS（Dynamic and Active-Pixel VisionSensor）。相比于以固定幀率采集圖像的標(biāo)準(zhǔn)相機，它具有低延遲、高動態(tài)范圍、低功耗、高時間分辨率等特點。

圖1展示了事件相機和標(biāo)準(zhǔn)相機的數(shù)據(jù)采集過程，從中可看出，當(dāng)物體運動時，標(biāo)準(zhǔn)相機受到采樣頻率的影響會丟失部分?jǐn)?shù)據(jù)，而事件相機采集的數(shù)據(jù)則相對更加完整。另外，當(dāng)目標(biāo)物體與相機具有相對運動時，受到曝光時間等因素的影響，用標(biāo)準(zhǔn)相機獲得的圖像極易產(chǎn)生運動模糊，而用事件相機獲得的數(shù)據(jù)則沒有這個問題。

下面，我將從工作原理、常見的應(yīng)用場景和數(shù)據(jù)處理范式出發(fā)，對事件相機做一個簡要介紹。

圖1. 事件相機與標(biāo)準(zhǔn)相機輸出數(shù)據(jù)對比[1]

二．事件相機的工作原理

事件相機可以簡單理解為一種“僅感知運動物體”的傳感器。在事件相機的每個像素處都有一個獨立的光電傳感模塊，當(dāng)該像素處的亮度變化超過設(shè)定閾值時，就會生成、輸出事件數(shù)據(jù)（有時也稱脈沖數(shù)據(jù)）。另外，由于所有的像素都是獨立工作的，所以事件相機的數(shù)據(jù)輸出是異步的，在空間上呈現(xiàn)稀疏的特點。這也是事件相機與標(biāo)準(zhǔn)相機的最大不同之處，也是事件相機的核心創(chuàng)新。這種成像范式的好處是可以大大減少冗余數(shù)據(jù)，從而提高后處理算法的計算效率。

傳感器的工作原理通常基于一個特定的數(shù)學(xué)模型，下面我們介紹一下事件相機的數(shù)學(xué)模型。為了方便介紹，我們首先定義一些名詞和變量。設(shè)定亮度為；事件相機中的亮度定義為實際亮度的對數(shù)值，即。那么，時刻在像素處的亮度增益記為

其中，表示微小時間間隔。當(dāng)亮度變化超過設(shè)定的閾值時，那么就會觸發(fā)事件，該過程表示為

其中，表示設(shè)定亮度變化閾值，通常情況下，的值設(shè)置為亮度的10%~50%；表示事件的極性，若亮度增強，則表示發(fā)生正事件，否則，表示發(fā)生負(fù)事件。最終，觸發(fā)的事件數(shù)據(jù)表示為。

圖2展示了事件觸發(fā)的效果。其中，左圖表示時間內(nèi)在各像素處生成的離散數(shù)據(jù)點，藍(lán)色的點表示正事件，紅色的點表示負(fù)事件；右圖是將時間內(nèi)的全部事件，按像素位置堆疊在一起，放到一張圖像上的效果。從右圖中可以看出，事件都發(fā)生在物體的邊緣。這主要是因為，當(dāng)物體運動時（或相機運動時），物體的邊緣與背景有更大的亮度變化。

圖2. 事件相機工作原理[2]

三．常見應(yīng)用場景及處理范式

事件相機可以完成一些基于幀的標(biāo)準(zhǔn)相機無法完成的任務(wù)，比如高速運動估計，高動態(tài)范圍建圖等等。除此之外，它還被研究用于一些傳統(tǒng)的視覺任務(wù)，如特征檢測與跟蹤、光流估計、3D重建和姿態(tài)估計等。

為了充分開發(fā)事件相機的性能，研究人員也開始思考能從事件數(shù)據(jù)中提取更多有效信息的方法。目前，常見的事件數(shù)據(jù)表征方法包括獨立事件、事件包、事件幀、體素柵格、3D點集等。這些事件表征方法可以被應(yīng)用在事件處理系統(tǒng)中的各個部分，包含前處理，核心處理和后處理。

事件數(shù)據(jù)的主流處理方法可以分為兩類，分別是event-by-event的方法和group of events的方法[3]。前者可以理解為逐個事件的處理方法。這類方法常見于各種用于降低事件噪聲、提取特征和圖像重建的濾波器中。它們通過對比當(dāng)前事件與過去事件完成系統(tǒng)狀態(tài)的更新。

另外，現(xiàn)在也有許多數(shù)據(jù)驅(qū)動的方法在使用逐個事件處理的方法，包括采用監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)方法來訓(xùn)練分類器?；趃roup of events的處理方法可以理解為累積時間內(nèi)的數(shù)據(jù)進(jìn)行處理。由于單個事件攜帶的信息十分有限，這種累積事件群的處理方法極大地降低了噪聲的干擾，提升了算法的可靠性。這種處理方法主要使用的數(shù)據(jù)表征方法包括事件幀，體柵格和3D點集。在基于模型的方法中，往往將事件數(shù)據(jù)累積為事件幀，然后利用基于圖像的處理方法來解決問題。另外還有一種基于數(shù)據(jù)驅(qū)動的方法，它們直接將整個事件包輸入神經(jīng)網(wǎng)絡(luò)，目前該類方法已經(jīng)廣泛應(yīng)用于分類、光流估計、深度估計等任務(wù)中，并且取得了不錯的效果。

四. 小結(jié)

本文簡要地介紹了事件相機的工作原理與常見應(yīng)用，同時也對事件數(shù)據(jù)的表征方式和處理方法做了說明。

最后，請欣賞事件相機鏡頭下的杭城飄雪，感受一下不一樣的景色。

審核編輯：湯梓紅