事件相機定義與設計

編者薦語

事件相機是一款新型傳感器。不同于傳統(tǒng)相機拍攝一幅完整的圖像，事件相機拍攝的是“事件”，可以簡單理解為“像素亮度的變化”，即事件相機輸出的是像素亮度的變化情況。

前言

第一次聽到“事件”相機，你一定會吐槽它的名字：“什么玩意？”、“不知所云”、“太拗口了！”

沒辦法，event camera 直譯過來就是事件相機，雖然我覺得這個稱呼不太直接，或許翻譯為“微動”相機之類的更貼切吧。但不妨礙，它是一個神奇的存在，和目前我們常見的視覺相機在原理上大相徑庭，目前能夠量產事件相機的公司又屈指可數，當然價格也非常“鶴立雞群”，在動態(tài)感知方面能夠拍攝到“飛行的子彈”，說它是相機中的戰(zhàn)斗機大家應該沒有意見吧？

下面是關于事件相機的起源設計思路、原理、特點和分類的概述。歡迎留言區(qū)交流

1 事件相機定義與設計

1.1 事件相機的定義及潛在應用

事件相機（event cameras）是一種生物啟發(fā)的視覺傳感器，以完全不同于標準相機的方式工作。事件相機不是以恒定速率輸出強度圖像幀，而是僅輸出局部像素級亮度變化的相關信息。這些像素級亮度變化（稱為事件）超過設定閾值時，事件相機以微秒級分辨率標記時間戳，并輸出異步事件流。

事件相機相比于普通相機的優(yōu)勢:

低數據率

低能耗

低延遲

高動態(tài)范圍(HDR)

普通相機問題:

HDR: DVS (Dynamic Vision Sensor) 的動態(tài)范圍約120dB, 而普通相機的動態(tài)范圍只有60dB -> 抵抗極端環(huán)境.

低延遲: 極高的時間分辨率使得事件相機可以實時高速感知周圍環(huán)境并提供準確的輸出--->達成無人駕駛的目的

低數據率: 高速的普通相機每秒會生成至少上百張圖片，而事件相機每秒只生成幾百kb的數據--->無人機

低能耗: 事件相機只消耗非常少的能量，例如當普通的frame-based相機功率為1~2W時，事件相機的功率只有24mW. -> VR/AR設備

1.2 事件相機設計

事件攝像機的設計模仿了生物視網膜的特點，并提供了一個從普通基于幀的(frame-based)相機的范式轉變.

1.2.1 神經形態(tài)硅視網膜

在生物學的器官中，人類這樣的脊椎動物的視網膜是眼睛內表面的一層薄薄的組織，能將光轉換成電脈沖.

視網膜可以被分成以下三個部分:

光感受器層

組成元件: 視桿細胞和視錐細胞（神經細胞）

層級功能: 將接收到的光轉化為電脈沖

外叢狀層

組成元件:雙極細胞(on- 和 off- 型)

層級功能: 將時空間的亮度變化進行編碼

內叢狀層

組成元件：水平細胞和神經節(jié)細胞

層級功能: 進行亮度調節(jié)，并將電脈沖傳遞至多條并行通路進行處理

這些細胞可以按其結構大致分為以下功能:

對亮度的瞬間變化敏感的細胞,

對持續(xù)不變亮度敏感的單元，根據環(huán)境光調整其他單元

對特定運動方向敏感的細胞

對局部區(qū)域空間變化敏感的細胞

對顏色的特定波長的光敏感的細胞

這種生物性視網膜有許多令人滿意的特性，使其具有潛在的極大優(yōu)于傳統(tǒng)的圖像傳感器的應用價值。

1.2.2 事件相機設計

區(qū)別于普通相機，事件相機測量的不是絕對的光照強度，而測量的是光強的變化

一個相機像素處的光強變化會觸發(fā)事件相機發(fā)送二進制信號，0表示變暗，1表示變亮

每個像素是獨立的，因此一旦發(fā)生變化，二進制信號就立即被發(fā)送出去

發(fā)送出去的信號是連續(xù)的且不基于相機幀的

事件相機的每個像素都有實現三個邏輯功能的模擬電路:

光感受器 : 將光轉化為電流

差分電路 : 計算從上一個事件開始至今的變化量（差分），并通過與預設的內部閾值進行對比來選擇是否觸發(fā)事件

比較器: 在觸發(fā)事件后，將差分電路復位并開始計算下一個事件的差分

2 事件相機分類:

2.1 DVS (Dynamic Vision Sensor)

DVS是一個純基于事件的相機

上圖是使用DVS在一個時間間隔內累積事件的一個可視化圖像輸出

DVS 電路:

光度測量 第一步是將光電流轉換成與光強的對數成比例的電壓:

差分電路

檢查光電流對數的變化量是否超過用戶在傳感器配置中預先設置的事件閾值.

通過被放大，每當超過事件閾值時，處集成的電荷被重置

事件觸發(fā)

如果光強變化超過閾值，則觸發(fā)有符號的異步事件輸出

當一個事件在時被觸發(fā)時，并且光的變化量滿足, 其中

這可以解釋為DVS像素可以檢測到的最小對比度。然而，在實際應用中，這受到光感受器噪聲和傳感器帶寬的限制。事件攝影機測量的對比度可以視為標準化的時間差：

因為, 在弱光環(huán)境中，事件的觸發(fā)比在明亮場景中的變化要小

2.2 DAVIS (Dynamic and Active Vision Sensor)

DAVIS 與DVS相比，結合了一個基于幀(frame-based)的相機 (與事件相機非同步),通過曝光生成的像素可以提供事件數據中所缺少的豐富紋理信息。

上方左圖是DAVIS相機在一定的時間間隔內收集到的事件的可視化輸出圖像，右圖是其中所帶的基于幀的相機采集的圖像。

下圖是一個DAVIS相機的邏輯電路，其中APS為普通相機部分，DVS為事件相機部分

2.3 ATIS (Asynchronous Time-based Image Sensor)

ATIS在DVS的基礎上巧妙地引入了基于時間間隔的光強測量電路來實現圖像重構

每次 DVS 電路產生事件時，觸發(fā)光強測量電路進行工作；光強測量設定了兩個不同的參考電壓， 通過對光強進行積分，并記錄達到兩個電壓發(fā)放的事件；由于不同光強的條件下，電壓變化相同量所需的時間不同，通過建立光強與時間的映射可以推斷出光強大小，從而輸出光強變化像素處的光強信息，ATIS 引入了一套全局發(fā)放機制，即所有像素可被強制發(fā)放一次脈沖，這樣在 ATIS 初始工作時可獲得一整幅圖像作為背景，然后運動區(qū)域不斷產生脈沖進而不斷的觸發(fā)光強測量電路獲得運動區(qū)域的灰度來更新背景。

以下是一個ATIS相機的輸出:

從上圖左邊和中間部分顯示了在一個時間間隔內累積事件和解碼強度測量的圖像。

ATIS相比于DVS的主要優(yōu)勢在于它的分辨率更高(304×240), 動態(tài)范圍更高(143 dB) 有更低的能耗(3)，最重要的是事件能夠觸發(fā)一次全局的HDR輸出。

2.4 幾種事件相機的對比與總結

性能參數

價格

3 事件相機數據處理

3.1 事件數據

事件相機生成與基于幀相機完全不同的信號.

事件相機的輸出是基于目標的運動的.

事件相機只知道該像素處的亮度發(fā)生了變化，但不知道亮度有多大

這使得事件相機難以檢測邊緣信息，并且在具有復雜紋理的背景下表現不好

3.2 地址事件表示

事件相機的輸出信號是異步且稀疏的。為了解決傳感器的動態(tài)行為，事件攝像機類型硬件中的一個常見策略是使用地址事件表示（AER）協(xié)議。

每個陣列的元素都被分配了一個地址，對應于它在圖像中的-位置.

每個陣列單元以隨機方式生成一個信號，該信號在模塊間高速異步AER總線上傳輸

所有元素共享相同的物理總線來傳輸它們的信號，并附加上時間信息

AER的示意圖如下:

DVS事件攝像機與標準USB設備一樣，可以通過其VID和PID進行識別，并使用下表中列出的預定義命令與標準PC上運行的應用程序進行通信。

與AER事件包不同的是，通過DVS USB接口傳輸的每個事件都增加了一個微秒級別分辨率的時間戳，并編碼在一個4字節(jié)長的數據包中，如下圖所示，帶有圖像中的位置、事件的極性和時間戳.

DVS128 相機的最大帶寬是每秒1M個事件.

3.3 事件相機模擬器

事件相機模擬器是通過線性插值和高斯噪聲的方式模擬出事件流來，在此選用的是UZH發(fā)布的ESIM模擬器。

在模擬中的轉換方法概述如下圖所示。首先，我們將從文件夾中的輸入視頻中提取各個幀。其次，運行ESIM，提供圖像文件夾作為模擬事件的輸入。最后，將看使用dvs_render渲染器節(jié)點可視化模擬事件。

審核編輯 ：李倩