基于圖像傳感器主動感知真實(shí)世界的設(shè)想

2月6日，上海保隆科技有限公司（保隆科技）聯(lián)合上海芯侖光電科技有限公司（芯侖科技）、武漢大學(xué)共同發(fā)布的汽車動態(tài)傳感器（DVS，Dynamic Vision Sensor）正是基于圖像傳感器能否像人眼一樣主動感知真實(shí)世界這樣的大膽技術(shù)假設(shè)。

如果我們希望人工智能像人一樣思考，那么圖像傳感器能否像人眼一樣主動感知真實(shí)世界？

2月6日，上海保隆科技有限公司（保隆科技）聯(lián)合上海芯侖光電科技有限公司（芯侖科技）、武漢大學(xué)共同發(fā)布的汽車動態(tài)傳感器（DVS，Dynamic Vision Sensor）正是基于這樣的大膽技術(shù)假設(shè)。傳統(tǒng)圖像傳感器基于幀的概念，原理性的缺陷導(dǎo)致運(yùn)動信息缺失、海量無效數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)輸出，從而帶來巨大的數(shù)據(jù)傳輸和存儲壓力、運(yùn)算資源的浪費(fèi)、系統(tǒng)整體能耗和成本的上升、以及穩(wěn)定性的缺陷；DVS采用新型的仿生原理圖像傳感器芯片，全時全速追蹤運(yùn)動物體，有效過濾冗余背景信息，輸出運(yùn)動物體的結(jié)構(gòu)化場景信息，實(shí)現(xiàn)感知端預(yù)處理，減輕后端信號處理算法的復(fù)雜度，并使用更低的計(jì)算資源處理器來實(shí)現(xiàn)實(shí)時處理能力。保隆科技將其形容為“超眼”。

低數(shù)據(jù)流，剔除冗余數(shù)據(jù)：道路兩邊靜止的車輛和建筑（非動態(tài)數(shù)據(jù)）“消失”

DVS為L4、L5高級別自動駕駛感知系統(tǒng)提供了一條新的技術(shù)路線。國際上開發(fā)DVS的代表性公司包括瑞士的Inilabs、法國的Prophesee以及三星，此次保隆發(fā)布的DVS 屬于自主研發(fā)，集成了芯侖科技的芯片技術(shù)和武漢大學(xué)的算法技術(shù)。相比于保隆科技當(dāng)天發(fā)布的77G及24G毫米波雷達(dá)、雙向前視系統(tǒng)、紅外熱成像夜視儀、駕駛員預(yù)警系統(tǒng)、車用人臉識別系統(tǒng)等產(chǎn)品，保隆科技汽車電子單元總監(jiān)李威表示，DVS是保隆科技“引領(lǐng)戰(zhàn)略”下的傳感器產(chǎn)品，是保隆科技的技術(shù)創(chuàng)新，也是自動駕駛行業(yè)的技術(shù)創(chuàng)新。

據(jù)芯侖科技聯(lián)合創(chuàng)始人、CTO陳守順博士介紹，此次發(fā)布的DVS核心技術(shù)是模仿人眼視神經(jīng)，以事件為驅(qū)動原理，可如人眼一般主動看世界：

· 無固定觀察頻率

· 靈敏響應(yīng)速度

· 脈沖式信息讀取和輸出

· 像素電路間并行處理

· 主動特征提取，無多余背景信息

每個像素電路獨(dú)立檢測光強(qiáng)水平，無需曝光，不受幀率約束。當(dāng)光強(qiáng)發(fā)生變化時，便以極快的反應(yīng)速度（5納秒）輸出一個包含（X、Y、A、T）的事件（event）數(shù)據(jù)。

進(jìn)出隧道瞬間，不受光照強(qiáng)烈變化影響，仍可捕捉路面信息

尤需指出的是，該DVS可實(shí)現(xiàn)多種模式同時輸出：

圖像模式（Picture Mode）：與傳統(tǒng)圖像傳感器一致的全副圖像，兼容傳統(tǒng)圖像處理算法和硬件。

動態(tài)模式（Motion/Event Mode）：動態(tài)特征脈沖信號通過自然光強(qiáng)變化的判定輸出二值化的動態(tài)特征區(qū)域信息（X、Y、A、T）。

光流模式（Optical Flow Mode）：獨(dú)有的密集光流模式，無需降維，從芯片上得到光流向量場信息。

高架上行駛，完整捕捉道路標(biāo)線和交通標(biāo)識

自動駕駛、尤其是L4、L5高度自動駕駛，面臨大量對實(shí)時和高速處理要求高、算力不可達(dá)的場景，以及一些邊緣性場景（Corner Case），基于上述原理和核心技術(shù)，DVS動態(tài)視覺傳感器有能力解決。比如特斯拉Model S將卡車誤判為白云、Uber自動駕駛車輛夜晚撞死橫穿馬路的行人、以及自動駕駛車輛進(jìn)出隧道光強(qiáng)變化等場景。保隆科技汽車電子單元總監(jiān)李威表示，他們將特別選取一些場景，在封閉測試場內(nèi)對DVS的性能開展測試。

極暗場景下，也可清晰顯示部分物體的移動

據(jù)李威透露，當(dāng)前保隆科技已完成DVS攝像頭本體、處理器平臺的研發(fā)集成工作，正在進(jìn)行運(yùn)算平臺的優(yōu)化，預(yù)計(jì)今年底可完成，明年將提供標(biāo)準(zhǔn)化的產(chǎn)品，進(jìn)行小批量的量產(chǎn)。今年將為包括商用車、乘用車、特種車輛的合作伙伴提供定制化產(chǎn)品，進(jìn)行裝車試用。宇通客車是保隆DVS的重要合作伙伴，宇通汽車智能研究院副院長彭能嶺博士出席發(fā)布會，對DVS在自動駕駛領(lǐng)域的應(yīng)用前景、以及與保隆的合作研發(fā)均充滿希望。