Prophesee為AIoT應(yīng)用重塑 DVS 攝像頭

Prophesee基于事件的攝像頭適用于始終在線的物聯(lián)網(wǎng)設(shè)備。

動態(tài)視覺傳感器 (DVS) 公司 Prophesee 已將其基于事件的攝像頭調(diào)整為適合始終在線的 AIoT(物聯(lián)網(wǎng)人工智能)設(shè)備的外形尺寸。與該公司的 100 萬像素第四代傳感器相比，第五代 GenX320 將其分辨率降低到 320 x 320 像素，芯片尺寸減小到 13mm2，現(xiàn)在包括標(biāo)準(zhǔn)數(shù)據(jù)格式，便于下游處理和超低功耗模式的層次結(jié)構(gòu)，可用于喚醒系統(tǒng)的其他部分，Prophesee首席執(zhí)行官Luca Verre告訴EE Times。

“[基于事件的傳感器]技術(shù)現(xiàn)在正在消費(fèi)領(lǐng)域開辟一個(gè)機(jī)會，一個(gè)更大的生態(tài)系統(tǒng)正在意識到這項(xiàng)技術(shù)并有興趣采用它，”Verre說?！暗昵?，我們發(fā)現(xiàn)了不一定適合我們的第四代傳感器的其他機(jī)會。這就是我們開發(fā)第五代產(chǎn)品的原因，適用于出于成本、功耗和集成原因需要非常小的傳感器設(shè)備的應(yīng)用。

DVS傳感器等基于事件的傳感器基于人類視網(wǎng)膜的生物學(xué)特性：它們只輸出像素亮度的變化，而不是完整的圖像幀。這會以低延遲生成低帶寬數(shù)據(jù)，但其中包含有關(guān)場景的足夠信息。處理這種低帶寬數(shù)據(jù)所需的計(jì)算量較小，這意味著可以節(jié)省功耗。該技術(shù)對弱光條件也具有很強(qiáng)的適應(yīng)能力。

Stanley Electric 的 IR LED 和 VCSEL 如何為高性能駕駛員監(jiān)控系統(tǒng)做出貢獻(xiàn)

Prophesee 與索尼合作設(shè)計(jì)的上一代傳感器于 2021 年底開始量產(chǎn)。這款高清傳感器是一款 BSI(背照式)3D 堆疊芯片，體積小到足以首次針對消費(fèi)電子產(chǎn)品。

Prophesee一直在與高通公司合作，展示這款采用驍龍移動處理器的傳感器。Verre表示，至少有兩家OEM廠商正在為2025年發(fā)布智能手機(jī)，其中包括Snapdragon和Prophesee的組合。這里的用例是融合全畫幅和事件數(shù)據(jù)，以提高智能手機(jī)相機(jī)的圖像質(zhì)量。使用 Prophesee 傳感器檢測照片中的運(yùn)動，然后使用 Prophesee 的計(jì)算攝影算法進(jìn)行校正，可以減少運(yùn)動模糊。

GenX320 具有更低的分辨率、更低的功耗和更小的尺寸，將針對 AR/VR 頭戴式設(shè)備、安全和監(jiān)控/檢測系統(tǒng)、非接觸式顯示器、眼動追蹤和其他始終在線的物聯(lián)網(wǎng)設(shè)備。然而，雖然該傳感器仍采用BIS 3D堆疊設(shè)計(jì)，但并非與索尼合作開發(fā)，而是將在不同的代工廠制造。

“我們與索尼的關(guān)系非常好：我們共同開發(fā)了第四代傳感器，我們還與索尼達(dá)成了商業(yè)協(xié)議，共同進(jìn)入市場，”Verre說?！耙虼?，這種合作關(guān)系正在進(jìn)行中，但第五代傳感器由Prophesee設(shè)計(jì)，由我們的代工合作伙伴制造，并由我們銷售。[第四代和第五代]傳感器在市場定位方面完全不同，針對非常不同的用例，傳感器分辨率不同，因此它們是互補(bǔ)的。沒有重疊，這使得我們與索尼的上市戰(zhàn)略非常簡單。

接口和電源模式

Prophesee聯(lián)合創(chuàng)始人兼首席技術(shù)官Christoph Posch告訴EE Times，GenX320有幾個(gè)關(guān)鍵的新功能與邊緣人工智能和物聯(lián)網(wǎng)應(yīng)用有關(guān)。

他說：“我們(以前)有一種非常規(guī)的數(shù)據(jù)格式，沒有人真正知道該如何處理——對事件中的動態(tài)視覺信息進(jìn)行編碼，沒有人理解?！拔覀兊臄?shù)據(jù)速率是非恒定的，沒有標(biāo)準(zhǔn)的數(shù)據(jù)格式或接口。我們意識到所有這些事情都減緩了這項(xiàng)技術(shù)的采用。這就是為什么我們認(rèn)為，'我們需要設(shè)計(jì)一種更實(shí)用的傳感器，可以集成到邊緣AI視覺系統(tǒng)中，并幫助潛在客戶真正使用該系統(tǒng)'。

Prophesee 的 GenX30 芯片，傳感器芯片在頂部，處理器在底部。ESP是指數(shù)字事件信號處理流水線。

GenX320 包括片上預(yù)處理功能，可根據(jù)需要將數(shù)據(jù)重新格式化為行業(yè)標(biāo)準(zhǔn)格式，并提供三種接口選擇：

高帶寬MIPI接口與應(yīng)用處理器連接，并使用完整的數(shù)字流水線在流式傳輸之前對數(shù)據(jù)進(jìn)行預(yù)處理和過濾。

CPI 接口 (DCMI) 與低延遲應(yīng)用中的微控制器連接。數(shù)據(jù)可以聚合成 2D 直方圖，以便進(jìn)行 AI 處理。

Prophesee現(xiàn)有的AER(地址-事件表示)接口完全繞過了數(shù)字預(yù)處理管道，用于神經(jīng)形態(tài)和脈沖神經(jīng)網(wǎng)絡(luò)加速器。

GenX320 還包括低功耗模式的層次結(jié)構(gòu)。最低功耗模式用于始終開啟的活動檢測，功耗約為 36 μW。完全有源模式在CPI接口上的功耗約為3.5 mW，在MIPI接口下功耗約為20 mW。

Posch說：“我們可以向上爬到功率模式，實(shí)現(xiàn)更高的分辨率和更智能的檢測，最高模式，在該模式下，所有事件數(shù)據(jù)的輸出接口都完全流向應(yīng)用處理器?！霸赱最高和最低功耗模式]之間，我們可以在這些功率模式之間循環(huán)，這取決于場景中發(fā)生的情況。

這些模式使用一種稱為全局對比度檢測器 (GCD) 的新功能，該功能可檢測移動、進(jìn)入或離開視野的物體。像素陣列被細(xì)分為多個(gè)區(qū)域，這些區(qū)域可以小至 4 x 4 像素。Prophesee 使用陣列中每個(gè)區(qū)域中光電二極管的光電流總和(以硬件計(jì)算)來檢測該區(qū)域中的活動。對于最低功耗模式，有九個(gè)檢測區(qū)域;其效果就好像在總共 100,000 個(gè)像素中只有 9 個(gè)被打開，因此可以節(jié)省大量電量。

RISC-V CPU 還可用于對靈活的感興趣區(qū)域進(jìn)行編程，最多可同時(shí)對 12 個(gè)感興趣區(qū)域進(jìn)行編程。

全局對比度檢測 (GCD) 是一項(xiàng)新功能，可將陣列分解為多個(gè)區(qū)域以節(jié)省功耗。這些區(qū)域中的活動檢測可用于喚醒系統(tǒng)的其他部分。

商業(yè)牽引力

GenX320 傳感器已經(jīng)掌握在 20 多個(gè)主要客戶手中進(jìn)行原型設(shè)計(jì)。

Zinn Labs 使用 GenX360 開發(fā)了一種用于 AR/VR 眼鏡的基于事件的眼動儀，它產(chǎn)生的數(shù)據(jù)比全畫幅相機(jī)少 100×。這意味著眼動追蹤可以在1 kHz或更高的頻率下完成，比全畫幅相機(jī)設(shè)置快10×?？焖傺蹌幼粉櫟膽?yīng)用之一是注視點(diǎn)渲染：我們的眼睛不會同時(shí)聚焦整個(gè)場景，因此，如果我們知道眼睛在看哪里，有選擇地渲染我們正在看的部分可以節(jié)省計(jì)算量。Verre表示，Zinn Labs正在與客戶合作，明年開始大規(guī)模生產(chǎn)Prophesee GenX320傳感器。

英國初創(chuàng)公司 Ultraleap 一直在將 GenX320 用于用于非接觸式人機(jī)界面的手部跟蹤系統(tǒng)。Verre說，照明條件對于這種應(yīng)用來說可能具有挑戰(zhàn)性，但Prophesee傳感器具有高動態(tài)范圍(高于120 dB)。

消費(fèi)電子公司Xperi已經(jīng)擁有使用Prophesee上一代傳感器的駕駛員監(jiān)控系統(tǒng)，現(xiàn)在它正在考慮將GenX360用于智能設(shè)備和家用電器。臺灣原始設(shè)備制造商 YunX 計(jì)劃明年推出一款保護(hù)隱私的 GenX320 跌倒檢測系統(tǒng)。

Verre表示，Prophesee將在未來幾周內(nèi)展示GenX320和用于邊緣AI的STM32微控制器，隨后將推出更多具有不同類型處理器的參考設(shè)計(jì)。GenX320的產(chǎn)量將在明年上半年增加。

審核編輯：彭菁