Prophesee將推出帶有STM32微控制器的GenX320

動態(tài)視覺傳感器（DVS）公司Prophesee已將其基于事件的相機調(diào)整為適合始終在線的AIoT（物聯(lián)網(wǎng)人工智能）設(shè)備的外形尺寸。與該公司的 100 萬像素第四代傳感器相比，第五代 GenX320 已將其分辨率降低到 320 x 320 像素，將芯片尺寸減小到 13 mm ^2^ ，現(xiàn)在包括便于下游處理的標(biāo)準(zhǔn)數(shù)據(jù)格式和可用于喚醒系統(tǒng)其他部分的超低功耗模式層次結(jié)構(gòu)， Prophesee首席執(zhí)行官Luca Verre告訴EE Times。

“[基于事件的傳感器]技術(shù)現(xiàn)在在消費者領(lǐng)域開辟了一個機會，一個更大的生態(tài)系統(tǒng)正在意識到這項技術(shù)并有興趣采用它，”Verre說。“但三年前，我們發(fā)現(xiàn)了不一定適合我們的第四代傳感器的其他機會。這就是我們開發(fā)第五代產(chǎn)品的原因，用于出于成本、功耗和集成原因需要非常小的傳感器設(shè)備的應(yīng)用。

像DVS傳感器這樣的基于事件的傳感器基于人類視網(wǎng)膜的生物學(xué)：它們只輸出像素亮度的變化，而不是完整的圖像幀。這會以低延遲生成低帶寬數(shù)據(jù)，但仍包含有關(guān)場景的足夠信息。處理這種低帶寬數(shù)據(jù)所需的計算量更少，這意味著可以節(jié)省電力。該技術(shù)對弱光條件也非常有彈性。

Prophesee與索尼合作設(shè)計的上一代傳感器于2021年底投入批量生產(chǎn)。這款高清傳感器是一款BSI（背面照明）3D堆疊芯片，足夠小，可以首次針對消費電子產(chǎn)品。

Prophesee一直在與高通公司合作，用Snapdragon移動處理器展示這種傳感器。Verre表示，至少有兩家OEM正在為2025年發(fā)布制造智能手機，其中包括Snapdragon和Prophesee的組合。這里的用例是融合全畫幅和事件數(shù)據(jù)，以提高智能手機相機的圖像質(zhì)量。可以使用Prophesee傳感器來檢測照片中的運動，然后使用Prophesee的計算攝影算法來校正它，從而減少運動模糊。

GenX320具有較低的分辨率，更低的功耗和更小的尺寸，將針對AR / VR耳機，安全和監(jiān)控/檢測系統(tǒng)，非接觸式顯示器，眼動追蹤和其他始終在線的物聯(lián)網(wǎng)設(shè)備。然而，雖然仍然是BIS 3D堆疊設(shè)計，但該傳感器不是與索尼一起開發(fā)的，而是在不同的代工廠制造。

“我們與索尼的關(guān)系非常好：我們共同開發(fā)了第四代傳感器，我們還與索尼達成了一項商業(yè)協(xié)議，與索尼一起進入市場，”Verre說。“所以這種合作關(guān)系正在進行中，但第五代傳感器是由Prophesee設(shè)計的，由我們的鑄造合作伙伴制造，并由我們銷售。[第四代和第五代]傳感器在市場定位方面完全不同，針對非常不同的用例具有不同的傳感器分辨率，因此它們是互補的。沒有重疊，這使得我們與索尼的上市戰(zhàn)略非常簡單。

接口和電源模式

Prophesee聯(lián)合創(chuàng)始人兼首席技術(shù)官Christoph Posch告訴EE Times，GenX320有幾個關(guān)鍵的新功能與邊緣AI和物聯(lián)網(wǎng)應(yīng)用相關(guān)。

“我們（以前）有一種非常規(guī)的數(shù)據(jù)格式，沒有人真正知道該怎么做——事件中動態(tài)視覺信息的編碼，沒有人理解，”他說。“我們的數(shù)據(jù)速率不恒定，沒有標(biāo)準(zhǔn)的數(shù)據(jù)格式或接口。我們意識到所有這些事情都減緩了這項技術(shù)的采用。這就是為什么我們認為，'我們需要設(shè)計一種更有用的傳感器，可以集成到邊緣AI視覺系統(tǒng)中，并幫助潛在客戶真正使用該系統(tǒng)'。
GenX320包括片上預(yù)處理，可根據(jù)需要將數(shù)據(jù)重新格式化為行業(yè)標(biāo)準(zhǔn)格式，并提供三種接口選擇：

• 高帶寬MIPI接口與應(yīng)用處理器連接，并使用全數(shù)字流水線在流式傳輸之前對數(shù)據(jù)進行預(yù)處理和過濾。
• CPI 接口 （DCMI） 與低延遲應(yīng)用中的微控制器連接。數(shù)據(jù)可以聚合成 2D 直方圖，準(zhǔn)備進行 AI 處理。
• Prophesee現(xiàn)有的AER（地址事件表示）接口完全繞過了數(shù)字預(yù)處理管道，用于神經(jīng)形態(tài)和尖峰神經(jīng)網(wǎng)絡(luò)加速器。

GenX320還包括低功耗模式的層次結(jié)構(gòu)。用于始終開啟活動檢測的最低功耗模式功耗約為 36 μW。完全有效模式使用 CPI 接口時功耗約為 3.5 mW，使用 MIPI 接口時功耗約為 20 mW。

Posch 說：“我們可以將層次結(jié)構(gòu)提升到功耗模式，從而實現(xiàn)更高的分辨率和更智能的檢測，直至最高模式，即通過所有事件數(shù)據(jù)的輸出接口將完全流式傳輸?shù)綉?yīng)用處理器?！霸赱最高和最低功耗模式]之間，我們可以在這些功率模式之間循環(huán)，具體取決于場景中發(fā)生的事情。

這些模式使用稱為全局對比度檢測器 （GCD） 的新功能，該功能可檢測移動、進入或退出視野的物體。像素陣列細分為多個區(qū)域，這些區(qū)域可以小至 4 x 4 像素。Prophesee使用陣列每個區(qū)域中光電二極管的光電流總和（在硬件中計算）來檢測該區(qū)域的活動。對于最低功耗模式，有九個檢測區(qū)域;效果就像總共 100,000 個像素中只有 9 個被打開，因此可以節(jié)省大量電量。

RISC-V CPU 還可用于對靈活的感興趣區(qū)域進行編程，最多可同時編程 12 個。

全局對比度檢測 （GCD） 是一項新功能，可將陣列分解為多個區(qū)域以節(jié)省功耗。這些區(qū)域中的活動檢測可用于喚醒系統(tǒng)的其他部分。

商業(yè)牽引力

GenX320傳感器已經(jīng)掌握在20多個主要客戶手中，用于原型設(shè)計。

Zinn Labs使用GenX360為AR / VR眼鏡開發(fā)了一種基于事件的眼動儀，其產(chǎn)生的數(shù)據(jù)比全畫幅相機少100×。這意味著眼動追蹤可以在 1 kHz 或更高的頻率下完成，比全畫幅相機設(shè)置快 10×?？焖傺蹌幼粉櫟膽?yīng)用之一是注視點渲染：我們的眼睛不會同時聚焦整個場景，因此，如果我們知道眼睛在看哪里，有選擇地渲染我們正在看的部分可以節(jié)省計算。Verre表示，Zinn Labs正在與客戶合作，明年開始使用Prophesee GenX320傳感器進行批量生產(chǎn)。

英國初創(chuàng)公司Ultraleap一直在使用GenX320進行手部跟蹤系統(tǒng)，用于非接觸式人機界面。Verre說，這種應(yīng)用的照明條件可能具有挑戰(zhàn)性，但Prophesee傳感器具有高動態(tài)范圍（高于120 dB）。
消費電子公司Xperi已經(jīng)有一個使用Prophesee上一代傳感器的駕駛員監(jiān)控系統(tǒng)，現(xiàn)在它正在研究用于智能設(shè)備和家用電器的GenX360。臺灣整車廠YunX計劃明年上市，配備保護隱私的GenX320跌倒檢測系統(tǒng)。

Verre表示，Prophesee將在未來幾周內(nèi)展示帶有STM32微控制器的GenX320，用于邊緣AI，隨后將有更多具有不同類型處理器的參考設(shè)計。GenX320的產(chǎn)量將在明年上半年增加。