Prophesee為其事件驅(qū)動的人工智能(AI)視覺開發(fā)生態(tài)系統(tǒng)新增開源模塊和訓(xùn)練數(shù)據(jù)資源庫。
開源模塊和訓(xùn)練數(shù)據(jù)資源庫
據(jù)麥姆斯咨詢報道,法國AI視覺開發(fā)商Prophesee面向光流和目標(biāo)探測等AI視覺應(yīng)用,發(fā)布了一套關(guān)鍵的開源軟件模塊和一組事件驅(qū)動的機(jī)器學(xué)習(xí)工具。
Metavision Intelligence套件
作為Metavision Intelligence套件的一部分,Prophesee向開發(fā)者提供了業(yè)界最大的高清事件驅(qū)動數(shù)據(jù)集OpenEB(免費(fèi)下載)。這有助于開發(fā)人員使用事件驅(qū)動的方法來進(jìn)行機(jī)器學(xué)習(xí),這種方法由場景的變化而不是神經(jīng)網(wǎng)絡(luò)框架觸發(fā)。
和人眼視覺原理類似,Prohesee開發(fā)的傳感器只有在感知到場景變化時才會進(jìn)行記錄,不同于傳統(tǒng)圖像傳感器以固定的幀時鐘記錄圖像信息。即僅在場景發(fā)生變化時,這種基于事件的視覺傳感器上的像素才做出反應(yīng),場景中靜態(tài)的部分都不會被捕捉。
Prohesee基于事件驅(qū)動的圖像傳感器
這種基于事件的視覺感知設(shè)計,主要有三大優(yōu)勢:產(chǎn)生數(shù)據(jù)量更少;反應(yīng)速度更快;以及實現(xiàn)更高的動態(tài)范圍(》120 dB)。這些優(yōu)勢對于當(dāng)代機(jī)器視覺而言極具價值,尤其在減少數(shù)據(jù)量的問題上,對于有限的通信、存儲與計算資源都顯得相當(dāng)友好。
傳統(tǒng)基于幀和Prophesee基于事件的視覺傳感器成像對比
Prophesee聯(lián)合創(chuàng)始人兼首席執(zhí)行官Luca Verre解釋稱:“所謂‘事件’,是指一個像素激活自身并發(fā)送事件檢測到發(fā)生的X、Y坐標(biāo)和時間戳。傳感器上每個像素獨立接收光子,光電二極管因此產(chǎn)生電流,進(jìn)行累加之后,像素再持續(xù)地將電流的實時電荷電壓與參考值做比較。在電壓增減達(dá)到一定程度時,該像素就會發(fā)出一個事件。整個過程是μs級別的速度?!?/p>
首款事件驅(qū)動AI相機(jī)已出貨
日本CenturyArk推出的SilkyEvCam人工智能相機(jī),采用了Prophesee的事件驅(qū)動圖像傳感器和軟件
日本CenturyArk在2020年末面向廣泛的工業(yè)機(jī)器視覺應(yīng)用推出了超小型USB攝像頭SilkyEvCam。SilkyEvCam采用了Prophesee的Metavision視覺傳感器以及Metavision Intelligence套件。為采用事件驅(qū)動方案的機(jī)器視覺開發(fā)人員,提供了更快的上市時間。
相比傳統(tǒng)基于幀的視覺傳感技術(shù),這款相機(jī)采用了基于時間的Metavision視覺傳感器,將場景中收集的數(shù)據(jù)量減少了1000倍,顯著提高了性能。這種事件驅(qū)動方案能夠以等效10000 fps以上的時間分辨率進(jìn)行高速視覺,并支持超過120 dB的寬動態(tài)范圍,使其適合在苛刻的照明條件下進(jìn)行高效運(yùn)行。
在此基礎(chǔ)上,這款相機(jī)率先提供了對Metavision Intelligence套件的全面支持,這是業(yè)界最全面的一套開發(fā)工具,用于加速機(jī)器視覺系統(tǒng)中對基于事件的視覺技術(shù)的探索和實現(xiàn)過程。該套件包含62種算法、54個代碼示例和11個現(xiàn)成的應(yīng)用程序。它為用戶提供了C++和Python API以及大量的文檔和示例,通過增加難度來逐步引入基于事件的機(jī)器視覺的基本概念。
Prophesee最新發(fā)布的Metavision Intelligence版本增加了一套擴(kuò)展的開發(fā)工具和軟件,用于設(shè)計具有事件驅(qū)動機(jī)器學(xué)習(xí)的工業(yè)視覺系統(tǒng)。該套件現(xiàn)在包括近100種算法、67個代碼樣本以及11個特定用例的應(yīng)用模塊,可以加速用戶的開發(fā)過程。
OpenEB的開源模塊可以通過Github獲取,它允許設(shè)計人員構(gòu)建自定義插件,并兼容用于開發(fā)事件驅(qū)動系統(tǒng)的Metavision Intelligence套件。它為開發(fā)者提供了一個跨機(jī)器視覺生態(tài)系統(tǒng)共享軟件組件的平臺。
“我們希望在機(jī)器視覺生態(tài)系統(tǒng)中建立一個開放的技術(shù)標(biāo)準(zhǔn),實現(xiàn)易得性和互操作性的新高度?!盠uca Verre說,“我們的方案為基于事件的技術(shù)提供了持續(xù)增長的生態(tài)系統(tǒng),具有豐富的開放基礎(chǔ)和強(qiáng)大的開發(fā)框架。它包括了我們多年來收集的廣泛而可靠的數(shù)據(jù),以及利用我們在各種用例中積累的專業(yè)知識,加速客戶特定系統(tǒng)開發(fā)的應(yīng)用模塊?!?/p>
OpenEB數(shù)據(jù)庫為相機(jī)制造商及其客戶提供了標(biāo)準(zhǔn)的基于事件的數(shù)據(jù)格式。Metavision Intelligence套件的開源模塊,可以兼容相機(jī)制造商及其客戶的生態(tài)系統(tǒng)。Prophesee開源許可提供關(guān)鍵模塊,可以加速定制插件的創(chuàng)建,同時確保兼容相機(jī)制造商提供的底層硬件。
從Prophesee過去四年來創(chuàng)建的實際序列數(shù)據(jù)集開始,其開發(fā)環(huán)境為機(jī)器學(xué)習(xí)應(yīng)用的快速發(fā)展提供了一個完整平臺。開發(fā)人員可以利用各種工具指導(dǎo)神經(jīng)網(wǎng)絡(luò)模型的開發(fā),對基于事件的數(shù)據(jù)進(jìn)行推理,以進(jìn)行用于目標(biāo)探測的監(jiān)督訓(xùn)練和用于光流的自監(jiān)督訓(xùn)練,均為基于事件的視覺應(yīng)用進(jìn)行了優(yōu)化。
此外,開發(fā)人員可以利用提供的基于事件的模擬器輕松創(chuàng)建自己的模型,或利用其現(xiàn)有的基于幀的數(shù)據(jù)集和模型,并使用基于事件的視覺對其進(jìn)行改進(jìn)。
Metavision Intelligence套件添加了新的即用型應(yīng)用,并可以通過基于事件的視覺進(jìn)行增強(qiáng),其中包括:
- 粒度監(jiān)測:在生產(chǎn)線上以極高的速度(高達(dá)50000像素/秒),對通過視場的物體進(jìn)行計數(shù)和測量,計數(shù)精度高達(dá)99.9%,從而確保更好地控制過程。
- 噴射監(jiān)測:實時監(jiān)測液體分配的速度和質(zhì)量。對高速噴射進(jìn)行檢測和計數(shù),支持高達(dá)500 Hz的噴射分配,并在分配器出現(xiàn)錯誤時自動生成警報。
- 輪廓特征跟蹤:利用基于事件的傳感器提供的低數(shù)據(jù)率和稀疏信息,以較低的算力實現(xiàn)超穩(wěn)健的3D目標(biāo)實時跟蹤。
編輯:lyn
-
機(jī)器視覺
+關(guān)注
關(guān)注
161文章
4266瀏覽量
119542 -
AI
+關(guān)注
關(guān)注
87文章
28876瀏覽量
266219 -
機(jī)器學(xué)習(xí)
+關(guān)注
關(guān)注
66文章
8306瀏覽量
131841 -
事件驅(qū)動
+關(guān)注
關(guān)注
0文章
9瀏覽量
6727
原文標(biāo)題:基于事件驅(qū)動的AI視覺開源庫,加速機(jī)器視覺應(yīng)用開發(fā)
文章出處:【微信號:MEMSensor,微信公眾號:MEMS】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論