太牛了！這家公司創(chuàng)造了“模擬人眼、基于事件的視覺(jué)傳感器”，獲創(chuàng)新工場(chǎng)、小米、韋豪創(chuàng)芯投資

電子發(fā)燒友網(wǎng)報(bào)道（文/黃晶晶）日前，世界領(lǐng)先的神經(jīng)擬態(tài)視覺(jué)解決方案企業(yè)普諾飛思（Prophesee）宣布C輪融資，由創(chuàng)新工場(chǎng)領(lǐng)投、小米及上海韋豪創(chuàng)芯跟投，數(shù)家老股東加碼。在最近的一次媒體交流會(huì)上，普諾飛思聯(lián)合創(chuàng)始人兼CEO 盧卡·維雷（Luca Verre）、普諾飛思大中華區(qū)商務(wù)發(fā)展主管Johney Lu、普諾飛思高級(jí)現(xiàn)場(chǎng)應(yīng)用工程師Cyrus Lo、創(chuàng)新工場(chǎng)合伙人方益民以及創(chuàng)新工場(chǎng)投資總監(jiān)王震翔與包括電子發(fā)燒友網(wǎng)在內(nèi)的媒體進(jìn)行了充分交流。

硅基視網(wǎng)膜，或稱基于事件的視覺(jué)傳感器

Luca解析，這個(gè)產(chǎn)品的原本模型來(lái)自于模擬人的眼睛，眼睛事先預(yù)處理信息，只留下對(duì)大腦決策有用的信息，通過(guò)視神經(jīng)傳導(dǎo)到大腦。

傳統(tǒng)的圖像傳感器以一幀一幀的圖像，只對(duì)場(chǎng)景中的變化產(chǎn)生反應(yīng)，這些場(chǎng)景中的變化一般和場(chǎng)景中的物體運(yùn)動(dòng)有關(guān)。

普諾飛思設(shè)計(jì)的硅基視網(wǎng)膜或稱基于事件的視覺(jué)傳感器，類似于人眼視沒(méi)錢系統(tǒng)的運(yùn)作原理，它是持續(xù)的以事件為基礎(chǔ)，具有異步特性，在生態(tài)視覺(jué)系統(tǒng)當(dāng)中，始終沒(méi)有一個(gè)固定的類似于傳統(tǒng)圖像傳感器的取樣頻率。



這種新的視覺(jué)系統(tǒng)能帶來(lái)三個(gè)比較大的好處：

1、減少冗余數(shù)據(jù)，就是需要處理的數(shù)據(jù)量會(huì)變少。
2、能夠加速識(shí)別檢測(cè)的速度。
3、能夠增加動(dòng)態(tài)范圍，能夠適應(yīng)極端的光照條件。

具體來(lái)說(shuō)，基于事件的視覺(jué)傳感器不像傳統(tǒng)的圖像傳感器那樣，生成一張一張的圖像，而只會(huì)對(duì)場(chǎng)景中物體的運(yùn)動(dòng)變化產(chǎn)生反應(yīng)，即背景沒(méi)有任何變化，傳感器不會(huì)對(duì)靜態(tài)的背景信息反復(fù)地取樣。

因此在處理時(shí)間和速度上，基于事件的視覺(jué)傳感器的處理流程更高效，系統(tǒng)處理速度更快。

目前，普諾飛思從第一代的QVGA到HD高清視覺(jué)傳感器形成了一系列的產(chǎn)品，最近與合作伙伴索尼共同開發(fā)出了一款市面上尺寸最小的視覺(jué)傳感器。小尺寸傳感器成本更低，更易于集成，例如應(yīng)用于智能手機(jī)、筆記本電腦、機(jī)器人等消費(fèi)類電子產(chǎn)品。

軟件工具與基于事件的視覺(jué)傳感器相配合

普諾飛思設(shè)計(jì)基于事件的視覺(jué)傳感器的同時(shí)也推出了相關(guān)的軟件產(chǎn)品與服務(wù)。Luca表示，因?yàn)槲覀兊囊曈X(jué)傳感器為客戶帶來(lái)了新的前所未有的數(shù)據(jù)類型，因此我們需要為客戶提供分析工具和軟件，來(lái)使用這些全新的數(shù)據(jù)，幫助他們建立全面的應(yīng)用。

普諾飛思推出了獨(dú)有的MetaVision智能套件，它是一個(gè)非常全面、綜合性很高的軟件開發(fā)工具?？商峁?5種計(jì)算機(jī)視覺(jué)或者AI的算法、67種代碼示例、11個(gè)即用型應(yīng)用程序，這些都在SDK當(dāng)中供客戶使用。MetaVision智能套件包括六個(gè)主要的模塊，即機(jī)器學(xué)習(xí)、3D計(jì)算機(jī)視覺(jué)，還有分析等等不同的模塊。

普諾飛思現(xiàn)在還提供完整的機(jī)器學(xué)習(xí)工具包，內(nèi)含最大的高清公共數(shù)據(jù)集、模擬工具、以及可監(jiān)測(cè)對(duì)象活動(dòng)的不同模型。此外，還包括機(jī)器學(xué)習(xí)的相關(guān)內(nèi)容，此外MetaVision還為業(yè)界提供基于事件的開源工具，開發(fā)者可以通過(guò)普諾飛思的技術(shù)探索發(fā)現(xiàn)全新的可能性，并實(shí)現(xiàn)進(jìn)一步的發(fā)明創(chuàng)造。

典型應(yīng)用場(chǎng)景

基于神經(jīng)擬態(tài)視覺(jué)系統(tǒng)的座艙監(jiān)控技術(shù)

普諾飛思與Xperi合作推出的全球首個(gè)基于神經(jīng)擬態(tài)視覺(jué)系統(tǒng)的座艙監(jiān)控技術(shù)，Xperi是一家美國(guó)企業(yè)，致力于研究包括駕駛監(jiān)控在內(nèi)的多種前沿技術(shù)。


普諾飛思推出的駕駛監(jiān)控技術(shù)可通過(guò)對(duì)駕駛員眼睛、表情的監(jiān)測(cè)，以及計(jì)數(shù)駕駛員的眨眼頻率，從而對(duì)他目光注視的情況進(jìn)行監(jiān)測(cè)。普諾飛思的獨(dú)特技術(shù)能夠?yàn)轳{駛監(jiān)控提供高速的視覺(jué)處理功能，此外，還能夠應(yīng)對(duì)非常嚴(yán)苛的光線的環(huán)境。

它的特點(diǎn)是速度快，可以高速追蹤眼球以及目光，追蹤眨眼的行為，因?yàn)楫?dāng)人在疲勞的時(shí)候，眨眼頻率和速度都會(huì)大大提高。傳統(tǒng)視覺(jué)只能推測(cè)到眨眼的動(dòng)作，但不能測(cè)算眨眼的速度。此外，它具有極高的動(dòng)態(tài)范圍，在面對(duì)陽(yáng)光時(shí)，如果拉下遮光板，這個(gè)區(qū)域會(huì)比周邊暗，傳統(tǒng)視覺(jué)傳感器的處理要么看不到眼睛，要么在臉部其他部位過(guò)曝，而普諾飛思的傳感器可以同時(shí)檢測(cè)亮處與暗處的信息。還有，能夠透過(guò)太陽(yáng)眼鏡看眼睛，太陽(yáng)眼鏡的反光不會(huì)對(duì)檢測(cè)造成影響。

基于事件的高級(jí)駕駛輔助系統(tǒng)

在這個(gè)系統(tǒng)當(dāng)中，車上安裝了三個(gè)基于事件的傳感器，以及一個(gè)激光柱，激光柱進(jìn)行掃描，Prophesee的傳感器會(huì)追蹤激光柱的燈光，然后對(duì)掃描的內(nèi)容進(jìn)行3D建模，從而分析前端路況。



在激光掃描的時(shí)候會(huì)經(jīng)常碰一個(gè)問(wèn)題，即點(diǎn)不夠多，且循環(huán)比較慢。普諾飛思補(bǔ)足了激光的這個(gè)短板。利用激光的精確度優(yōu)勢(shì)以及傳感器的速度，可以直接造出一個(gè)非常精準(zhǔn)高速的3D Point Cloud，令自動(dòng)駕駛平臺(tái)效果大幅提升，實(shí)現(xiàn)更安全的駕駛。

醫(yī)療案例

普諾飛思和Cambridge Consultants共同開發(fā)了通過(guò)細(xì)胞實(shí)時(shí)無(wú)菌檢測(cè)方式實(shí)現(xiàn)的下一代細(xì)胞療法。

可以在利用細(xì)胞作為介質(zhì)生產(chǎn)的產(chǎn)品中尋找細(xì)菌和雜質(zhì)，比如做胰島素。用傳統(tǒng)的方法需要幾天的時(shí)間才能夠完成這樣的生物學(xué)檢測(cè)，但是用基于Prophesee的傳感器技術(shù)的設(shè)備，可以在幾微秒時(shí)間內(nèi)完成檢測(cè)。


另一個(gè)醫(yī)療應(yīng)用案例是Prophesee和GenSight共同開發(fā)的，讓失明患者借助光遺傳療法恢復(fù)了部分視力?！肮枰暰W(wǎng)膜（silicon retinas）”，能夠?qū)?a target="_blank">信號(hào)發(fā)送給大腦進(jìn)行處理，該技術(shù)可專門針對(duì)于一些晚期的視網(wǎng)膜色素變性的病例。GenSight所生產(chǎn)的護(hù)目鏡當(dāng)中運(yùn)用了普諾飛思的技術(shù)，可以通過(guò)失明人士視網(wǎng)膜中所植入的投光器對(duì)視覺(jué)系統(tǒng)進(jìn)行光刺激，進(jìn)而讓其恢復(fù)一部分的視覺(jué)功能。


用于智能手機(jī)，改善拍照質(zhì)量

傳統(tǒng)上基于幀的技術(shù)，拍照的時(shí)候會(huì)產(chǎn)生運(yùn)動(dòng)模糊的現(xiàn)象。例如在拍攝寵物奔跑照片時(shí)，如果燈光條件不是特別好，曝光時(shí)間一般會(huì)比較長(zhǎng)，拍攝結(jié)果就會(huì)較為模糊。



原因是傳統(tǒng)RGB以圖像為基礎(chǔ)的技術(shù)主要是為了捕捉靜態(tài)的圖像而設(shè)計(jì)的，而普諾飛思的基于事件的技術(shù)，就是為了捕捉動(dòng)態(tài)信息而設(shè)計(jì)的。

如果將這兩個(gè)技術(shù)，靜態(tài)的以幀為基礎(chǔ)的技術(shù)和以事件為基礎(chǔ)的技術(shù)相結(jié)合，左邊是單純的基于幀的技術(shù)所拍攝出來(lái)的畫面，右邊是結(jié)合了基于事件的技術(shù)的結(jié)果。將基于幀和基于事件的技術(shù)相結(jié)合，能夠產(chǎn)生更好的照片效果。

有些視頻有很多非常模糊的場(chǎng)景，因?yàn)楣饩€不是非常好，加上畫面當(dāng)中的人也是在移動(dòng)的，所以人像是模糊的，畫面中樓房側(cè)面的樣子也是模糊的。而通過(guò)基于事件的技術(shù)可以修正運(yùn)動(dòng)產(chǎn)生的模糊。視頻中的人像非常地清晰，建筑物也能夠看清非常多的細(xì)節(jié)。

此外對(duì)于機(jī)器防抖，一般會(huì)借助于IMU，或者物理光學(xué)防抖。但這種解決方案主要用于自身防抖。但當(dāng)被拍物體由于移動(dòng)速度過(guò)而快造成的模糊時(shí)，就需要依靠以事件為基礎(chǔ)的技術(shù)來(lái)解決。

軟硬件方案筑行業(yè)壁壘，獲得融資后Prophesee重點(diǎn)擴(kuò)大中國(guó)市場(chǎng)規(guī)模

即便任何一家手機(jī)廠商或者自動(dòng)駕駛公司拿到了這顆芯片，但處理數(shù)據(jù)流也是難題，因?yàn)橐恍S商的算法工程師通常處理基于幀的數(shù)據(jù)，換句話說(shuō)，Prophesee的技術(shù)解決方案涵蓋底層、算法、應(yīng)用軟件，建立了深厚的行業(yè)壁壘。創(chuàng)新工場(chǎng)表示，這也是他們看好Prophesee并投資的重要原因。此次創(chuàng)新工場(chǎng)、小米、豪威等機(jī)構(gòu)的投資，正是為了加速普諾飛思技術(shù)的迭代，針對(duì)廣大的中國(guó)下游客戶市場(chǎng)，讓這項(xiàng)黑科技快速大規(guī)模商業(yè)化落地。

為了加快普諾飛思在中國(guó)市場(chǎng)的落地，公司已經(jīng)把中國(guó)總部設(shè)在上海，Luca表示，目前我們的重點(diǎn)是對(duì)中國(guó)市場(chǎng)進(jìn)行大規(guī)模的投入，在中國(guó)擴(kuò)充我們的團(tuán)隊(duì)，推廣我們的技術(shù)和應(yīng)用。我們最終的目標(biāo)是將普諾飛思打造成一個(gè)全球性的公司。那就要在全球最大的市場(chǎng)取得成功，也就是在中國(guó)取得成功。

四年來(lái)，Prophesee與索尼進(jìn)行了合作，普諾飛思主要在IP方面發(fā)揮自身的優(yōu)勢(shì)——基于事件的視覺(jué)技術(shù)；索尼主要發(fā)揮它在先進(jìn)制造工藝方面的優(yōu)勢(shì)。Prophesee的視覺(jué)傳感器被稱為下一代的CIS，韋豪創(chuàng)芯正是看中這一前景也對(duì)Prophesee進(jìn)行了投資。

本文由電子發(fā)燒友原創(chuàng)，作者黃晶晶，微信號(hào)kittyhjj，轉(zhuǎn)載請(qǐng)注明以上來(lái)源。如需入群交流，請(qǐng)?zhí)砑游⑿舉lecfans999，投稿發(fā)郵件到huangjingjing@elecfans.com。