神經(jīng)擬態(tài)視覺技術(shù)助力手機(jī)影像質(zhì)量突破新高

PROPHESEE與高通達(dá)成長期合作，實現(xiàn)Prophesee Metavision事件視覺傳感器及軟件對高通驍龍移動平臺的原生支持。

? 人類對世界的認(rèn)識并非基于柵格（raster-based）或基于幀（frame-based）。Prophesee事件視覺傳感器受人眼視覺原理啟發(fā)，能夠修復(fù)由傳統(tǒng)圖像傳感器造成的運動模糊及其他圖像質(zhì)量問題，特別是在高動態(tài)場景和低光照環(huán)境下，能夠使手機(jī)影像更接近真實體驗。

? 高通技術(shù)公司是高端手機(jī)技術(shù)的全球領(lǐng)導(dǎo)者，雙方合作將加速Prophesee 的解決方案在手機(jī)行業(yè)的快速部署。

? 雙方將攜手優(yōu)化Prophesee Metavision神經(jīng)擬態(tài)事件視覺傳感技術(shù)（包括傳感器和軟件）與驍龍移動平臺的深度融合。相關(guān)開發(fā)套件將由Prophesee于今年內(nèi)推出。

據(jù)麥姆斯咨詢報道，Prophesee與高通技術(shù)公司近日宣布，雙方將合作優(yōu)化Prophesee Metavision事件視覺傳感器與高通驍龍移動平臺的深度融合，為智能手機(jī)提供神經(jīng)擬態(tài)視覺技術(shù)在速度、性能和成像質(zhì)量方面的優(yōu)勢。借助Prophesee事件視覺傳感器的異步像素檢測以及連續(xù)事件流輸出，為智能手機(jī)廠家提供一種高效快速的途徑來顯著提升相機(jī)影像性能，特別是在高速移動的動態(tài)場景（例如運動場景）以及低光照環(huán)境下。此外，Prophesee正在開發(fā)一個開發(fā)套件，以支持搭載驍龍平臺的下一代設(shè)備集成Metavision傳感器技術(shù)。

圖1 運動場景：高速運動場景的初步去模糊結(jié)果，通過結(jié)合Prophesee Metavision傳感技術(shù)（包括傳感器和算法）與驍龍平臺獲得

高通產(chǎn)品管理副總裁Judd Heape表示：“神經(jīng)擬態(tài)視覺技術(shù)突破了行業(yè)現(xiàn)有的游戲規(guī)則，能夠解決傳統(tǒng)相機(jī)的局限并提升整體用戶體驗，Prophesee無疑是這一領(lǐng)域的領(lǐng)導(dǎo)者，我們有信心雙方的合作將進(jìn)一步推動領(lǐng)先的OEM部署神經(jīng)擬態(tài)視覺技術(shù)，從而開啟移動影像技術(shù)的全新時代?！?Judd Heape補充道：“由于事件相機(jī)的成像不受快門的限制，即便是在惡劣的環(huán)境下，也能夠顯著提升搭載驍龍的下一代智能手機(jī)的影像性能，為我們的客戶解鎖一系列全新的可能性。”

圖2 高通產(chǎn)品管理副總裁Judd Heape在驍龍峰會上介紹Prophesee Metavision技術(shù)

Prophesee聯(lián)合創(chuàng)始人兼首席執(zhí)行官Luca Verre表示：“我們很高興能夠與高通建立戰(zhàn)略合作關(guān)系，共同推動事件視覺技術(shù)與驍龍生態(tài)的集成與發(fā)展。高通驍龍是全球最受歡迎的移動平臺之一，通過此次合作，產(chǎn)品開發(fā)人員將能夠大幅提升手機(jī)攝影的性能及影像質(zhì)量，優(yōu)化用戶體驗，這是基于幀的傳統(tǒng)成像方式難以實現(xiàn)的?！?/p>

工作原理

Prophesee突破性的事件視覺傳感器能夠為手機(jī)攝影提供全新的感知維度。由于事件視覺傳感僅關(guān)注場景中的動態(tài)變化，能夠迅速響應(yīng)并連續(xù)追蹤像素變化，從而打破了傳統(tǒng)的成像范式。

Metavision傳感器中的每個像素都有一個內(nèi)嵌的邏輯核（logic core），使其能夠作為神經(jīng)元來工作。每個像素都能根據(jù)各自感應(yīng)到的光子數(shù)量，異步且智能地激活自身。像素的每次激活稱為一個“事件（event）”，所以在本質(zhì)上，事件是由場景動態(tài)驅(qū)動的，其采集速度也始終與實際場景動態(tài)相匹配。

通過同步Prophesee事件傳感器和基于幀的傳感器的數(shù)據(jù)，手機(jī)攝影可以實現(xiàn)高性能的圖像去模糊。系統(tǒng)能夠?qū)⑹录鞲衅饕晕⒚霝閱挝挥涗浀氖录畛涞絻蓭瑘D像的間隙，通過算法提取純動態(tài)信息，從而修復(fù)運動模糊。

支持Prophesee事件視覺傳感技術(shù)的開發(fā)套件預(yù)計將于今年上市。

審核編輯 ：李倩