獨(dú)創(chuàng)融合視覺(jué)技術(shù)，銳思智芯打造AR/VR全新視覺(jué)傳感器

電子發(fā)燒友網(wǎng)報(bào)道（文/莫婷婷）為了實(shí)現(xiàn)更加豐富和沉浸式的體驗(yàn)，眼動(dòng)追蹤功能、手勢(shì)識(shí)別功能逐漸成為AR/VR設(shè)備的標(biāo)配功能之一，上述技術(shù)的成熟是各大廠商攻克的方向。而視覺(jué)傳感器正是在人機(jī)交互過(guò)程中發(fā)揮關(guān)鍵作用的元器件之一，可以幫助用戶獲得更加真實(shí)、自然和交互式的體驗(yàn)。

銳思智芯董事合伙人況山表示，AR/VR設(shè)備需要用到很多攝像頭來(lái)實(shí)現(xiàn)SLAM空間的感知，交互識(shí)別等功能，這些功能需要機(jī)器識(shí)別判斷。這也是在人工智能時(shí)代傳感器面臨的問(wèn)題，不再只是單純的攝影功能，在輸出圖像信息的同時(shí)，還需要輸出事件信號(hào)，實(shí)現(xiàn)動(dòng)靜態(tài)信息捕捉融合。

為此，銳思智芯創(chuàng)新推出Hybrid Vision 融合視覺(jué)技術(shù)。該技術(shù)的特點(diǎn)就是能用一顆芯片輸出圖像數(shù)據(jù)和事件數(shù)據(jù)兩路數(shù)據(jù)。圖像數(shù)據(jù)可用來(lái)捕捉靜態(tài)紋理信息，事件數(shù)據(jù)只捕捉變化信號(hào)，通過(guò)刪除這種不變的信號(hào)，實(shí)現(xiàn)更低的延時(shí)、更高動(dòng)態(tài)范圍、更低功耗、低數(shù)據(jù)量的優(yōu)勢(shì)。

“傳統(tǒng)圖像傳感器在幀率、數(shù)據(jù)量和動(dòng)態(tài)范圍三個(gè)方面相互制約，加上事件數(shù)據(jù)就可以打破這樣瓶頸和制約?！睕r山表示。

基于Hybrid Vision 融合視覺(jué)技術(shù)，銳思智芯推出了融合視覺(jué)傳感器，可以實(shí)現(xiàn)大于4000fps的幀率，動(dòng)態(tài)范圍大于100dB，在功耗方面，相較于傳統(tǒng)圖像傳感器的幾百毫瓦，銳思智芯的融合視覺(jué)傳感器功耗僅為10毫瓦。

據(jù)了解，銳思智芯在2021年發(fā)布了首款融合視覺(jué)傳感芯片——ALPIX-Pilatus，2022年后便發(fā)布了高端融合視覺(jué)感算一體傳感芯片——ALPIX-Eiger。為了進(jìn)一步適配市場(chǎng)需求，況山透露，公司即將發(fā)布了超低功耗融合視覺(jué)傳感器——ALPIX-Titlis，適用于智能家居、IPC場(chǎng)景以及AR/VR行業(yè)。

在AR/VR的應(yīng)用場(chǎng)景上，融合視覺(jué)傳感芯片在需要高幀率、快速眼動(dòng)追蹤、人機(jī)交互- 跟蹤與識(shí)別、SLAM、高動(dòng)態(tài)范圍的場(chǎng)景上具備明顯的優(yōu)勢(shì)。

從去年開(kāi)始， PICO 4 Pro、PS VR 2、Quest Pro等VR設(shè)備配備眼動(dòng)追蹤技術(shù)，預(yù)計(jì)在越來(lái)越多廠商的跟進(jìn)下，眼動(dòng)追蹤技術(shù)將成為消費(fèi)級(jí)VR設(shè)備的標(biāo)配。在市場(chǎng)普及之前，技術(shù)的成熟是最為關(guān)鍵的。銳思智芯推出的融合視覺(jué)傳感器將為眼動(dòng)追蹤技術(shù)帶來(lái)更好的應(yīng)用體驗(yàn)。

況山介紹，基于融合視覺(jué)傳感器可以實(shí)現(xiàn)快速眼動(dòng)追蹤，一種方式是基于融合視覺(jué)傳感芯片進(jìn)行被動(dòng)地識(shí)別判斷優(yōu)勢(shì)在低延時(shí)、低功耗、節(jié)省后端處理器的算力消耗。二是結(jié)合結(jié)構(gòu)光技術(shù)，追蹤精度達(dá)到0.3度，比現(xiàn)有行業(yè)當(dāng)中的方案提升了一個(gè)量級(jí)。

在AR/VR領(lǐng)域中，SLAM技術(shù)主要功能為建圖功能、快速定位功能，可以實(shí)現(xiàn)對(duì)用戶位置和周圍環(huán)境的實(shí)時(shí)感知和建模，從而為AR/VR應(yīng)用提供更加準(zhǔn)確和可靠的基礎(chǔ)，具體應(yīng)用包括AR導(dǎo)航，在VR游戲/教育中的場(chǎng)景構(gòu)建和地圖構(gòu)建。

基于融合視覺(jué)傳感芯片的優(yōu)勢(shì)，能夠用圖像做精密建圖，用事件做快速定位，從而讓SLAM實(shí)現(xiàn)更高魯棒性、更低功耗、更少數(shù)據(jù)量、 更少計(jì)算量。況山預(yù)判，可能后續(xù)的這個(gè)SOC能夠用較低成本的芯片代替原來(lái)高算力、高成本的芯片。

如今，有不少AR智能眼鏡能夠在室外環(huán)境下使用，例如應(yīng)用在工業(yè)領(lǐng)域時(shí)，就需要面對(duì)室外復(fù)雜的光線環(huán)境。傳統(tǒng)圖像傳感器由于動(dòng)態(tài)范圍窄，容易出現(xiàn)過(guò)暗、過(guò)曝的問(wèn)題。而銳思智芯的融合視覺(jué)傳感器具備高動(dòng)態(tài)范圍，能夠在一定程度上解決AR/VR設(shè)備受環(huán)境光影響的問(wèn)題。

據(jù)了解，銳思智芯研發(fā)團(tuán)隊(duì)具備20年圖像傳感器、8年事件相機(jī)研發(fā)經(jīng)驗(yàn)，產(chǎn)品廣泛應(yīng)用于智能手機(jī)、AIoT、智能安防等多個(gè)領(lǐng)域。未來(lái)，隨著銳思智芯在融合視覺(jué)傳感器上研究，以及該產(chǎn)品在AR/VR設(shè)備上的落地，AR/VR的人機(jī)交互體驗(yàn)將進(jìn)一步提升。