雙目視覺感知原理是什么，與毫米波雷達有什么區(qū)別？

“雙目視覺可能在國內(nèi)研究的廠家還比較少，但實際上它在國際上應(yīng)用的范圍已經(jīng)比較廣了，尤其在日本，歐美的廠家更多，但是日本的產(chǎn)品相對來講比歐美的還要再成熟一些?！敝锌苹垩勐?lián)合創(chuàng)始人兼COO孟然表示，從06年開始一些高端配置的車型也應(yīng)用了雙目視覺的系統(tǒng)，比如路虎、捷豹、斯巴魯。

那么雙目視覺感知原理是什么？它屬于380到760納米可見光的范圍，實際上它比單目和毫米波雷達的區(qū)別是什么？雙目是兩種類別的傳感器（我指的僅僅是用于防撞這個功能）。

中科慧眼聯(lián)合創(chuàng)始人兼COO孟然在2018高工智能

商用車開發(fā)者大會上發(fā)表主題演講

雙目視覺實際上是基于兩路視頻的視差，就是左眼與右眼對于同一個目標(biāo)所形成的圖像像素點的差異，像素點的差異通過基線，就是兩個攝像頭之間的間距關(guān)系?；€的距離，視差加上焦距，就可以換算出來你與我之間的距離，實際上就是一個三角關(guān)系。

你會發(fā)現(xiàn)這個視差越大，物體會離你越近。用這個原理去進行距離的測定，以此再進行防撞系統(tǒng)的開發(fā)。

去年我們參與了百度阿波龍量產(chǎn)項目，這是測試場的測試情況，這里面的顏色也是雙目所形成的三維的數(shù)據(jù)，紅色代表比較近，藍(lán)色、黑色代表比較遠(yuǎn)，在形成了所有障礙物的信息后，與前面的超聲波、激光、毫米波去進行融合，最后給出了最終的防撞策略。

在阿波龍量產(chǎn)的小巴它實際上是四層的防撞系統(tǒng)，最外層的是毫米波，它只是正向的，然后一圈的是激光雷達，這是第二層，比毫米波要近一些，是在100米左右，在60米到80米左右是用的視覺，在視覺的內(nèi)部是一圈的超聲波，它是形成了四層的防撞系統(tǒng)。

右邊是實時場景，左邊是雙目感知出來的效果圖

其實，行業(yè)內(nèi)有好多人會問，單目視覺和雙目視覺到底有什么區(qū)別？他們是應(yīng)用了同樣的電磁波波長的兩套不同的系統(tǒng)，因為他們測試的原理不一樣，單目視覺是基于識別的原理，進行距離的測定。

雙目視覺是通過我剛剛講的三角關(guān)系，通過視差的方式實現(xiàn)距離的測量，它就像雷達通過發(fā)射時間與反射的時間差距測量一樣，他們是基于不同的原理，所以雙目不依賴與識別、樣本庫、分類器，它是不識別物體類別的，這個跟單目不一樣。

同時，我們在雙目里面想植入成熟的單目感知算法，它與雙目相機本身感知數(shù)據(jù)進行一個DoubleCheck，做一個融合取舍，再與雷達做融合，形成最終感知的結(jié)果。這個在阿波龍里已經(jīng)用到了。

到底雙目能夠達到多遠(yuǎn)，對于視覺來講，從原理上來講是沒有一個極限的，因為它跟鏡頭有關(guān)，如果你用放大鏡可能只用看到幾厘米，對于一個傳感器，跟它的鏡頭有很直接的關(guān)系。

原則上來講，鏡頭的焦距越遠(yuǎn)，看到的越遠(yuǎn)，但是你的視角會變窄，鏡頭的焦距越窄，你看的越近，但是你的視角會變大。如果雙目之間的距離越大，原則上你看的是越遠(yuǎn)，但是你近處看不到的地方也會變的越大，所以無限的放遠(yuǎn)與無限的放近實際上都是不好的。

我們?nèi)绾味x鏡頭的焦距跟項目本身是有關(guān)的，比如你是一個低速車，我要盡可能的放大視角，我們把測定的距離放到五六十米，因為你只有三四十邁。但是如果你是一個高速車，比如說一百公里到兩百公里的車速，我們可能把這個距離放的很遠(yuǎn)，比如看到120、150米，但是你的視角可能會變窄。

在低速小巴上，我們用的是兩套系統(tǒng)，一套是50度40米的，一套是38度80米的，在國內(nèi)微循環(huán)的小巴普遍使用的25幀的頻率，歐美用的是30幀。

我們還有一款即將發(fā)布的四目相機一體化視覺解決方案，除了雙目避障以外還有兩個雙焦的鏡頭，適用于紅綠燈、標(biāo)識線等識別。

現(xiàn)在行業(yè)還有一種說法，視覺傳感器到底它的必要性在哪兒？視覺是可以感知顏色的，可以感知可見光，但是毫米波、激光包括超聲波它有自己的物理性質(zhì)，這個是沒辦法改變的。

對于一套自動駕駛系統(tǒng)來話，信息融合肯定是避免不了的，像視覺可能它擔(dān)心的是什么？它擔(dān)心的是強逆光、致盲，像毫米波或者激光可能在這個方面是沒有問題的。

但在黑色的感知效果上，視覺又要強于毫米波和可見光，所以不同的場景、不同的時間、不同的環(huán)境，可能這種波所固有的性質(zhì)你是改變不了的，所以自動駕駛系統(tǒng)一般來講都是做多傳感技術(shù)的融合。

視覺在融合里起到什么作用？它一定是作用于中近距離，視覺在遠(yuǎn)距離測距上是不如激光或者毫米波的精度那么高，而且沒有那么快的響應(yīng)速度。

在你開高速的時候你可以用余光一邊聊天一邊看手機就開了。但是當(dāng)你倒車的時候為什么要左看右看慢慢的倒呢？就是因為一個物體離你越近，你需要看到的東西就越細(xì)。

當(dāng)我們高速行駛的時候，可能不需要看的那么詳細(xì)，所以在高速上行駛的是探測幾百米以外的小汽車或者大貨車的時候，我們用雷達打這個線束是沒有問題的。

但是當(dāng)你在做低速駕駛，比如說城市街道，比如園區(qū)，尤其對于小障礙物的時候，更致密的感知是更必要的，這就是視覺的優(yōu)勢。比如說園區(qū)里面的垃圾筒，小貓小狗的感知，如果用16線或者32線的激光雷達線束打過去以后可能打不到。

視覺的優(yōu)勢在于它更致密，而不是精度更高，測的更遠(yuǎn)，視覺是聚焦在中近距離，雷達是聚焦在中遠(yuǎn)距離。

雙目視覺可以形成路面的點云圖，顏色是代表距離，縱向有一千行，橫向有一千多行，這個是跟目前雷達最大的不同，它把更加致密的點云給到數(shù)據(jù)融合的模塊。

這是夜晚的情況，對于圖像來講，它最好的效果實際上是在天空、路面、景物、輪胎、人、車，所有的障礙物之間有一個很好的對比度，有一個很高的信號比，所以我們在夜晚低光的情況，還是在白天太陽特別強烈的情況下，我們希望得到的圖像是一樣的，每一個類別之間有一個很好的對比度。

對于視覺來講也有兩種算法，一個是基于面的，一個是基于邊緣的，基于面的點云會更致密，我們之前看到的所有三維的圖，但是基于邊的，它的數(shù)據(jù)的可靠性更強。