雙目視覺相機(jī)的產(chǎn)品落地化

2019年7月5日，由博聞創(chuàng)意和CCIA智能網(wǎng)聯(lián)專委會、佐智汽車舉辦的「2019中國汽車互聯(lián)與車路協(xié)同大會」在深圳舉行。中科慧眼CMO邱田先生在會上發(fā)表了題為“雙目視覺相機(jī)的產(chǎn)品落地化” 的演講。

各位佐智汽車的朋友們，很高興中科慧眼又在這里和大家見面了，我是中科慧眼的邱田，在公司負(fù)責(zé)產(chǎn)品營銷。我相信在座的朋友對中科慧眼并不陌生，但是我是第一次站在佐智汽車的平臺上跟大家做討論和分享，首先我要感謝佐智汽車給我這個平臺，同時我也非常榮幸地在這里跟朋友們一起分享和討論我們的產(chǎn)品，謝謝在座的各位朋友。

在雙目相機(jī)領(lǐng)域是非常煎熬和糾結(jié)的，煎熬來自哪里呢？大家可以知道雙目立體視覺不管從算法和軟件，還是從硬件，包括結(jié)構(gòu)，以及結(jié)構(gòu)件的質(zhì)量，到最后的標(biāo)定，都是非常龐雜的系統(tǒng)。作為銷售來說，在這個過程中是非常煎熬的，我們當(dāng)然希望我們的產(chǎn)品能夠盡快地推向市場，但是在產(chǎn)品落地的同時，我們還要經(jīng)過大量的測試與技術(shù)團(tuán)隊(duì)的支持，才能達(dá)到最終的可靠性和穩(wěn)定性，所以這個過程是非常煎熬的。糾結(jié)是在哪里呢？這么好的一個東西做出來以后，我們發(fā)現(xiàn)市場對雙目立體視覺的認(rèn)知是比較陌生的，我們就必須在市場和產(chǎn)品中間找一個平衡點(diǎn)。我們當(dāng)然是希望我們用心做出來的產(chǎn)品，能夠得到市場的接受，同時能夠得到好的回報，這是我們做銷售的本質(zhì)。所以在這里面就很糾結(jié)了，必須找一個平衡點(diǎn)。我們在這個煎熬和糾結(jié)的過程中，始終不言放棄，終于有所小成，有幸給大家來講雙目立體視覺產(chǎn)品的量產(chǎn)化落地。我講得合理的地方，也希望在座的朋友給予支持和鼓勵，如果有講得不準(zhǔn)確的地方，也請大家海涵指正。

中科慧眼成立于2014年10月，我們是國內(nèi)率先在雙目立體視覺領(lǐng)域做研究和開發(fā)的企業(yè)，同時我們也是國家高新技術(shù)企業(yè)，也是中關(guān)村的前沿科技企業(yè)。很榮幸我們在2017年成為了百度阿波羅的生態(tài)成員，也是到目前為止阿波羅基金投資的唯一一家智能視覺傳感器公司。從2014年到現(xiàn)在，這么多年來，我們從自動駕駛的L4、L5做到了前面的智能駕駛的L3，再做到前面的L2、L1?？赡苡信笥褧?，你是說反了吧，為什么從難的做到簡單的，而不是從簡單的做到難的？但是我們公司的發(fā)展路徑確實(shí)是這樣，我們最先做了一系列L4到L5級別自動駕駛的產(chǎn)品。經(jīng)過這么長時間的磨練，我們公司的產(chǎn)品可以覆蓋L0到L5智能駕駛各個階段需求，同時我們公司也申請或獲得百余項(xiàng)專利授權(quán)，基本上覆蓋了雙目視覺這個方向的大部分的專利點(diǎn)。

以上是雙目視覺的基本原理。我相信在座的朋友如果聽過中科慧眼的CTO崔博士和COO孟總的介紹，可能對雙目立體視覺的原理是非常清楚的，而且在網(wǎng)上各種技術(shù)帖，以及我們的宣傳材料，都能了解到雙目立體視覺的基本原理，所以我就不花過多的時間贅述。做銷售來說，我們是希望用最簡單、最通俗易懂的語言讓大家了解我們的產(chǎn)品，這樣我們就圈重點(diǎn)。

雙目視覺無需建模就可直接由立體點(diǎn)云提取障礙物，利用視差精準(zhǔn)測距而非識別后估距，并可利用單路圖像識別障礙物類型，形成高質(zhì)量的單雙目融合感知數(shù)據(jù)。

雙目視覺既有類似激光雷達(dá)的高密度點(diǎn)云的特點(diǎn)，又具備視覺識別的能力。

在雙目視覺的基礎(chǔ)上，我們可以用更簡單、更通俗易懂的辦法讓大家了解我們的雙目產(chǎn)品，你可以把它近似理解為100米以內(nèi)的一個千線激光雷達(dá)加彩色相機(jī)。

可能很多朋友會問，你們這個雙目相機(jī)有這么牛嗎？我說幾個場景，你們能不能搞定？第一，大雪天，前面白茫茫一片，能搞定嗎？確實(shí)搞不定。不光是大雪天，如果是一個白墻放在我們面前，沒有任何紋理的話，我們也是搞不定的。那你又會問，其它的極端天氣呢，比如說大雨、大霧，你們能搞定嗎？非常抱歉，我們還是搞不定，因?yàn)槲覀兪强梢姽獾囊曈X，我們的能力和人眼是差不多的，這種情況下我們只能說你盡量少開車或者是不開車。又有一個問題，如果有玻璃，你能識別嗎？玻璃是通透的，如果沒有任何反光，也沒有任何機(jī)理的情況下，我們也是搞不定的。當(dāng)然，我們用任何一個傳感器，都有它的優(yōu)勢和劣勢，我希望咱們利用雙目相機(jī)的優(yōu)勢。

大家可以看到雙目視覺其實(shí)在很早的時候就在歐美以及日本，都運(yùn)用在車載上了。從1999年開始，斯巴魯就已經(jīng)搭載了最早的一個雙目相機(jī)，當(dāng)時是日立給它做的。到2016年的時候，寶馬、奔馳、捷豹路虎都在他們最高配的車型上搭載了雙目視覺。從2016年到現(xiàn)在，大家可以看到雙目立體視覺的發(fā)展趨勢是從頂配的高端車型慢慢向中端甚至低端的車型覆蓋。這里面說明兩個問題，第一是大家對主動安全的意識有提升，第二是在車載視覺傳感器的領(lǐng)域，大家開始慢慢接受雙目的傳感器。

目前博世、大陸、日立、奧托立夫、電裝這些大企業(yè)都在研發(fā)、采用，以及加快腳步推行他們的雙目視覺產(chǎn)品。

上圖中日立裝在斯巴魯上的雙目相機(jī)，它的基線是比較長的。另外，博世為捷豹路虎提供雙目相機(jī)，大陸為寶馬提供雙目相機(jī)，奧托立夫?yàn)楸捡Y提供雙目模組，他們做得都是非常好的。

在這個大環(huán)境下，中科慧眼也推出了我們的全車規(guī)的雙目模組，我們給它取名叫巖石城。

下面是我們和主流的車規(guī)級雙目立體相機(jī)參數(shù)的對比。

表中，雙目相機(jī)的距離，我們稱之為基線。雙目相機(jī)離得越遠(yuǎn)，基線越長，就可能看得越遠(yuǎn)。但是有個弊端，雙目相機(jī)看得越遠(yuǎn)，近距離的盲區(qū)就可能越大。我們根據(jù)國人的駕駛習(xí)慣，還有國內(nèi)的路況，選擇了一個折中的方案，我們做了12厘米基線的雙目模組，在2米至100米的范圍內(nèi)，最大測距誤差3%。

下圖是雙目視覺的左右相機(jī)成像數(shù)據(jù)，還有的立體匹配視差的偽彩色圖像，冷色系表示遠(yuǎn)，暖色系表示近，每一個像素都有一個距離值，最終就形成這樣一個深度圖，這就是從實(shí)景成像到深度圖的轉(zhuǎn)換過程。

上面是我們的一個路測視頻，可以看到這里面過馬路的人和非機(jī)動車，可以直接通過深度圖做出較好的障礙物分割。我們都知道單目視覺是建立在數(shù)據(jù)庫基礎(chǔ)上的，比如說針對行人，需要把他們的樣本拍攝下來，他的正面、側(cè)面，等各個姿態(tài)的圖像，以供視覺訓(xùn)練建模。在實(shí)際應(yīng)用場景成像中如果有行人出現(xiàn)，系統(tǒng)就可能識別出行人目標(biāo)，并通過行人的圖像大小估算距離，這是單目視覺的大致原理。雙目視覺的原理是可以不依賴先驗(yàn)數(shù)據(jù)庫，直接通過深度圖像做環(huán)境分割。我們所謂的分割是說，我們提取了這個點(diǎn)云圖，以地面為界，與地面接觸的成一定距離聚類的區(qū)域，我們稱為障礙物。所謂的障礙物，在車輛安全這一塊，我們都是不建議去碰撞的，而且它是針對所有的物體，我不需要認(rèn)識他是誰，我只需要判定他是否是危險的障礙物。

我們的雙目測距的方式有兩種，一種是基于面的測距，一種是基于邊的測距?；诿娴臏y距，我們大部分是針對無人駕駛或者自動駕駛的車輛，比如說百度的阿波龍無人駕駛車，還有無人送貨車，基本上都是用的上面這種基于面提取的點(diǎn)云圖。還有一種是基于邊匹配的，這是我們基于邊的一個點(diǎn)云圖。我們希望下面的這個數(shù)據(jù)用于智能駕駛或者輔助駕駛。基于面的點(diǎn)云非常稠密，需要的計(jì)算量更大。

剛才我大致回顧了一下我們雙目立體相機(jī)的原理，包括它中間的一些數(shù)據(jù)，包括它的一些測距流程，看看我們的雙目相機(jī)大致能用到哪些領(lǐng)域呢？后面講的就是我們市場化的一些領(lǐng)域。第一是支持二次開發(fā)的雙目立體相機(jī)模組，可以利用我們的雙目相機(jī)點(diǎn)云，做這樣一些應(yīng)用，包括有無人送貨車、環(huán)衛(wèi)車、無人巴士，還有和JMC合作的無人輕客車?？梢钥吹轿覀兯\(yùn)用的場景和領(lǐng)域是比較廣的，它不僅僅是針對正規(guī)車輛，像這些特種車輛，只要是要實(shí)行無人化，或者是實(shí)行自動駕駛，都會用到我們的雙目傳感器。

后面還有一些更特殊的領(lǐng)域，這些領(lǐng)域可能有的大家都接觸不到，但是我們是很了解的。下圖中第一個水質(zhì)監(jiān)測船，以后中國的內(nèi)海地區(qū)大概一到兩公里都會布置一艘水質(zhì)檢測船，因?yàn)楝F(xiàn)在大家對環(huán)境污染這一塊是很在意的。第二個是無人駕駛的收割機(jī)，是用在大的農(nóng)場的。還有無人駕駛的火車，以及無人駕駛警察巡檢車，它也是固定路線、固定拍照的。我們講到火車自動駕駛的時候，大家可能會說，你這是吹牛的吧，火車怎么自動駕駛？你們可以看到這種火車不是通常意義上的火車，它的一是在大的站場里面的火車，比如說鋼鐵廠、煤廠，它是固定路線，來回運(yùn)動的，它就是把煤從這邊搬到那邊，把鋼材從這邊搬到那邊，所以它是固定路線的，又是固定速度的。在鋼鐵和煤廠的環(huán)境下，是不適合人在里面去操作的，對人的健康是有一定影響的，所以他們現(xiàn)在在利用能落地的高科技的東西，把它做成自動駕駛。

這是我們針對上面所說的各種項(xiàng)目做的各種雙目相機(jī)。最后這個已經(jīng)是一個四目相機(jī)，這是我們下一代會推的，因?yàn)槁淖詣玉{駛汽車上路了，它就必須要識別車牌、速度、紅綠燈，通過四目相機(jī)可以識別。前面是我們的雙目相機(jī)，就是針對剛才我講到的那些不同項(xiàng)目的車型、不同種類的車型開發(fā)的立體相機(jī)。這里面會牽涉到一個非常重要的能力，就是工業(yè)設(shè)計(jì)的能力，在不同項(xiàng)目的開發(fā)中，它的重要性是不可替代的，因?yàn)樗鼤私馑氖褂铆h(huán)境，包括雙目相機(jī)的結(jié)構(gòu)設(shè)計(jì)，包括搭配它這個產(chǎn)業(yè)的外觀，讓客戶第一眼能夠看到我們的產(chǎn)品是專業(yè)的，也是符合他的產(chǎn)品氣質(zhì)的。

從下圖大家可以看到不同焦距、不同視角，適應(yīng)不同車速的應(yīng)用場景。最小的3毫米、4毫米焦距的相機(jī)，大部分是針對室內(nèi)的，比如說AGV、室內(nèi)機(jī)器人，在低速狀態(tài)下使用。6毫米到8毫米焦距的是針對一些中速度的無人駕駛場景，比如說阿波龍，用的就是6毫米焦距。10到12毫米焦距就是運(yùn)用于自動駕駛這個常規(guī)場景上的焦距。到25毫米焦距的時候，就是應(yīng)用在一些非?？焖俚念I(lǐng)域，比如說快速列車，應(yīng)用在很快的速度場景下。

前面講的都是我們的雙目相機(jī)應(yīng)用于各種自動駕駛、無人駕駛領(lǐng)域的場景，接下來就是稍微接地氣一點(diǎn)的，也是在座的各位比較關(guān)注的品類，我們叫AEB。

AEB簡單來說就是汽車的自動剎車，它有一個自動控制的功能在里面。交通部在今年3月份提出了一個1242的指導(dǎo)性文件，可能在座的很多人都知道這個協(xié)議。在AEB這個系統(tǒng)上我要講的是什么呢？可能之前大家做的更多的是輔助駕駛，它包括語音提示、圖像警示，沒有牽扯到對本車的干預(yù)，所以在行駛過程中，大家可能覺得有一點(diǎn)，就是我們的產(chǎn)品剛裝上去一個月的時候，你會覺得好像有點(diǎn)用，因?yàn)樗膱缶暎銜X得好像前面是有狀況了，我要看一下。但是當(dāng)你用上三個月以后，你就已經(jīng)習(xí)慣了它的聲音，不覺得這是一個警示音，而且你的語音做得越好聽，就越容易忽略。在AEB這個場景下，只是提示音就行不通了。只是提示的話，駕駛者看見了就看見了，我看不見你也不能怪我。所以在之前的ADAS這個領(lǐng)域，大家都是在預(yù)警、提示，當(dāng)我們出現(xiàn)疲勞駕駛的時候，特別是針對大客車、大貨車，在疲勞駕駛的時候，你提示他是沒太多作用的，必須加入主動的干預(yù)，所以我們就推出了主動控制類別的產(chǎn)品，叫自動緊急剎車系統(tǒng)。

左邊上面是我們的實(shí)景圖，下面是錄屏的點(diǎn)云圖，可以看到上面的實(shí)景和下面的區(qū)別。第二幅是我們夜測的視頻，可以看到我們的相機(jī)識別是非常明朗化的。第三個視頻是我們在模擬一個非標(biāo)物體突然沖到路中間的時候，我們的AEB的表現(xiàn)，你可以把它認(rèn)為是一個異形物體，因?yàn)檫@個并不像人。最后這個視頻是我們拿了一個模特站在路中間，也是測試我們的雙目相機(jī)對它的識別。所以我一直強(qiáng)調(diào)的是，咱們的雙目立體相機(jī)是不用針對標(biāo)準(zhǔn)物體，我針對非標(biāo)物體也是可以判別的，因?yàn)樵趧x車這個領(lǐng)域，比如說路中間一個石頭、一個草叢、一個灌木叢，包括是一棵樹，或者是一個沙發(fā)擺在路中間，有很多傳感器是不認(rèn)識它的，剎車就不會做得很精準(zhǔn)，雙目能完美地解決這樣一個問題，我們會通過所有的點(diǎn)云圖像，提取的障礙物是非標(biāo)的。

下面是在福建的公交車上安裝的我們的產(chǎn)品，我們目前在寧波、福建、杭州都有列裝在公交車上，用戶的體驗(yàn)非常好。

右圖這是我們應(yīng)用于商用車的產(chǎn)品，是我們的二代產(chǎn)品，叫獵戶座。

我們的產(chǎn)品還能用到一些特種市場。大家可以看到這樣一個場景，我抓一個房車的應(yīng)用會比較有代表性。大家知道現(xiàn)在的年輕人，包括90后甚至00后，他們不再滿足于去一個固定的景點(diǎn)旅游，他們現(xiàn)在比較流行找一些他自己喜歡的地方，約好幾個朋友一起開著房車出去旅游，這是未來慢慢會形成的一種比較流行的旅游方式，因?yàn)樗瓤梢宰约哼x景點(diǎn)，而且又解決了住宿的問題，并且在野外，大家一起吃吃燒烤，這種場景想想都覺得挺美好的。但是這里面會有一個什么問題呢？一般的房車都是租賃的，你不可能為了自己去旅游而買一輛房車放在家里，因?yàn)槟闫綍r也不怎么開，所以大部分的房車，都是做的租賃市場。租賃市場會牽扯到一個問題，我們開慣了小車的情況下，再去開房車，對于房車的車寬車高，你沒有專業(yè)的判斷能力。你開慣了小車，不會在意它會不會撞到限高桿、會不會撞到橋墩。在這種情況下，就很容易發(fā)生圖中這樣的事故。但是作為房車來說，這種事故是絕對要杜絕的，因?yàn)橐话惴寇嚿厦孢@個部分都是床，可能自己的小孩或者妻子在上面，要么在睡覺，要么在玩，你如果一旦撞上去，我相信這個旅途是不會愉快的。針對這樣一個運(yùn)行的痛點(diǎn)，我們也做了一個特殊的雙目相機(jī)，我們叫睿目S1。

（視頻播放）這是剛剛在杭州發(fā)生的一個事故，一個大的貨柜車，上面有一個人行天橋，在沒有限高的警示下，不覺得這是個問題，它就直接開過去了，大家可以看到這個天橋被撞掉下來了。在這個場景下，如果之前有報警，就可能不會法身這樣的悲劇。這還是一個非典型的事件。剛才我們講的房車領(lǐng)域，那是很典型的一個事件。因此我們在限高這個領(lǐng)域做了我們的產(chǎn)品，叫睿目S1。

為什么限高這個事情這么令人頭疼呢？第一是毫米波雷達(dá)或者是單目相機(jī)，它沒法做這么多分類。限高桿在不同的地方形態(tài)各異，有的是橋洞，有的是這種小桿，有的是一個大的鐵塊，而且這種一般是在一些偏遠(yuǎn)一點(diǎn)的地方，一般高一點(diǎn)的車輛在這種地方是過不去的，通過我們這個產(chǎn)品，可以避免車輛撞上限高桿。我們這個產(chǎn)品現(xiàn)在在多家商用車公司做了前裝定點(diǎn)，這個是非常剛性的一個需求。

車載雙目相機(jī)的研發(fā)過程是非常艱辛的，我們從2014年成立到現(xiàn)在，用了5年的時間，終于進(jìn)入了能量產(chǎn)化落地的階段，我們能找到這些市場，把我們的產(chǎn)品運(yùn)用到解決生活中的問題上，我們也是比較開心的，當(dāng)然這個過程也是比較煎熬的。車載雙目相機(jī)的性價比是比較高的，而且市場前景是非常廣大的，所以我也希望在座的朋友們給予中科慧眼更多的支持和鼓勵，中科慧眼在雙目這個領(lǐng)域會一直做下去，而且會做得更好，盡可能多地解決我們生活中的很多問題。