隨著去年底梅賽德斯·奔馳全新一代Drive Pilot系統(tǒng)(首發(fā)搭載新一代S級(jí)轎車)獲得監(jiān)管機(jī)構(gòu)L3級(jí)(低速)自動(dòng)駕駛上路許可,前置雙目立體視覺+毫米波雷達(dá)+激光雷達(dá)的配置成為焦點(diǎn)。
按照此前公開的數(shù)據(jù),這套感知系統(tǒng)的選裝價(jià)格低于9500美元。其中,雙目立體視覺感知(視場(chǎng)角70度)由Veoneer提供,完全集成硬件和感知軟件(CNN+3D立體視覺,對(duì)車前物體進(jìn)行精確分類和定位),支持車道檢測(cè)、可行駛區(qū)域檢測(cè)、小障礙物檢測(cè)和三維物體分類。
而在前裝市場(chǎng),去年開始,雙目立體視覺的搭載車型也在增加。比如,吉利旗下星越L、領(lǐng)克07/09以及極狐阿爾法S華為HI版等自主品牌新車也在陸續(xù)增加雙目立體視覺配置。
高工智能汽車研究院監(jiān)測(cè)數(shù)據(jù)顯示,2021年全年國(guó)內(nèi)新車(自主+合/獨(dú)資)標(biāo)配雙目立體視覺ADAS上險(xiǎn)量為22.4萬(wàn)輛,同比上年增長(zhǎng)13.71%。而在供應(yīng)端,除了日立、Veoneer、大陸、博世等傳統(tǒng)雙目立體視覺方案商,也有不少初創(chuàng)公司進(jìn)入賽道。
比如,去年奇瑞汽車宣布與以色列視覺感知供應(yīng)商Foresight簽署商業(yè)合作備忘錄,對(duì)后者的QuadSight(四目)視覺原型系統(tǒng)進(jìn)行技術(shù)評(píng)估,并尋求進(jìn)一步量產(chǎn)落地的可能性。雙方還計(jì)劃考慮在中國(guó)成立合資企業(yè)在中國(guó)市場(chǎng)推廣解決方案。
而成立于2014年10月的中科慧眼,在國(guó)內(nèi)率先推出可量產(chǎn)車載后裝、準(zhǔn)前裝、前裝(適用于L4級(jí)自動(dòng)駕駛以及商用車)雙目立體視覺感知系統(tǒng)。去年,該公司推出的第三代立體視覺感知系統(tǒng)也獲得了多家OEM的前裝定點(diǎn)。
近日,中科慧眼再次實(shí)現(xiàn)技術(shù)應(yīng)用創(chuàng)新,基于華為MDC域控制器推出雙目路面預(yù)瞄系統(tǒng),為OEM提供更高性價(jià)比,更高集成化的智能底盤預(yù)瞄與控制解決方案?!斑@也是業(yè)內(nèi)首次在智能駕駛域控平臺(tái)上基于AI-Engine實(shí)現(xiàn)產(chǎn)品化的可商用、可落地的雙目立體視覺解決方案?!?/p>
什么是智能底盤?半主動(dòng)懸架或主動(dòng)懸架系統(tǒng)就是其中一個(gè)特色配置,通過(guò)改變懸掛系統(tǒng)的高度、形狀和阻尼等,起到控制車身振動(dòng)和車身高度的功能,主要能增進(jìn)汽車操作穩(wěn)定性、乘坐舒適性等性能。
近年來(lái),隨著智能汽車搭載傳感器數(shù)量以及車載計(jì)算能力的增加,智能底盤成為各大車企新的業(yè)務(wù)增長(zhǎng)點(diǎn)。智能底盤通過(guò)各類觀瞄感知零部件結(jié)合線控懸掛底盤,可以實(shí)現(xiàn)車體在垂直方向上的自適應(yīng)控制,顯著提高智能駕駛車輛的行駛平順性與通過(guò)性。
中科慧眼基于雙目立體視覺的路面預(yù)瞄系統(tǒng),可以實(shí)現(xiàn)路面狀態(tài)3D重建感知、車輪軌跡高程曲線預(yù)測(cè),以及路面類型檢測(cè),預(yù)先引導(dǎo)車輛的半主動(dòng)懸架或主動(dòng)懸架系統(tǒng)實(shí)時(shí)獨(dú)立調(diào)節(jié)各個(gè)車輪減震器阻尼的軟硬系數(shù)、車身的整體高低、以及車輛行駛的模式。
基于雙目立體視覺的路面預(yù)瞄技術(shù)系統(tǒng)是實(shí)現(xiàn)“魔毯懸掛系統(tǒng)”的關(guān)鍵感知模塊與融合決策模塊,而未來(lái)五年,這種智能懸掛系統(tǒng)有望成為30萬(wàn)元以上車型的標(biāo)配。這背后,還得益于大算力車載域控制器的前裝落地。
目前,大部分車載域控制器的架構(gòu)中缺少立體視覺硬件處理模塊。如何在盡量不增加整車硬件配置的前提下,實(shí)現(xiàn)基于雙目的路面預(yù)瞄系統(tǒng),這其中將雙目立體校準(zhǔn)與立體匹配算法部署在域控制器現(xiàn)有的計(jì)算模塊中成為關(guān)鍵點(diǎn)。
一直以來(lái),雙目立體視覺的優(yōu)勢(shì)也非常明顯,通過(guò)生成三維圖像點(diǎn)云,為ADAS及自動(dòng)駕駛感知提高安全和可靠性,并提供出色的目標(biāo)檢測(cè)能力和準(zhǔn)確性。
這對(duì)于一個(gè)攝像頭來(lái)說(shuō)是很困難的,但是兩個(gè)攝像頭的立體視覺方案變得更加容易。同時(shí),雙目不依賴模式識(shí)別,幾乎任何材料、顏色或形狀都能被探測(cè)到。
目前,傳統(tǒng)的單目視覺最大瓶頸在于天氣變化,尤其是雨霧及夜晚環(huán)境。而立體視覺是一個(gè)全類型環(huán)境識(shí)別,以目前的主流自適應(yīng)巡航ACC為例,以雙目為代表的立體視覺技術(shù)可以減少光照變化帶來(lái)的影響。
同時(shí),雙目立體感知是一個(gè)天然融合的傳感器,它將深度學(xué)習(xí)和圖像學(xué)習(xí)進(jìn)行有效糅合,以應(yīng)對(duì)所有天氣和照明條件,從而解決現(xiàn)有單目感知方案的全場(chǎng)景覆蓋的瓶頸。
隨著國(guó)內(nèi)包括中科慧眼、元橡科技、華為、大疆陸續(xù)發(fā)布基于雙目(立體視覺)感知的輔助駕駛/自動(dòng)駕駛方案,這個(gè)一直以來(lái)僅有少數(shù)幾家外資供應(yīng)商參與研發(fā)量產(chǎn)的技術(shù)路線,正在重新成為市場(chǎng)的焦點(diǎn)。
作為國(guó)內(nèi)雙目立體視覺領(lǐng)域的領(lǐng)軍企業(yè)之一,中科慧眼公司認(rèn)為,雙目相機(jī)既有圖像可以進(jìn)行深度學(xué)習(xí)識(shí)別,又有點(diǎn)云可以進(jìn)行分割與測(cè)距,融合了類激光雷達(dá)和機(jī)器視覺的綜合能力。
將立體視覺的深度點(diǎn)云圖和深度學(xué)習(xí)融合,也是立體視覺發(fā)展的趨勢(shì)。比如,夜間同車道、對(duì)向車道的目標(biāo)檢測(cè)與測(cè)距精度都可以借助深度學(xué)習(xí)的能力得到加強(qiáng)。
同時(shí),將立體視覺和深度學(xué)習(xí)結(jié)合,可以為客戶提供性價(jià)比更高、性能更強(qiáng)的智能視覺傳感器,構(gòu)成一個(gè)比較完備的邊緣運(yùn)算模塊,直接將識(shí)別數(shù)據(jù),3D-BOX,以及精確的測(cè)距距離信息等,輸送給域控制器直接進(jìn)行AEB剎車或者自動(dòng)駕駛控制。
除了與市面上主流傳統(tǒng)單目攝像頭前向感知“競(jìng)爭(zhēng)”,雙目立體視覺+智能底盤則是另一種創(chuàng)新應(yīng)用。這意味著,雙目立體視覺感知技術(shù)可以實(shí)現(xiàn)在整車上的復(fù)用。
此前,中科慧眼和華為MDC通過(guò)聯(lián)合開發(fā),共同推進(jìn)雙目路面預(yù)瞄系統(tǒng)在華為MDC上的方案落地,為OEM提供更高性價(jià)比,更高集成化的智能底盤預(yù)瞄與控制解決方案。整套系統(tǒng)主要包含三部分,雙目成像模塊、立體匹配模塊以及功能實(shí)現(xiàn)模塊。
而一直以來(lái),雙目立體視覺對(duì)算力要求較高。域控制器的導(dǎo)入,意味著,傳統(tǒng)依靠高成本FPGA的算力支持成為過(guò)去時(shí)。同時(shí),獨(dú)立開發(fā)ASIC芯片也不再是剛需。
其中,華為MDC域控制中的SoC中主要包含三部分計(jì)算資源:ISP模塊主要實(shí)現(xiàn)攝像頭傳感器的成像信號(hào)處理;AI模塊實(shí)現(xiàn)感知融合的神經(jīng)網(wǎng)絡(luò)算法處理,包含cube、vector、scalar三種計(jì)算資源;CPU模塊則適合通用計(jì)算的感知融合、規(guī)劃、決策、控制等處理。
目前,華為MDC搭載昇騰SoC(集成ISP/NPU/CPU等異構(gòu)計(jì)算模塊),支持系統(tǒng)級(jí)ASIL D功能安全,支持R-Lock高安全冗余架構(gòu)。算力覆蓋48~400 TOPS,可滿足L2+~L4級(jí)別的自動(dòng)駕駛算力所需。整機(jī)能效比可達(dá)2TOPS/W。
同時(shí),華為MDC智能駕駛計(jì)算平臺(tái),具備組件服務(wù)化、接口標(biāo)準(zhǔn)化、開發(fā)工具化的特性,配套好用易用的工具鏈,基于此平臺(tái)可快速開發(fā)、調(diào)測(cè)、運(yùn)行上層自動(dòng)駕駛算法與功能應(yīng)用。
而中科慧眼的方案,就是盡量復(fù)用既有車載相機(jī)成像信號(hào)與中央域控制算力,在域控制架構(gòu)上低成本地實(shí)現(xiàn)雙目路面預(yù)瞄系統(tǒng)。其中,雙目成像模塊主要包含ISP調(diào)試、相機(jī)標(biāo)定、圖像Remap,這三個(gè)模塊決定了雙目相機(jī)能夠獲取合格的左右模組成像。
將雙目相機(jī)的標(biāo)定參數(shù)輸入到AI Core中,只利用了其中少量的Vector計(jì)算資源進(jìn)行圖像矯正,復(fù)用MDC底層的AI算子,避免了復(fù)雜的算子部署適配及開發(fā)工作。在AI Core中實(shí)現(xiàn)圖像的矯正,也節(jié)省了不同芯片之間的帶寬消耗。
立體匹配模塊則主要包含特征匹配、代價(jià)聚合、視差計(jì)算三部分,這三部分涉及到大量的并行計(jì)算,對(duì)硬件性能以及算法的運(yùn)行效率有很高的要求。
中科慧眼技術(shù)團(tuán)隊(duì)通過(guò)與華為MDC專家團(tuán)隊(duì)的緊密合作,根據(jù)AI-Engine的計(jì)算特性,創(chuàng)新性地設(shè)計(jì)了適配的立體匹配方案,將大量的并行運(yùn)算通過(guò)MDC深度學(xué)習(xí)底層AI算子實(shí)現(xiàn),為部署在MDC域控的AI Core上提供了算法及部署方案。
高精度立體匹配稠密視差效果。上圖為柏油路與減速帶的視差效果,以及路面三維重建的效果,視差圖顏色越藍(lán)的點(diǎn),表示實(shí)際成像物體離相機(jī)系統(tǒng)的物理距離越遠(yuǎn)。
經(jīng)過(guò)雙方的聯(lián)合研發(fā),在只使用其中少量的Vector計(jì)算資源的前提下,就實(shí)現(xiàn)了基于華為MDC的25FPS以上的稠密高精度雙目匹配視差輸出。該方案,不僅能夠節(jié)省立體視覺方案落地的硬件成本,而且大大降低了立體視覺方案在AI平臺(tái)上的移植與升級(jí)難度,可快速投入商用。
最后,功能實(shí)現(xiàn)模塊主要包含融合感知、功能開發(fā)兩部分。立體視覺方案可以賦予計(jì)算系統(tǒng)前融合“點(diǎn)點(diǎn)對(duì)齊”的高精度視差信息與高質(zhì)量圖像信息,增加了感知結(jié)果的精確性與魯棒性。
中科慧眼借助于華為MDC強(qiáng)大的開發(fā)與編譯調(diào)測(cè)工具,將視差和圖像的多維感知信息作為輸入,完成路面預(yù)瞄感知功能的部署。
該融合感知模塊不僅能夠輸出高質(zhì)量的2D以及3D的綜合感知信息,而且在單AI Core中的耗時(shí)還能夠控制在10ms以內(nèi),有效降低了整個(gè)感知功能的延時(shí),為快速調(diào)整底盤參數(shù)提供了更寬裕的緩沖時(shí)間。
中科慧眼&華為MDC雙目路面預(yù)瞄系統(tǒng)城市道路示例,Demo展示的是城市道路減速帶的檢測(cè)與三維分析效果,展示了目標(biāo)的高程曲線以及空間位置。
同時(shí),通過(guò)華為MDC中的CPU計(jì)算能力,將根據(jù)綜合的感知信息進(jìn)行功能后處理并輸出最終的功能感知信息。功能感知信息包含引導(dǎo)前后輪的獨(dú)立懸架調(diào)整以及調(diào)節(jié)減震器阻尼系數(shù)的路面高程曲線,以及引導(dǎo)懸架高度調(diào)整、制動(dòng)力與動(dòng)力分配的路面狀態(tài)類型等。
在高工智能汽車研究院看來(lái),域控時(shí)代的到來(lái),傳統(tǒng)視覺感知技術(shù)也可能會(huì)發(fā)生新的變革。尤其是軟件技術(shù)的迭代加上大算力硬件的性能加持,技術(shù)玩法也會(huì)越來(lái)越多,對(duì)于OEM來(lái)說(shuō),可選項(xiàng)也在增加。
原文標(biāo)題:雙目立體視覺“復(fù)用”,中國(guó)企業(yè)組合首次“領(lǐng)跑”全球
文章出處:【微信公眾號(hào):中科慧眼】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
審核編輯:湯梓紅
-
傳感器
+關(guān)注
關(guān)注
2541文章
49961瀏覽量
747516 -
AI
+關(guān)注
關(guān)注
87文章
28877瀏覽量
266228 -
自動(dòng)駕駛
+關(guān)注
關(guān)注
781文章
13449瀏覽量
165265 -
中科慧眼
+關(guān)注
關(guān)注
0文章
27瀏覽量
57
原文標(biāo)題:雙目立體視覺“復(fù)用”,中國(guó)企業(yè)組合首次“領(lǐng)跑”全球
文章出處:【微信號(hào):zhaoyaomojingdyh,微信公眾號(hào):中科慧眼】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論