攝像頭是ADAS核心傳感器,相比毫米波雷達(dá)和激光雷達(dá),最大優(yōu)勢在于識別(物體是車還是人、標(biāo)志牌是什么顏色)。汽車行業(yè)價格敏感,攝像頭硬件成本相對低廉,因為近幾年計算機(jī)視覺發(fā)展迅速,從攝像頭角度切入ADAS感知的創(chuàng)業(yè)公司數(shù)量也非常可觀。
這些創(chuàng)業(yè)公司可以統(tǒng)稱為視覺方案提供商。他們掌握核心的視覺傳感器算法,向下游客戶提供車載攝像頭模組,芯片以及軟件算法在內(nèi)的整套方案。前裝模式下,視覺方案提供商扮演二級供應(yīng)商的角色,與Tier1配合為OEM定義產(chǎn)品。后裝模式里,除了提供整套設(shè)備,也存在售賣算法的模式。本文中將對視覺ADAS功能、硬件需求、評價標(biāo)準(zhǔn)等進(jìn)行解析,并將參考Mobileye對國內(nèi)11家供應(yīng)商的產(chǎn)品進(jìn)行詳細(xì)解讀。
一、視覺ADAS可實現(xiàn)功能
因為安全記錄、停車等需要,攝像頭在車上的大量應(yīng)用是行車記錄儀、倒車影像等輔助功能。一般通過安裝在車身各個位置的廣角攝像頭采集影像,經(jīng)過標(biāo)定和算法處理,生成影像或拼接形成視圖補(bǔ)充駕駛員視覺盲區(qū),不用涉及整車控制,因此更加注重視頻處理,技術(shù)已經(jīng)成熟并逐漸普及。
目前在行車輔助功能中,攝像頭可用來單獨實現(xiàn)很多功能,并且按照自動駕駛發(fā)展規(guī)律逐漸演進(jìn)。
這些功能更加強(qiáng)調(diào)對輸入圖像的處理,從拍攝的視頻流中提取有效目標(biāo)運(yùn)動信息做進(jìn)一步分析,給出預(yù)警信息或直接調(diào)動控制機(jī)構(gòu)。相比視頻輸出類功能,強(qiáng)調(diào)高速下的實時性,這部分技術(shù)正處在發(fā)展上升期。
二、視覺ADAS軟硬需求
視覺系A(chǔ)DAS產(chǎn)品由軟硬件組成,主要包括攝像頭模組、核心算法芯片以及軟件算法。硬件方面考慮行車環(huán)境(震動、高低溫等),大前提是要符合車規(guī)級要求。
(一)車載ADAS攝像頭模組
車載ADAS攝像頭模組需要定制化開發(fā)。為了適應(yīng)車輛全天候全天時的需要,一般要滿足在明暗反差過大的場合(進(jìn)出隧道),很好平衡圖像中過亮或太暗部分(寬動態(tài));對光線比較靈敏(高感光),避免給芯片帶來太大壓力(并不是一昧追逐高像素)。
攝像頭模組是基礎(chǔ)。好比一張底子不錯的照片才有修飾美化的余地,保證拍攝圖像夠用的基礎(chǔ)上,算法才能更好地發(fā)揮效力。
另外在參數(shù)上,ADAS與行車記錄儀對攝像頭的需求不同。用于行車記錄儀的攝像頭需要看清車頭周圍盡可能多的環(huán)境信息(后視鏡位置看向兩個前輪,水平視角約要110度)。ADAS的攝像頭更講究為行車時預(yù)留更多判斷時間,需要看得更遠(yuǎn)。類似相機(jī)鏡頭廣角和長焦,兩項參數(shù)不能兼得,ADAS在硬件選取時只能取其平衡。
?。ǘ┖诵乃惴ㄐ酒?/p>
圖像相關(guān)算法對計算資源有很高的要求,因此芯片性能講究。如果在算法上疊加深度學(xué)習(xí)來幫助識別率提升,對硬件性能的要求只增不減,主要考慮的性能指標(biāo)是運(yùn)算速度、功耗、以及成本。
目前用于ADAS攝像頭的芯片多數(shù)被國外壟斷,主要供應(yīng)商有瑞薩電子(Renesas Electronics)、意法半導(dǎo)體(ST)、飛思卡爾(Free scale)、亞德諾(ADI)、德州儀器(TI)、恩智浦(NXP)、富士通(Fujitsu)、賽靈思(Xilinx)、英偉達(dá)(NVIDIA)等,提供包括ARM、DSP、ASIC、MCU、SOC、FPGA、GPU等芯片方案 。
ARM、DSP、ASIC、MCU、SOC是軟件編程的嵌入式方案,F(xiàn)PGA因為對硬件直接編程,和嵌入式相比處理速度更快。
GPU和FPGA并行處理能力強(qiáng)。圖片這樣的文本,尤其在使用深度學(xué)習(xí)算法需要多個像素點同時計算,F(xiàn)PGA和GPU會更有優(yōu)勢。兩類芯片的設(shè)計思路類似,都是為了處理大量簡單重復(fù)的運(yùn)算。GPU的性能更強(qiáng)但耗能也更高,F(xiàn)PGA因為編程和優(yōu)化都是直接在硬件層面進(jìn)行的,能耗會低很多。
因此在平衡算法和處理速度,尤其是用于前裝并且算法穩(wěn)定時,F(xiàn)PGA被視為一個熱門方案。FPGA是個好選擇。但同時,F(xiàn)PGA對技術(shù)要求也很高。原因在于計算機(jī)視覺算法是C語言,F(xiàn)PGA硬件語言是verilog,兩種語言不同,將算法移植到FPGA的人既要有軟件背景,又要有硬件背景。在人才最貴的今天,是筆不小的成本。
現(xiàn)階段可用于傳統(tǒng)計算機(jī)視覺算法的車規(guī)級芯片有多種選擇,但是適用于傳統(tǒng)算法疊加深度學(xué)習(xí)算法的低功耗高性能芯片,還沒有真正出現(xiàn)。
(三)算法
ADAS視覺算法的源頭是計算機(jī)視覺。
傳統(tǒng)的計算機(jī)視覺識別物體大致可以分為圖像輸入、預(yù)處理、特征提取、特征分類、匹配、完成識別幾個步驟。
有兩處尤其依賴專業(yè)經(jīng)驗:第一是特征提取。在識別障礙時可用特征很多,特征設(shè)計尤其關(guān)鍵。判斷前方障礙物是不是車,參考特征可能是車尾燈,也可能車輛底盤投在地面的陰影等。第二是預(yù)處理和后處理,預(yù)處理包括對輸入圖像噪聲的平滑、對比度的增強(qiáng)和邊緣檢測等。后處理是指對分類識別結(jié)果候選進(jìn)行再處理。
科研中的計算機(jī)視覺算法模型運(yùn)用到實際環(huán)境中,不一定就能表現(xiàn)得很好。因為科研得出的算法會增加諸如天氣、道路復(fù)雜情況在內(nèi)的條件限制,現(xiàn)實世界里除了關(guān)注復(fù)雜環(huán)境的算法表現(xiàn),還要考慮各種環(huán)境下算法的魯棒性(是否穩(wěn)定)。
算法上比較重要的一個變化是深度學(xué)習(xí)的滲透。
深度學(xué)習(xí)讓計算機(jī)模擬人類思考的神經(jīng)網(wǎng)絡(luò),可以自己學(xué)習(xí)判斷。通過直接向計算機(jī)輸入標(biāo)定后的原始數(shù)據(jù),比如挑選一堆異形車圖片,然后丟給計算機(jī)讓它自己學(xué)習(xí)什么是一輛車。這樣就可以免去計算視覺特征提取、預(yù)處理等步驟,感知過程可以簡化為輸入圖片-輸出結(jié)果兩步。
業(yè)內(nèi)比較一致的觀點認(rèn)為,在感知方面,深度學(xué)習(xí)將會彎道超車傳統(tǒng)視覺算法。目前深度學(xué)習(xí)的算法模型已經(jīng)開源,而且算法種類不多,因此有降低門檻大量優(yōu)秀結(jié)果涌現(xiàn)的可能。但是受限于沒有合適的車端平臺,離產(chǎn)品化還有一段距離。
業(yè)內(nèi)對深度學(xué)習(xí)在ADAS應(yīng)用的看法都比較客觀冷靜。不少觀點認(rèn)為深度學(xué)習(xí)算法是一個黑箱(Blackbox)算法,類似人感性決策的過程,可以很快輸出一個結(jié)果,很難在發(fā)生事故后反查原因,因此在使用深度學(xué)習(xí)時要加入理性決策部分,并且分區(qū)塊設(shè)計。
也有觀點認(rèn)為傳統(tǒng)計算機(jī)視覺算法比我們想象的“智能”,在不斷尋找車輛圖片共性和差異的過程中,也能檢測出一些異形車輛。并且在疊加深度學(xué)習(xí)算法后,傳統(tǒng)計算機(jī)視覺算法也可以幫助減少深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的層數(shù),簡化算法。
可以肯定的是,無論哪種算法,數(shù)據(jù)都是用來訓(xùn)練測試的寶貴資源,而且不是單純的越多越好,而是越有效越好(符合實際用車環(huán)境并保證多樣化)。
?。ㄋ模┎煌瑪z像頭平臺
1、單目和雙目
視覺方案要完成ADAS任務(wù),一般要實現(xiàn)測距(本車與前方障礙物距離)和識別(障礙物是什么)兩項工作。按照車載攝像頭模組的不同,目前主流ADAS攝像頭可以分為單目和雙目兩種技術(shù)路線。
單目攝像頭的算法思路是先識別后測距:首先通過圖像匹配進(jìn)行識別,然后根據(jù)圖像大小和高度進(jìn)一步估算障礙與本車時間。在識別和估算階段,都需要和建立的樣本數(shù)據(jù)庫進(jìn)行比較。想要識別各種車,就要建立車型數(shù)據(jù)庫,想要識別麋鹿,就要建立麋鹿數(shù)據(jù)庫。
雙目攝像頭的算法思路是先測距后識別:首先利用視差直接測量物體與車的距離,原理和人眼類似。兩只眼睛看同一個物體時,會存在視差,也就是分別閉上左右眼睛看物體時,會發(fā)現(xiàn)感官上的位移。這種位移大小可以進(jìn)一步測量出目標(biāo)物體的遠(yuǎn)近。然后在識別階段,雙目仍然要利用單目一樣的特征提取和深度學(xué)習(xí)等算法,進(jìn)一步識別障礙物到底是什么。
因為視差越遠(yuǎn)越小的緣故,業(yè)內(nèi)有觀點認(rèn)為,雙目在20米內(nèi)有明顯的測距優(yōu)勢,在20米距離外,視差減小測距存在難度,可以用高像素攝像頭和更優(yōu)秀的算法來提升測距性能,該處是難點也是核心競爭力。
雙目鏡頭間距和測距是兩個此消彼長的參數(shù),鏡頭間距越小,檢測距離越近,鏡頭間距越大,檢測距離越遠(yuǎn)??紤]車內(nèi)美觀和ADAS需要,小尺寸遠(yuǎn)距離雙目產(chǎn)品更受歡迎。
因為增加了一個鏡頭,帶來更多運(yùn)算量,整個攝像頭模組的性能要求和成本都更高了。而且在兩者都有的標(biāo)定工作上,雙目要比單目更加復(fù)雜。
而且選擇雙目方案切入市場并不能完全繞開單目方案的難點,在第二個階段,你依然要需要一個龐大的數(shù)據(jù)庫,依然需要打磨算法。
三、視覺系A(chǔ)DAS產(chǎn)品測試與評價
目前沒有統(tǒng)一的ADAS測試評價標(biāo)準(zhǔn)。常規(guī)的測試一般分為兩個階段:
在算法庫測試,庫中包含了各類工況下收集的行車場景視頻,通過用庫中的場景視頻跑分,測試算法識別率。目前測試庫由各家自采自測,因為采集所用的傳感器不同,不同企業(yè)間的測試單看結(jié)果沒有可比性。
由德國卡爾斯魯厄理工學(xué)院和芝加哥豐田技術(shù)研究所聯(lián)合創(chuàng)辦的KITTI,是國際上權(quán)威性較高的機(jī)動車輔助駕駛應(yīng)用技術(shù)評估的算法評測平臺。目前有部分公司在該網(wǎng)站測試算法,結(jié)果公開可查。不同公司跑分的用時存在差異,因此在看結(jié)果排名時,也不能忽略多個參數(shù)比較。
在實車測試階段,將產(chǎn)品DEMO安裝到車上測試,根據(jù)漏報、誤報判斷算法可靠性,對發(fā)現(xiàn)問題進(jìn)行反復(fù)調(diào)試?,F(xiàn)階段高質(zhì)量的實車測試大多由主機(jī)廠和零部件供應(yīng)商掌握,準(zhǔn)確測量需要借助激光雷達(dá)等設(shè)備,在相互校驗的過程中完成測量,成本略高,檢測周期也略長。
業(yè)內(nèi)人士表示,測試產(chǎn)品能力70-90分的區(qū)分更多使用算法庫測試,區(qū)別90-95分,甚至是95-98分時,必須進(jìn)行實車定量測試。而目前ADAS各家拉開差距正是在于將90分提高到99分。想做到這點必須要通過大量的實際道路測試打底,并對算法的準(zhǔn)確性和魯棒性不斷打磨。因此從某種程度上來說,經(jīng)歷過主機(jī)廠Tier1嚴(yán)苛訓(xùn)練的方案提供商,產(chǎn)品可靠性更高,前裝經(jīng)驗會成為下一次合作洽談的資本。
目前企業(yè)對外宣稱衡量算法能力的“識別率”指標(biāo)不能說完全沒有參考價值。前提是談?wù)撍^的識別率要把產(chǎn)品放在不同復(fù)雜場景下評估,并且單獨講識別率指標(biāo)沒有意義,需要把它和其他指標(biāo)放在一起考量。產(chǎn)品必須確保在不同的路況、天氣、車型,對不同姿態(tài)的人、不同的車道線,算法都能穩(wěn)定工作(魯棒性)。
四、一哥Mobileye
講視覺系A(chǔ)DAS不得不提一家以色列公司Mobileye,1999年成立,2007年推出首款產(chǎn)品,2014年8月1號在紐交所上市。公司主要從事汽車工業(yè)的計算機(jī)視覺算法和駕駛輔助系統(tǒng)芯片技術(shù)的研究。Mobileye的產(chǎn)品覆蓋了全球50個國家,據(jù)官方資料顯示,截至2015年底,Mobileye在全球有1000萬的裝載量,到2016年底會有273款車的SOP的合同。
(一)公司定位
前裝業(yè)務(wù)中,這家以色列公司作為二級零部件供應(yīng)商向Tier1提供產(chǎn)品,涉及車輛應(yīng)用的部分會和主機(jī)廠配合。通過一級供應(yīng)商提供集成、個性化開發(fā)以及測試工作。后裝采取代理銷售的方式。
?。ǘ┊a(chǎn)品功能
目前可用安裝在后視鏡后的單顆彩色攝像頭(非標(biāo)準(zhǔn)RGB Sensor)對目標(biāo)物進(jìn)行檢測、識別和分類,同時還會對物體的運(yùn)動軌跡進(jìn)行跟蹤、分析,并分析道路狀況。實現(xiàn)功能包括車道檢測、車輛檢測、行人檢測、動物檢測、交通標(biāo)志識別、紅綠燈識別、燈光控制。
Mobileye具有自主研發(fā)設(shè)計的芯片EyeQ系列,由意法半導(dǎo)體公司生產(chǎn)供應(yīng)?,F(xiàn)在已經(jīng)量產(chǎn)的芯片型號有EyeQ1、Eye Q2、EyeQ3,EyeQ4正在開發(fā)進(jìn)行中,預(yù)計將于2018年推出,其工程樣本有望在2016年第四季度發(fā)布。2016年5月Mobileye宣布將與意法聯(lián)手合作研發(fā)下一代將用于自動駕駛的EyeQ5芯片,2018年開始提供工程樣品。
目前Mobileye后裝產(chǎn)品的終端售價約為8000元左右,前裝價格會低很多。
Mobileye不同芯片可以實現(xiàn)不同的ADAS功能。其中EYEQ2支持產(chǎn)品級的AEB,EyeQ3是支持full AEB。EyeQ2等級只能做到ASIL-B,EyeQ3可以做到ASIL-D等級。(ASIL,Automotive Safety Integration Level,汽車安全完整性等級,是ISO26262中的系統(tǒng)危害風(fēng)險等級指標(biāo),從A到D產(chǎn)品的安全等級依次增加。)
2007年在沃爾沃上實現(xiàn)了攝像頭+雷達(dá)集成防撞預(yù)警的功能。(EyeQ1)
2008年在寶馬上實現(xiàn)了單攝像頭車道偏離預(yù)警、交通標(biāo)志識別等功能。(EyeQ1)
2010年在沃爾沃上做到了行人防撞檢測,首個行人檢測AEB。(EyeQ2)
在寶馬、通用、歐寶上,用單攝像頭實現(xiàn)了擁堵情況下車道內(nèi)跟車行駛。(EyeQ2)
2013年在寶馬和尼桑上用一個攝像頭實現(xiàn)AEB功能(部分) 。(EyeQ2)
利用EYEQ2實現(xiàn)了寶馬量產(chǎn)的基于攝像頭的自適應(yīng)巡航(ACC)和交通擁堵輔助(Traffic Jam Assistant)。(EyeQ2)
2015年在奧迪上實現(xiàn)了基于攝像頭的全AEB功能。(EyeQ3)
在特斯拉車型上實現(xiàn)了交通等檢測、利用深度神經(jīng)網(wǎng)路判斷自由空間和路徑規(guī)劃。(EyeQ3)
在Mobileye的過往演講和介紹中,提到了一些前車識別算法上的細(xì)節(jié):
從前車識別來看,一般單目有兩種算法來進(jìn)行預(yù)估,一種是THW(Time Headway),一種是TTC(Time to Collision)。THW計算公式中時間t=兩車距離/本車速度;TTC公式中時間t‘=輛車距離/兩車相對速度。TTC對于計算要求也更高一些,因為除了本車速度之外,還要實時測算出前車的速度,計算方法是通過兩車之間的距離變化以及本身速度進(jìn)行估算。
Mobileye將兩種算法用在不同場景。
前向碰撞檢測(FCW)方面采用TTC,尤其是高速行駛前車急剎的情況,可以很明顯發(fā)現(xiàn),TTC的算法更符合實際情況。Mobileye檢測規(guī)劃路徑中會遇到的前車后(不僅僅是識別本車道車輛)用圖像的變化快慢來做TTC,以此判斷碰撞可能,采取干預(yù)、控制、剎車操控。
目前 Mobileye 的后裝產(chǎn)品 TTC時間設(shè)定為 2.7 秒,官方給出的FCW精準(zhǔn)度大約在99.99%。前裝方面,對離本車最近的本車道車輛來計算TTC做AEB,AEB一般在1秒上下的區(qū)間里起作用。
Mobileye采用THW算法,未來加上控制,可以做到用單個攝像頭做ACC或低速Traffic Jam Assistant。目前市面上這兩個功能都是毫米波雷達(dá)來實現(xiàn),如果用攝像頭完成,可以融合視覺檢測到的車道、靜止障礙物、車輛橫向運(yùn)動、限速牌,匯總多個信息來做ACC決策,控制會更精準(zhǔn)。
Mobileye后裝產(chǎn)品THW時間設(shè)置可以從2.5秒到0.1秒。
(三)自動駕駛規(guī)劃
關(guān)于自動駕駛?cè)绾螌崿F(xiàn),Mobileye一共會涉及三個方面:感知、地圖與駕駛策略。
感知方面,根據(jù)Mobileye的規(guī)劃,單用攝像頭方案實現(xiàn)自動駕駛功能且不考慮冗余的情況下,需要8個攝像頭來滿足360度全方位感知的需要。2015年Mobileye發(fā)布了三路攝像頭做ADAS功能。三個攝像頭分工不同:中間的主攝像頭可以實現(xiàn)大部分功能,檢測距離可以達(dá)到150米,檢測到之后跟蹤距離可以達(dá)到250米。另有一枚小角度攝像頭探測更遠(yuǎn)距離,一枚廣角鏡頭探測更寬視野。
算法上主要實現(xiàn)四項內(nèi)容,并且對深度學(xué)習(xí)的要求逐項增加:
1.識別道路上移動/固定的物體;
2.識別出道路分割線以及其他交通標(biāo)識;
3.在道路上沒有分割線或者分割線不清晰的情況下,分辨出哪些是可以通過的空間,并勾勒出可通過空間與其他部分的隔離線;
4.可駕駛的路徑:在識別出可通過空間之后,找到一條可供于駕駛的路線。
地圖方面是對感知系統(tǒng)的冗余設(shè)計,包含Roadbook、高精度定位、可行駛路徑三個方面。Mobileye打算用具備深度學(xué)習(xí)功能的圖像識別體系制作高精度地圖。數(shù)據(jù)采集上會與車企合作,用眾包方式獲得和更新數(shù)據(jù)。
駕駛策略方面,車企可以通過提供的SDK訪問Mobileye預(yù)先訓(xùn)練的網(wǎng)絡(luò)應(yīng)用層,讓控制單元很快計算并得出可通行的路徑方案。車企在其提供的算法基礎(chǔ)之上,再以自身在車輛控制上的經(jīng)驗進(jìn)行優(yōu)化或者再次開發(fā)。這一功能會基于Eye實現(xiàn)。
Mobileye計劃2016年推出半自動汽車技術(shù),準(zhǔn)備研發(fā)的系統(tǒng)可以讓汽車閱讀交通、街道各類信號,從而與其它車輛保持適當(dāng)車距。大眾、寶馬和通用購買了2018 年生產(chǎn)的系統(tǒng),該系統(tǒng)可使車輛在高速上自動行駛。2016年5月Mobileye與兩家保密車企已經(jīng)達(dá)成協(xié)議,將在2019年為后者提供全自動駕駛汽車系統(tǒng)。
在2016年7月,Mobileye和寶馬、英特爾共同開發(fā)無人駕駛汽車技術(shù)。2016年8月宣布和德爾福汽車公司共同開發(fā)SAE(美國汽車工程協(xié)會)4/5級自動駕駛?cè)捉鉀Q方案。
?。ㄋ模﹫F(tuán)隊介紹
創(chuàng)始人之一是耶路撒冷希伯來大學(xué)計算機(jī)科學(xué)系教授阿姆農(nóng)·沙書亞(Amnon Shashua)。Mobileye在美國、德國、日本、西班牙也有分部或研究部門,現(xiàn)在公司員工約600多人,研發(fā)人員占比為70%-80%。目前在中國僅有面向后裝的銷售團(tuán)隊,辦公地點位于上海,沒有研發(fā)人員。
(五)投融資
2006年5月,獲得1500美金投資。
2007年10月,高盛投資的1億美金投資。
2013年7月Mobileye向5家獨立的金融投資方出售4億美元股份。投資方包括黑石、Fidelity、Wellinton、恩特租車公司以及中國投資公司賽領(lǐng)國際投資基金。這筆交易對Mobileye的除現(xiàn)金外估值達(dá)到15億美元。
國內(nèi)11家視覺ADAS企業(yè)方案盤點
?
評論
查看更多