智能汽車(chē)如何感知和理解世界？算力+傳感器、算法、數(shù)據(jù)

車(chē)輛究竟是如何做到理解這些復(fù)雜的信息？

無(wú)人駕駛車(chē)輛在運(yùn)行中需要面對(duì)白天、黑夜、黃昏、大風(fēng)、暴雨、霧霾等自然環(huán)境信息，以及道路上行人、車(chē)輛、紅綠燈等物體信息。

本文用兩個(gè)基本問(wèn)題為您解答無(wú)人駕駛車(chē)輛如何感知和理解這個(gè)世界。

01、無(wú)人車(chē)如何感知和理解這個(gè)世界？

人類(lèi)駕駛員的感官主要依賴(lài)于雙眼，偶爾用到耳朵，而無(wú)人駕駛車(chē)輛的AI駕駛員的感官包括了激光雷達(dá)、毫米波雷達(dá)、攝像頭、差分GPS、慣性單元、輪速計(jì)等傳感器。還有一個(gè)核心零部件是U-Drive自動(dòng)駕駛控制器，我們也稱(chēng)呼它為“車(chē)腦”，在“車(chē)腦”中會(huì)運(yùn)行一整套的軟件或者算法。

在一輛無(wú)人車(chē)上使用的各類(lèi)傳感器往往各有優(yōu)缺點(diǎn)：

激光雷達(dá)：能夠直接獲取 3D 的點(diǎn)云數(shù)據(jù)，精度高，成本也高

攝像頭：獲取二維圖像數(shù)據(jù)，信息豐富、成本低，但是對(duì)光照要求相對(duì)敏感

毫米波雷達(dá)：精度較低，極端天氣下表現(xiàn)較好

在無(wú)人車(chē)上需要將不同的傳感器融合以獲取最佳的效果。當(dāng)車(chē)腦收到這些傳感器數(shù)據(jù)之后，就會(huì)進(jìn)入兩個(gè)模塊：一個(gè)是自車(chē)定位，另一個(gè)是環(huán)境感知。經(jīng)過(guò)這兩個(gè)模塊的算法處理之后把結(jié)果輸出到下游的決策/規(guī)劃模塊使用。

問(wèn)題一：定位-我在哪里？

現(xiàn)在人類(lèi)出門(mén)開(kāi)車(chē)基本上離不開(kāi)導(dǎo)航，人類(lèi)駕駛員對(duì)定位精度要求不高，只需要在10米級(jí)。而AI駕駛員要達(dá)到厘米級(jí)的高精度定位，需要讓車(chē)輛自身每時(shí)每刻知道“我在哪里”，需要精確地分辨出當(dāng)前車(chē)在哪個(gè)車(chē)道，距離車(chē)道的邊緣有多遠(yuǎn)、方向如何，如此后面的規(guī)劃/控制模塊才能做出正確的選擇。

實(shí)現(xiàn)高精度定位有以下幾種方式：

差分 GPS：差分 GPS 和手機(jī)上的普通 GPS 不一樣，它是一種特殊的高精度的定位設(shè)備，它可以消除三類(lèi)誤差：公有誤差、傳播延遲誤差、接收機(jī)固有誤差。通過(guò)消除這些誤差可以把定位精度提升到 2cm 左右?？墒窃诂F(xiàn)實(shí)中，道路旁邊有建筑物、高架、樹(shù)木，這些都會(huì)影響差分 GPS 信號(hào)的質(zhì)量，所以還需要其他方式配合以獲得更高精度的定位。

基于視覺(jué)特征點(diǎn)的定位是基于圖像中局部灰度的變化來(lái)發(fā)現(xiàn)圖像中一些穩(wěn)定的特征點(diǎn)，利用這些特征點(diǎn)對(duì)圖像進(jìn)行編碼，通過(guò)對(duì)環(huán)境持續(xù)觀察以達(dá)到實(shí)現(xiàn)對(duì)自車(chē)的精準(zhǔn)定位。再通過(guò)重定位找到最佳定位匹配點(diǎn)。此外，在無(wú)人駕駛車(chē)輛行駛中會(huì)通過(guò)定位跟蹤模式持續(xù)獲得精準(zhǔn)位姿。

激光雷達(dá)定位：激光雷達(dá)點(diǎn)云定位是激光雷達(dá)通過(guò)掃描得到一系列單幀的點(diǎn)云，通過(guò)匹配位姿優(yōu)化生成地圖。和基于視覺(jué)特征點(diǎn)的定位方式一致，激光雷達(dá)也需要進(jìn)行重定位找到最佳定位匹配點(diǎn)。

語(yǔ)義定位：語(yǔ)義定位是對(duì)道路環(huán)境中存在的人類(lèi)可識(shí)別的高級(jí)特征標(biāo)識(shí)進(jìn)行識(shí)別并做自車(chē)定位，比如車(chē)道線、立柱、箭頭等各種標(biāo)識(shí)。同樣，語(yǔ)義建圖包含三步：第一步，通過(guò)激光雷達(dá)與攝像頭融合的數(shù)據(jù)進(jìn)行三維重建，得到彩色的點(diǎn)云；第二步，對(duì)三維重建結(jié)果進(jìn)行語(yǔ)義分割，標(biāo)記點(diǎn)云屬于什么分類(lèi)；第三步，自動(dòng)提取出語(yǔ)義標(biāo)識(shí)，從而完成語(yǔ)義地圖的構(gòu)建。最終自車(chē)根據(jù)語(yǔ)義地圖來(lái)實(shí)現(xiàn)定位。

融合定位：融合定位是將所有的定位源輸出的結(jié)果和車(chē)體內(nèi)部狀態(tài)融合在一起，如 IMU（慣性單元）、車(chē)身輪速計(jì)等，最終得出統(tǒng)一的自車(chē)定位信息發(fā)送給下游模塊使用。

問(wèn)題二：感知-我的周?chē)鞘裁?/p>

無(wú)人駕駛車(chē)輛接收到攝像頭、激光雷達(dá)以及其他感知設(shè)備輸入的數(shù)據(jù)，通過(guò)這些數(shù)據(jù)可以獲取周?chē)哪繕?biāo)物的位置、尺寸、分類(lèi)信息（車(chē)輛、行人等）和跟蹤信息（速度、加速度、角速度等），還有未知分類(lèi)的障礙物、目標(biāo)車(chē)的尾燈、護(hù)欄、紅綠燈、植被等都需要被感知到。所有這些信息都會(huì)輸出到到?jīng)Q策/規(guī)劃模塊使用。

目標(biāo)檢測(cè)中都會(huì)使用深度學(xué)習(xí)的方法，深度學(xué)習(xí)首先通過(guò)網(wǎng)絡(luò)學(xué)習(xí)激光雷達(dá)三維點(diǎn)云中的背景信息、目標(biāo)物和分類(lèi)信息。此外，無(wú)人車(chē)上有多種傳感器，最主要的是激光雷達(dá)和攝像頭，將二者融合會(huì)在目標(biāo)檢測(cè)的距離精度、分類(lèi)精度、尺寸精度等方面都有顯著提升。

無(wú)人車(chē)要能夠安全、平順的行駛，對(duì)每個(gè)目標(biāo)物的準(zhǔn)確跟蹤、速度、加速度等都是必不可少的，這些信息必須要連續(xù)幀上獲取，因此我們必須要目標(biāo)檢測(cè)機(jī)制上進(jìn)行匹配跟蹤、速度估計(jì)等等一系列工作。我們會(huì)獲得T – 1(上一幀)時(shí)刻的目標(biāo)檢測(cè)結(jié)果，也會(huì)獲得當(dāng)前時(shí)刻的結(jié)果，這些結(jié)果可以通過(guò)卡爾曼濾波算法得出當(dāng)前幀預(yù)測(cè)結(jié)果，再把這個(gè)預(yù)測(cè)結(jié)果和當(dāng)前幀檢測(cè)結(jié)果通過(guò)相似度計(jì)算和匈牙利匹配關(guān)聯(lián)，可以通過(guò)這速度工具來(lái)獲取場(chǎng)景中目標(biāo)物編號(hào)、速度、運(yùn)動(dòng)方向等信息，這些信息對(duì)車(chē)輛決策/規(guī)劃模塊相當(dāng)重要。

*卡爾曼濾波可以有效在時(shí)間線上對(duì)測(cè)量和預(yù)測(cè)進(jìn)行合理加權(quán)的算法。

*匈牙利算法是一種求解最大匹配的算法。

除了常見(jiàn)的目標(biāo)檢測(cè)之外，環(huán)境中還有一些其他要素需要感知，比如之前提到的植被，無(wú)法用一個(gè)矩形框來(lái)表示，因此需要語(yǔ)義分割技術(shù)，它能夠獲得精細(xì)的感知結(jié)果。最終我們將目標(biāo)檢測(cè)、跟蹤和語(yǔ)義分割融合在一起，作為整體輸出給下個(gè)模塊。

02、無(wú)人車(chē)的定位感知能力如何持續(xù)進(jìn)化

無(wú)人駕駛系統(tǒng)幾個(gè)最核心的要素：算力+傳感器、算法、數(shù)據(jù)。

算力+傳感器主要依賴(lài)硬件持續(xù)升級(jí)驅(qū)動(dòng)，其中包括車(chē)載控制芯片（每一代新的芯片誕生，算力都有數(shù)量級(jí)提升）、激光雷達(dá)（激光雷達(dá)性能越來(lái)越強(qiáng)，成本也逐步降低，進(jìn)而推動(dòng)定位感知能力的提升）、攝像頭（分辨率不斷提升，進(jìn)而為算法提升奠定基礎(chǔ)）。

算法主要依賴(lài)人腦驅(qū)動(dòng)演進(jìn)，從第一個(gè)角度看，深度學(xué)習(xí)依然是目前最重要的方法，但是我們?cè)诶^續(xù)演進(jìn)的路上也面臨很多挑戰(zhàn)，后續(xù)網(wǎng)絡(luò)規(guī)模還會(huì)變得更大、更復(fù)雜（現(xiàn)在最大的網(wǎng)絡(luò)已經(jīng)在接近小型哺乳動(dòng)物的神經(jīng)元個(gè)數(shù)），從而具有更高精度和更強(qiáng)功能；從第二個(gè)角度看，在工業(yè)界的實(shí)踐中，深度學(xué)習(xí)方法需要和其他的機(jī)器學(xué)習(xí)方法、非學(xué)習(xí)方法結(jié)合，以得到實(shí)際可用的、功能邊界清晰的、可靠的系統(tǒng)；從第三個(gè)角度看，需要持續(xù)擴(kuò)展“運(yùn)行設(shè)計(jì)域”（ODD）。

運(yùn)行設(shè)計(jì)域簡(jiǎn)單來(lái)說(shuō)就是可正常運(yùn)行的范圍，包含以下幾個(gè)要素：天氣（雨、雪、霧等極端天氣）、光照（黃昏、夜晚、陰天等）、道路（隧道、機(jī)坪、高架）、區(qū)域（園區(qū)、城區(qū)、高速），無(wú)人駕駛車(chē)輛需要在這些要素范圍內(nèi)，從易到難進(jìn)行持續(xù)擴(kuò)展。

數(shù)據(jù)主要通過(guò)數(shù)據(jù)驅(qū)動(dòng)系統(tǒng)演進(jìn)驅(qū)動(dòng)，數(shù)據(jù)驅(qū)動(dòng)要解決的第一個(gè)問(wèn)題就是長(zhǎng)尾問(wèn)題（長(zhǎng)尾問(wèn)題概念來(lái)自于互聯(lián)網(wǎng)，指?jìng)€(gè)性化、零散的總和卻又比較大的客戶需求，在無(wú)人駕駛領(lǐng)域指很少見(jiàn)的場(chǎng)景，但是總和同樣較大）。長(zhǎng)尾問(wèn)題之所以難解決，算法能力不夠強(qiáng)大是一個(gè)維度，這需要工業(yè)界和學(xué)術(shù)界進(jìn)行持續(xù)提升，另一個(gè)維度是在現(xiàn)有算法能力范圍內(nèi)，需要通過(guò)無(wú)人駕駛系統(tǒng)來(lái)收集到最有價(jià)值的數(shù)據(jù)，用數(shù)據(jù)驅(qū)動(dòng)的方式來(lái)迭代和提升系統(tǒng)能力。

數(shù)據(jù)驅(qū)動(dòng)是如何解決長(zhǎng)尾問(wèn)題的？通過(guò)異常事件數(shù)據(jù)錄制-回傳-篩選及標(biāo)注-模型訓(xùn)練-模型驗(yàn)證-部署，從而完成模型升級(jí)的迭代過(guò)程，異常事件包括人工接管（Robotaxi）、無(wú)人運(yùn)營(yíng)車(chē)輛的剮蹭、急剎車(chē)、目標(biāo)物分類(lèi)跳變等。

數(shù)據(jù)驅(qū)動(dòng)的另一個(gè)方面：場(chǎng)景、業(yè)務(wù)、傳感器類(lèi)別非常多。無(wú)人車(chē)會(huì)在不同的城市、不同的道路和區(qū)域、承擔(dān)不同的業(yè)務(wù)（物流、出租車(chē)等），同時(shí)每種車(chē)型上的傳感器配置也不一樣，這幾方面因素都會(huì)導(dǎo)致數(shù)據(jù)有明顯差異。因此我們提出了一個(gè)數(shù)據(jù)驅(qū)動(dòng)的跨場(chǎng)景、業(yè)務(wù)和傳感器的統(tǒng)一框架。這個(gè)框架可以綜合考慮不同場(chǎng)景、業(yè)務(wù)、傳感器的數(shù)據(jù)，可以高效地、最大程度復(fù)用各場(chǎng)景中的數(shù)據(jù)價(jià)值，節(jié)省標(biāo)注工作成本，并提升效率。

無(wú)人駕駛車(chē)輛感知與理解這個(gè)世界的背后是一項(xiàng)復(fù)雜的工程系統(tǒng)，惟有適者方能生存，在不停地認(rèn)識(shí)世界的過(guò)程中無(wú)人駕駛車(chē)輛也在不停地實(shí)現(xiàn)自身的進(jìn)化與演進(jìn)，向著下一個(gè)進(jìn)化節(jié)點(diǎn)跨步前進(jìn)。

來(lái)源：電控公眾號(hào)智駕最前沿公眾號(hào)陳云培