了解車輛如何利用感知元件感知周圍環(huán)境，了解不同的感知任務(wù)

上一篇文章中，我們發(fā)布了無人駕駛技術(shù)的定位篇（點擊閱讀）。很多開發(fā)者結(jié)合定位篇與Apollo平臺的視頻，對定位系統(tǒng)已經(jīng)有了自己的見解，提出了有趣的問題。也希望更多的開發(fā)者能夠參與到Apollo的平臺中去，在學(xué)習(xí)交流的同時豐富這個平臺。

本周我們將介紹感知，了解車輛如何利用感知元件感知周圍環(huán)境，了解不同的感知任務(wù)，例如分類、檢測和分割，并學(xué)習(xí)對感知而言至關(guān)重要的卷積神經(jīng)網(wǎng)絡(luò)。

在開車時，我們用眼睛來判斷速度、車道位置、轉(zhuǎn)彎位置。在無人駕駛車中，情況類似，只不過需要使用靜態(tài)攝像頭和其他傳感器來感知環(huán)境，使用大量計算機視覺技術(shù)。

第四課，感知

Sebastian帶你學(xué)習(xí)感知

1感知的概述

我們?nèi)祟愄焐团鋫涠喾N傳感器，眼睛可以看到周圍的環(huán)境，耳朵可以用來聽，鼻子可以用來嗅，也有觸覺傳感器，甚至還有內(nèi)部傳感器，可以測量肌肉的偏轉(zhuǎn)。通過這些傳感器，我們可以感知到我們周圍的環(huán)境。我們的大腦每分每秒都在進(jìn)行數(shù)據(jù)處理，大腦的絕大部分都是用于感知。

現(xiàn)在，無人駕駛車輛也在做這些事情，只不過他們用的不是眼睛而是攝像頭。但是他們也有雷達(dá)和激光雷達(dá)，它們可以幫忙測量原始距離，可以得到與周圍環(huán)境物體的距離。對于每個無人駕駛汽車，它的核心競爭力之一是利用海量的傳感器數(shù)據(jù)，來模仿人腦理解這個世界。談?wù)搨鞲衅鲿r也會涉及到神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)、人工智能。

2計算機視覺

作為人類，我們可以自動識別圖像中的物體，甚至可以推斷這些物體之間的關(guān)系。但是對于計算機而言圖像只是紅、綠、藍(lán)色值的集合。無人駕駛車有四個感知世界的核心任務(wù)：檢測——指找出物體在環(huán)境中的位置；分類——指明確對象是什么；跟蹤——指隨時間的推移觀察移動物體；語義分割——將圖像中的每個像素與語義類別進(jìn)行匹配如道路、汽車、天空。

將分類作為作為研究計算機視覺一般數(shù)據(jù)流程的例子。圖像分類器是一種將圖像作為輸入，并輸出標(biāo)識該圖像的標(biāo)簽的算法，例如交通標(biāo)志分類器查看停車標(biāo)志并識別它是停車標(biāo)志、讓路標(biāo)志、限速標(biāo)志、其他標(biāo)志。分類其甚至可以識別行為，比如一個人是在走路還是在跑步。

分類器有很多種，但它們都包含一系列類似的步驟。首先計算機接收類似攝像頭等成像設(shè)備的輸入。然后通過預(yù)處理發(fā)送每個圖像，預(yù)處理對每個圖像進(jìn)行了標(biāo)準(zhǔn)化處理，常見的預(yù)處理包括調(diào)整圖像大小、旋轉(zhuǎn)圖像、將圖像從一個色彩空間轉(zhuǎn)換為另一個色彩空間，比如從全彩到灰度，處理可幫助我們的模型更快地處理和學(xué)習(xí)圖像。接下來，提取特征，特征有助于計算機理解圖像，例如將汽車與自行車區(qū)分開來的一些特征，汽車通常具有更大的形狀并且有四個輪子而不是兩個，形狀和車輪將是汽車的顯著特征。最后這些特征被輸入到分類模型中。此步驟使用特征來選擇圖像類別，例如分類器可以確定圖像是否包含汽車、自行車、行人、不包含這樣的對象。

為了完成這些視覺任務(wù)，需要建立模型，模型是幫助計算機了解圖像內(nèi)容的工具。

3攝像頭圖像

不論計算機在執(zhí)行什么識別任務(wù)，通常在開始時將攝像頭圖像作為輸入。

攝像頭圖像是最常見的計算機視覺數(shù)據(jù)，以這張汽車照片為例，讓我們看看計算機如何認(rèn)為這實際上是一輛汽車的圖像。從計算機的角度來看，圖像只是一個二維網(wǎng)格被稱為矩陣，矩陣中的每個單元格都包含一個值，數(shù)字圖像全部由像素組成，其中包含非常小的顏色或強度單位，我們可以對其中的數(shù)字做出非常多的處理。通常這些數(shù)字網(wǎng)格是許多圖像處理技術(shù)的基礎(chǔ)，多數(shù)顏色和形狀轉(zhuǎn)換都只是通過對圖像進(jìn)行數(shù)學(xué)運算以及逐一像素進(jìn)行更改來完成。

以上是我們將一個圖像分解為二維灰度像素值網(wǎng)絡(luò)，彩色照片是相似的，但是更復(fù)雜一些。

彩色圖像被構(gòu)建為值的三維立方體，每個立方體都有高度、寬度和深度，深度為顏色通道數(shù)量。大多數(shù)彩色圖像以三種顏色組合表示紅色、綠色、藍(lán)色，稱為RGB圖像。對于RGB圖像來說，深度值是3，因此可用立方體來表示。

4LiDAR圖像

感知擴展到傳感器，而不僅僅是攝像頭。激光雷達(dá)傳感器創(chuàng)建環(huán)境的點云表征，提供了難以通過攝像頭圖像獲得的信息如距離和高度。激光雷達(dá)傳感器使用光線尤其是激光來測量與環(huán)境中反射該光線的物體之間的距離，激光雷達(dá)發(fā)射激光脈沖并測量物體，將每個激光脈沖反射回傳感器所花費的時間。反射需要的時間越長，物體離傳感器越遠(yuǎn)，激光雷達(dá)正是通過這種方式來構(gòu)建世界的視覺表征。

激光雷達(dá)通過發(fā)射光脈沖來檢測汽車周圍的環(huán)境，藍(lán)色點表示反射激光脈沖的物體，中間的黑色區(qū)域是無人駕駛車本身占據(jù)的空間。由于激光雷達(dá)測量激光反射束，它收集的數(shù)據(jù)形成一團云或“點云”，點云中的每個點代表反射回傳感器的激光束，可以告訴我們關(guān)于物體的許多信息例如其形狀和表面紋理。這些數(shù)據(jù)提供了足夠的對象檢測、跟蹤、分類信息。正如我們所看，在點云上執(zhí)行的檢測和分類結(jié)果為紅點為行人，綠點表示其他汽車。

激光雷達(dá)數(shù)據(jù)提供了用于構(gòu)建世界視覺表征的足夠空間信息，計算機視覺技術(shù)不僅可以使用攝像頭圖像進(jìn)行對象分類，還可以使用點云和其他類型的空間相關(guān)數(shù)據(jù)進(jìn)行對象分類。

5機械學(xué)習(xí)

機器學(xué)習(xí)是使用特殊算法來訓(xùn)練計算機從數(shù)據(jù)中學(xué)習(xí)的計算機科學(xué)領(lǐng)域。通常，這種學(xué)習(xí)結(jié)果存放在一種被稱為“模型”的數(shù)據(jù)結(jié)構(gòu)中，有很多種模型，事實上“模型”只是一種可用于理解和預(yù)測世界的數(shù)據(jù)結(jié)構(gòu)。機械學(xué)習(xí)誕生于20世紀(jì)60年代，但隨著計算機的改進(jìn)，在過去的20年中才真正的越來越受到歡迎。

機器學(xué)習(xí)涉及使用數(shù)據(jù)和相關(guān)的真值標(biāo)記來進(jìn)行模型訓(xùn)練，例如可能會顯示車輛和行人的計算機圖像以及告訴計算機哪個是哪個的標(biāo)簽。我們讓計算機學(xué)習(xí)如何最好地區(qū)分兩類圖像，這類機器學(xué)習(xí)也稱為監(jiān)督式學(xué)習(xí)，因為模型利用了人類創(chuàng)造的真值標(biāo)記。

可以假想一個類似的學(xué)習(xí)過程，但這次使用的是沒有真值標(biāo)記的車輛與行人圖像，讓計算機自行決定哪些圖像相似、哪些圖像不同，這被稱為無監(jiān)督學(xué)習(xí)。不提供真值標(biāo)記，而是通過分析輸入的數(shù)據(jù)，計算機憑借自行學(xué)習(xí)找到區(qū)別。

半監(jiān)督式學(xué)習(xí)是將監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)的特點結(jié)合在一起，該方法使用少量的標(biāo)記數(shù)據(jù)和大量的未標(biāo)記數(shù)據(jù)來訓(xùn)練模型。

強化學(xué)習(xí)是另一種機器學(xué)習(xí)，強化學(xué)習(xí)涉及允許模型通過嘗試許多不同的方法來解決問題，然后衡量哪種方法最為成功，計算機將嘗試許多不同的解決方案，最終使其方法與環(huán)境相適應(yīng)。

例如在模擬器中，強化學(xué)習(xí)智能體可訓(xùn)練汽車進(jìn)行右轉(zhuǎn)，智能體將在初始位置發(fā)動車輛，然后以多種不同的方向和速度進(jìn)行實驗性駕駛，如果車輛實際完成了右轉(zhuǎn)，智能體會提高獎勵即得分。

起初車輛可能無法找到執(zhí)行轉(zhuǎn)彎的方法，然而就像人類那樣，車輛最終會從一些成功的右轉(zhuǎn)經(jīng)驗中學(xué)習(xí)，最后學(xué)會如何完成任務(wù)。

6神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)用于無人駕駛車，受到構(gòu)成人類神經(jīng)系統(tǒng)的生物神經(jīng)元啟發(fā)，生物神經(jīng)元通過相互連接構(gòu)成了神經(jīng)元網(wǎng)絡(luò)或神經(jīng)網(wǎng)絡(luò)，通過類似的方式將人工神經(jīng)元層連接起來以創(chuàng)建用于機器學(xué)習(xí)的人工神經(jīng)網(wǎng)絡(luò)。

人工神經(jīng)網(wǎng)絡(luò)是通過數(shù)據(jù)來學(xué)習(xí)復(fù)雜模式的工具，神經(jīng)網(wǎng)絡(luò)由大量的神經(jīng)元組成，人工神經(jīng)元負(fù)責(zé)傳遞和處理信息，也可以對這些神經(jīng)元進(jìn)行訓(xùn)練?？梢詫⑦@些圖像識別為車輛，無論它們是黑是白、或大或小，你甚至可能不知道自己如何知道它們是車輛，也許是某些特征觸發(fā)了你的反應(yīng)，如車輪、車燈、車窗。人工神經(jīng)網(wǎng)絡(luò)具有類似的運作方式。人工神經(jīng)網(wǎng)絡(luò)通過密集訓(xùn)練，計算機可以辨別汽車、行人、交通信號燈、電線桿。它們學(xué)習(xí)了用于執(zhí)行任務(wù)的模型，只是我們可能很難直觀地理解該數(shù)學(xué)模型。

當(dāng)看到該圖像時，你的大腦如何工作？你的大腦可能會將圖像分為幾部分然后識別特征如車輪、車窗、顏色，然后大腦將使用這些特征對圖像進(jìn)行檢測和分類。

例如在確定圖像是否為車輛時，大腦可能不會認(rèn)為顏色是關(guān)鍵特征。因為汽車有多種顏色，所以大腦會將更多權(quán)重放在其他特征上并降低顏色的重要性。

同樣，神經(jīng)網(wǎng)絡(luò)也會從圖像中提取許多特征，但這些特征可能是我們?nèi)祟悷o法描述或甚至無法理解的特征。但我們最終并不需要理解，計算機將調(diào)整這些特征的權(quán)重，以完成神經(jīng)網(wǎng)絡(luò)的最終任務(wù)。

7反向波算法

學(xué)習(xí)有時稱為訓(xùn)練，由三步循環(huán)組成——前饋、誤差測定、反向傳播。

首先隨機分配初始權(quán)重即人工神經(jīng)元的值，通過神經(jīng)網(wǎng)絡(luò)來饋送每個圖像產(chǎn)生輸出值，這被稱為前饋。

繼續(xù)開車可以發(fā)現(xiàn)，有些點右邊只有一棵樹，也可以排除。

下一步為誤差測定，誤差是真值標(biāo)記與與前饋過程所產(chǎn)生輸出之間的偏差。

下一步是反向傳播，通過神經(jīng)網(wǎng)絡(luò)反向發(fā)送誤差，此過程類似前饋過程，只是以相反方向進(jìn)行。

每個人工神經(jīng)元都對其值進(jìn)行微調(diào)，這是基于通過神經(jīng)網(wǎng)絡(luò)后向傳播的誤差，可生成更準(zhǔn)確的網(wǎng)絡(luò)。一個訓(xùn)練周期：包括前饋、誤差測定、反向傳播還遠(yuǎn)遠(yuǎn)不夠。為了訓(xùn)練網(wǎng)絡(luò)，通常需要數(shù)千個這樣的周期，最終結(jié)果應(yīng)該是模型能夠根據(jù)新數(shù)據(jù)做出準(zhǔn)確預(yù)測。