ADAS系統(tǒng)中的可行使區(qū)域Freespace到底如何檢測？

自動(dòng)駕駛有可能大大減少交通事故、道路擁堵以及相關(guān)的經(jīng)濟(jì)損失。安全的自動(dòng)駕駛需要檢測周圍的障礙物、移動(dòng)物體并識別可駕駛區(qū)域。對于城市駕駛的所有附近物體以及高速公路駕駛的遠(yuǎn)處物體都必須執(zhí)行此操作。當(dāng)前的自動(dòng)駕駛汽車通常會(huì)結(jié)合使用雷達(dá)、激光雷達(dá)、攝像頭、高精度 GPS 和先前的地圖信息來確定汽車周圍的障礙物和路面上的安全行駛區(qū)域。

自由空間檢測Freespace為自動(dòng)駕駛車輛提供了對環(huán)境的信息感知。對于Freespace來說，最好的傳感器檢測方式是Velodyne 多光束激光傳感器。這種高性能傳感器能夠?qū)ξ矬w以及可行駛表面進(jìn)行檢測和分類。但是鑒于成本關(guān)系，要在自動(dòng)駕駛領(lǐng)域大量普及顯得不太可能。基于視覺的系統(tǒng)可以通過提供遠(yuǎn)距離物體和路面檢測和分類來補(bǔ)充其他傳感器。但是，視覺傳感器在雨、霧和雪中的性能會(huì)顯著下降，限制了其在晴朗天氣下的適用性。

當(dāng)然，這幾十年來，基于圖像處理的研究一直在擴(kuò)展到解決道路分割問題。早期的方法，包括 FCN和 SegNet，提出了編碼器-解碼器架構(gòu)，其中編碼器可以生成多個(gè)尺度的特征圖，解碼器可以提供高預(yù)測精度的像素級分類。RBNet研究道路結(jié)構(gòu)與其邊界布置之間的上下文關(guān)系。RBA使用由反向注意力和邊界注意力單元組成的殘差細(xì)化模塊。除了基于低級特征的算法之外，鑒于深度卷積神經(jīng)網(wǎng)絡(luò)最近在計(jì)算機(jī)視覺任務(wù)中取得的成功，DNN 成為解決自動(dòng)駕駛中感知挑戰(zhàn)的良好候選者。

此外，業(yè)內(nèi)也還進(jìn)行了許多其他的嘗試，比如利用深度CNN 解決分割問題的研究，CNN 應(yīng)用于自動(dòng)駕駛感知任務(wù)的工作已經(jīng)產(chǎn)生了專門的網(wǎng)絡(luò)，可以檢測攝像頭畫面中的其他車輛和車道，并且已經(jīng)通過將自由空間問題視為語義分割的任務(wù)進(jìn)行研究。然而，可能的道路障礙物和道路結(jié)構(gòu)的多樣性使得針對每種可能的障礙物和道路場景訓(xùn)練特定網(wǎng)絡(luò)變得不切實(shí)際。特別是，獲得涵蓋所有可能場景的訓(xùn)練數(shù)據(jù)將非常困難。相反，采用更通用的檢測器來確定可以安全行駛的自由路面Freespace將比檢測道路目標(biāo)語義顯得更加實(shí)用。

本文將重點(diǎn)介紹兩類不同類型的可行使區(qū)域檢測方案。

基于占據(jù)網(wǎng)格的Freespace檢測

典型的可行使區(qū)域檢測方法是通過占據(jù)網(wǎng)格圖Occupancy Grid Map 的方式進(jìn)行，占據(jù)網(wǎng)格圖OGM是將區(qū)域分割為格子狀，并通過分配給各各自單元的隨機(jī)變量判別假設(shè)的方法。OGM是多個(gè)傳感器輸出的綜合判定，由于與路徑規(guī)劃的搜索算法具有高度親和性，在業(yè)內(nèi)被用來作為可行使區(qū)域的有效代表。

如下圖，首先通過各傳感器對場景對象進(jìn)行檢測，期間，需要對各個(gè)傳感器檢測結(jié)果的置信度進(jìn)行估計(jì)，隨后需要對如上得出的可行使區(qū)域檢測估計(jì)結(jié)果進(jìn)行最大似然估計(jì)，從而更新占據(jù)網(wǎng)格信息。在這個(gè)更新過程中，通常需要使用先前累積的先驗(yàn)地圖進(jìn)行分析。

在占據(jù)網(wǎng)格圖OGM生成網(wǎng)格圖過程中，需要根據(jù)給定的數(shù)據(jù)計(jì)算映射的事后概率如下：

m表示地圖，即到特定時(shí)刻為止傳感器的全部觀測量，*表示該特定時(shí)刻為止時(shí)，本車移動(dòng)具體軌跡。例如，在100x100單元的地圖中，由于各單元具有確定性占有/可能性占有兩種狀態(tài)。對于這樣非常高維度的空間處理，若推定如上公式的后驗(yàn)概率，則需要大量的計(jì)算量。估計(jì)地圖m的時(shí)候概率問題，替換為推定各小區(qū)后驗(yàn)概率的問題，此時(shí)，各小區(qū)后驗(yàn)概率如下：

這種表示方式中，m表示具有索引單元格的網(wǎng)格圖，映射m是各個(gè)單元mi的集合。

此時(shí)，用上式可以映射出后驗(yàn)概率如下：

通過對如上后驗(yàn)概率的推斷，可以得出相應(yīng)的可行駛區(qū)域位置。

對于如上定義的傳感器可靠性組合方法進(jìn)行敘述?？紤]傳感器可靠性在不同場景應(yīng)用下的概率可以用如下方程進(jìn)行計(jì)算。

通過對各傳感器進(jìn)行綜合推斷，可以更新OGM的后驗(yàn)概率。

一般來說，在整合各傳感器輸出時(shí)，在對每個(gè)傳感器生成OGM時(shí)，使用了將OGM彼此融合的方法。但是，在該方法中，由于需要生成與使用傳感器數(shù)目相當(dāng)?shù)腛GM。因此如果傳感器數(shù)目增加，則存儲(chǔ)器負(fù)荷和計(jì)算量也將增加。因此，較好的方法是不為每個(gè)傳感器生成OGM，而是在傳感器數(shù)據(jù)處理期間就進(jìn)行融合運(yùn)算生成對應(yīng)共同的OGM。采用由各個(gè)傳感器輸出逐次更新的方法，由此能夠更加高效的更新OGM。如下圖表示了更新不同傳感器的時(shí)間戳OGM。

基于 GoogLeNet 的網(wǎng)絡(luò)

和 OverFeat 架構(gòu)檢測自由路面

另一種可行駛區(qū)域的檢測方法是通過訓(xùn)練一個(gè)基于 GoogLeNet 和 OverFeat 架構(gòu)的網(wǎng)絡(luò)來檢測高速快速公路環(huán)境中的自由路面。經(jīng)過訓(xùn)練的網(wǎng)絡(luò)在自由空間檢測任務(wù)上表現(xiàn)非常出色。這將有可能基于計(jì)算機(jī)視覺的傳感器用作自動(dòng)駕駛汽車可行使區(qū)域檢測，包括對一般障礙物的檢測和安全駕駛區(qū)域的檢測。

在本文中，網(wǎng)絡(luò)的任務(wù)是在給定單個(gè) 640 x 480 分辨率相機(jī)幀的情況下檢測自由路面。圖像的每個(gè) 4 x 4 像素非重疊塊被分類為自由路面或非自由路面。如果某個(gè)斑塊包含車輛可以安全行駛的道路部分，則該斑塊應(yīng)被歸類為自由路面。某些特定情況下，補(bǔ)丁如果不包含障礙物，例如另一輛車，或車輛無法行駛的表面，例如人行道/路肩，那對應(yīng)的道路空間將不被定為可行使區(qū)域。

該數(shù)據(jù)集由 30 多個(gè)小時(shí)的 1 兆像素分辨率視頻組成，由在灣區(qū)高速公路上行駛的車輛上的前置攝像頭錄制，相應(yīng)的數(shù)據(jù)用車道和汽車標(biāo)簽進(jìn)行提前標(biāo)注。

**圖 1. **數(shù)據(jù)集中車道標(biāo)簽示例。80 米內(nèi)的所有車道標(biāo)記均已標(biāo)記，該場景下無論遮擋情況

車道標(biāo)注（見圖1）指示高速公路上距離車輛80米以內(nèi)的所有車道的位置，包括被其他車輛遮擋的車道，車道標(biāo)簽是根據(jù)相機(jī)和激光雷達(dá)點(diǎn)云數(shù)據(jù)生成的。首先自動(dòng)提取泳道，然后由人工標(biāo)注人員進(jìn)行檢查和糾正。

**圖 2. **數(shù)據(jù)集中的汽車標(biāo)簽示例。100 米內(nèi)所有完全可見和部分遮擋的車輛都標(biāo)有邊界框

汽車標(biāo)注（見圖 2）由車輛約 100 米內(nèi)所有可見和部分遮擋車輛的邊界框組成（最終組合標(biāo)簽見圖 3）。汽車標(biāo)簽由人工標(biāo)注團(tuán)隊(duì)通過 Amazon Mechanical Turk 生成。

**圖 3. **顯示自由路面標(biāo)簽的汽車和車道標(biāo)簽組合示例。綠色陰影區(qū)域顯示標(biāo)記為自由空間的圖像區(qū)域。

在此數(shù)據(jù)集中，自由駕駛空間定義為兩個(gè)車道標(biāo)簽之間不包含車輛的區(qū)域。網(wǎng)絡(luò)預(yù)計(jì)會(huì)產(chǎn)生一個(gè)像素掩模，該像素掩模指示與上面定義的相同區(qū)域作為自由空間。定性結(jié)果將顯示試駕的道路圖像，并標(biāo)明可行駛的路面。同時(shí)將定量地根據(jù)正確分類的圖像塊的F1分?jǐn)?shù)來評估結(jié)果。我們直觀地預(yù)計(jì)網(wǎng)絡(luò)性能會(huì)隨著車輛前方距離的增加而降低。理想情況下，該網(wǎng)絡(luò)將能夠識別各種道路結(jié)構(gòu)和各種障礙物類型中的自由路面。最終數(shù)據(jù)集包含 13,000 個(gè)訓(xùn)練圖像，1,300 張驗(yàn)證圖像和 1,300 張測試圖像。

該網(wǎng)絡(luò)使用修改后的 GoogLeNet風(fēng)格網(wǎng)絡(luò)來生成圖像特征。修改后的網(wǎng)絡(luò)遵循 GoogLeNet 架構(gòu)，僅到平均池化層為止。平均池化對于圖像網(wǎng)絡(luò) ImageNet 分類任務(wù)效果很好，但自由空間檢測任務(wù)需要本地信息，而平均池化將激活量減少為單個(gè)激活向量時(shí)可能會(huì)丟失這些信息。

圖像中自由空間的定位是通過修改后的 OverFeat架構(gòu)完成的，輸入圖像特征如上面生成的。該自由空間的定位是通過對圖像特征激活后執(zhí)行大小維度為 1 x 1 卷積來完成的，然后使用類似的全連接層和 softmax 分類得到注意力權(quán)重，從而生成0-1之間的概率分布關(guān)系值。Softmax計(jì)算后，實(shí)際上之前較高的得分會(huì)被增強(qiáng)，而較低的得分則會(huì)被抑制或淹沒。也就是說，較高的Softmax會(huì)保留模型中認(rèn)為更加重要的圖層，降低的得分則會(huì)淹沒不相關(guān)的圖層，將輸出向量輸出到線性層進(jìn)行處理，以此來更快更精準(zhǔn)的確定環(huán)境的類別。應(yīng)該注意的是，圖像特征激活對應(yīng)體積下的空間維度相對于原始圖像尺寸要小一些。因此，在圖像特征激活體積的空間維度上執(zhí)行分類相對于原始圖像中的受檢測分類所提供的可行駛區(qū)域定位會(huì)差很多。

為了解決這個(gè)問題，在全連接層中使用額外的深度通道來表示圖像中的特定位置。例如，最終的softmax激活量空間維度為 20 x 15，其中每個(gè)位置代表原始圖像中的 32 x 32 像素塊。然而，每個(gè)空間位置的深度為 128，因?yàn)樵紙D像中每個(gè) 32 x 32 像素塊內(nèi)都有 8 x 8 個(gè) 4 x 4 像素的塊，并且有 2 個(gè)類：自由空間和非自由空間。這使得自由空間補(bǔ)丁的定位能夠達(dá)到更精細(xì)的分辨率，同時(shí)仍然能夠從原始圖像的較大補(bǔ)丁中獲取上下文信息。

這里介紹的訓(xùn)練網(wǎng)絡(luò)在檢測高速公路環(huán)境中的自由路面方面取得了良好的效果。該網(wǎng)絡(luò)在 Caffe 框架中實(shí)現(xiàn)，并進(jìn)行了一些修改。該網(wǎng)絡(luò)在單個(gè) Nvidia GeForce GTX TITAN Black GPU 上進(jìn)行訓(xùn)練。該網(wǎng)絡(luò)使用在 ImageNet 上訓(xùn)練的 BVLC GoogLeNet 的權(quán)重進(jìn)行初始化，并使用自由空間數(shù)據(jù)集進(jìn)行微調(diào)。

這些結(jié)果是通過在 ImageNet 數(shù)據(jù)上預(yù)訓(xùn)練 GoogLeNet 風(fēng)格的架構(gòu)并使用自由空間數(shù)據(jù)進(jìn)行微調(diào)來實(shí)現(xiàn)的。通過相對較少的訓(xùn)練（僅 60,000 次迭代），該網(wǎng)絡(luò)就能夠正確識別自由路面，同時(shí)將其他車輛指示為障礙物。該網(wǎng)絡(luò)還能夠區(qū)分道路邊界和其他道路標(biāo)記。

該模型采用動(dòng)量為 0.9 的小批量隨機(jī)梯度下降進(jìn)行訓(xùn)練。初始學(xué)習(xí)率設(shè)置為 0.01，每 3200 減少 0.96迭代。最終模型經(jīng)過 60,000 次迭代訓(xùn)練批量大小為 10，即 46 個(gè) epoch。典型定性測試集的結(jié)果如圖 4 和 5 所示。

圖 4. 紅色陰影區(qū)域顯示圖像中該像素塊的正確類別的 softmax 分?jǐn)?shù)。該網(wǎng)絡(luò)成功預(yù)測開放路面為空閑空間，同時(shí)指示卡車和其余車輛為非空閑空間。

圖 5. 紅色陰影區(qū)域顯示圖像中該像素塊的正確類別的 softmax 分?jǐn)?shù)。該網(wǎng)絡(luò)成功地將開放路面預(yù)測為自由空間。請注意，盡管這兩個(gè)區(qū)域在視覺上非常相似，但兩側(cè)的路肩并未標(biāo)記為空閑。

以上兩者測試圖像顯示，通過學(xué)習(xí)網(wǎng)絡(luò)可以非常成功地將道路上的障礙物正確分類為非自由空間。它還成功區(qū)分了道路車道和路肩，即使這兩個(gè)路面在視覺上非常相似。同時(shí)，該網(wǎng)絡(luò)還可以隨著車輛沿著道路曲線行駛過程中進(jìn)行實(shí)時(shí)跟蹤檢測。

實(shí)際上，通過本文介紹的網(wǎng)絡(luò)可以知道，局部像素信息不足以區(qū)分道路車道和路肩，因此較高級別的特征為了做出這種區(qū)分，網(wǎng)絡(luò)層是必要的。隨著其他車輛周圍和道路邊緣的檢測變得更加清晰，網(wǎng)絡(luò)可以進(jìn)行定性區(qū)分。然而，這些改進(jìn)并不能通過 F1 指標(biāo)很好地衡量，因?yàn)樗鼈冎徽加脦讉€(gè)像素塊。而這些細(xì)微的差異被大部分路面和主要包含天空和背景的圖像頂部的大量正確分類所掩蓋。

在未來的工作中，我們打算在更多不同的條件下收集更多的數(shù)據(jù)。特別是在城市情況下，涉及更多類型的障礙物，例如行人的語義區(qū)分?；谠搶?shí)驗(yàn)結(jié)果，可以將該網(wǎng)絡(luò)架構(gòu)將擴(kuò)展到更復(fù)雜的城市情況下的一般自由空間檢測。

同時(shí)，必須制定更合適的量化指標(biāo)，以更好地區(qū)分網(wǎng)絡(luò)改進(jìn)。在訓(xùn)練時(shí)，網(wǎng)絡(luò)可以很快學(xué)會(huì)檢測大部分空閑路面。在我們這里所用的數(shù)據(jù)集中，圖像底部的大部分區(qū)域是自由路面，而圖像頂部的大部分區(qū)域不是路面。

此外，更受人關(guān)注的區(qū)域是自由路面和非自由路面之間的邊界區(qū)分。這種邊界實(shí)際上需要進(jìn)一步的模型訓(xùn)練，才能有助于網(wǎng)絡(luò)在這些邊界上做出更好的預(yù)測，最終在自由空間和障礙物或道路邊緣之間提供非常清晰的邊界。準(zhǔn)確一點(diǎn)的說，在未來的工作中，道路模型學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練可能會(huì)把整個(gè)損失函數(shù)集中在邊界上，而不是對所有像素塊進(jìn)行平均加權(quán)。因此，集中力量在自由空間邊界上訓(xùn)練的學(xué)習(xí)網(wǎng)絡(luò)將有可能會(huì)提供更好的結(jié)果。







審核編輯：劉清