基于Transformer的越野場景可通行區(qū)域檢測模型OFF-Net

可通行區(qū)域檢測對于自動駕駛車輛的環(huán)境感知和路徑規(guī)劃至關(guān)重要。過去十年基于學(xué)習(xí)的可通行區(qū)域檢測算法取得了很大的成功，但是基本上都是關(guān)注城市場景的可通行區(qū)域檢測。相比于規(guī)則的城市場景道路，越野場景道路復(fù)雜多變，可通行區(qū)域檢測更加困難，另外目前缺少開源的越野場景可通行檢測數(shù)據(jù)集和算法基準(zhǔn)。因此，本文開源第一個覆蓋多種越野場景的可通行區(qū)域檢測數(shù)據(jù)集，ORFD。ORFD采集了包括草原、林地、農(nóng)田和鄉(xiāng)村道路等不同場景道路，覆蓋晴天、雨天、霧天和雪天等不同無人車行駛天氣狀況，包含強(qiáng)光、日光、微光和黑暗等光照條件。ORFD一共有12198幀激光雷達(dá)點(diǎn)云和圖像對數(shù)據(jù)，在圖像視角進(jìn)行了標(biāo)注，包含三種類別：可通行區(qū)域、不可通行區(qū)域和不可到達(dá)區(qū)域（如天空）。我們同時還提出了一個基于Transformer的越野場景可通行區(qū)域檢測模型OFF-Net，利用交叉注意力機(jī)制自適應(yīng)融合點(diǎn)云和圖像的多模態(tài)信息。數(shù)據(jù)集和基準(zhǔn)代碼下載鏈接：https://github.com/chaytonmin/Off-Road-Freespace-Detection。

主要工作與貢獻(xiàn)

我們開源了第一個越野場景可通行區(qū)域檢測數(shù)據(jù)集ORFD，包括草原、林地、農(nóng)田和鄉(xiāng)村道路等不同場景道路，覆蓋晴天、雨天、霧天和雪天等不同無人車行駛天氣狀況，包含強(qiáng)光、日光、微光和黑暗等光照條件。

我們提出了一個越野場景可通行區(qū)域檢測基準(zhǔn)算法OFF-Net，采用Transformer結(jié)構(gòu)聚合全局信息，設(shè)計(jì)cross-attention自適應(yīng)挖掘點(diǎn)云和圖像的多模態(tài)信息。

我們的越野場景可通行區(qū)域檢測數(shù)據(jù)集ORFD和算法基準(zhǔn)OFF-Net，有助于提高無人車在越野場景的自主行使能力。

算法流程

城市場景道路和越野場景道路對比

圖1 （a） 城市場景道路有清晰的道路邊界 （b）越野場景可通行區(qū)域難以準(zhǔn)確定義。

數(shù)據(jù)采集裝置

圖2 越野場景可通行區(qū)域檢測數(shù)據(jù)集ORFD采集裝置：Pandora 40線的激光雷達(dá)，相機(jī)和激光雷達(dá)一體。聯(lián)合標(biāo)注激光雷達(dá)和相機(jī)。

越野場景可通行區(qū)域檢測數(shù)據(jù)集ORFD

圖3 越野場景可通行區(qū)域檢測數(shù)據(jù)集ORFD，包括草原、林地、農(nóng)田和鄉(xiāng)村道路等不同場景道路，覆蓋晴天、雨天、霧天和雪天等不同無人車行駛天氣狀況，包含強(qiáng)光、日光、微光和黑暗等光照條件。采集了30段道路數(shù)據(jù)，一共有12198幀激光雷達(dá)點(diǎn)云和圖像對數(shù)據(jù)。在圖像視角進(jìn)行了標(biāo)注，包含三種類別：可通行區(qū)域、不可通行區(qū)域和不可到達(dá)區(qū)域（如天空）。

數(shù)據(jù)集劃分

越野場景可通行區(qū)域檢測基準(zhǔn)算法OFF-Net

圖4 提出的越野場景可通行區(qū)域檢測基準(zhǔn)算法OFF-Net。首先將激光雷達(dá)點(diǎn)云投到相機(jī)視角得到深度圖，然后計(jì)算得到法向量圖，再利用Transformer網(wǎng)絡(luò)融合法向量圖和圖像，得到道路分割結(jié)果。

實(shí)驗(yàn)結(jié)果

審核編輯：郭婷