搭建一個開源ADAS項目的步驟流程

一、項目范圍

該項目是一個高級駕駛輔助系統(tǒng)的原型，專注于感知算法（目標(biāo)檢測、車道線分割和交通標(biāo)志分類）。它提供了3個主要功能：

前方碰撞警告

車道偏離警告

交通標(biāo)志檢測及超速預(yù)警

它還提供了「有限的」虛擬硬件訪問權(quán)限，作為邁向商業(yè)產(chǎn)品的一步：

通過 LAN 中的 GPS 源的 GPS 讀取器

一個 CAN 讀取器，用于從虛擬 can 總線讀取車速和轉(zhuǎn)向信號

但是，可以使用 GPS 模塊或 CAN 轉(zhuǎn) USB 電纜收集 GPS 和 CAN 信號。我將提供一些關(guān)于如何設(shè)置這些設(shè)備的說明。

二。硬件設(shè)置

處理該項目所有輸入的中心組件是中央處理器。這臺計算機(jī)接收兩個輸入：(i) 來自相機(jī)的圖像，以及 (ii) 汽車底盤數(shù)據(jù)，例如汽車速度和轉(zhuǎn)向信號。中央處理負(fù)責(zé)處理這些輸入以在需要時發(fā)出警告。在這個項目的范圍內(nèi)，由于實驗條件有限，我們實施了一個「模擬模塊來提供相機(jī)和傳感器讀取器輸入的替代方案」。在商業(yè)產(chǎn)品中，傳感器讀取器模塊可以通過 GPS 模塊和 CAN 總線讀取器（例如 CAN 轉(zhuǎn) USB 電纜）來實現(xiàn)；可以使用 USB 攝像頭提供攝像頭輸入。

「硬件清單：」

Jetson Nano 開發(fā)者套件

Sandisk Ultra 64GB class-10 SD 卡

Wareshare 5寸液晶觸摸屏

Wareshare 8Ω 5W 喇叭

Jetson Nano 2寸5V散熱風(fēng)扇

透明外殼。

1.如何獲取汽車傳感器（速度，轉(zhuǎn)向燈）

使用 GPS 模塊

「出于開發(fā)和教育目的：」

從您的手機(jī)共享 GPS：

從 Google Play 商店下載「共享 GPS應(yīng)用程序。」

設(shè)置您的手機(jī)局域網(wǎng)地址，src/sensors/car_gps_reader.cpp并使用此應(yīng)用程序與您的 Jetson Nano 共享 GPS 信息。這樣，我們就可以獲取GPS信號，估計車速。

使用 USB GPS 接收器

「對于商業(yè)產(chǎn)品：」

查看此模塊精度：< 3m。

如何設(shè)置CAN總線以讀取車速和轉(zhuǎn)向信號

「基本信息」

在這個項目中，我們沒有在真車上設(shè)置物理 CAN 總線（只是一個使用 socket CAN 的仿真系統(tǒng)）。但是，它可以通過使用 CAN 轉(zhuǎn) USB 電纜來實現(xiàn)。

CAN總線的一些信息：

一般信息

如何侵入您的車輛？：hacking-can-bus.pdf

開源 CAN 電纜：CANtact。這將支持您將 CAN 總線連接到 linux 套接字，「我的 ADAS 源代碼已經(jīng)支持該套接字」。

硬件設(shè)計

固件：

在韓國

您還需要 OBD-II 到 DB9 電纜來連接汽車 OBD-II

一旦 CANtact 設(shè)備處理了來自車輛的 CAN 消息，它們就會通過 USB B 型端口輸出。因此，這需要 USB-B 到 USB-A 電纜：https://www.amazon.com/AmazonBasics-USB-2-0-Cable-Male/dp/B00NH11KIK

「我們在哪里可以找到要連接的 CAN 總線？」

在這個項目中，我們只使用虛擬 CAN 總線，因此項目源代碼仍然不支持與汽車 CAN 總線的真實連接。不幸的是，雖然 CAN 總線是汽車行業(yè)的標(biāo)準(zhǔn)，但如果您想找到您的 can 線在哪里，您通常需要查看汽車電氣圖才能找到內(nèi)部 CAN 總線。自 1996 年以來，有一個名為 OBD2 的汽車標(biāo)準(zhǔn)，可以提供一種方便的方式連接到 CAN 總線。

「OBD2接口在哪里？」

OBD-II 端口通常位于儀表板下方，方向盤柱下方（下圖中的 1 - 3）。如果端口不在轉(zhuǎn)向柱下方，請在數(shù)字 4 - 9 指示的區(qū)域中尋找端口。

「我怎樣才能反轉(zhuǎn)CAN工程并讀取速度？」

您可以使用 Wireshark 或 candump 查找車速和轉(zhuǎn)向燈在哪里。CAN總線是沒有加密的，大家可以根據(jù)下面的說明嘗試查找。

2. 如何標(biāo)定相機(jī)

將 USB 攝像頭連接到 Jetson Nano 板后，我們需要運(yùn)行 OpenADAS 軟件來校準(zhǔn)攝像頭。校準(zhǔn)實際上是基于透視變換的距離估計。這是為距離計算校準(zhǔn)相機(jī)的便捷方式。

變換參數(shù)包括從真實世界距離到鳥瞰圖像空間的米到像素映射，以及鳥瞰圖像到相機(jī)圖像之間的透視變換矩陣。為了計算這些參數(shù)，我們使用以下解決方案：在汽車前面放一塊紅地毯，測量距離 W1、W2、L1、L2。地毯應(yīng)該足夠大，并且必須對稱地放置在汽車的長軸上。

單擊設(shè)置按鈕以打開相機(jī)校準(zhǔn)。

在 UI 中輸入 L1、L2、W1、W2。

之后，通過單擊「重新拍攝照片」選擇 4 個點(diǎn)，選擇一個點(diǎn)并移動滑塊。這些點(diǎn)必須以正確的順序拾取。相機(jī)標(biāo)定后，標(biāo)定文件將被保存data/camera_calib.txt并在每次啟動程序時加載回來。

三、感知模型和算法

1. 物體檢測與交通標(biāo)志分類模型

該物體檢測模塊負(fù)責(zé)檢測前方障礙物物體，如其他車輛或行人，以及交通標(biāo)志。這些結(jié)果可用于前方碰撞預(yù)警和超速預(yù)警。為了提供這些功能，該模塊包含兩個主要組件：基于 CenterNet 的對象檢測神經(jīng)網(wǎng)絡(luò)和基于 ResNet-18 的交通標(biāo)志分類網(wǎng)絡(luò)。因此，我們將在下圖中看到 2 個深度學(xué)習(xí)模型。

1.1.使用 CenterNet 進(jìn)行目標(biāo)檢測

CenterNet 是一種簡單但高效的對象檢測模型。與其他流行的目標(biāo)檢測模型相比，CenterNet 可以非常有效地適應(yīng)速度-精度權(quán)衡。與其他流行的基于錨框的對象檢測網(wǎng)絡(luò)不同，CenterNet 依靠關(guān)鍵點(diǎn)檢測器來檢測對象的中心，然后回歸其他屬性。

CenterNet管道 「論文：」作為點(diǎn)的對象 - Xingyi Zhou、Dequan Wang、Philipp Kr?henbühlhttps://arxiv.org/abs/1904.07850。

「訓(xùn)練」

我使用 CenterNet 作者的官方存儲庫來訓(xùn)練對象檢測器（進(jìn)行了一些修改）。請閱讀此處的安裝步驟以安裝培訓(xùn)所需的環(huán)境。

「筆記：」

我建議使用 Anaconda 或 Miniconda 為每個任務(wù)創(chuàng)建一個虛擬環(huán)境。不要混合你的環(huán)境，因為我們必須使用不同的 Python 和包版本。

您「必須使用」PyTorch v0.4.1 并將其設(shè)置為此處的說明：https://github.com/xingyizhou/CenterNet/blob/master/readme/INSTALL.md。不保證其他版本有效。

我修改了官方存儲庫以使用 Berkeley DeepDrive (BDD) 數(shù)據(jù)集](https://bdd-data.berkeley.edu/)。您可以在此處克隆源代碼以開始訓(xùn)練。在我的存儲庫中，我用10個類訓(xùn)練了 CenterNet：person、、、、、、、、、和。ridercarbustruckbikemotortraffic lighttraffic signtrain

「使用 TensorRT 進(jìn)行模型優(yōu)化」

使用 PyTorch 框架訓(xùn)練 CenterNet 后，我們獲得 PyTorch 模型格式（.pth）的模型文件。為了優(yōu)化 NVIDIA Jetson Nano 上的推理速度，我們需要將這些模型轉(zhuǎn)換為 TensorRT 引擎文件。轉(zhuǎn)換是通過稱為 ONNX（開放式神經(jīng)網(wǎng)絡(luò)交換）的中間格式完成的。首先使用 PyTorch ONNX 模塊將 PyTorch 模型轉(zhuǎn)換為 ONNX 格式（步驟 1）。

之后，我們將 ONNX 模型轉(zhuǎn)換為每個推理平臺的 TensorRT 引擎（步驟 2）。因為從ONNX到TensorRT引擎的轉(zhuǎn)換時間比較長，所以在我的實現(xiàn)中，我將TensorRT引擎轉(zhuǎn)換后序列化到硬盤，每次程序啟動時加載。在此步驟中，我們必須注意 TensorRT 引擎在不同計算機(jī)硬件上的構(gòu)建方式不同。所以，

使用此存儲庫將預(yù)訓(xùn)練模型轉(zhuǎn)換為 ONNX 格式

「筆記：」

創(chuàng)建另一個虛擬環(huán)境，這與培訓(xùn)不同。這個新的 Python 環(huán)境應(yīng)該使用 Pytorch v1.0 或 v1.1。我為上面的這個轉(zhuǎn)換任務(wù)準(zhǔn)備了一個存儲庫。您可以使用此處的說明來設(shè)置您自己的環(huán)境。

您可以從該文件夾convert_to_onnx_mobilenet.py中閱讀（對于 MobileNetv2 主干）和convert_to_onnx_rescdn18.py（對于 ResNet-18 主干）中的一些轉(zhuǎn)換示例源代碼。

擁有 ONNX 模型后，轉(zhuǎn)到 OpenADAS 以更新配置文件中新對象檢測模型的路徑：src/configs/config_object_detection.h.您還可以使用此存儲庫進(jìn)行轉(zhuǎn)換。

1.2.交通標(biāo)志分類

由于「BDD 數(shù)據(jù)集」的限制——它只包含 1 類交通標(biāo)志（未指定標(biāo)志類型），我不得不訓(xùn)練另一個神經(jīng)網(wǎng)絡(luò)來識別標(biāo)志類型。由于速度和準(zhǔn)確性高，因此也選擇了「ResNet-18來完成這項任務(wù)?！?/strong>我使用 Tensorflow 和 Keras 框架訓(xùn)練了模型。

pythontrain.py

pipinstallrequirements-h5-to-uff.txt
pythonconvert_h5_to_pb.py
pythonconvert_pb_to_uff.py

pipinstallrequirements-h5-to-uff.txt
pythonconvert_h5_to_pb.py
pythonconvert_pb_to_uff.py