如何在無人機(jī)上部署YOLOv4物體檢測(cè)器

1

代碼編譯

準(zhǔn)備工作

• 推薦使用Ubuntu 18.04

• CMake >= 3.8:https://cmake.org/download/

• CUDA >= 10.0:https://developer.nvidia.com/cuda-toolkit-archive

• OpenCV >= 2.4:https://opencv.org/releases.html

• cuDNN >= 7.0 for CUDA >= 10.0https://developer.nvidia.com/rdp/cudnn-archive

• GPU with CC >= 3.0:https://en.wikipedia.org/wiki/CUDA#GPUs_supported

• GCC

Linux上編譯

下載YOLOv4源碼，推薦使用Ubuntu 18.04：

sudo apt-get install -y git

git clone https://github.com/AlexeyAB/darknet.git

配置Makefile文件中的參數(shù)，然后運(yùn)行make -j8進(jìn)行編譯，具體參數(shù)解釋如下：

• 使用uselib來運(yùn)行YOLO，輸入指令如下：LD_LIBRARY_PATH=./:$LD_LIBRARY_PATH ./uselib test.mp4

• 在自己的代碼中嵌入YOLO，請(qǐng)參考例程：https://github.com/AlexeyAB/darknet/blob/master/src/yolo_console_dll.cpp

• 運(yùn)行LD_LIBRARY_PATH=./:$LD_LIBRARY_PATH ./uselib data/coco.names cfg/yolov4.cfg yolov4.weights zed_camera

• GPU=1使用CUDA和GPU（CUDA默認(rèn)路徑為/usr/local/cuda）

• CUDNN=1使用cuDNN v5-v7加速網(wǎng)絡(luò)（cuDNN默認(rèn)路徑/usr/local/cudnn）

• CUDNN_HALF=1使用Tensor Cores（可用GPU為Titan V / Tesla V100 / DGX-2或者更新的）檢測(cè)速度3x，訓(xùn)練速度2x

• OPENCV=1使用OpenCV 4.x/3.x/2.4.x，運(yùn)行檢測(cè)視頻和攝像機(jī)

• DEBUG=1編譯調(diào)試版本

• OPENMP=1使用OpenMP利用多CPU加速

• LIBSO=1編譯darknet.so

• ZED_CAMERA=1增加ZED-3D相機(jī)的支持（需要先安裝好ZED SDK）

常見編譯問題

/bin/sh: 1: nvcc: not found

首先確保CUDA正確安裝，并且在路徑/usr/local/cuda下，然后輸入如下指令：

echo "PATH=/usr/local/cuda/bin:$PATH" >> ~/.bashrc

source ~/.bashrc

include/darknet.h10: fatal error: cudnn.h: No such file or directory

首先下載cuDNN，https://developer.nvidia.com/rdp/cudnn-archive，需要根據(jù)自己的CUDA版本選擇，然后解壓，輸入指令：

sudo cp -r cudnn-10.1-linux-x64-v7.6.5.32/cuda /usr/local/cudnn

2

運(yùn)行代碼

預(yù)訓(xùn)練模型

所有模型都是在MS-COCO數(shù)據(jù)集上訓(xùn)練，模型包括兩個(gè)文件（cfg和weights）

R表示在RTX 2070設(shè)備上的FPS，V表示在Tesla V100設(shè)備上的FPS

百度網(wǎng)盤打包下載，鏈接：https://pan.baidu.com/s/1QQPB27n18XeRDnhHA2Gxuw，提取碼：uill

• width=608 height=608:65.7 AP@0.5 | 43.5 AP@0.5:0.95 - 34(R) FPS / 62(V) FPS- 128.5 BFlops

• width=512 height=512:64.9 AP@0.5 | 43.0 AP@0.5:0.95 - 45(R) FPS / 83(V) FPS- 91.1 BFlops

• width=416 height=416:62.8 AP@0.5 | 41.2 AP@0.5:0.95 - 55(R) FPS / 96(V) FPS- 60.1 BFlops

• width=320 height=320:60.0 AP@0.5 | 38.0 AP@0.5:0.95 - 63(R) FPS / 123(V) FPS- 35.5 BFlops

• width=416 height=416:33.1 AP@0.5 - 370(R) FPS- 3.5 BFlops

• width=416 height=416:45.5 AP@0.5 - 55(R) FPS- 3.7 BFlops

• width=608 height=608:65.4 AP@0.5 | 43.2 AP@0.5:0.95 - 32(R) FPS- 100.5 BFlops

• width=608 height=608:60.6 AP@0.5 - 38(R) FPS- 141.5 BFlops

• width=416 height=416:55.3 AP@0.5 - 66(R) FPS- 65.9 BFlops

• width=416 height=416:33.1 AP@0.5 - 345(R) FPS- 5.6 BFlops

• yolov4.cfg- 245 MB:yolov4.weights

• yolov3-tiny-prn.cfg- 18.8 MB:yolov3-tiny-prn.weights

• enet-coco.cfg (EfficientNetB0-Yolov3)- 18.3 MB:enetb0-coco_final.weights

• csresnext50-panet-spp-original-optimal.cfg- 217 MB:csresnext50-panet-spp-original-optimal_final.weights

• yolov3-spp.cfg- 240 MB:yolov3-spp.weights

• yolov3.cfg- 236 MB:yolov3.weights

• yolov3-tiny.cfg- 33.7 MB:yolov3-tiny.weights

可以在如下路徑找到所有的cfg文件:darknet/cfg/

運(yùn)行指令介紹

需要將訓(xùn)練好的weights文件放到darknet根目錄下，運(yùn)行如下指令：

• 檢測(cè)單張圖像

./darknet detector test cfg/coco.data cfg/yolov4.cfg yolov4.weights -thresh 0.25

• 檢測(cè)給定路徑的單張圖像（參數(shù)最后的路徑需要寫待檢測(cè)圖像的路徑）

./darknet detector test cfg/coco.data cfg/yolov4.cfg yolov4.weights -ext_output /home/jario/Pictures/h1.jpg

• 檢測(cè)給定路徑的單個(gè)視頻

./darknet detector demo cfg/coco.data cfg/yolov4.cfg yolov4.weights -ext_output test.mp4

• 檢測(cè)給定路徑的單個(gè)視頻，并將檢測(cè)結(jié)果保存為視頻

./darknet detector demo cfg/coco.data cfg/yolov4.cfg yolov4.weights test.mp4 -out_filename res.avi

• 利用攝像機(jī)實(shí)時(shí)檢測(cè)（YOLOv4）

./darknet detector demo cfg/coco.data cfg/yolov4.cfg yolov4.weights -c 0

• 利用攝像機(jī)實(shí)時(shí)檢測(cè)（YOLOv3-Tiny）

./darknet detector demo cfg/coco.data cfg/yolov3-tiny.cfg yolov3-tiny.weights -c 0

• 在GPU1上檢測(cè)給定路徑的單個(gè)視頻

./darknet detector demo cfg/coco.data cfg/yolov3-tiny.cfg yolov3-tiny.weights -i 1 test.mp4

• 檢測(cè)列表data/train.txt中圖像，并將結(jié)果保存在result.json

./darknet detector test cfg/coco.data cfg/yolov4.cfg yolov4.weights -ext_output -dont_show -out result.json < data/train.txt

• 檢測(cè)列表data/train.txt中圖像，并將結(jié)果保存在result.txt

./darknet detector test cfg/coco.data cfg/yolov4.cfg yolov4.weights -dont_show -ext_output < data/train.txt > result.txt

3

如何訓(xùn)練

如何構(gòu)建自己的訓(xùn)練數(shù)據(jù)

下載數(shù)據(jù)集標(biāo)注工具，下載地址：(https://pan.baidu.com/s/1EE52cDStjIxsRgM_a9pWQQ) (password: 4b2q) 或者Spire Web.

數(shù)據(jù)集管理軟件github地址：https://github.com/jario-jin/spire-image-manager

打開標(biāo)注軟件 SpireImageTools_x.x.x.exe

首先點(diǎn)擊Tools->Setting...，填寫一個(gè) save path (所有的標(biāo)注文件都會(huì)存儲(chǔ)在這個(gè)文件夾中)

如果采集的數(shù)據(jù)集是視頻 (如果采集的是圖像，則調(diào)過這一步驟)，點(diǎn)擊 Input->Video， 選擇要標(biāo)注的視頻。

然后，點(diǎn)擊Tools->Video to Image

點(diǎn)擊OK 后，等待完成，結(jié)果會(huì)存儲(chǔ)在

打開需要標(biāo)注的圖像

Input->Image Dir， 找到需要標(biāo)注的圖像所在文件夾 Ctrl+A，全選，打開

點(diǎn)擊，Tools->Annotate Image->Instance Label，開始標(biāo)注圖像

在 label 中填寫待標(biāo)注目標(biāo)名稱，然后將對(duì)話框拖到一邊在主窗口中開始標(biāo)注，鼠標(biāo)滾輪放大縮小圖像，按住左鍵移動(dòng)可視圖像區(qū)域不斷點(diǎn)擊左鍵將目標(biāo)框包圍， 使用 Yolo 訓(xùn)練時(shí)，點(diǎn)擊 2 個(gè)點(diǎn)即可

標(biāo)注時(shí)，如果點(diǎn)錯(cuò)，按鼠標(biāo)右鍵可以取消 標(biāo)注完成后，如果不滿意，可以點(diǎn)擊綠色邊框(邊框會(huì)變紅，如下圖所示)，按Delete 刪除

將標(biāo)注輸出為 Yolo 格式，準(zhǔn)備訓(xùn)練

在標(biāo)注完成之后，按下 Ctrl+O

點(diǎn)擊確定后

然后將下面 4 個(gè)文件取出用于 Yolo 訓(xùn)練

開始訓(xùn)練YOLO

使用YOLOv4和YOLOv3：

1. 針對(duì)選擇的模型，下載預(yù)訓(xùn)練權(quán)重：

   百度網(wǎng)盤打包下載，鏈接：https://pan.baidu.com/s/1CNVyyjoph7YVSXGT3vjbfQ，提取碼：4usc

• 對(duì)于yolov4.cfg,yolov4-custom.cfg(162 MB):yolov4.conv.137

• 對(duì)于csresnext50-panet-spp.cfg(133 MB):csresnext50-panet-spp.conv.112

• 對(duì)于yolov3.cfg, yolov3-spp.cfg(154 MB):darknet53.conv.74

• 對(duì)于yolov3-tiny-prn.cfg , yolov3-tiny.cfg(6 MB):yolov3-tiny.conv.11

• 對(duì)于enet-coco.cfg (EfficientNetB0-Yolov3)(14 MB):enetb0-coco.conv.132

• 將cfg/yolov4-custom.cfg拷貝一份，重命名為yolov4-obj.cfg（obj可以是自定義名稱）

• 修改batch為batch=64

• 修改subdivisions為subdivisions=16

• 修改max_batches為（類別數(shù)量*2000，但不要小于4000），如訓(xùn)練3個(gè)類別max_batches=6000

• 修改steps為max_batches的0.8與0.9，如steps=4800,5400

• 修改classes=80為自定義數(shù)據(jù)集的類別數(shù)量，主要需要修改3處（3個(gè)[yolo]層）：

• https://github.com/AlexeyAB/darknet/blob/0039fd26786ab5f71d5af725fc18b3f521e7acfd/cfg/yolov3.cfg#L610

• https://github.com/AlexeyAB/darknet/blob/0039fd26786ab5f71d5af725fc18b3f521e7acfd/cfg/yolov3.cfg#L696

• https://github.com/AlexeyAB/darknet/blob/0039fd26786ab5f71d5af725fc18b3f521e7acfd/cfg/yolov3.cfg#L783

• 修改filters=255為filters=(classes+5)x3，在3個(gè)[yolo]層的前一個(gè)[convolutional]層，分別為：

• https://github.com/AlexeyAB/darknet/blob/0039fd26786ab5f71d5af725fc18b3f521e7acfd/cfg/yolov3.cfg#L603

• https://github.com/AlexeyAB/darknet/blob/0039fd26786ab5f71d5af725fc18b3f521e7acfd/cfg/yolov3.cfg#L689

• https://github.com/AlexeyAB/darknet/blob/0039fd26786ab5f71d5af725fc18b3f521e7acfd/cfg/yolov3.cfg#L776

• 如果使用[Gaussian_yolo]層，修改filters=57為filters=(classes+9)x3，在3個(gè)[Gaussian_yolo]層的前一個(gè)[convolutional]層，分別為：

• https://github.com/AlexeyAB/darknet/blob/6e5bdf1282ad6b06ed0e962c3f5be67cf63d96dc/cfg/Gaussian_yolov3_BDD.cfg#L604

• https://github.com/AlexeyAB/darknet/blob/6e5bdf1282ad6b06ed0e962c3f5be67cf63d96dc/cfg/Gaussian_yolov3_BDD.cfg#L696

• https://github.com/AlexeyAB/darknet/blob/6e5bdf1282ad6b06ed0e962c3f5be67cf63d96dc/cfg/Gaussian_yolov3_BDD.cfg#L789

• 例如，如果classes=1，則filters=18；如果classes=2，則filters=21。注意：不要在cfg文件中直接寫:filters=(classes+5)x3)

• 在darknet/data路徑下創(chuàng)建obj.names，其中每一行是一個(gè)目標(biāo)類別名稱

• 將數(shù)據(jù)集標(biāo)注得到的文件Yolo_categories.names重命名為obj.names，并放到darknet/data下

• 在darknet/data路徑下創(chuàng)建obj.data：

  教程 darknet 路徑為/home/user/darknet，本文以此為例，請(qǐng)根據(jù)自己的路徑進(jìn)行修改。在 /home/user/darknet/cfg/ 文件夾下新建一個(gè)文件，名字叫 obj.data 在里面寫入：

classes = 1

train = /home/user/darknet/data/coco/Yolo_20180908_234114.txt

valid = /home/user/darknet/data/coco/Yolo_20180908_234114.txt

names = data/obj.names

backup = backup

eval = coco

注意：classes 為類別數(shù)量，對(duì)于單類檢測(cè)問題，寫 1

5. 將圖像文件（.jpg）與標(biāo)注文件放入到如下路徑darknetdatacoco路徑下

• 將scaled_images里的圖像拷貝到/home/user/darknet/data/coco/images/train下

• 將Yolo_labels里的標(biāo)注文件拷貝到/home/user/darknet/data/coco/images/train下

• 將Yolo_20180908_234114.txt拷貝到/home/user/darknet/data/coco下

6. 開始訓(xùn)練

• 訓(xùn)練指令：./darknet detector train data/obj.data cfg/yolo-obj.cfg yolov4.conv.137

  （對(duì)于最新100次迭代的最新權(quán)重yolo-obj_last.weights會(huì)保存在darknetackup）

  （對(duì)于每1000次迭代的權(quán)重yolo-obj_xxxx.weights會(huì)保存在darknetackup）

  （關(guān)閉Loss的顯示窗口./darknet detector train data/obj.data cfg/yolo-obj.cfg yolov4.conv.137 -dont_show）

  （通過瀏覽器查看訓(xùn)練過程./darknet detector train data/obj.data yolo-obj.cfg yolov4.conv.137 -dont_show -mjpeg_port 8090 -map，然后打開Chrome瀏覽器，輸入http://ip-address:8090）

  （如果需要在訓(xùn)練中計(jì)算mAP，每4期計(jì)算一次，需要在obj.data文件中設(shè)置valid=valid.txt，運(yùn)行：./darknet detector train data/obj.data yolo-obj.cfg yolov4.conv.137 -map）

7. 訓(xùn)練結(jié)束，結(jié)果保存在darknetackupyolo-obj_final.weights

• 如果訓(xùn)練中斷，可以選擇一個(gè)保存的權(quán)重繼續(xù)訓(xùn)練，使用./darknet detector train data/obj.data yolo-obj.cfg backupyolo-obj_2000.weights

注意：在訓(xùn)練中，如果avg（loss）出現(xiàn)nan，則訓(xùn)練出了問題，如果是其他字段出現(xiàn)nan，這種情況是正常的。注意：如果需要改變cfg文件中的width=或height=，新的數(shù)字需要被32整除。注意：訓(xùn)練完成后，檢測(cè)指令為：./darknet detector test data/obj.data yolo-obj.cfg yolo-obj_8000.weights。注意：如果出現(xiàn)Out of memory，需要修改cfg文件中的subdivisions=16為32或64。

訓(xùn)練YOLOv3-Tiny

訓(xùn)練YOLOv3-Tiny與選了YOLOv4、YOLOv3基本相同，主要有以下小區(qū)別：

1. 下載yolov3-tiny預(yù)訓(xùn)練權(quán)重，運(yùn)行命令./darknet partial cfg/yolov3-tiny.cfg yolov3-tiny.weights yolov3-tiny.conv.15 15

2. 新建自定義cfg文件yolov3-tiny-obj.cfg（可以復(fù)制cfg/yolov3-tiny.cfg為yolov3-tiny-obj.cfg）

3. 運(yùn)行訓(xùn)練命令：./darknet detector train data/obj.data yolov3-tiny-obj.cfg yolov3-tiny.conv.15

多GPU訓(xùn)練

1. 首先在1塊GPU上訓(xùn)練1000次./darknet detector train cfg/coco.data cfg/yolov4.cfg yolov4.conv.137

2. 停止訓(xùn)練，使用權(quán)重darknet/backup/yolov4_1000.weights，在多塊GPU上訓(xùn)練，運(yùn)行./darknet detector train cfg/coco.data cfg/yolov4.cfg /backup/yolov4_1000.weights -gpus 0,1,2,3

注意：如果出現(xiàn)nan，應(yīng)該降低學(xué)習(xí)率，如4塊GPUlearning_rate=0.00065（learning_rate=0.00261/GPUs），還應(yīng)該增加cfg文件中的burn_in=為原先的4x，如burn_in=4000

訓(xùn)練常見程序問題

注意：如果出現(xiàn)如下錯(cuò)誤

需要修改源碼/home/user/darknet/src/data.c將如下代碼

list *get_paths(char *filename)

{

char *path;

FILE *file = fopen(filename, "r"); if(!file) file_error(filename); list *lines = make_list(); while((path=fgetl(file))) { list_insert(lines, path); } fclose(file); return lines;}

修改為：

void ltrim(char *s)

{

char *p; p = s;

while (*p == ' ' || *p == ' ' || *p == ' ') { p++; } strcpy(s,p);

}

void rtrim(char *s)

{

int i;

i = strlen(s) - 1;

while ((s[i] == ' ' || s[i] == ' ' || s[i] == ' ') && i >= 0 ) { i--; } s[i+1] = '';

}

void _trim(char *s)

{

ltrim(s);

rtrim(s);

}

list *get_paths(char *filename)

{

char *path;

FILE *file = fopen(filename, "r"); if(!file) file_error(filename); list *lines = make_list(); while((path=fgetl(file))) {

_trim(path); list_insert(lines, path);

}

fclose(file); return lines;

}

保存，make -j8重新編譯 下面為正常訓(xùn)練時(shí)畫面

何時(shí)應(yīng)該停止訓(xùn)練

通常情況下，為每個(gè)類別迭代2000次是足夠的，且總的迭代次數(shù)不能低于4000次。但是如果想要更加精確的停止時(shí)間，可以參考以下說明：

1. 在訓(xùn)練過程中，你會(huì)看到一系列訓(xùn)練誤差，當(dāng)0.XXXXXXX avg這個(gè)參數(shù)不再下降時(shí)，就該停止訓(xùn)練了

Region Avg IOU: 0.798363, Class: 0.893232, Obj: 0.700808, No Obj: 0.004567, Avg Recall: 1.000000, count: 8 Region Avg IOU: 0.800677, Class: 0.892181, Obj: 0.701590, No Obj: 0.004574, Avg Recall: 1.000000, count: 89002: 0.211667,0.60730 avg, 0.001000 rate, 3.868000 seconds, 576128 images Loaded: 0.000000 seconds

• 9002- 迭代數(shù)量（batch數(shù)量）

• 0.60730 avg- 平均損失（誤差），越低越好

如果發(fā)現(xiàn)0.XXXXXXX avg在很多次迭代后都不再降低，則是時(shí)候該停止訓(xùn)練了。最終的平均損失從0.05（對(duì)于小模型和簡(jiǎn)單訓(xùn)練數(shù)據(jù)）到3.0（對(duì)于大模型和復(fù)雜訓(xùn)練數(shù)據(jù)）不等。

2. 當(dāng)訓(xùn)練停止之后，可以從darknetackup中取出最新保存的訓(xùn)練權(quán)重.weights，并選擇它們中檢測(cè)效果最好的

例如，當(dāng)訓(xùn)練9000次停止后，效果最好的模型可能是之前保存權(quán)重中的一個(gè)（7000,8000,9000），這是因?yàn)檫^擬合（Overfiting）現(xiàn)象。過擬合的表現(xiàn)可以解釋為，在訓(xùn)練圖像上檢測(cè)效果很好，但是在其他圖像上效果不佳，這時(shí)候就該盡早停止訓(xùn)練（早停點(diǎn)）。

2.1 首先，你需要在obj.data中指定驗(yàn)證數(shù)據(jù)集valid=valid.txt，如果你沒有準(zhǔn)備驗(yàn)證數(shù)據(jù)集，可以簡(jiǎn)單的復(fù)制data rain.txt為datavalid.txt。

2.2 如果你在迭代9000次之后停止訓(xùn)練，驗(yàn)證之前的模型權(quán)重可以使用如下命令：

• ./darknet detector map data/obj.data cfg/yolo-obj.cfg backupyolo-obj_7000.weights

• ./darknet detector map data/obj.data cfg/yolo-obj.cfg backupyolo-obj_8000.weights

• ./darknet detector map data/obj.data cfg/yolo-obj.cfg backupyolo-obj_9000.weights

然后對(duì)比每個(gè)權(quán)重（7000,8000,9000）最后一行輸出，選擇mAP（mean average precision）最高權(quán)重，或者對(duì)比IoU（intersect over union）進(jìn)行選擇。

例如，yolo-obj_8000.weights的mAP最高，則使用這個(gè)權(quán)重?；蛘咴谟?xùn)練時(shí)加上-map參數(shù)：

./darknet detector train data/obj.data cfg/yolo-obj.cfg yolov4.conv.137 -map

結(jié)果如下圖所示，mAP每4期（Epoch）通過obj.data中設(shè)置的驗(yàn)證集valid=valid.txt上計(jì)算一次（1期=train_txt中圖像數(shù)量 / batch次迭代）。

運(yùn)行訓(xùn)練好的模型，進(jìn)行目標(biāo)檢測(cè)，執(zhí)行：

./darknet detector test data/obj.data cfg/yolo-obj.cfg yolo-obj_8000.weights

如何提升檢測(cè)效果

訓(xùn)練之前提升檢測(cè)效果的技巧

• 設(shè)置.cfg文件中random=1，可以使用多分辨率輸入增加檢測(cè)效果：link

• 在.cfg文件中增加網(wǎng)絡(luò)的輸入分辨率（設(shè)置任意可以被32整除的數(shù)字，如，height=608，width=608），可以增加精度

• 檢查圖像每個(gè)目標(biāo)是否都被標(biāo)記，圖像中的所有目標(biāo)都必須被正確標(biāo)記，推薦使用數(shù)據(jù)管理工具檢查：spire-image-manager

• Loss很大，mAP很低，是不是訓(xùn)練錯(cuò)了？在訓(xùn)練中使用-show_imgs參數(shù)，能夠可視化目標(biāo)框真值，檢查數(shù)據(jù)集是否出了問題。

• 對(duì)于每一個(gè)你要檢測(cè)的物體，在訓(xùn)練數(shù)據(jù)集中至少需要有一個(gè)實(shí)例與之相似，包括：形狀、物體側(cè)面、相對(duì)大小、旋轉(zhuǎn)角度、傾斜方位角、光照等。因此，你的訓(xùn)練數(shù)據(jù)集需要包含具有不同對(duì)象屬性的圖像：比例、旋轉(zhuǎn)、光照、不同側(cè)面、不同背景等。建議對(duì)每一類物體收集2000張不同圖像，并迭代訓(xùn)練2000*類別數(shù)量次。

• 推薦在訓(xùn)練數(shù)據(jù)集中包含帶有不希望檢測(cè)的非標(biāo)記目標(biāo)的圖像。負(fù)樣本圖像不需要方框標(biāo)記（空.txt文件），越多越好。

• 標(biāo)注目標(biāo)的最佳方式是：僅標(biāo)注物體的可見部分，或標(biāo)注物體的可見和重疊部分，或標(biāo)注比整個(gè)物體稍多一點(diǎn)的部分（有一點(diǎn)間隙），標(biāo)注你想讓檢測(cè)器檢測(cè)的部分。

• 如果單幅圖像中的物體很多，需要在[yolo]層或[region]層中修改參數(shù)max=200或者更高（全局最大目標(biāo)檢測(cè)數(shù)量為0,0615234375*(width*height)）。

如果想要檢測(cè)小目標(biāo)（圖像被縮放到416*416后，小于16*16的目標(biāo)）

• 全模型 - 5個(gè)yolo層：https://raw.githubusercontent.com/AlexeyAB/darknet/master/cfg/yolov3_5l.cfg

• 小模型 - 3個(gè)yolo層：https://raw.githubusercontent.com/AlexeyAB/darknet/master/cfg/yolov3-tiny_3l.cfg

• YOLOv4 - 3個(gè)yolo層：https://raw.githubusercontent.com/AlexeyAB/darknet/master/cfg/yolov4-custom.cfg

• train_network_width * train_obj_width / train_image_width ~= detection_network_width * detection_obj_width / detection_image_width

• train_network_height * train_obj_height / train_image_height ~= detection_network_height * detection_obj_height / detection_image_height

也就是，對(duì)于測(cè)試數(shù)據(jù)集中的每個(gè)物體，訓(xùn)練數(shù)據(jù)集中必須至少有一個(gè)具有相同類與大約相同相對(duì)大小的物體。如果訓(xùn)練數(shù)據(jù)中僅有占圖像面積80-90%的物體，則訓(xùn)練后的網(wǎng)絡(luò)不能夠檢測(cè)占圖像面積1-10%的物體。

• 在https://github.com/AlexeyAB/darknet/blob/6f718c257815a984253346bba8fb7aa756c55090/cfg/yolov4.cfg#L895修改`layers= 23`

• 在https://github.com/AlexeyAB/darknet/blob/6f718c257815a984253346bba8fb7aa756c55090/cfg/yolov4.cfg#L892修改`stride=4`

• 在https://github.com/AlexeyAB/darknet/blob/6f718c257815a984253346bba8fb7aa756c55090/cfg/yolov4.cfg#L989修改`stride=4`

• 如果想要同時(shí)檢測(cè)大目標(biāo)與小目標(biāo)，可以使用修改模型：

• 如果你訓(xùn)練的數(shù)據(jù)類別需要區(qū)分左右目標(biāo)（如檢測(cè)左右手，交通信號(hào)中的左右方向），則不能使用左右翻轉(zhuǎn)圖像增強(qiáng)，在cfg文件中設(shè)置flip=0:https://github.com/AlexeyAB/darknet/blob/3d2d0a7c98dbc8923d9ff705b81ff4f7940ea6ff/cfg/yolov3.cfg#L17

• 一般規(guī)則 - 您的訓(xùn)練數(shù)據(jù)集應(yīng)包含待檢測(cè)目標(biāo)的相對(duì)大小的集合：

• 如果想加速訓(xùn)練（損失檢測(cè)精度），可以在cfg文件layer-136中設(shè)置參數(shù)stopbackward=1

• 注意物體的模型、側(cè)面、光照、尺度、方位角等屬性，從神經(jīng)網(wǎng)絡(luò)的內(nèi)部角度來看，這些是不同的物體。因此，你想檢測(cè)的物體越多，就應(yīng)該使用越復(fù)雜的網(wǎng)絡(luò)模型。

• 如果想要外包矩形框更加精確，可以在[yolo]層中增加3個(gè)參數(shù)：ignore_thresh=.9 iou_normalizer=0.5 iou_loss=giou，這會(huì)增加mAP@0.9，同時(shí)降低mAP@0.5。

• 如果你比較熟悉檢測(cè)網(wǎng)絡(luò)了，可以重新計(jì)算自定義數(shù)據(jù)集的錨框（Anchor）：./darknet detector calc_anchors data/obj.data -num_of_clusters 9 -width 416 -height 416，然后設(shè)置cfg文件中3個(gè)[yolo]層9個(gè)錨框。同時(shí)需要改變每個(gè)[yolo]層中的錨框索引mask=，第一層有大于60*60的錨框，第二層有大于30*30的錨框，第三層相同。也需要改變每個(gè)[yolo]層之前的filters=(classes + 5)*。如果許多計(jì)算出的錨框不適合在適當(dāng)?shù)膶酉?- 那么就嘗試使用默認(rèn)錨框。

訓(xùn)練之后提升檢測(cè)效果的技巧

• 增加cfg文件中網(wǎng)絡(luò)輸入的分辨率，如，height=608，width=608，或height=832，width=832，這樣可以檢測(cè)更小的目標(biāo)。

4

如何將訓(xùn)練好的模型部署到無人機(jī)上

TX2上的準(zhǔn)備工作

• 推薦使用Ubuntu 18.04（可以使用JetPack刷機(jī)）

• CMake >= 3.8:https://cmake.org/download/

• CUDA >= 10.0:https://developer.nvidia.com/cuda-toolkit-archive

• cuDNN >= 7.0 for CUDA >= 10.0https://developer.nvidia.com/rdp/cudnn-archive

• OpenCV >= 2.4:https://opencv.org/releases.html

• GCC

• ROS Melodic:http://wiki.ros.org/melodic/Installation

使用JetPack為TX2安裝CUDA與cuDNN

• 下載JetPack，地址：https://developer.nvidia.com/embedded/jetpack

• 進(jìn)入 sdkmanager-[version].[build].deb 所在的路徑，其中version和build代表相應(yīng)各自的編號(hào)，安裝Debian包:

sudo apt install ./sdkmanager-[version].[build].deb

• 安裝好之后，在Terminal中輸入

sdkmanager

• 在 Product Category 中選擇 Jetson.

• 在 Hardware Configuration 中選擇 target hardware(Jetson TX2)，勾掉host machine

• 在 Target Operating System 中選擇 JetPack 的版本.

• 點(diǎn)擊CONTINUE進(jìn)入下一步

• 使用NVIDIA賬號(hào)登錄

• 選擇開發(fā)環(huán)境

• 檢查下載組件（如果僅安裝CUDA和cuDNN，則只勾選紅圈內(nèi)的選項(xiàng)）、選擇存儲(chǔ)路徑以及接收條款

• 保證Host計(jì)算機(jī)與TX2在同一局域網(wǎng)內(nèi)，輸入TX2的IP地址就可以安裝

部署Darknet-ROS

• 下載darknet_ros源碼

cd ~

cd catkin_ws/src

git clone --recursive https://github.com/leggedrobotics/darknet_ros.git

cd ../

• 編譯

catkin_make -DCMAKE_BUILD_TYPE=Release

• 將訓(xùn)練好的cfg和weights加載到darknet_ros中

將/home/user/darknet/cfg/yolov3-tiny.cfg和/home/user/darknet/backup中剛剛訓(xùn)練好的參數(shù) 分別拷貝到/home/user/catkin_ws/src/darknet_ros/darknet_ros/yolo_network_config中的cfg和weights兩個(gè)文件夾中 在/home/user/catkin_ws/src/darknet_ros/darknet_ros/config文件夾中新建yolov3-tiny-obj.yaml

里面寫入

yolo_model:

config_file:

name: yolov3-tiny-obj.cfg

weight_file:

name: yolov3-tiny-obj.weights

threshold:

value: 0.3

detection_classes:

names:

- drone

注意，在yolov3-tiny-obj.yaml文件中，需要指定剛才拷貝的cfg和weights文件以及names為自己訓(xùn)練的類別

在/home/user/catkin_ws/src/darknet_ros/darknet_ros/launch文件夾中，復(fù)制一份darknet_ros.launch，重命名為obj_det.launch修改里面的

為

注意：這正式剛才編寫的yaml文件

roslaunch darknet_ros obj_det.launch

注意：進(jìn)行檢測(cè)，需要先打開一個(gè)ros_web_cam節(jié)點(diǎn)，以提供攝像頭數(shù)據(jù)

最后，給一張YOLOv4檢測(cè)結(jié)果的樣張吧