在目前深度學(xué)習(xí)中比較普及的“物件檢測”應(yīng)用

接下來的重點，就是在目前深度學(xué)習(xí)中比較普及的“物件檢測”應(yīng)用，重點主要有以下三部分：

1. 簡單說明“物件檢測”的內(nèi)容。

2. 使用本項目的 detecnet 物件分類指令，進(jìn)行多樣化的推理識別測試。

3. 深入說明 jetson.inference 模塊的 detectNet（） 以及相關(guān)的函數(shù)用法。

如此讓大家能快速掌握這項物件檢測功能，以及開發(fā)代碼的重點。

物件檢測（object detection）簡單說明

這是比圖像分類更進(jìn)一步的應(yīng)用，因為日常生活中，在絕大部分可看到的畫面中，不會只存在一個物體，通常是多種類別的多個物體，左圖識別出有“四個人”、右圖識別出“一個人與一匹馬”，當(dāng)然真的要細(xì)部再探索的話，還有其他類別的物體也可以被識別，這是視覺類深度學(xué)習(xí)中使用頻率最高的一種應(yīng)用。

在物件檢測的識別中，還只是比較“概略性”地將物體用“矩形框”的方式來標(biāo)識，那能不能將物體的“實際形狀”更細(xì)膩地標(biāo)識出來呢？當(dāng)然可以，這就是更高階的“語義分割”應(yīng)用，留在下一篇文章里面說明。

前面的圖像分類是以“一張圖像”為單位，這里的物件檢測則是以“物件框”為單位，因此所需要的數(shù)據(jù)集就不僅僅是圖像了，還要將圖像中所需要的類別加以標(biāo)注，然后存成特定格式之后，提供給訓(xùn)練框架去進(jìn)行模型訓(xùn)練，這是相當(dāng)耗費人力的一個過程，而且標(biāo)注的細(xì)膩程度也會對最終的精確度產(chǎn)生影響。

關(guān)于這個模型的訓(xùn)練過程，會在后面的文章中帶著大家動手做一次，這也是整個 Hello AI World 項目中的一部分，而且也提供非常好用的工具，協(xié)助大家采集數(shù)據(jù)、標(biāo)注物件框、進(jìn)行模型訓(xùn)練等。

以上就是物件檢測的簡單說明，接下去直接使用項目提供的 detectnet 指令來進(jìn)行實驗。

detectnet 指令的使用

與 imagenet 的調(diào)用邏輯是一樣的，當(dāng)系統(tǒng)編譯好之后，就生成 detectnet 指令，可以在 Jetson 設(shè)備中任何地方調(diào)用。同樣的，項目也為 detectnet 準(zhǔn)備了幾個預(yù)訓(xùn)練好的網(wǎng)絡(luò)模型，可以非常輕松地調(diào)用，預(yù)訓(xùn)練模型。

系統(tǒng)預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)是 “SSD-Mobilenet-v2”，基于 91 種分類的 COCO 數(shù)據(jù)集進(jìn)行模型訓(xùn)練，詳細(xì)的類別內(nèi)容可以參考 ~/jetson-inference/data/networks 目錄下的ssd_coco_labels.txt，事實上能識別的物件有 90 種，另外加一個 “unlabeled” 種類。

detectnet 的參數(shù)調(diào)用與 imagenet 幾乎一致，輸入源與輸出標(biāo)的的支持方式完全相同，因此我們可以執(zhí)行下面指令，直接看看得到怎樣的效果：

在執(zhí)行過程中，會看到命令終端不斷出現(xiàn)類似下圖的信息，里面顯示一些重要的信息，包括“使用的網(wǎng)絡(luò)模型文件”、“4 個執(zhí)行階段占用時間”、“檢測到滿足閾值的物件數(shù)”、“物件類別/置信度”，以及“物件位置”等信息。

detectnet 也能導(dǎo)出 RTP 視頻流到指定的電腦，詳細(xì)用法請參考前面 “Utils的videoOutput 工具”一文中有詳細(xì)說明，這個用法的實用度非常高，可以讓你將 Jetson Nano 2GB 設(shè)備放置在任何能接網(wǎng)絡(luò)的角落，不斷讀取攝像頭內(nèi)容在 Jetson 上執(zhí)行物件識別，然后將結(jié)果傳輸?shù)侥愕淖烂骐娔X或筆記本上，這樣你就可以非常輕松地進(jìn)行監(jiān)控。

輸入 “detectnet --help” 可以得到完整的幫助信息，由于內(nèi)容太多，我們在這里不占用篇幅去說明，多嘗試一些指令的組合，會讓你進(jìn)一步掌握這個指令的重點。

接下來看看如何在 Python 代碼中，調(diào)用這個項目的物件檢測函數(shù)，來開發(fā)自己的物件檢測應(yīng)用。

detectNet（）函數(shù)的用法

與前面圖像分類的邏輯一樣，作者雖然在 ~/jetson-inference/python/examples 下面提供了一個 my-detection.py 范例，這個就是我們一開始所示范的“ 10 行代碼威力”的內(nèi)容，這個范例的好處是“代碼量最少”，但對應(yīng)的缺點就是“彈性小、完整度不夠”，因此從務(wù)實的角度，我們還是推薦以 /usr/local/bin/detect.py 這只代碼為主，這只代碼能執(zhí)行的功能，與 detectnet 指令幾乎一致。

與 imagenet.py 代碼相同的，一開始有一段“參數(shù)解析”的指令，如下截圖：

這部分同樣請參考先前的“參數(shù)解析功能”文章，在這里不重復(fù)贅述。接下來我們將與物件檢測有關(guān)的指令挑出來說明，這樣可以讓讀者更加容易將焦點集中在有關(guān)的部分：

51 行：net = jetson.inference.detectNet（opt.network， sys.argv， opt.threshold）

用 jetson.inferene.detectNet（） 函數(shù)建立 net 這個物件檢測對象，與前面的 imageNet（） 的邏輯是一樣的，不過這里所輸入的參數(shù)，除了 network（網(wǎng)絡(luò)模型類別）之外，還多了一個 threshold（閾值）。因為物件檢測的功能，是要在圖像中識別出“所有可能”的物件，如果沒有一個“最低門檻”的限制，就會滿屏都是物件。

系統(tǒng)已經(jīng)給這兩個參數(shù)都提供預(yù)設(shè)值，network 預(yù)設(shè)為 “SSD-Mobilenet-v2”、threshold 預(yù)設(shè)值為 0.5。

如果要在代碼外部利用參數(shù)去改變設(shè)定，就可以如以下方式：

--network=multiped，表示要使用“Multiped-500”這個網(wǎng)絡(luò)模型

--threshold=0.3，表示將閾值改成0.3

這樣 net 對象就具備了執(zhí)行物件檢測的相關(guān)功能，然后再繼續(xù)以下的步驟。

63 行：detections = net.Detect（img， overlay=opt.overlay）

這道指令，就是將 input.Capture（） 獲取的一幀圖形，傳入 net.Detect（） 函數(shù)去執(zhí)行物件檢測的推理識別計算，另一個參數(shù) “overlay” 的功能是“檢測覆蓋”的一個標(biāo)識，只影響顯示輸出的方式，與檢測結(jié)果并沒有關(guān)系，大部分時候都不需要去改變。

這里最重要的是 detections 這個數(shù)組變量，由于每幀圖像所檢測出來物件數(shù)量是不固定的，數(shù)組的結(jié)構(gòu)在說明文件中并未完整表達(dá)，因此需要從執(zhí)行的代碼中去找到蛛絲馬跡，這個部分在下一道指令中可以找到答案。

66~69 行：

print（“detected {：d} objects in image”.format（len（detections）））

for detection in detections：

print（detection）

這部分執(zhí)行完之后，會在命令終端上顯示兩個很重要的信息：

本幀圖像所找到滿足閾值的物件數(shù)量。

前面變量detections的數(shù)據(jù)結(jié)構(gòu)。

在命令終端執(zhí)行以下指令，

看看所顯示的信息，如下截屏：

這里可以看到，代碼最后面 “l(fā)en（detections）” 的值，就是本幀圖像所檢測到的物件數(shù)量，而 detections 的數(shù)據(jù)結(jié)構(gòu)就是：

ClassID：類別編號

Confidence：置信度

Left：標(biāo)框左坐標(biāo)

Top：標(biāo)框上坐標(biāo)

Right：標(biāo)框右坐標(biāo)

Bottom：標(biāo)框下坐標(biāo)

Width：框的寬度 = Right - Left

Height：框的高度 = Bottom - Top

Area：面積 = Width x Height

Center：中心點坐標(biāo) = （ （Left+Right）/2， （Top+Bottom）/2 ）

確認(rèn)了 net.Detect（） 返回值之后，就能很輕易地以這些數(shù)據(jù)去開發(fā)滿足特定要求的應(yīng)用。

至于后面的 output.Render（img）、output.Status（） 這些函數(shù)，在前面的文章里面都講解的很清楚，這里不再重復(fù)。

到這里，要利用 Hello AI World 這個項目所提供的庫資源，去開發(fā)自己的應(yīng)用程序，就顯得非常簡單了。

編輯：jq