NVIDIA Jetson 機(jī)器學(xué)習(xí)項(xiàng)目之影像對象偵測

Jetson Inference范例是NVIDIA 提供給Jetson系列的邊緣裝置進(jìn)行視覺影像識別的范例，主要的特色在于這些范例都特別強(qiáng)調(diào)以NVIDIA Jetson系列邊緣裝置內(nèi)的GPU進(jìn)行運(yùn)算，在實(shí)測上也的確發(fā)揮了很好的影像識別效果，尤其在對象偵測(Object Detection)所使用的Detectnet范例更有效率的辨識效能。

RealSense D435則是Intel推出的RealSense系列產(chǎn)品之一，這系列的產(chǎn)品主要是以輸出影像深度信息(測距)的應(yīng)用為主，RealSense D435透過光學(xué)測距的方式進(jìn)行深度信息的探測，在應(yīng)用上有著不錯(cuò)的探測效果。

影像對象偵測一直都是影像深度學(xué)習(xí)的重要應(yīng)用之一，透過神經(jīng)網(wǎng)絡(luò)對于對象(Object)的種類進(jìn)行辨識進(jìn)而確認(rèn)對象在影像中的直角坐標(biāo)位置，在辨識上僅能確認(rèn)對象的影像方位，這樣的影像對象偵測由于缺少了對象與攝影機(jī)的相對距離，因此在更進(jìn)一步的應(yīng)用上便會(huì)受到一些局限，例如：透過影像信息控制機(jī)械手臂，自動(dòng)夾取指定的物品、自駕車或無人飛行器精確的回避障礙物或跟蹤控制。

因此本文將著重在對象與攝影機(jī)的相對距離應(yīng)用在影像對象偵測的實(shí)作教學(xué)上，希望能夠透過這樣的實(shí)作教學(xué)讓每個(gè)使用者可以進(jìn)一步的針對影像對象偵測進(jìn)行測量距離，這次采用的微電腦平臺(tái)是NVIDIA Jetson Nano 4GB嵌入式系統(tǒng)，與Intel的影像深度攝影機(jī)Realsense D435兩者進(jìn)行整合，本文針對NVIDIA的GStreamer技術(shù)進(jìn)行簡介，主要是因?yàn)镹VIDIA的Jetson Inference相關(guān)應(yīng)用，都是透過GStreamer進(jìn)行影像數(shù)據(jù)的交換傳輸，透過GStreamer可以有效提升圖像處理的效能。

一、Jetson Inference應(yīng)用程序操作環(huán)境的安裝與設(shè)定

Jetson Inference程序操作環(huán)境的設(shè)定主要是會(huì)完成三個(gè)環(huán)境更新安裝與設(shè)定，分別是：

1.Python程序的相依套件程序安裝(如：Pytroch等)

2.Python程序的編譯與路徑參數(shù)設(shè)定

3.影像識別相關(guān)預(yù)訓(xùn)練神經(jīng)模型的安裝

/有關(guān)Jetson Inference程序的安裝與設(shè)定，請參考之前的文章。--小編/

本文所采用的主要的是detectnet這個(gè)范例應(yīng)用為主，因此若使用者對于安裝空間有所斟酌的話，請優(yōu)先完成這部分的安裝，請注意，本文建議盡可能將detectnet所需要用到的預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型全部安裝，這樣可以避免未來在應(yīng)用時(shí)產(chǎn)生補(bǔ)充安裝模型的問題。此外這里的安裝會(huì)需要從網(wǎng)絡(luò)下載大量程序與檔案，因此請務(wù)必確認(rèn)網(wǎng)絡(luò)傳輸環(huán)境在長時(shí)間運(yùn)作下，能夠正常傳輸。

Jetson Inference的范例程序運(yùn)作，主要是透過CUDA連結(jié)GPU的方式進(jìn)行Tensor-RT的運(yùn)算，也由于是透過GPU進(jìn)行運(yùn)算，在操作影像識別的神經(jīng)網(wǎng)絡(luò)運(yùn)算時(shí)有著較佳的運(yùn)作效能。透過GStreamer進(jìn)行影像串流的處理，可以有效提升影像傳輸?shù)男?，在Jetson Inference的神經(jīng)網(wǎng)絡(luò)運(yùn)算時(shí)，也都是以GStreamer的方式進(jìn)行影像數(shù)據(jù)的傳遞。

透過上述這兩方面的技術(shù)的整合，對于影像對象偵測是有非常重要的貢獻(xiàn)，根據(jù)實(shí)測在進(jìn)行detectnet程序運(yùn)作的時(shí)候，整體約莫會(huì)有25FPS的操作效能，這歸功于CUDA有效連結(jié)了GPU進(jìn)行運(yùn)算產(chǎn)生的效益。

二、intel Realsense D435深度影像應(yīng)用程序操作環(huán)境的安裝與設(shè)定

Realsense相關(guān)應(yīng)用程序操作環(huán)境的安裝與設(shè)定主要是針對以下三個(gè)事項(xiàng)進(jìn)行設(shè)定，分別是：

1.Python相依套件的安裝

2.Realsense應(yīng)用程序的編譯與路徑設(shè)定

3.Realsense-viewer或Python程序的安裝

/有關(guān)Realsense程序的安裝與設(shè)定，請參考之前的文章進(jìn)行安裝即可。--小編/

Realsense的影像信息其格式必須經(jīng)過numpy套件程序的轉(zhuǎn)換處理才能呈現(xiàn)實(shí)時(shí)影像，這部分的介紹將會(huì)在后續(xù)的介紹當(dāng)中，透過片段程序的進(jìn)行重點(diǎn)說明，Realsense在運(yùn)作的時(shí)候基本上會(huì)有兩種不同內(nèi)容的影像輸出，一個(gè)是標(biāo)準(zhǔn)RGB的影像輸出，另一個(gè)具有深度信息的影像輸出，這兩個(gè)影像在應(yīng)用時(shí)必須要注意「影像信息對齊」，這主要的原因在于兩種影像在擷取的時(shí)候可能會(huì)有兩種不同的分辨率的設(shè)定。在實(shí)際的硬件規(guī)格當(dāng)中亦可以看出這兩種影像分辨率的極限的確有所不同。

Intel Realsense D435原廠網(wǎng)站資料

https://www.intelrealsense.com/depth-camera-d435/

三、系統(tǒng)架構(gòu)圖

從上圖可知，Realsense D435要透過Numpy套件程序才能將影像信息轉(zhuǎn)換成OpenCV格式進(jìn)行后續(xù)的圖像處理，如：繪邊界框、標(biāo)注文字與實(shí)時(shí)影像顯示等，而要進(jìn)行Jetson Inference的detectnet運(yùn)算之前，亦必須先透過CUDA轉(zhuǎn)換數(shù)據(jù)將OpenCV格式轉(zhuǎn)換成GStreamer格式才能進(jìn)行detectnet神經(jīng)網(wǎng)絡(luò)運(yùn)算，之后再將detectnet辨識后的結(jié)果，如：邊界框位置信息、對象種類名稱，加入至RGB影像訊息內(nèi)容中，最后與深度影像信息進(jìn)行對齊，如此便可以O(shè)penCV進(jìn)行整合后的影像呈現(xiàn)。

四、程序設(shè)計(jì)說明

<匯入相關(guān)套件>

1.JetsonInference 相關(guān)套件

主要有inference、jetson.utils

2.Realsense相關(guān)套件

主要是pyrealsense2

3.OpenCV相關(guān)套件

主要是cv2

4.Numpy數(shù)值運(yùn)算相關(guān)套件

主要是numpy

#!/usr/bin/python3

#

#Copyright (c) 2021, Cavedu. All rights reserved.

#

importjetson.inference

importjetson.utils

importargparse

importsys

importos

importcv2

importre

importnumpy as np

importio

importtime

importjson

importrandom

importpyrealsense2 as rs1234567891011121314151617181920212223242526

<程序外部參數(shù)設(shè)定>

1.–network指定預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型

2.–threshold設(shè)定影像辨識閥值(多少以上才進(jìn)行顯示)

3.–width 設(shè)定影像寬度

4.–height設(shè)定影像高度

# parsethe command line

parser =argparse.ArgumentParser(description="Locate objects in a live camerastream using an object detection DNN.",

formatter_class=argparse.RawTextHelpFormatter,epilog=jetson.inference.detectNet.Usage() +

jetson.utils.logUsage())

parser.add_argument("--network",type=str, default="ssd-mobilenet-v2",

help="pre-trained modelto load (see below for options)")

parser.add_argument("--threshold",type=float, default=0.5,

help="minimum detectionthreshold to use")

parser.add_argument("--width",type=int, default=640,

help="set width forimage")

parser.add_argument("--height",type=int, default=480,

help="set height forimage")

opt =parser.parse_known_args()[0]12345678910111213141516171819

設(shè)定jetson.inference的神經(jīng)網(wǎng)絡(luò)運(yùn)算為detectnet，并且透過opt.network的外部參數(shù)進(jìn)行設(shè)定預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型。

# loadthe object detection network

net =jetson.inference.detectNet(opt.network, sys.argv, opt.threshold)123

設(shè)定Realsense套件的起始條件，并且啟動(dòng)Realsense套件程序。

#Configure depth and color streams

pipeline= rs.pipeline()

config =rs.config()

config.enable_stream(rs.stream.depth,opt.width, opt.height, rs.format.z16, 30)

config.enable_stream(rs.stream.color,opt.width, opt.height, rs.format.bgr8, 30)

# Startstreaming

pipeline.start(config)12345678910

由于啟動(dòng)本程序會(huì)進(jìn)行大量運(yùn)算，而使微電腦的核心產(chǎn)生高熱，因此透過本行程序啟動(dòng)散熱風(fēng)扇進(jìn)行降溫。

os.system("sudosh -c 'echo 128 > /sys/devices/pwm-fan/target_pwm'")1

讀取Realsense D435影像內(nèi)容并且透過Numpy將數(shù)據(jù)轉(zhuǎn)成OpenCV格式。

depth_image：深度影像信息

show_img：BGR影像信息

press_key= 0

while(press_key==0):

# Waitfor a coherent pair of frames: depth and color

frames = pipeline.wait_for_frames()

depth_frame = frames.get_depth_frame()

color_frame = frames.get_color_frame()

if not depth_frame or not color_frame:

continue

#Convert images to numpy arrays

depth_image =np.asanyarray(depth_frame.get_data())

show_img =np.asanyarray(color_frame.get_data())12345678910111213141516

透過CUDA進(jìn)行OpenCV的BGR影像格式轉(zhuǎn)換，并且將影像格式調(diào)整適用于神經(jīng)網(wǎng)絡(luò)運(yùn)算的GStreamer格式(img)。

#convert to CUDA (cv2 images are numpy arrays, in BGR format)

bgr_img =jetson.utils.cudaFromNumpy(show_img, isBGR=True)

#convert from BGR -> RGB

img =jetson.utils.cudaAllocMapped(width=bgr_img.width,height=bgr_img.height,format='rgb8')

jetson.utils.cudaConvertColor(bgr_img,img)12345678910

將img影像信息傳入神經(jīng)網(wǎng)絡(luò)進(jìn)行運(yùn)算，并將結(jié)果存在detections中。

# detectobjects in the image (with overlay)

detections = net.Detect(img)123

取得所有detections中所有已辨識出來的對象種類與位置信息。

box_XXXXX：邊界框坐標(biāo)

score：辨識信心分?jǐn)?shù)

label_name：對象種類名稱

for numin range(len(detections)) :

score =round(detections[num].Confidence,2)

box_top=int(detections[num].Top)

box_left=int(detections[num].Left)

box_bottom=int(detections[num].Bottom)

box_right=int(detections[num].Right)

box_center=detections[num].Center

label_name =net.GetClassDesc(detections[num].ClassID)12345678

透過OpenCV進(jìn)行每個(gè)被辨識出來的對象其邊界框繪制、中心準(zhǔn)線繪制與標(biāo)注辨識結(jié)果內(nèi)容文字。

point_distance=0.0

for i inrange (10):

point_distance = point_distance +depth_frame.get_distance(int(box_center[0]),int(box_center[1]))

point_distance= np.round(point_distance / 10, 3)

distance_text= str(point_distance) + 'm'

cv2.rectangle(show_img,(box_left,box_top),(box_right,box_bottom),(255,0,0),2)

cv2.line(show_img,

(int(box_center[0])-10,int(box_center[1])),

(int(box_center[0]+10),int(box_center[1])),

(0, 255, 255), 3)

cv2.line(show_img,

(int(box_center[0]),int(box_center[1]-10)),

(int(box_center[0]),int(box_center[1]+10)),

(0, 255, 255), 3)

cv2.putText(show_img,

label_name + ' ' + distance_text,

(box_left+5,box_top+20),cv2.FONT_HERSHEY_SIMPLEX,0.4,

(0,255,255),1,cv2.LINE_AA)1234567891011121314151617181920212223

透過net.GetNetworkFPS擷取神經(jīng)網(wǎng)絡(luò)辨識的FPS值，并且透過OpenCV在實(shí)時(shí)影像畫面中標(biāo)注其FPS數(shù)值內(nèi)容。

cv2.putText(show_img,

"{:.0f}FPS".format(net.GetNetworkFPS()),

(int(opt.width*0.8),int(opt.height*0.1)),

cv2.FONT_HERSHEY_SIMPLEX,1,

(0,255,255),2,cv2.LINE_AA)12345

透過OpenCV的resize函數(shù)進(jìn)行顯示畫面的調(diào)整，并且進(jìn)行實(shí)時(shí)影像的顯示。

display= cv2.resize(show_img,(int(opt.width*1.5),int(opt.height*1.5)))

cv2.imshow('Detecting...',display)

keyValue=cv2.waitKey(1)

ifkeyValue & 0xFF == ord('q'):

press_key=11234567

關(guān)閉實(shí)時(shí)影像畫面，并且結(jié)束Realsense的串流影像傳送。

# 關(guān)閉所有 OpenCV 窗口

cv2.destroyAllWindows()

pipeline.stop()1234

五、程序執(zhí)行方式

1.可透過MobaXterm以SSH方式聯(lián)機(jī)進(jìn)入JetsonNano操作系統(tǒng)操作終端機(jī)，或是直接以HDMI屏幕、USB鍵盤鼠標(biāo)直接操作亦可。

2.操作本文測試程序之前，請務(wù)必要先將Jetson Inference (請參考連結(jié))與Realsense(請參考鏈接)，兩個(gè)相關(guān)程序安裝完成，缺一不可。

3.進(jìn)入終端機(jī)指定文件夾中(本文為Realsense_Jetson_Inference)

cd ~

cdRealsense_Jetson_Inference12

4.請確定測試程序存于本文件夾中，并請執(zhí)行以下指令(默認(rèn)為ssd-mobilenet-v2模型)：

python3detectnet_realsense.py1

執(zhí)行結(jié)果如下：

5.或指定其他預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，請執(zhí)行以下指令(本文例為pednet模型)：

python3detectnet_realsense.py --network=pednet

編輯：黃飛

?