0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

復(fù)雜野外環(huán)境下油茶果快速魯棒檢測算法

現(xiàn)代電子技術(shù) ? 來源:現(xiàn)代電子技術(shù) ? 作者:現(xiàn)代電子技術(shù) ? 2022-11-09 17:04 ? 次閱讀

周浩 1,唐昀超 2,鄒湘軍 1,王紅軍 1,陳明猷 1,黃釗豐 1

(1.華南農(nóng)業(yè)大學(xué) 工程學(xué)院,廣東 廣州 510630;2.仲愷農(nóng)業(yè)工程學(xué)院 城鄉(xiāng)建設(shè)學(xué)院,廣東 廣州 510080)

摘要:為了提高移動采摘機器人在復(fù)雜野外環(huán)境下檢測油茶果的速度和魯棒性,在 YOLOv4?tiny 網(wǎng)絡(luò)的基礎(chǔ)上提出YOLO?Oleifera 網(wǎng)絡(luò)。首先將兩個 1×1和 3×3的卷積核分別添加至 YOLOv4?tiny網(wǎng)絡(luò)的第 2個和第 3個 CSPBlock模塊之后,以有助于學(xué)習(xí)油茶果的特征信息和減少計算復(fù)雜度;接著使用 K?means++先驗框聚類算法代替 YOLOv4?tiny 網(wǎng)絡(luò)使用的 K?means先驗框聚類算法,以獲得滿足油茶果尺寸的聚類結(jié)果。消融實驗證明了網(wǎng)絡(luò)改進的有效性。分別測試光照和陰影環(huán)境下的油茶果圖像,實驗表明 YOLO?Oleifera網(wǎng)絡(luò)在不同光照條件下檢測油茶果具有魯棒性。此外,對比實驗表明被遮擋的油茶果因為語義信息的缺失而導(dǎo)致 Precision 和 Recall降低。將 YOLO?Oleifera 網(wǎng)絡(luò)的測試結(jié)果與 YOLOv5?s、YOLOv3?tiny和 YOLOv4?tiny 網(wǎng)絡(luò)進行比較,結(jié)果顯示 YOLO?Oleifera 網(wǎng)絡(luò)的 AP 最高,而且 YOLO?Oleifera 網(wǎng)絡(luò)占用硬件資源最小。此外,YOLO?Oleifera 網(wǎng)絡(luò)檢測圖像平均花費 31 ms,能夠滿足移動采摘機器人的實時檢測需求。因此,提出的 YOLO?Oleifera 網(wǎng)絡(luò)更加適合搭載在移動采摘機器人上進行檢測任務(wù)。

0 引 言

隨著人工智能技術(shù)和傳感器的發(fā)展,許多工作可以被智能機器人代替。在農(nóng)業(yè)中,采集果實的生長信息是智慧農(nóng)業(yè)中的一個重要環(huán)節(jié),在果實生長過程中檢測和分析果實數(shù)量可以幫助記錄落果規(guī)律、預(yù)估產(chǎn)量和規(guī)劃市場[1]。因此,機器視覺及其相關(guān)算法應(yīng)運而生,它的應(yīng)用提高了復(fù)雜農(nóng)業(yè)環(huán)境中作業(yè)機器人的效率、功能、智能和遠程交互性[2]。

自然環(huán)境下的果實生長環(huán)境復(fù)雜,所以檢測果實成為了農(nóng)業(yè)工程研究領(lǐng)域的一個重要方向。在早期的研究中,普遍通過提取果實顏色、紋理、輪廓等特征的方法進行檢測[3?7]。盡管這些方法非常適合其設(shè)計的數(shù)據(jù)集,但通常僅僅針對特定形態(tài)的果實[8]。因此,有必要找到一種通用的特征提取網(wǎng)絡(luò),以克服傳統(tǒng)圖像檢測算法的局限性。

近年來,深度學(xué)習(xí)已成為人工智能領(lǐng)域的一項重要技術(shù),它可以自主學(xué)習(xí)相似事物之間的差異,并通過訓(xùn)練非線性網(wǎng)絡(luò)將原始數(shù)據(jù)轉(zhuǎn)化為更高層次和更抽象的表達方式[9]?;谏疃葘W(xué)習(xí)的目標檢測網(wǎng)絡(luò)分為單階段檢測網(wǎng)絡(luò)和兩階段檢測網(wǎng)絡(luò)。一些研究采用了最新的兩階段檢測網(wǎng)絡(luò)對果實進行檢測,例如 Faster R?CNN 和Mask R?CNN[10?14]。然而,兩階段檢測網(wǎng)絡(luò)在提取目標區(qū)域時需要消耗大量的計算機資源,檢測速度仍有局限性,無法應(yīng)用于果園現(xiàn)場實時檢測。與兩階段檢測算法不同,單階段檢測網(wǎng)絡(luò)可以直接預(yù)測最終的檢測結(jié)果,其中 YOLO 是最具代表性的實時目標檢測算法,它將圖像分為稀疏的網(wǎng)格并對每個網(wǎng)格單元進行多類別和多尺度的預(yù)測[15?21]。

以上的 YOLO 網(wǎng)絡(luò)雖然具有實時的檢測速度,但是它訓(xùn)練時需要功能強大的 GPU 和大量的內(nèi)存,大多數(shù)計算機面臨著硬件的挑戰(zhàn)。此外,訓(xùn)練完后的網(wǎng)絡(luò)往往因為占用內(nèi)存較大而對移動設(shè)備提出了更高的硬件要求。YOLOv4?tiny 網(wǎng)絡(luò)是 YOLOv4 的輕量化版本,它擁有更少的層數(shù)和更快的檢測速度,可以應(yīng)用在便攜式設(shè)備上,并且訓(xùn)練時占用的 GPU 資源更少。根據(jù)以上分析,本研究基于 YOLOv4 ?tiny 網(wǎng)絡(luò),提出了改進后的YOLO?Oleifera 網(wǎng)絡(luò)用于解決復(fù)雜果園環(huán)境中的油茶果檢測問題。在實驗部分,本研究首先設(shè)計消融實驗證明了網(wǎng)絡(luò)改進的有效性;然后,為了表明 YOLO?Oleifera 網(wǎng)絡(luò)在不同光照條件下檢測油茶果具有魯棒性,本研究分別測試光照和陰影環(huán)境下的油茶果圖像;接著,本研究設(shè)計對比實驗探究 YOLO?Oleifera 網(wǎng)絡(luò)對不同遮擋程度的油茶果的檢測效果;最后,本研究將 YOLO?Oleifera 網(wǎng)絡(luò)的測試結(jié)果與 YOLOv5? s、YOLOv3?tiny 和 YOLOv4?tiny 網(wǎng)絡(luò)進行比較,并且根據(jù) AP 值、檢測速度和網(wǎng)絡(luò)大小來分析哪個網(wǎng)絡(luò)更適合搭載在移動采摘機器人上。

1 材料與方法

1.1 圖像采集與擴充

本文選擇在油茶果成熟的 10 月份采集圖像,采集地點位于中國廣東省清遠市美林湖油茶果種植基地。采集圖像的設(shè)備為尼康 D5600 單反相機。在光照和陰影環(huán)境下使用尼康相機分別拍攝 500 張圖像,每張圖像包含 1~5 顆油茶果。拍攝的圖像包含以下情況:完整的油茶果和被遮擋的油茶果。根據(jù)遮擋程度,將油茶果分為輕微遮擋和嚴重遮擋;嚴重遮擋的情況包括油茶果被葉子、莖或其他油茶果遮擋超過 50%;其他的情況為輕微遮擋。部分油茶果圖像如圖 1所示。

33023786-6009-11ed-8abf-dac502259ad0.png

將包含500 對1000 張圖像的整個數(shù)據(jù)集隨機分為訓(xùn)練集和測試集。其中,訓(xùn)練集由600 張圖像組成,其余 400張組成測試集。油茶果數(shù)據(jù)集分類如表1所示。

33281c58-6009-11ed-8abf-dac502259ad0.png

文獻[22]使用消融實驗表明,更多的訓(xùn)練集可以提高基于深度學(xué)習(xí)的目標檢測網(wǎng)絡(luò)的泛化能力和魯棒性。然而,本文的原始訓(xùn)練集僅有 600 張圖片。為了解決這一問題,對訓(xùn)練集進行擴充。

首先,將圖片隨機縮放,隨機縮放因子的范圍在[1.1,1.2]。然后,在縮放圖片中隨機裁剪與原始圖像大小相同的圖片。接著,將原始圖片分別旋轉(zhuǎn) 90°和 270°。旋轉(zhuǎn)后的圖片能夠識別不同方向的油茶果,從而提高網(wǎng)絡(luò)的性能。通過以上方法將原始的訓(xùn)練集進行 3 倍的擴 充 ,因 此 訓(xùn) 練 集 從 原 始 的 600 張 圖 片 擴 充 到 了1 800張。

1.2 YOLOv4?tiny網(wǎng)絡(luò)

近年來,基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)技術(shù)大大提高了圖像檢測算法的魯棒性。在本研究中,針對油茶果的檢測提出了改進的 YOLOv4?tiny 網(wǎng)絡(luò)。YOLOv4?tiny網(wǎng)絡(luò)是在 YOLOv4 網(wǎng)絡(luò)的基礎(chǔ)上設(shè)計的,它具有更快的目標檢測速度,其精度可以滿足實際應(yīng)用的需求,大大提高了在嵌入式系統(tǒng)或移動設(shè)備上部署目標檢測算法的可行性[23]。因此,YOLOv4?tiny 網(wǎng)絡(luò)更適合部署在采摘機器人上面。

YOLOv4?tiny 網(wǎng)絡(luò)使用 CSPDarknet53?tiny 網(wǎng)絡(luò)作為骨干網(wǎng)絡(luò),CSPDarknet53?tiny網(wǎng)絡(luò)在跨階段部分的網(wǎng)絡(luò)中使用 CSPBlock模塊。與 YOLOv4 網(wǎng)絡(luò)的 ResBlock 模塊相比,CSPBlock 模塊可以增強卷積網(wǎng)絡(luò)的學(xué)習(xí)能力。為 了 進 一 步 簡 化 計 算 過 程,YOLOv4 ? tiny 使 用LeakyReLU函數(shù)作為 CSPDarknet53?tiny 網(wǎng)絡(luò)中的激活函數(shù)。在特征融合方面,YOLOv4?tiny 網(wǎng)絡(luò)使用特征金字塔網(wǎng)絡(luò)提取不同尺度的特征圖,進而提高目標檢測速度,而不使用 YOLOv4 網(wǎng)絡(luò)中的空間金字塔池和路徑聚合網(wǎng)絡(luò)。假設(shè)輸入的圖像大小為 416×416,其網(wǎng)絡(luò)結(jié)構(gòu)如圖 2所示。

333f2ace-6009-11ed-8abf-dac502259ad0.png

1.3 改進的 YOLOv4?tiny網(wǎng)絡(luò)

YOLO 系列網(wǎng)絡(luò)采用 K?means聚類算法得到特定要求的 9 個不同尺度的先驗框[24]。K?means 聚類算法是一種經(jīng)典的無監(jiān)督聚類算法,算法過程如下:

1)從樣本集中隨機選取 k 個樣本作為初始聚類中心 Ck = { c1 ,c2 ,…,c k }。

2)計算每個樣本到 k個聚類中心的距離,并將每個樣本點歸類于距離最近的聚類中心所對應(yīng)的類中。

3)計算新形成的類的均值,并將其作為新的聚類中心。

4)重復(fù)步驟 2)和步驟 3),直到聚類中心的位置不再變化,生成最終的 k個聚類中心。K?means 聚類算法隨機選取初始聚類中心,這導(dǎo)致聚類結(jié)果出現(xiàn)了一定的隨機性,容易陷入局部最小值,影響先驗框尺寸的聚類效果。與 K?means 聚類算法相 比 ,K ?means++ 算 法 改 進 了 初 始 聚 類 中 心 的 選 擇機制,獲得的聚類結(jié)果更加穩(wěn)定合理。因此,本文選擇K?means++聚類算法作為先驗框聚類方式。K?means++聚類算法的過程如下:

1)從樣本集中隨機選取一個樣本作為初始聚類中心 C1。

2)計算出每個樣本點 x 與當(dāng)前已有聚類中心的最短距離D(x),接著計算每個樣本被選為下一個聚類中心的概率P(x):

33565a8c-6009-11ed-8abf-dac502259ad0.png

3)用輪盤賭算法選出下一個聚類中心,并更新概率 P ( x )。

4)重復(fù)步驟 2)和步驟 3),直到選出 k個聚類中心。

5)執(zhí)行 K?means聚類算法的步驟 2)~步驟 4)。

其中,輪盤賭算法是一種隨機選擇算法,如果 D ( x )越大,則樣本點 x 被選為下一個聚類中心的概率越大,在一定程度上避免了 K?means 算法由于隨機選擇聚類中心而造成聚類結(jié)果不穩(wěn)定、易陷入局部最小值的缺點。

YOLOv4?tiny 網(wǎng)絡(luò)包含 21 個卷積層。與其他單階段檢測網(wǎng)絡(luò)相比,它擁有更少的卷積層。但是,更深的卷積層有利于學(xué)習(xí)目標特征。因此,本文在 YOLOv4?tiny 網(wǎng)絡(luò)的主干特征提取網(wǎng)絡(luò)中,在第 2 個和第 3 個CSPBlock 之后分別添加兩個 1×1 和 3×3 的卷積核,以開發(fā)更深的網(wǎng)絡(luò)結(jié)構(gòu)。添加進去的 1×1 卷積核的卷積層可以增加網(wǎng)絡(luò)的非線性特征,而無需更改卷積層的接收場。同時,具有 1×1 卷積核的卷積層等效于跨通道參數(shù)池化層,該層允許跨通道信息的交互,從而提升網(wǎng)絡(luò)的學(xué)習(xí)能力[25]。添加的具有 3×3 卷積核的卷積層可以輸出不同大小和通道的特征圖,從而改善網(wǎng)絡(luò)的特征表達[26]。改進后的網(wǎng)絡(luò)主干特征提取網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。將使用 K?means++先驗框聚類算法和添加了兩個1 × 1 和 3 × 3 卷 積 核 的 YOLOv4 ? tiny 網(wǎng) 絡(luò) 稱 為 YOLO ?Oleifera網(wǎng)絡(luò)。

336da016-6009-11ed-8abf-dac502259ad0.png

1.4 網(wǎng)絡(luò)訓(xùn)練

訓(xùn)練是在配備了 AMD Ryzen 5 3600 CPU、16 GB2 400 MHz內(nèi)存和 GTX2070Super 8 GB 顯卡的臺式電腦上 進 行 。使 用 的 軟 件 工 具 包 括 CUDA 11.1、Dudnn、OpenCV 3.4.1計算機視覺庫和 Visua Studio 2017集成開發(fā)環(huán)境。

訓(xùn)練時,以 416×416像素的圖像作為輸入,批次大小設(shè)置為 64,初始學(xué)習(xí)率為 1×10-3,網(wǎng)絡(luò)的動量和重量衰減分別設(shè)置為 0.9和 0.000 5。在訓(xùn)練集上進行了 10 000次迭代大約需要 4 h。

訓(xùn)練結(jié)束后,使用 Precision、Recall、AP 和檢測速度來評估網(wǎng)絡(luò)的性能。Precision和 Recall被定義如下:

338ca024-6009-11ed-8abf-dac502259ad0.png

式中:TP、FP 和 FN 分別表示正確檢測到的油茶果對象的數(shù)量(True Positives)、錯誤檢測到的油茶果對象的數(shù)量(False Positives)和錯過的油茶果對象的數(shù)量(FalseNegatives)。

AP 被定義為 Precision ?Recall 曲線下的面積,它可以顯示網(wǎng)絡(luò)在不同置信度閾值下的整體性能,定義如下:

33a03012-6009-11ed-8abf-dac502259ad0.png

AP 值會隨著 IOU 閾值的變化而變化,設(shè)置 IOU的閾值為 0.75。需要指出的是,如果沒有特別說明,后文中所有的深度學(xué)習(xí)網(wǎng)絡(luò)都是使用擴充的訓(xùn)練集首次進行訓(xùn)練,然后使用 200對測試集進行性能評估。

2 實驗與結(jié)果討論

2.1 兩處修改的消融實驗

本文設(shè)計了消融實驗以驗證改進的先驗框聚類算法和在 YOLOv4?tiny 網(wǎng)絡(luò)中添加卷積核的有效性。因此,原始的YOLOv4?tiny網(wǎng)絡(luò)、YOLO?deep網(wǎng)絡(luò)和YOLO?Oleifera網(wǎng)絡(luò)被分別訓(xùn)練。其中,將僅添加了1×1和 3×3卷積核的 YOLOv4?tiny 網(wǎng)絡(luò)稱為 YOLO ?deep 網(wǎng)絡(luò)。訓(xùn)練集和測試集均包含所有光照和陰影條件下的油茶果,并且不區(qū)分油茶果的遮擋程度。訓(xùn)練結(jié)束后,Precision?Recall曲線如圖 4所示。

33b65ef0-6009-11ed-8abf-dac502259ad0.png

在 相 同 的Recall 條 件 下,YOLO ? Oleifera網(wǎng) 絡(luò) 的Precision 高 于 YOLO ? deep 網(wǎng) 絡(luò) ,YOLO ? deep 網(wǎng) 絡(luò) 的Precision 高于 YOLOv4?tiny。三種網(wǎng)絡(luò)對應(yīng)的 AP 值如表 2所示。可以得出結(jié)論,通過添加 1×1 和 3×3 卷積核,YOLOv4?tiny 網(wǎng)絡(luò)的 AP 值提高了 3.11%,證明了更深層次網(wǎng)絡(luò)的有效性,它可以學(xué)習(xí)更加豐富的油茶果特征信息。通過使用改進的先驗框聚類算法,YOLO?deep 網(wǎng)絡(luò)的 AP 值提升了 1.75%,證明 K?means++聚類算法的聚類結(jié)果受初始聚類中心影響較小,更容易獲得滿足真實檢測目標尺寸的聚類結(jié)果。

33d63b12-6009-11ed-8abf-dac502259ad0.png

2.2 改進的網(wǎng)絡(luò)在不同光照條件下的性能

對改進的網(wǎng)絡(luò)在不同光照條件下的魯棒性進行了研究。訓(xùn)練集包含所有光照和陰影條件下的油茶果,將測試集分為 200張光照圖片和 200張陰影圖片并分別進行評估,以上都不區(qū)分油茶果的遮擋程度。表 3 顯示了改進網(wǎng)絡(luò)在不同光照條件下的檢測結(jié)果。在測試集的所有油茶果中,在陽光條件下的 Precision 達到 90.87%,與遮光條件下的 Precision(90.73%)相差不大。在陽光條 件 下 的 Recall 達 到 89.28%,同 樣 與 遮 光 條 件 下 的Precision(88.97%)相差不大??梢缘贸鼋Y(jié)論,所提出的網(wǎng)絡(luò)對光照變化具有魯棒性,這是采摘機器人在復(fù)雜環(huán)境下作業(yè)的關(guān)鍵。

33efa066-6009-11ed-8abf-dac502259ad0.png

2.3 改進的網(wǎng)絡(luò)在不同遮擋條件下的性能

所有測試集圖片中的輕微遮擋和嚴重遮擋果實被分別統(tǒng)計出來。測試完成后,手工統(tǒng)計檢測情況。部分果實的測試結(jié)果如圖 5所示。

改進的網(wǎng)絡(luò)在不同遮擋條件下的檢測結(jié)果如表 4所示??梢缘贸鼋Y(jié)論,在輕微的遮擋條件下,90.03%的油茶果被檢測出,比嚴重遮擋的高出 5.05%,表明一部分語義信息的丟失。因為嚴重的遮擋,注意到有部分果實沒有被預(yù)測框標記。如圖 5a)所示,部分果實被其他果實、樹葉或莖嚴重遮擋,以至于影響檢測效果。但是,這個問題仍然有解決方案。因為采摘機器人在采摘遮擋油茶果后,被遮擋的油茶果會出現(xiàn),而且機器人在果園中可以移動空間位置,導(dǎo)致被遮擋的果實改善遮擋條件,并且被重新檢測出來。

340321f4-6009-11ed-8abf-dac502259ad0.png

342cb8e8-6009-11ed-8abf-dac502259ad0.png

2.4 YOLO?Oleifera網(wǎng)絡(luò)與其他深度學(xué)習(xí)網(wǎng)絡(luò)的比較

將 YOLO?Oleifera網(wǎng)絡(luò)與 YOLOv4?tiny、YOLOv3?tiny和 YOLOv5 ? s 網(wǎng) 絡(luò) 進 行 了 對 比 ,目 的 是 驗 證 改 進 的YOLO?Oleifera 網(wǎng)絡(luò)的性能。表 5 列出了測試的所有深度學(xué)習(xí)網(wǎng)絡(luò)的檢測結(jié)果。結(jié)果表明,在復(fù)雜的果園環(huán) 境 中,YOLO ? Oleifera 網(wǎng)絡(luò)的 AP 達到 92.07%,高于YOLOv3 ? tiny 網(wǎng) 絡(luò)(82.77%)、YOLOv4 ? tiny 網(wǎng) 絡(luò)(87.21%)和 YOLOv5?s網(wǎng)絡(luò)(90.14%)。

344d2bbe-6009-11ed-8abf-dac502259ad0.png

就檢測時間而言,YOLO ?Oleifera 網(wǎng)絡(luò)檢測每張圖片 平 均 花 費 31 ms,比 YOLOv4 ? tiny 網(wǎng) 絡(luò) 長 2 ms,比YOLOv3?tiny網(wǎng)絡(luò)短 5 ms,比 YOLOv5?s網(wǎng)絡(luò)短 24 ms,因此 YOLO?Oleifera 網(wǎng)絡(luò)與其他輕量網(wǎng)絡(luò)在檢測速度方面沒有明顯區(qū)別。

網(wǎng)絡(luò)大小是評估網(wǎng)絡(luò)應(yīng)用在嵌入式或便攜式設(shè)備上的一個指標。越小的網(wǎng)絡(luò)可以降低采摘機器人的硬件要求。YOLO ?Oleifera 網(wǎng)絡(luò)的大小為 29 MB,均小于YOLOv4?tiny、YOLOv3?tiny 和 YOLOv5?s 的大小。值得注意的是,YOLO?Oleifera 網(wǎng)絡(luò)是 YOLOv4?tiny 網(wǎng)絡(luò)添加了 1×1 和 3×3 的卷積得來,先驗框聚類算法并不影響網(wǎng)絡(luò)的大小,結(jié)果卻顯示 YOLO?Oleifera 網(wǎng)絡(luò)最小。原因是添加了兩個 1×1 和 3×3 的卷積層,這樣可以在不改變網(wǎng)絡(luò)層接收場的情況下增加非線性度,從而避免了新結(jié)構(gòu)的計算復(fù)雜性。

基于以上分析,可以得出結(jié)論:YOLO?Oleifera 網(wǎng)絡(luò)的 AP 要高于 YOLOv3?tiny、YOLOv4?tiny 和 YOLOv5?s 網(wǎng)絡(luò)。YOLO?Oleifera 網(wǎng)絡(luò)的檢測速度與其他網(wǎng)絡(luò)沒有明顯的區(qū)別,都可以滿足移動采摘機器人實時檢測的需求。YOLO?Oleifera 網(wǎng)絡(luò)的尺寸最小,只有 29 MB,這對移動采摘機器人提出了更低的硬件要求。因此,YOLO?Oleifera 網(wǎng)絡(luò)可以為油茶果采摘機器人的實際應(yīng)用提供可靠的支持,滿足野外工作的需求。

3 結(jié) 論

根據(jù)復(fù)雜果園環(huán)境下的油茶果檢測需求,本文提出了一種基于 YOLOv4?tiny 網(wǎng)絡(luò)的 YOLO ?Oleifera 網(wǎng)絡(luò)用于檢測油茶果。網(wǎng)絡(luò)在以下兩個方面進行了改進:

1)使用 K?means++先驗框聚類算法代替 YOLOv4?tiny 網(wǎng)絡(luò)使用的 K?means 先驗框聚類算法,目的是避免K?means 算法由于隨機選擇聚類中心而造成聚類結(jié)果不穩(wěn)定、易陷入局部最小值的缺點。

2)為了更有助于學(xué)習(xí)油茶果特征信息和減少計算復(fù) 雜 度 ,將 兩 個 1 × 1 和 3 × 3 的 卷 積 核 分 別 添 加 至YOLOv4?tiny 網(wǎng)絡(luò)的第 2 個和第 3 個 CSPBlock 模塊,以開發(fā)更深層次的網(wǎng)絡(luò)。

分別在光照和陰影的條件下,使用尼康相機采集現(xiàn)場油茶果圖片作為訓(xùn)練集,并對其進行圖片擴充以提高目標檢測網(wǎng)絡(luò)的泛化能力和魯棒性。進行了實驗,以驗證提出的 YOLO?Oleifera網(wǎng)絡(luò)的性能:

1)改進的先驗框聚類算法和 YOLO?deep 網(wǎng)絡(luò)的消融實驗顯示了每種修改的有效性。通過添加 1×1和 3×3卷積核,YOLOv4?tiny 網(wǎng)絡(luò)的 AP 值提高了 3.11%。在YOLO?deep 網(wǎng)絡(luò)的基礎(chǔ)上,通過使用 K?means++先驗框聚類算法,YOLO?deep網(wǎng)絡(luò)的 AP值提升了 1.75%。

2)在光照和陰影條件下進行了遮擋實驗。實驗結(jié)果顯示兩者的 Precision 和 Recall 均沒有明顯差別,證明了網(wǎng)絡(luò)在不同光照條件下的魯棒性。

3)進行了不同遮擋條件下的實驗。在輕微的遮擋下,YOLO ?Oleifera 網(wǎng)絡(luò)的 Precision 和 Recall 分別達到91.99% 和 90.03%,分別比嚴重遮擋高 5.06% 和 5.05%。這主要歸因于嚴重遮擋導(dǎo)致語義信息的丟失。

4) 將 YOLO ? Oleifera 網(wǎng) 絡(luò) 與 其 他 深 度 學(xué) 習(xí) 網(wǎng) 絡(luò)(YOLOv5 ? s,YOLOv3 ?tiny 和 YOLOv4 ?tiny)進行比較。AP、檢測速度和網(wǎng)絡(luò)大小被用于評估這些網(wǎng)絡(luò)在果園中檢測油茶果的性能。對于相同的訓(xùn)練集和測試集,YOLO?Oleifera 網(wǎng)絡(luò)的 AP 最高。同時,YOLO?Oleifera 網(wǎng)絡(luò)擁有較短的檢測時間,可以為移動采摘機器人提供卓越的實時檢測速度。此外,YOLO ?Oleifera 網(wǎng)絡(luò)的尺寸最小,只有 29 MB,這對移動采摘機器人提出了更低的硬件要求。因此,YOLO ?Oleifera 網(wǎng)絡(luò)可以為油茶果采摘機器人的實際應(yīng)用提供可靠的支持,滿足野外工作的需求。

總體而言,YOLO ?Oleifera 網(wǎng)絡(luò)對復(fù)雜果園環(huán)境下的油茶果檢測具有魯棒性,更適合搭載在移動采摘機器人上。本研究可以為移動水果采摘機器人在復(fù)雜果園環(huán)境下檢測水果提供技術(shù)參考。

審核編輯:湯梓紅

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 人工智能
    +關(guān)注

    關(guān)注

    1787

    文章

    46060

    瀏覽量

    234970
  • 檢測算法
    +關(guān)注

    關(guān)注

    0

    文章

    118

    瀏覽量

    25189

原文標題:復(fù)雜野外環(huán)境下油茶果快速魯棒檢測算法

文章出處:【微信號:現(xiàn)代電子技術(shù),微信公眾號:現(xiàn)代電子技術(shù)】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦

    人臉檢測算法及新的快速算法

    人臉檢測算法及新的快速算法人臉識別設(shè)備憑借著便捷的應(yīng)用,以及更加新潮的技術(shù),俘獲了不少人的好感。于是,它的應(yīng)用也在日益的變得更加的廣泛。由中國電子學(xué)會主辦的全國圖形圖像技術(shù)應(yīng)用大會,行業(yè)專家將介紹
    發(fā)表于 09-26 15:13

    ARM嵌入式環(huán)境中FDDB第一的人臉檢測算法的運行

    YSQ(于仕琪)人臉檢測介紹:YSQ人臉檢測算法實現(xiàn)快速從視頻幀中檢測人臉并提取關(guān)鍵信息,支持多視角檢測,每個人臉提取68個關(guān)鍵點(Land
    發(fā)表于 07-29 06:49

    分享一款高速人臉檢測算法

    目前優(yōu)化了一款高速人臉檢測算法,在 ARM設(shè)備的A73單核CPU(圖像大小:860*540最小人臉大?。?0*60)速度可以高達10-15ms每幀,真正的實時人臉檢測算法,算法準確率在 FDDB數(shù)據(jù)
    發(fā)表于 12-15 07:01

    基于YOLOX目標檢測算法的改進

    1、介紹近年來,自動駕駛汽車不斷走進我們的視野中,面向自動駕駛的目標檢測算法也成為了國內(nèi)外的研究熱點之一。安全可靠的自動駕駛汽車依賴于對周圍環(huán)境的準確感知,以便及時做出正確的決策。目標檢測是自動駕駛
    發(fā)表于 03-06 13:55

    野外環(huán)境多點溫度自動采集系統(tǒng)設(shè)計

    系統(tǒng)以AT89C2051為核心,基于DS18B20的單總線模式設(shè)計了一個多點環(huán)境溫度采集系統(tǒng),解決了傳統(tǒng)測溫系統(tǒng)的結(jié)構(gòu)復(fù)雜,功耗高,不適應(yīng)野外無人值守環(huán)境溫度
    發(fā)表于 08-07 16:24 ?56次下載
    <b class='flag-5'>野外環(huán)境</b>多點溫度自動采集系統(tǒng)設(shè)計

    復(fù)雜相似組合系統(tǒng)的全息控制理論與設(shè)計

    復(fù)雜相似組合系統(tǒng)的全息控制理論與設(shè)計。
    發(fā)表于 04-12 10:40 ?0次下載

    基于整數(shù)小波變換的零水印算法

    基于整數(shù)小波變換的零水印算法_曾文權(quán)
    發(fā)表于 01-03 15:24 ?0次下載

    一種復(fù)雜環(huán)境的精確人臉檢測算法(結(jié)合VIOLA-JONES和CLM模型)

    人臉檢測,是指在任意一幅輸人圖像中確定所有人臉(如果存在)的位置、大小和位姿的過程。人臉檢測作為自動人臉識別系統(tǒng)中的第一步,對后續(xù)的人臉特征抽取和人臉識別起著至關(guān)重要的作用。因此,尋找一種快速、
    發(fā)表于 10-30 14:09 ?4次下載
    一種<b class='flag-5'>復(fù)雜</b><b class='flag-5'>環(huán)境</b>下<b class='flag-5'>魯</b><b class='flag-5'>棒</b>的精確人臉<b class='flag-5'>檢測算法</b>(結(jié)合VIOLA-JONES和CLM模型)

    一種基于關(guān)鍵點的復(fù)制粘貼盲檢測算法

    鑒于傳統(tǒng)的復(fù)制粘貼篡改檢測時間復(fù)雜度較高,而且對于圖像的旋轉(zhuǎn)縮放等后續(xù)潤飾操作的性不好,誤報率高。提出了一種基于SIFT關(guān)鍵點的復(fù)制粘貼檢測算法
    發(fā)表于 12-11 17:33 ?0次下載
    一種基于關(guān)鍵點的復(fù)制粘貼盲<b class='flag-5'>檢測算法</b>

    基于野外環(huán)境下圖像坑區(qū)域提取方法

    野外環(huán)境中有很多坑區(qū)域,這對野外工作機器人的移動帶來了困難,因此引入視覺方法來實現(xiàn)對坑的檢測。首先根據(jù)工程要求去除掉一部分不滿足大小的疑似區(qū)域,再利用坑區(qū)域邊緣梯度去除掉一部分疑似區(qū)域,之后
    發(fā)表于 12-22 16:40 ?1次下載

    一種新的面向復(fù)雜網(wǎng)絡(luò)大數(shù)據(jù)的重疊社區(qū)檢測算法

    提出一種新的面向復(fù)雜網(wǎng)絡(luò)大數(shù)據(jù)的重疊社區(qū)檢測算法DOC(detecting overlapping commumties over complex network big data),時間復(fù)雜度為O
    發(fā)表于 01-03 11:40 ?0次下載
    一種新的面向<b class='flag-5'>復(fù)雜</b>網(wǎng)絡(luò)大數(shù)據(jù)的重疊社區(qū)<b class='flag-5'>檢測算法</b>

    手指靜脈圖像邊緣檢測算法

    新的可應(yīng)用于低質(zhì)量手指靜脈圖像的邊緣檢測算法,主要分為三個步驟:尋找手指內(nèi)部分界線,將手指靜脈圖像分為上、下兩個部分;利用上、下兩個水平邊緣檢測模板,分別
    發(fā)表于 01-16 11:33 ?1次下載

    非線性檢測卡爾曼濾波算法

    針對傳統(tǒng)非線性濾波在觀測噪聲為非高斯強干擾噪聲情況下,濾波性能下降的問題,提出一種利用卡方檢測法預(yù)判斷的非線性
    發(fā)表于 01-25 14:33 ?0次下載

    高光譜成像技術(shù)檢測油茶成熟度-萊森光學(xué)

    0引言 油茶采摘期受環(huán)境因素影響較大,不同地區(qū)的天氣、氣候、積溫、土壤肥力等條件不同,造成油茶的成熟期有早有晚,因此
    的頭像 發(fā)表于 01-03 16:10 ?809次閱讀
    高光譜成像技術(shù)<b class='flag-5'>檢測</b><b class='flag-5'>油茶</b><b class='flag-5'>果</b>成熟度-萊森光學(xué)

    快速入門自動駕駛中目標檢測算法

    的,具有普適性。 3. 當(dāng)交通場景中目標密集、相互遮擋時,改進非極大值抑制算法、合理設(shè)計邊界框可以有效緩解目標漏檢、誤檢等問題。 4. 當(dāng)交通場景相對復(fù)雜、背景多變時,損失函數(shù)的改進可以提升模型的訓(xùn)練效果,進而提高模型的
    發(fā)表于 06-06 09:40 ?0次下載
    <b class='flag-5'>快速</b>入門自動駕駛中目標<b class='flag-5'>檢測算法</b>