Farmaid植物病害檢測機器人

描述

介紹：

受到 Plantvillage.psu.edu 和 iita.org 工作的啟發(fā)，我們希望使用 DonkeyCar 平臺構(gòu)建一個自主機器人，該機器人可以在農(nóng)場環(huán)境中移動而不會損壞現(xiàn)有植物或土壤，并使用物體檢測來查找和標記病害作物具有環(huán)保色彩。傳統(tǒng)上，在大多數(shù)高科技案例中，人類必須使用手機手動檢查大型農(nóng)場以標記農(nóng)作物。這需要大量的時間和精力。此外，使用的各種手機不一定具備高效完成任務(wù)所需的所有功能，或者他們必須等待擁有合適設(shè)備的人。圍繞農(nóng)場運行的統(tǒng)一機器人平臺將解決這些問題并使標記速度更快。速度還可以更輕松地在多個農(nóng)場之間共享平臺。

挑戰(zhàn)：

• 保持機器人的尺寸/重量足夠小，以免損壞作物本身。
• 在不損壞現(xiàn)有作物的情況下導航。
• 尋找一種安全標記患病作物的方法。
• 尋找一個數(shù)據(jù)集和農(nóng)場來測試平臺

?

?

背景：

我們的 Teamato 團隊之所以走到一起，是因為我們都是底特律自動駕駛汽車集團和安娜堡自動駕駛汽車集團的成員。這些都是聚會小組。我們的團隊成員 Sohaib 以上述概念參加了挑戰(zhàn)，并創(chuàng)建了一個帖子詢問是否有人有興趣參與。Alex、Juanito 和 David 加入了 Sohaib，因此開始了在以前從未合作過的個人之間的共同探索。除了在方法、技術(shù)、時間安排等方面找到共同點之外，我們還必須制定一個包含會議時間表、存儲庫、會議技術(shù)等的框架。從本質(zhì)上講，專業(yè)項目的所有組成部分都必須到位，除了沒有人得到報酬，我們沒有預算，而且所有人都有工作、學校、家庭等方面的承諾。不是問題，因為我們有共同的愿景和執(zhí)行意愿。有趣的是，我們的四人小組代表了一個國際社會。我們團隊的每個成員都精通多種語言，并且與以下一個或多個國家有直接的家庭關(guān)系：中國、德國、巴基斯坦、菲律賓、俄羅斯。我們都度過了愉快的時光，這是一次了不起的學習經(jīng)歷。

構(gòu)建機器人：

底盤、自主導航和圖像分類的工作立即開始，進展順利。我們遇到了與底盤和驅(qū)動系統(tǒng)相關(guān)的重大意外挑戰(zhàn)和延誤。簡而言之，我們沒有預料到測試溫室中的地形變化如此之大，在場景 A 中表現(xiàn)良好的電機、車輪、接線、控制等在場景 B 中不堪重負。我們通過大量的 mod 來撥入一個適用于我們所有環(huán)境的工作機箱。我們不得不做出大量時間和預算限制，但最終產(chǎn)品超出了我們最初的最小可行配置目標。提交時的最終設(shè)計如下所述。

相機桿：

為了能夠觀察凸起的植物床，并可能升級到可以觀察番茄頂部和底部的移動攝像頭，我們使用從車庫出售的碳纖維桿建造了一個攝像桿。該桿裝有 2 個 3D 打印夾具，用于導航和分類攝像頭。我們還在桿子上添加了 1.2v 太陽能照明，以及在泳池頂部添加了 12v 多色狀態(tài)燈。是的，那是一個在桿子頂部涂成黑色的重新利用的藥丸容器。我們眾多零基預算住宿之一，效果非常好！

?

?

這些相機是連接到兩個由 USB 充電器供電的不同 Pi 上的 Raspberry Pi 相機。使用 2 Pi 的原因是分類和導航都使用需要大量處理能力的神經(jīng)網(wǎng)絡(luò)。此外，分類攝像頭必須指向植物，而導航攝像頭必須指向前方。桿子的頂部也必須有燈作為指示器。在尋找足夠亮的 RGB 燈時，我們發(fā)現(xiàn)它們要花費 100 美元以上，所以我們使用揚聲器的燈、一個用于反射的小塑料袋并裝在一個空藥瓶中制作了自己的燈。因為燈需要 12 伏我們的 Arduino 輸出為 5 伏，我們將其連接到繼電器。連接需要與 Arduino 和 3 根電線共同接地，我們在 Arduino 的引腳 7、8 和 11 上放置的綠色和藍色燈。我們可以通過使用analogWrite 函數(shù)為所有三根線提供不同的值來模擬這些燈的RGB 光譜。請注意，為了正確著色，所有三個都需要寫入，否則之前在任何一個引腳上寫入的顏色可能會顯示出意想不到的結(jié)果。

?

?

機殼：

我們在 Stone Coop 和Growing Hope 農(nóng)場對帶有輪子和履帶的塑料底盤進行的實驗證明是不成功的，這兩種選擇都將挖入有利于植物的沙地。我們剝離了其中一個臨時底盤版本很多塑料齒輪在升級到金屬之前和處理更高電流的能力：

?

?

由于其強大的電機和大輪子，我們最終選擇了 Mountain Ark SR13 底盤，并按照以下說明進行組裝。

我們對 Mountain Ark 進行了修改，添加了一個平臺以將計算技術(shù)與電源分開，并通過定制涂漆的輕質(zhì)外殼和獨特的徽標為 Farmaid 增添了一絲風格。

?

?

組裝好底盤后，我們需要電機和電池為其供電。雖然底盤帶有電池盒，但我們決定使用 12V 鋰聚合物電池，因為我們已經(jīng)有了可用的電池，并且已將其與舊底盤一起使用。電機使用接線端子連接到電池，以獲得更高的電流消耗。

?

?

我們最初使用的是我們擁有的普通 L298 電機控制器，但發(fā)現(xiàn)電流太低，無法為我們現(xiàn)在擁有的 320 RPM 電機供電。因此，我們改用 IBT-2 電機控制器，這是另一個創(chuàng)客空間成員捐贈的。IBT-2 電機控制器的問題在于它們只能控制 1 個電機，所以我們必須連接其中的 4 個。我們拼接了左右 PWM 線，接頭將左側(cè)電機和右側(cè)電機的 L-PWM 和 R-PWM 相互連接。

?

?

我們使用的另一種節(jié)省空間的技術(shù)是將所有電機的使能引腳直接連接到 Arduino 的 5 伏電壓。

?

?

在此之后，我們需要直接連接到 Arduino 的唯一電機部分是 PWM 引腳。在左側(cè)，我們將左側(cè)電機的 R_PWM 連接到 Arduino 上的 6 引腳，將 L_PWM 連接到 5 引腳。請注意，左側(cè)兩個控制器的 R_PWM 引腳和左側(cè)兩個控制器上的 L_PWM 是拼接的，因此向一個的正向命令將同時向前移動，向一個反向命令將在左側(cè)的兩個輪子反轉(zhuǎn)。右側(cè)也進行了同樣的拼接。右側(cè)的 R_PWM 連接到 Arduino 的 9 針，L_PWM 連接到 Arduino 的 10 針。對于碰撞檢測，我們首先嘗試了我們小組成員中的一個 Garmin 激光雷達，但我們很難讓它工作，所以我們決定使用 SR04 超聲波傳感器。

?

?

我們還在后面添加了另一個傳感器，但由于使用定時器中斷的方式，我們無法在手動控制機器人的同時使用它。請注意，我們制作了另一個 Arduino 例程，僅使用傳感器在障礙物之間移動機器人，但這不符合行為克隆方法。

?

?

駕駛：

由于我們無法使用類似于驢車的底盤，因為它無法在我們給定的環(huán)境中行駛，因此我們必須編寫自己的駕駛代碼。為此，我們使用了兩個靈感，Donkey Car 自己的方法以及 YouTuber Sentdex 的一系列視頻。駕駛模型基于 Donkey Car，除了沒有回歸和均方誤差，我們使用分類來使用圖像在 7 個按鈕之間進行分類. 我們還將它轉(zhuǎn)換成一個全卷積神經(jīng)網(wǎng)絡(luò)，使其更快，并與新的研究相一致。在測試中，我們發(fā)現(xiàn)它不斷輸出一個按鈕，這與訓練中我們在幾個間隔后按下一個鍵不同。為了解決這個問題，我們后來在 Arduino 腳本中添加了一些代碼來輸出按鈕按下之間經(jīng)過的時間。

病株分類：

對于分類，我們使用 MobileNet SSD 模型，因為它的尺寸相對較小，而且它已經(jīng)有一種上傳到安卓應用程序的方法。我們通過使用 5-10 秒的視頻獲取數(shù)據(jù)并創(chuàng)建了一個腳本來從這些視頻中提取圖像視頻。視頻本身被放置在以疾病和植物命名的文件夾中。我們確保在不同的條件和不同的地點拍攝這些視頻。整個訓練數(shù)據(jù)集由大約 2000 張圖像組成。我們還制作了一個網(wǎng)站來展示分類的輸出以及溫室及其植物健康的整體地圖。該網(wǎng)站使用 XML 數(shù)據(jù)創(chuàng)建此網(wǎng)格。我們沒有時間從分類器向網(wǎng)站添加實時更新，但這是我們未來的目標之一。我們還測試了 Twillo 的 SMS 系統(tǒng)，以在植物病害高于給定閾值時向手機發(fā)送消息。同樣由于時間限制，我們還沒有將它連接到分類器。

有趣的旁注：

?

?

從我們的一個測試日開始，溫室工作可以得到相當溫暖、真實的畫面。

?

?

在項目期間，我們還強調(diào)了在被要求時帶 Farmaid 參加公共活動。

?

?

在一次活動中，我們的 Farmaid 機器人甚至遇到了一些機器人朋友，包括 Mowbot 和一些高功率機器人。未來構(gòu)建和協(xié)作的協(xié)同作用！