機(jī)智云物聯(lián)網(wǎng)云平臺+STM32+樹莓派的草莓采摘機(jī)器人控制系統(tǒng)

本文介紹的草莓采摘機(jī)器人控制系統(tǒng)是由江西理工大學(xué)機(jī)械工程專業(yè)的程鵬勝設(shè)計開發(fā)完成。針對某草莓種植基地模塊化種植的高架草莓人工采摘耗時長成本大的問題，提出了一種全向移動的草莓采摘機(jī)器人系統(tǒng)方案。系統(tǒng)的硬件電路主要包括以STM32F407ZGT6為核心的主控制器、電源電路、WIFI模塊、激光測距單元、電機(jī)驅(qū)動模塊。系統(tǒng)的軟件設(shè)計主要包括RT-thread實時操作系統(tǒng)在單片機(jī)上的移植調(diào)試、樹莓派3B+視覺識別、樹莓派與單片機(jī)數(shù)據(jù)傳輸?shù)耐ㄓ嵳{(diào)試、機(jī)智云物聯(lián)網(wǎng)和WIFI模塊在單片機(jī)上的接入以及樹莓派上位機(jī)控制軟件的實現(xiàn)。通過利用深度學(xué)習(xí)算法實現(xiàn)草莓的識別與定位，將采摘信息以及采摘機(jī)器人的狀態(tài)使用物聯(lián)網(wǎng)技術(shù)傳輸?shù)皆贫?，實現(xiàn)草莓采摘機(jī)器人的自主采摘和云端監(jiān)測，最終完成一整套穩(wěn)定控制的草莓采摘系統(tǒng)。

01

系統(tǒng)整體方案設(shè)計

本系統(tǒng)設(shè)計對于高架草莓的采摘搭建了移動式草莓采摘機(jī)器人樣機(jī)，整個系統(tǒng)由全向移動底盤、機(jī)械臂、視覺系統(tǒng)、運動控制器組成。系統(tǒng)設(shè)計圖如圖1.1所示。

圖1.1系統(tǒng)設(shè)計圖系統(tǒng)框架如圖1.2所示，采摘機(jī)器人結(jié)構(gòu)簡圖如圖1.3所示。主要研究了采摘機(jī)器人的全向移動底盤、機(jī)械手及其控制、視覺識別系統(tǒng)和整機(jī)的控制系統(tǒng)。

圖1.2 草莓采摘機(jī)器人系統(tǒng)框圖

圖1.3 整機(jī)采摘機(jī)器人結(jié)構(gòu)圖

根據(jù)某草莓種植基地采用一行式的種植方式，模擬搭建草莓架如圖1.4所示。前期調(diào)試采用仿真草莓，后期整機(jī)調(diào)試采用真實的草莓果實采摘作業(yè)中僅對獨立生長的草莓進(jìn)行采摘 并未對相互接觸的草莓進(jìn)行分離采摘。整機(jī)采摘機(jī)器人的動作流程如圖1.4所示。根據(jù)種植基地的種植特點草莓種植行列規(guī)范，實驗樣機(jī)僅對單列種植進(jìn)行實驗，對于多行的采摘在后續(xù)的工業(yè)樣機(jī)中根據(jù)導(dǎo)航方式實現(xiàn)。

圖1.4 草莓架與采摘機(jī)器人

圖1.5 整機(jī)采摘機(jī)器人的動作流程

02

控制系統(tǒng)設(shè)計

（一）硬件部分介紹草莓采摘機(jī)器人設(shè)計的硬件控制系統(tǒng)框圖如圖2.1所示，包括核心控制單元、傳感器、驅(qū)動器等。核心控制單元包括單片機(jī)和樹莓派，樹莓派負(fù)責(zé)視覺數(shù)據(jù)的處理和指令下發(fā)，單片機(jī)接收并執(zhí)行指令，此外，還處理一些簡單的傳感器數(shù)據(jù)。傳感器包括激光測距、陀螺儀、編碼器、薄膜壓力傳感器。驅(qū)動器包括電機(jī)驅(qū)動和機(jī)械手的舵機(jī)驅(qū)動，物聯(lián)網(wǎng)單元中的WIFI模塊負(fù)責(zé)將采摘數(shù)據(jù)以及機(jī)器人的狀態(tài)上傳到云端。

圖2.1 硬件平臺系統(tǒng)框圖

◆ 主控芯片

根據(jù)移動機(jī)器人的硬件要求選擇控制器的主控芯片。鑒于實驗平臺能耗以及控制器的數(shù)據(jù)處理能力等問題，選用STM32F407ZGT6芯片作為控制器芯片。并且采用樹莓派3B+，用來運行圖像處理程序，以及將計算結(jié)果進(jìn)行機(jī)械臂的逆解計算后發(fā)送給單片機(jī)。樹莓派3B+實物圖如圖2.2所示。

圖2.2 樹莓派3B+實物圖

◆無線模塊

為方便查看采摘機(jī)器人的工作狀態(tài)以及采摘數(shù)量，本文采用無線網(wǎng)連接的方式進(jìn)行實現(xiàn)，選用ATK-ESP8266模塊作為機(jī)器人數(shù)據(jù)收發(fā)的節(jié)點。ATK-ESP8266模塊支持TTL串口通信，同時兼容3.3V和5V的電壓，對于不同電壓要求的單片機(jī)連接方便。模塊實物如圖2.3所示，各引腳的功能如表1所示。使用該模塊首先將IO_0拉低進(jìn)入固件燒寫模式，燒錄完成后能通過手機(jī)或電腦搜索到該模塊的信號，最后把模塊的發(fā)送引腳和接收引腳與單片機(jī)的發(fā)送和接收交叉連接即可通訊。

圖2.3 ATK-ESP8266模塊實物圖

表1 ATK-ESP8266模塊引腳功能

◆硬件模塊設(shè)計

使用STM32F407ZGT6芯片作為控制器的核心芯片，設(shè)計了一個完全匹配本文實驗平臺的PCB底板，PCB底板和核心板的連接引腳圖以及底板三維圖如圖2.4所示。底板上設(shè)置了多個傳感器的接口如編碼器、串口、陀螺儀和舵機(jī)控制板的I2C總線接口，以及用來外接引腳的排針排母。編碼器接口使用了XH2.54的標(biāo)準(zhǔn)接口使實驗平臺的整體布局更加美觀。

圖2.4 主控制器

（二）軟件部分介紹

本控制系統(tǒng)軟件設(shè)計部分由硬件控制和數(shù)據(jù)處理兩部分組成，其中硬件部分采用了實時操作系統(tǒng)，該系統(tǒng)能夠在數(shù)據(jù)或命令產(chǎn)生時對數(shù)據(jù)快速的處理。當(dāng)有多個任務(wù)同時出現(xiàn)，會按照任務(wù)的優(yōu)先級控制實時任務(wù)的運行，具有及時響應(yīng)和高可靠性的特點。對于采摘機(jī)器人系統(tǒng)來說，不僅需要對機(jī)器人本體控制還要具有上傳機(jī)器人信息以及作業(yè)情況的功能，物聯(lián)網(wǎng)平臺就成了一個重要的工具，實現(xiàn)物聯(lián)網(wǎng)一般需要數(shù)據(jù)云，上傳數(shù)據(jù)的終端設(shè)備，以及獲取數(shù)據(jù)的設(shè)備三個基本元素組成。本文利用智能硬件常用的機(jī)智云物聯(lián)網(wǎng)平臺進(jìn)行配置，并采用WIFI無線連接的形式接入機(jī)智云，上云的數(shù)據(jù)包括了機(jī)器人本體的信息以及采摘數(shù)量。

◆物聯(lián)網(wǎng)平臺實現(xiàn)

機(jī)智云物聯(lián)網(wǎng)平臺是一款應(yīng)用于智能硬件開發(fā)與云計算應(yīng)用的平臺。它為開發(fā)人員提供了一個智能的硬件開發(fā)工具以及一個開放的云計算平臺。該系統(tǒng)具有完整的SDK和API的服務(wù)功能，大大減少了硬件的開發(fā)難度和費用。本文設(shè)計的草莓采摘機(jī)器人，利用ESP-8266無線網(wǎng)絡(luò)模塊實現(xiàn)連接機(jī)智云服務(wù)器，實現(xiàn)采摘機(jī)器人本機(jī)信息以及采摘數(shù)量上報到手機(jī)或電腦客戶端，另外上報信息的種類可以根據(jù)需要進(jìn)行擴(kuò)展。

開發(fā)機(jī)智云平臺的物聯(lián)網(wǎng)功能首先在機(jī)智云網(wǎng)站新建產(chǎn)品，接著新增數(shù)據(jù)點，數(shù)據(jù)點就是在移動端能看到的信息，本文共設(shè)置了五個數(shù)據(jù)點分別為：采摘數(shù)量、相機(jī)狀態(tài)，機(jī)器人電量、機(jī)械手狀態(tài)，機(jī)器人姿態(tài)。創(chuàng)建數(shù)據(jù)點的信息如圖2.5所示。其中設(shè)置采摘最大統(tǒng)計數(shù)量為65536，并且為可寫模式，也即在收獲一定數(shù)量后可以手動清零數(shù)量。電量的數(shù)據(jù)類型為報警模式當(dāng)電壓低于11.7v時進(jìn)入報警狀態(tài)，機(jī)器人姿態(tài)的角度范圍為0度到360度，相機(jī)狀態(tài)和機(jī)械手狀態(tài)均用布爾值來表示。

圖2.5 數(shù)據(jù)點的信息

完成數(shù)據(jù)點的設(shè)置后在網(wǎng)頁進(jìn)行在線調(diào)試，模擬設(shè)備上報在移動端查看數(shù)據(jù)，在模擬設(shè)備端調(diào)整數(shù)據(jù)后移動端端數(shù)據(jù)就會有相應(yīng)改變，模擬設(shè)備端數(shù)據(jù)上報為{變量名：變量值}的形式。例如在模擬設(shè)備端設(shè)置電池狀態(tài)為1，相機(jī)狀態(tài)為1，機(jī)械手狀態(tài)為1， 機(jī)器人姿態(tài)為0，采摘數(shù)量為20得到的效果如圖2.6所示，由可知移動端更新正常，數(shù)據(jù)點可以正常使用。

圖2.6 數(shù)據(jù)上報

完成調(diào)試后利用機(jī)智云的MCU開發(fā)工具生成STM32的硬件代碼，由于生成的代碼 是hal庫的代碼，機(jī)器人底層控制代碼利用標(biāo)準(zhǔn)庫編寫，因此需要進(jìn)行移植。根據(jù)機(jī)智云網(wǎng)絡(luò)協(xié)議，首先建立1毫秒的時間基準(zhǔn)，然后將智能云數(shù)據(jù)接收功能添加到串口接收中斷處理功能中，并將其修改成真正的傳輸接口功能。最后在新建一個線程定時上報數(shù)據(jù)，至此機(jī)智云移植完成。除此之外，啟動機(jī)智云的傳輸需要在系統(tǒng)初始化中設(shè)置ESP-8266為Soft-AP模式，機(jī)智云APP中才能搜索到設(shè)備進(jìn)行連接。

03

草莓采摘機(jī)器人實驗與分析

通過對五次的采摘過程進(jìn)行記錄統(tǒng)計每個過程的耗時如表2所示，圖像識別的過程的平均時長為0.23s，機(jī)械臂移動到目標(biāo)點并采摘放置的平均時間為6.8s，總時長在7s左右。將采摘后的草莓放置到果籃的過程耗時較長，原因是果籃在機(jī)械手的正后方，放置草莓需要將機(jī)械手回轉(zhuǎn)180°。

表2 采摘耗時分段表

采用mm2020mm的型材搭建了草莓架，草莓架長度方向為3000mm，高度方向為 500mm。本實驗只考慮室內(nèi)采摘的情況。采摘過程如圖3所示，a表示了采摘機(jī)器 人移動到草莓的正前方；b中機(jī)械手移動到果實的正上方；c中末端執(zhí)行器夾爪 閉合；d果莖被剪斷；e機(jī)械手放低姿態(tài)；f和g機(jī)械手旋轉(zhuǎn)至果籃上方；h機(jī)械手末端執(zhí)行器打開草莓落入果籃中，至此一個草莓采摘周期完成。

圖3 采摘過程圖

04

總結(jié)

本設(shè)計完成了采用麥克納姆全向移動底盤的四自由度機(jī)械手并包含視覺識別的草莓采摘機(jī)器人樣機(jī)，實現(xiàn)了移動平臺的自由行走，綜合閾值法和卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)點以及機(jī)械手對草莓的收獲。在草莓采摘機(jī)器人軟硬件的設(shè)計，對草莓采摘機(jī)器人的硬件模塊以及主控芯片進(jìn)行選型，同時對電源電路、驅(qū)動電路、編碼器的連接電路等進(jìn)行PCB設(shè)計和打樣。底層硬件程序框架采用了RT-Thread實時操作系統(tǒng)，視覺識別程序運行在樹莓派中并使用無線模塊將采摘信息和機(jī)器人狀態(tài)上傳至機(jī)智云物聯(lián)網(wǎng)，可在電腦端和手機(jī)端同時查看。