機(jī)器視覺農(nóng)業(yè)應(yīng)用 有助于釋放精準(zhǔn)農(nóng)業(yè)的全部潛力

許多不同的技術(shù)將使機(jī)器人技術(shù)向農(nóng)業(yè)領(lǐng)域過渡。有些技術(shù)需要專門為農(nóng)業(yè)開發(fā)，而其他領(lǐng)域已經(jīng)開發(fā)的技術(shù)可以適應(yīng)農(nóng)業(yè)領(lǐng)域，例如，自動化車輛、人工智能和機(jī)器視覺。在這里我們會簡要回顧從硬件到軟件、多機(jī)器人系統(tǒng)和人類機(jī)器人系統(tǒng)的各種使能技術(shù)的現(xiàn)狀、機(jī)會和益處。

機(jī)器人平臺

農(nóng)業(yè)平臺可以分為特定于領(lǐng)域（設(shè)計用于在預(yù)定義的領(lǐng)域中對給定作物執(zhí)行特定任務(wù)）和特定于任務(wù)（設(shè)計用于在不同領(lǐng)域執(zhí)行多個任務(wù)）的機(jī)器人和通用平臺。兩者都可能扮演重要角色。由于農(nóng)場通常有與眾不同的基礎(chǔ)設(shè)施，早期的機(jī)器人只能在一個特定的農(nóng)場上操作，而且只能在有限的范圍內(nèi)跨不同的農(nóng)場工作。

與當(dāng)前的農(nóng)用車輛類似，我們可能會看到適應(yīng)特定任務(wù)的機(jī)器人的組合，以及能夠執(zhí)行多種不同任務(wù)的多用途機(jī)器人的出現(xiàn)，類似于現(xiàn)代拖拉機(jī)的無數(shù)使用案例。一個常見的挑戰(zhàn)是，目前對于現(xiàn)實世界的條件，如泥漿、雨、霧、低溫和高溫，大多數(shù)機(jī)器人平臺都不夠穩(wěn)健。例如，目前大多數(shù)的機(jī)械手都不具備處理溫室濕度的能力。

機(jī)電一體化和電子產(chǎn)品

快速還原技術(shù)和低成本處理器的發(fā)展導(dǎo)致3D打印和“創(chuàng)客”技術(shù)的使用激增，提高了低成本機(jī)器人平臺在各種應(yīng)用中的潛力。嵌入式軟件的使用，使高度可配置和特定于應(yīng)用程序的平臺成為可能，這些平臺可以使用通用的硬件模塊并適應(yīng)各種角色。

雖然這類方法已廣泛應(yīng)用于無人機(jī)和小型機(jī)器人，但在更大范圍內(nèi)，機(jī)器人技術(shù)在農(nóng)業(yè)食品領(lǐng)域仍有很大的發(fā)展空間。從原型遷移到成熟的商業(yè)平臺需要解決的問題包括穩(wěn)健性和可靠性、電源管理（在某些情況下，平臺需要能夠全天候長時間運行）、可用性（平臺必須能夠被非專業(yè)人員有效使用）、維護(hù)（例如自我診斷）以及與移動通信的集成。

進(jìn)一步的挑戰(zhàn)包括更好地描述與這些機(jī)器人相關(guān)的土壤的機(jī)械特性，能夠在惡劣天氣下操作的加固平臺，實時傳感和控制算法，以使運動策略適應(yīng)不斷變化的環(huán)境，以及與其他性能共同設(shè)計運動方式。例如，農(nóng)作物/水果收集是如何影響機(jī)器人移動的？我們需要什么樣的運動能力才能有效地感知農(nóng)作物？

運動方式

農(nóng)業(yè)機(jī)器人需要在充滿挑戰(zhàn)的動態(tài)和半結(jié)構(gòu)化環(huán)境中移動。地面機(jī)器人需要在不平坦、不均勻、泥濘的土壤上行走，而飛行器需要在不同的天氣條件下長時間運行。目前的農(nóng)業(yè)機(jī)器人主要是通過借用其他部門的技術(shù)（如無人駕駛飛機(jī)）或作為現(xiàn)有平臺（如自主產(chǎn)業(yè)者）的附件來設(shè)計的。因此，它們可能沒有針對其任務(wù)進(jìn)行充分優(yōu)化，或者可能保留了現(xiàn)有平臺的一些限制。

無人機(jī)可以使用多旋翼或固定翼平臺飛行（前者具有精確的位置，后者具有延長的飛行時間），而地面平臺需要能夠在溫室中的鐵軌和混凝土地板上、多通道中的礫石或草地上以及露天場地中極其泥濘和困難的地形上移動。

因此，我們將看到各種各樣的機(jī)器人以不同的方式發(fā)展起來。與拖拉機(jī)相比，這些機(jī)器人重量極輕，但由于機(jī)器人（或自主拖拉機(jī)）要執(zhí)行更多的能源需求任務(wù)，機(jī)器人的尺寸和重量也會增加。今天，大多數(shù)農(nóng)業(yè)機(jī)器人依靠電池和電動機(jī)運行。

未來的發(fā)展將取決于電池技術(shù)的發(fā)展，但在可預(yù)見的未來，我們可能會看到電動和內(nèi)燃機(jī)在這一領(lǐng)域的發(fā)展。任何機(jī)器人平臺的一個關(guān)鍵方面是重量和運動系統(tǒng)對地面和作物的影響，因此使用了不同的平臺，包括履帶式和多輪機(jī)器人。

平臺還取決于所需的任務(wù)，例如，重型作物收割（如大量可耕地或塊根蔬菜）需要比軟水果采摘更重的平臺。腿式機(jī)器人有潛力最小化它們的足跡，同時最大化運動的靈活性（例如側(cè)向移動或在作物之間的狹窄空間內(nèi)移動等）。它們的靈活性，加上攜帶專業(yè)的傳感器，將有助于釋放精準(zhǔn)農(nóng)業(yè)的全部潛力。

操縱器

未來農(nóng)業(yè)的一系列任務(wù)將需要機(jī)械手，取代靈巧的人工勞動，降低成本和提高質(zhì)量，或者比目前更大的機(jī)械如屠宰收割機(jī)，其能更有選擇性地進(jìn)行操作。這方面的工作正在進(jìn)行中，軟抓具用于選擇性收獲蘑菇、甜椒、番茄、覆盆子和草莓的實驗工作。其他應(yīng)用，如花椰菜收獲可以用切割工具來完成，但也需要溫和地處理和儲存采摘的作物。在開闊的土地上，對于受保護(hù)的作物，有一些與收割互補(bǔ)的任務(wù)，機(jī)械手也可以發(fā)揮重要作用。這包括機(jī)械除草、精確噴灑和其他形式的檢查和處理。在食品處理應(yīng)用中，如大型自動化倉庫，自動化程度的提高也需要機(jī)械手。

感覺和知覺系統(tǒng)

自動機(jī)器人系統(tǒng)中傳感器系統(tǒng)的集成，為新的測量提供了潛在可能，否則這些測量是無法獲得的。例如，目前的工作是通過應(yīng)用宇宙射線傳感器，來解決移動機(jī)器人對大量水分的大范圍實地測繪?；谛l(wèi)星或無人駕駛飛機(jī)的遙感能力的重大進(jìn)步為以前所未有的時間和空間分辨率監(jiān)測作物生長狀況提供了機(jī)會，同時成本低廉。農(nóng)民可以免費獲得許多開源衛(wèi)星數(shù)據(jù)集（例如來自歐洲航天局的數(shù)據(jù)）。

機(jī)器人平臺還提供了利用地理標(biāo)記和采樣傳感器的即時結(jié)果（如激光誘導(dǎo)擊穿光譜）對土壤進(jìn)行鑒定，或以系統(tǒng)和無污染的方式安全收集樣本供以后分析。使用小型機(jī)器人和車載安全收集系統(tǒng)，將進(jìn)一步提高使用機(jī)器人土地管理系統(tǒng)的監(jiān)管效率和可靠性。

本土化繪圖

隨著實時運動學(xué)（RTK）的部署，全球定位系統(tǒng)導(dǎo)航在農(nóng)業(yè)中的應(yīng)用變得幾乎無處不在，實時運動學(xué)允許拖拉機(jī)和聯(lián)合收割機(jī)等大型農(nóng)業(yè)機(jī)械的自動定位精確到厘米。最近，僅使用全球定位系統(tǒng)信號數(shù)據(jù)處理的方法已經(jīng)顯示出在不需要額外無線電信標(biāo)的情況下提供同等精度的前景。準(zhǔn)確的定位數(shù)據(jù)并不局限于使用GPS的無人駕駛車輛，根據(jù)所需的速度和精度，可以使用視覺基準(zhǔn)標(biāo)記或光學(xué)、聲學(xué)、無線電信標(biāo)來提供精確的定位系統(tǒng)。

為了確保機(jī)器人車輛的安全運行，在現(xiàn)場檢測物體和風(fēng)險時也需要傳感器信息。為了盡量減少對作物的損害，在許多應(yīng)用中，在許多應(yīng)用中，相對定位和導(dǎo)航的準(zhǔn)確性比RTK 、GPS提供的絕對導(dǎo)航和位置的準(zhǔn)確性更重要，以盡量減少對農(nóng)作物的損害。例如，希望駕駛機(jī)器人車輛以厘米的精度跟隨作物線或跟隨先前拖拉機(jī)操作留下的軌跡?；谌蚨ㄎ幌到y(tǒng)、慣性導(dǎo)航系統(tǒng)、激光雷達(dá)、視覺等組合的多模態(tài)系統(tǒng)在提供精確和魯棒的解決方案方面具有進(jìn)一步的潛力，而不需要信標(biāo)等現(xiàn)場基礎(chǔ)設(shè)施。

例如，人們希望駕駛機(jī)器人車輛以厘米的精度沿著作物線行駛，或沿著以前拖拉機(jī)作業(yè)留下的軌跡行駛。基于GPS、INS、激光雷達(dá)、視覺等組合的多模態(tài)系統(tǒng)在提供精確和穩(wěn)健的解決方案方面有提升空間，而不需要信標(biāo)等現(xiàn)場基礎(chǔ)設(shè)施。通過使用RTK全球定位系統(tǒng)被動記錄種子和雜草的地理空間位置，已經(jīng)進(jìn)行了幾次嘗試來利用種子和雜草測繪概念。農(nóng)業(yè)機(jī)器人可以進(jìn)一步裝備模式分類技術(shù)，利用計算機(jī)視覺預(yù)測不同雜草的密度和種類。其他方法側(cè)重于無人機(jī)［28］捕獲的多光譜圖像中密集的語義雜草分類。

隨著先進(jìn)視覺系統(tǒng)（包括深度感知、激光雷達(dá)等掃描傳感器以及用于決策和分類的人工智能）的加入，精度的概念可以提升到另一個層次。地面機(jī)器人提供的精確控制激光雷達(dá)等掃描傳感器位置的能力，通過使用同步定位和制圖（SLAM）技術(shù)將精確定位數(shù)據(jù)與測距儀掃描相結(jié)合，為恢復(fù)整個作物的定量生物量估計值，以及相關(guān)表型數(shù)據(jù)（如生長率和形態(tài)學(xué)）開辟了可能性。

同樣，機(jī)器人傳感平臺提供了對昆蟲害蟲或傳粉昆蟲運動、及其物種形成進(jìn)行大面積分析的潛力，單獨使用3D麥克風(fēng)或與光反向散射測量相結(jié)合，以實現(xiàn)特征飛行軌跡的日光測量?？梢詾榧膊?、害蟲或雜草建立專題地圖，從而實現(xiàn)可變速率處理，這是精準(zhǔn)農(nóng)業(yè)的一個關(guān)鍵概念。

作物監(jiān)測

陸地和空中平臺的使用，可以用數(shù)據(jù)融合和SLAM技術(shù)將第三維精確地添加到作物管理中。這可以與虛擬現(xiàn)實或增強(qiáng)現(xiàn)實（VR/AR）系統(tǒng)相結(jié)合，為單個工廠規(guī)模提供監(jiān)控和干預(yù)的可能性。

長期數(shù)據(jù)收集將進(jìn)一步使作物建模成為可能，例如，跟蹤作物冠層的發(fā)展，從而改進(jìn)對未來生長模式的預(yù)測。這種地面和空中機(jī)器人平臺為實現(xiàn)局部極高信噪比、高分辨率感測提供了額外的前景，而這種高分辨率感測可能無法通過被動遠(yuǎn)程（衛(wèi)星）或半遠(yuǎn)程（旋轉(zhuǎn)翼或固定翼無人機(jī)）感測技術(shù)來實現(xiàn)。從最簡單的層面來說，這些機(jī)器人平臺提供了提取非常接近（10毫米以內(nèi)）反射和透射的潛力。

多光譜成像（MSI）數(shù)據(jù)有助于彌補(bǔ)由于單個作物組織的表面拓?fù)浣Y(jié)構(gòu)和方向而導(dǎo)致的錯誤測量。在更高級別的水平上，使用機(jī)器人操縱器來定位農(nóng)作物或牲畜周圍的傳感器，可以通過施加人工刺激來測試和檢查反應(yīng)。例如，通過在作物組織的特定區(qū)域應(yīng)用聚焦光束，接著調(diào)節(jié)光譜和強(qiáng)度，有可能在植物的特定部分（例如莖、幼葉、衰老的老葉等）內(nèi)驅(qū)動光化學(xué)。

通過這種方式，可以從植物中獲得比單獨使用被動固定成像探測器所能獲得的更多的表型信息。同樣，水果、蔬菜和肉類中的細(xì)胞結(jié)構(gòu)和排列也可以用高分辨率進(jìn)行無損檢測，如繪制水果的皮下?lián)p傷或肉類的脂肪比例。通過將MSI數(shù)據(jù)與其他數(shù)據(jù)源進(jìn)行融合，可以對作物的養(yǎng)分和水分脅迫進(jìn)行評估。將這些評估與作物生長模型相結(jié)合，可以更好地預(yù)測產(chǎn)量和損失，從而改進(jìn)農(nóng)業(yè)管理和更好的食品供應(yīng)鏈管理。

機(jī)器人視覺

機(jī)器視覺方法，為實現(xiàn)食品生產(chǎn)中機(jī)器人系統(tǒng)的自主性提供了重要的機(jī)會?；谝曈X的作物監(jiān)測任務(wù)包括表型、將待收割的單個作物進(jìn)行分類以及質(zhì)量分析，例如檢測疾病的發(fā)作，所有這些都具有高通量數(shù)據(jù)。視覺系統(tǒng)也需要對水果、植物、牲畜、人等對象進(jìn)行檢測、分割、分類和跟蹤，對農(nóng)作物和雜草進(jìn)行語義分割等，使現(xiàn)場的機(jī)器人系統(tǒng)能夠進(jìn)行場景分析（理解“是什么”“在哪里”“什么時候”）和安全操作。

應(yīng)用于農(nóng)業(yè)的機(jī)器人視覺需要對光照、天氣條件、圖像背景和物體外觀的變化具有穩(wěn)健性，例如當(dāng)植物生長時，同時要確保足夠的精度和實時性能，以支持機(jī)器人系統(tǒng)的車載決策和視覺引導(dǎo)控制。需要有效的視覺方法，集成次優(yōu)視圖規(guī)劃，以確保所有相關(guān)信息可用于機(jī)器人決策和控制，例如當(dāng)作物的果實或可收割部分被葉子或雜草遮擋時?；?D點云分析的方法，例如從立體圖像或RGB-D相機(jī)獲得的方法，給機(jī)器人在具有挑戰(zhàn)性的農(nóng)業(yè)環(huán)境中實現(xiàn)穩(wěn)健的感知帶來了希望。

機(jī)器視覺已經(jīng)在動物監(jiān)測方面產(chǎn)生了早期影響，例如用于豬、牛和家禽的體重估計、身體狀況監(jiān)測和疾病檢測。個體動物識別，例如使用適應(yīng)于人類面部生物測定學(xué)工作的面部識別技術(shù)，將允許對個體動物進(jìn)行更有針對性的精確護(hù)理和及時干預(yù)，從而確保它們的健康，并優(yōu)化農(nóng)場生產(chǎn)。

機(jī)器人視覺通常緊密依賴于從真實世界的數(shù)據(jù)資料進(jìn)行機(jī)器學(xué)習(xí)，深度神經(jīng)網(wǎng)絡(luò)等方法獲得了牽引力，進(jìn)一步提高了機(jī)器人通過從大數(shù)據(jù)中學(xué)習(xí)來共享知識的可能性。利用神經(jīng)網(wǎng)絡(luò)系統(tǒng)作為牽引力，并進(jìn)一步提高機(jī)器人通過從大數(shù)據(jù)中學(xué)習(xí)來分享知識的可能性。

機(jī)器人農(nóng)業(yè)中機(jī)器人視覺和機(jī)器感知的一個公開挑戰(zhàn)是實現(xiàn)開放式學(xué)習(xí)，提高適應(yīng)季節(jié)變化、新出現(xiàn)的病蟲害、新作物品種等的能力。大多數(shù)現(xiàn)有工作只考慮機(jī)器人視覺系統(tǒng)部署前的初始訓(xùn)練階段，而不考慮在長期運行過程中學(xué)習(xí)模型的持續(xù)適應(yīng)。開發(fā)用于農(nóng)業(yè)機(jī)器人視覺系統(tǒng)的“地面真實感”和半監(jiān)督學(xué)習(xí)的用戶界面，也是一個開放性挑戰(zhàn)。