使用Arduino和TFlite進(jìn)行下垂檢測

描述

經(jīng)驗(yàn)豐富的園丁可以通過目視檢查來診斷植物壓力。

為了參加Tensorflow 微控制器挑戰(zhàn)賽，我們選擇突出節(jié)水問題，同時(shí)突破計(jì)算機(jī)視覺應(yīng)用的極限。我們提交的被稱為“下垂，就在那里”的提交建立在之前的工作之上，以識(shí)別下垂、枯萎的植物。

植物的干旱脅迫通常表現(xiàn)為視覺上可辨別的下垂和萎蔫，也稱為質(zhì)壁分離，表明低濁度或水壓。自然地，植物中的低水壓可能是由于快速蒸騰作用并影響?zhàn)B分運(yùn)輸。

基于時(shí)間表的灌溉很簡單，但不能適應(yīng)植物脅迫的視覺環(huán)境。園丁仍然有責(zé)任根據(jù)不斷變化的需求進(jìn)行調(diào)整，以限制因澆水不當(dāng)造成的浪費(fèi)和損害。

植物監(jiān)視器作為硬件項(xiàng)目很受歡迎，通常會(huì)為使用土壤濕度傳感器 (YL-69)的智能灌溉引入額外的環(huán)境。相反，我們使用設(shè)備上的計(jì)算機(jī)視覺模型在從相機(jī)饋送中采樣的圖像上運(yùn)行。

視覺方法侵入性較小，可以部署在具有更大機(jī)械簡單性的最小化硬件上。盡管計(jì)算機(jī)視覺在很大程度上仍然是特定于任務(wù)的，但在使用遷移學(xué)習(xí)訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)，可以實(shí)現(xiàn)高性能的圖像分類器。

在本次更新中，我們應(yīng)用知識(shí)蒸餾 (KD)等技術(shù)來減少模型的占用空間。雖然最初的 POC 在 3.3V Pi Zero 上運(yùn)行，但此更新縮小了模型，足以適應(yīng)電池供電的Arduino Nano 33 BLE Sense ！

關(guān)于董事會(huì)的一點(diǎn)信息

我們認(rèn)為Arduino Nano 33 BLE Sense是一個(gè)用于邊緣 AI 項(xiàng)目原型設(shè)計(jì)的絕佳平臺(tái)。

一個(gè)強(qiáng)大的處理器以及所有流行的界面幫助我們演示了MuttMentor ，它結(jié)合了關(guān)鍵字發(fā)現(xiàn)和動(dòng)作識(shí)別來演示一個(gè)“智能”的狗答題器。我們甚至附加了一個(gè)攝像頭，以使用 tensorflow lite 圖像分類器執(zhí)行人員檢測！

與后面的演示一樣，此演示使用ArduCam執(zhí)行圖像分類。然而，這里我們使用 Keras 中的遷移學(xué)習(xí)和模型蒸餾來訓(xùn)練自定義分類器，而不是 tf-slim。

訓(xùn)練下垂，就是這樣

訓(xùn)練一個(gè)足夠小以適應(yīng) Arduino 但又足夠大以保持足夠準(zhǔn)確度的圖像分類器是一個(gè)受限的優(yōu)化挑戰(zhàn)。幸運(yùn)的是，知識(shí)蒸餾提供了一種訓(xùn)練微型模型的原則方法。

在最簡單的形式中，KD 強(qiáng)制學(xué)生模型的 logits 與更強(qiáng)大的教師模型的邏輯匹配。這是通過用一個(gè)附加項(xiàng)擾亂標(biāo)準(zhǔn)分類交叉熵?fù)p失來實(shí)現(xiàn)的：logits 之間的 KL 散度。

在實(shí)踐中，結(jié)合了溫度參數(shù)來軟化這些分布，幫助糾正過度自信的教師預(yù)測。上面鏈接的調(diào)查引用了Yuan 等人將 KD 解釋為標(biāo)簽平滑的自適應(yīng)概括。

Logit 匹配還可以提供一種機(jī)制來注入有利于訓(xùn)練小型模型的先驗(yàn)信息。但重要的是，與過度自信但準(zhǔn)確度高的教師相比，雖然經(jīng)過良好校準(zhǔn)的模型卻往往能培養(yǎng)出更好的教師。

此外，教師模型置信度和校準(zhǔn)在訓(xùn)練最終模型期間對(duì)梯度更新提供實(shí)例級(jí)影響。

考慮到這些發(fā)現(xiàn)，我們選擇了在 imagenet 上預(yù)訓(xùn)練的 MobileNetV2 基礎(chǔ)模型，開始在我們粗略平衡的 6K 圖像集合上微調(diào)教師模型，這些圖像來自搜索和短暫的爬網(wǎng)。

充分利用我們的圖像集合，我們采用標(biāo)準(zhǔn)的圖像增強(qiáng)方法?？偠灾?，我們?cè)谌队?xùn)練數(shù)據(jù)后隨機(jī)應(yīng)用了簡單的光度失真（色調(diào)、旋轉(zhuǎn)、水平翻轉(zhuǎn)）。

添加一個(gè)小的密集層，我們將可訓(xùn)練參數(shù)的數(shù)量保持在 200K 以下，以將我們的教師模型微調(diào)多達(dá) 20 個(gè) epoch，并提前停止（耐心 = 3）。

接下來，我們通過探測溫度和 alpha 參數(shù)組合調(diào)整了一個(gè)不錯(cuò)的 keras KD 示例，旨在將損失中的兩個(gè)總和保持在可比較的范圍內(nèi)。最終，我們發(fā)現(xiàn) alpha=0.1 和 temperature=1 運(yùn)行良好。

我們的學(xué)生模型在將輸入轉(zhuǎn)換為 32x32 灰度圖像后使用了一個(gè)非常簡單的 CNN 架構(gòu)，模型參數(shù)少于7K！最終，我們將可訓(xùn)練參數(shù)數(shù)量減少了近25 倍，而量化前的準(zhǔn)確度僅降低了5% ！當(dāng)然，這低估了老師的 MobileNetV2 基礎(chǔ)模型中數(shù)百萬個(gè)無法適應(yīng)設(shè)備的凍結(jié)參數(shù)！

<7K 參數(shù)，400ms 推理時(shí)間

雖然遠(yuǎn)不能取代園丁的推理，但圍繞數(shù)據(jù)管理和模型改進(jìn)的充分理解的優(yōu)化可能會(huì)導(dǎo)致強(qiáng)大的、上下文感知的灌溉轉(zhuǎn)換。

下垂，那里是演示轉(zhuǎn)儲(chǔ)泵

最初的下垂演示控制蠕動(dòng)泵，通過計(jì)算機(jī)視覺推斷來優(yōu)化節(jié)水。Arduino BLE 使用微型電池運(yùn)行，旨在實(shí)現(xiàn)低功耗，因此我們無需使用泵。

通過這種新的硬件配置，我們改為使用 Arduino通過 BLE 發(fā)出灌溉需求信號(hào)，本質(zhì)上是表達(dá)植物對(duì)水的需求并觸發(fā)灌溉事件。

結(jié)論

智能節(jié)水是人口不斷增長的基本問題。隨著用水經(jīng)濟(jì)和計(jì)算資源的不斷變化，我們預(yù)計(jì)農(nóng)業(yè)技術(shù)創(chuàng)新將圍繞優(yōu)化用水量進(jìn)行融合。

也許有一個(gè)高度專業(yè)化的傳感器能??夠引入植物壓力信號(hào)以優(yōu)化水和養(yǎng)分的輸送。我們希望這個(gè)項(xiàng)目能讓您圍繞水資源保護(hù)、農(nóng)業(yè)技術(shù)或其他方面的創(chuàng)新進(jìn)行思考。