WAiT：野生動物追蹤器

描述

介紹

野生動物監(jiān)測對于跟蹤動物運動模式、棲息地利用、人口統(tǒng)計、誘捕和偷獵事件和突圍至關(guān)重要。通過保護野生動物，我們確保后代能夠享受我們的自然世界和生活在其中的令人難以置信的物種。為了幫助保護野生動物，重要的是要了解物種在其生態(tài)系統(tǒng)中的相互作用，以及它們?nèi)绾问艿江h(huán)境和人類影響的影響。

動物追蹤數(shù)據(jù)幫助我們了解個人和種群如何在當?shù)匾苿?、跨越海洋和大陸遷移以及世代相傳。

該項目的目的是建立一個野生動物監(jiān)測系統(tǒng)。該項目簡稱為Wild A n I mal Tracker WAiT 。顧名思義，傳感器節(jié)點等待野生動物的運動，并在檢測到它時立即跟蹤它的運動。該系統(tǒng)可以在需要動物追蹤的國家公園、森林和森林附近的人類居住區(qū)實施。

我非常覺得這個系統(tǒng)的必要性。曾幾何時，2003 年，我參觀了印度的一個國家公園。在那里我想看到老虎，但我很少能看到老虎，我必須等待更長的時間才能看到它，因為當時沒有系統(tǒng)來識別看到老虎的地方并通知我可以去看。許多游客在參觀國家公園時甚至都看不到老虎，這種情況就會發(fā)生。如果我可以在可以看到老虎的不同可疑區(qū)域?qū)嵤┪业南到y(tǒng)，系統(tǒng)可以在看到它時立即報告給控制辦公室，以便游客/游客可以立即轉(zhuǎn)移到野生動物園的地方，一睹美景動物。這只是一個例子。對于研究野生動物的研究人員來說，這個系統(tǒng)非常有用。

系統(tǒng)如何運作？

該系統(tǒng)的工作原理如下圖所示。

能夠在深度睡眠中捕獲圖像并對圖像進行分類的傳感器節(jié)點等待事件發(fā)生。當 PIR 運動傳感器檢測到任何動物活動時，就會發(fā)生該事件。當此事件發(fā)生時，處于深度睡眠模式的傳感器節(jié)點將被喚醒并在 tinyML 模型的幫助下捕獲圖像并對圖像進行分類。然后它連接到網(wǎng)絡(luò)服務(wù)器并上傳數(shù)據(jù)并再次進入睡眠狀態(tài)。應(yīng)用程序的用戶可以看到上傳到 Web 服務(wù)器的數(shù)據(jù)。系統(tǒng)還會發(fā)送電子郵件警報。

先決條件

在開始之前，請按照以下教程中的說明設(shè)置和測試 ESP32 CAM：

• 在 Arduino IDE（Windows、Mac OS X、Linux）中安裝 ESP32 開發(fā)板
• ESP32-CAM 視頻流和人臉識別與 Arduino IDE

數(shù)據(jù)采集

使用默認的 ESP32 CAM 固件CameraWebServer.ino收集數(shù)據(jù)。為了構(gòu)建模型，我收集了獅子和斑馬的圖像，如下所示。下圖顯示我已使用CameraWebServer.ino中的 Web 界面來捕獲數(shù)據(jù)集的圖像。

注意：我使用了我女兒的動物玩具 ;) 來制作這個模型。這僅用于測試目的，因為當前沒有相同相機配置的野生動物圖像。需要通過在真實條件下捕捉動物圖像來構(gòu)建真實動物圖像模型。為此，需要構(gòu)建一個傳感器節(jié)點，該節(jié)點可以在真實條件下部署，僅用于收集動物圖像并將其上傳到 Web 服務(wù)器。在本文中，我已經(jīng)指定了如何構(gòu)建這種類型的傳感器節(jié)點。為了使模型準確工作，捕捉真實狀態(tài)的動物圖像非常重要。

開發(fā) tinyML 模型

登錄Edge Impulse并創(chuàng)建一個項目 WILD_ANIMAL_TRACKER。現(xiàn)在轉(zhuǎn)到數(shù)據(jù)采集，然后轉(zhuǎn)到上傳數(shù)據(jù)部分并通過指定標簽上傳圖像。您可以一次為單個標簽上傳多張圖片。例如選擇所有獅子圖像并指定獅子標簽，然后單擊開始上傳按鈕。

上傳圖片后。再次進入數(shù)據(jù)采集，您將看到所有上傳的圖像列表。

進入Impulse Design并使用下圖所示的設(shè)置創(chuàng)建沖動，然后單擊保存沖動按鈕。

注意：仔細觀察圖中的所有設(shè)置。

接下來，轉(zhuǎn)到圖像選項卡，觀察圖像數(shù)據(jù)并單擊保存參數(shù)按鈕。

轉(zhuǎn)到遷移學習選項卡，在神經(jīng)網(wǎng)絡(luò) -> 神經(jīng)網(wǎng)絡(luò)架構(gòu)下選擇MobileNetV2 0.05。為此，請單擊選擇不同的模型。

然后選擇MobileNetV2 0.05。

選擇MobileNetV2 0.05很重要，因為 ESP32 CAM 資源較少。在這一步之后點擊開始訓練按鈕。您將看到類似于下圖的輸出。

現(xiàn)在您可以轉(zhuǎn)到實時分類選項卡來測試模型的工作方式。要測試，請在Classify existing test sample下選擇要分類的圖像，然后單擊load sample按鈕，如下圖所示。

你會看到如下結(jié)果

您還可以轉(zhuǎn)到模型測試選項卡并單擊分類所有按鈕以測試模型的測試數(shù)據(jù)。

發(fā)現(xiàn)一切正常后，轉(zhuǎn)到部署選項卡，單擊Arduino 庫并向下滾動，然后單擊構(gòu)建按鈕。這會將模型下載為Arduino庫。

使用Edge Impulse構(gòu)建的模型高效且準確，因為它使用的內(nèi)存非常少，而不會影響準確性。感謝屢獲殊榮的EON 編譯器。

最后，可以通過單擊構(gòu)建按鈕來部署模型。

在設(shè)備上測試模型

要在真實傳感器節(jié)點（即 ESP32 CAM）上測試模型，您需要將此 zip 庫包含到您的Arduino IDE 中。請按照此處給出的說明進行操作。包含庫后，它必須如下所示。

在此之后從官方Edge Impulse存儲庫下載ESP32-Cam-Edge-Impulse示例。ESP32 -Cam-Edge-Impulse/Basic-Image-Classification/Basic-Image-Classification.ino示例將用于直接在 ESP32 CAM 上測試我們的模型。

現(xiàn)在在Arduino中打開草圖Basic-Image-Classification.ino并確保包含上面使用Edge Impulse創(chuàng)建的庫的頭文件。您必須包含您自己模型的頭文件。您可以在Arduino/libraries/Wild_Animal_Tracker_inferencing/src/Wild_Animal_Tracker_inferencing.h文件夾中找到它。

您必須為頭文件使用與庫文件夾中相同的名稱。

現(xiàn)在取消注釋我們正在使用的電路板的行，如下圖所示。

現(xiàn)在在代碼中提供您的 WiFi 設(shè)置。

上傳草圖啟用設(shè)置，如下圖所示。

現(xiàn)在您需要使用 USB 轉(zhuǎn) TTL 模塊連接您的 ESP32 CAM，如下圖所示。

注意：不要忘記將 ESP32 CAM 上的 IO0 引腳和 GND 引腳短接以啟用上傳。

將開發(fā)板連接到計算機后，按下 ESP32 CAM 背面的重置按鈕，在Arduino中編譯和上傳代碼。確保正確的 PORT 可用。

上傳代碼后，首先從 IO0 引腳和 GND 引腳上拔下電纜，然后按下 ESP32 CAM 上的復位按鈕。現(xiàn)在打開串行終端，您將看到 IP 地址。打開網(wǎng)絡(luò)瀏覽器并使用串行終端的 IP 地址來捕獲圖像。捕獲圖像后，您將在Arduino ide 的串行終端中看到分類結(jié)果。

構(gòu)建傳感器節(jié)點

下一步是上傳為此項目構(gòu)建的固件代碼。（上傳前短管腳并按下復位按鈕）首先上傳本項目提供的Wild_Animal_Tracker_Firmware.ino固件。斷開您的電路板，移除所有電纜并制作電路，如下圖所示。

注意：如果您沒有電池，則可以使用 USB 轉(zhuǎn) TTL 模塊為 ESP32 CAM 供電。僅將 USB to TTL 模塊的 5v 和 GND 引腳連接到 ESP32 CAM 的 5v 和 GND 引腳。不需要其他連接。

在代碼中，以下語句包含了我們使用Edge Impulse構(gòu)建的 ML 模型

#include 

我已經(jīng)聲明了以下變量

char animal[20];
const int pir_sensor = 13;

變量animal存儲分類結(jié)果，PIR 傳感器連接到 ESP32 CAM 的引腳 13。

該classify()函數(shù)進行推理。在此函數(shù)中，推理結(jié)果animal使用以下代碼存儲在變量中。

if(result.classification[ix].value > 0.50000)
      strcpy(animal, result.classification[ix].label);

在該 classify() 函數(shù)中，調(diào)用 send_data_webserver()函數(shù)將數(shù)據(jù)發(fā)送到 Web 服務(wù)器。

send_data_webserver(animal);

該send_data_webserver() 函數(shù)接受一個參數(shù)，該參數(shù)是推理的輸出，即檢測到的動物。此功能連接到網(wǎng)絡(luò)服務(wù)器上的頁面并發(fā)布數(shù)據(jù)。將 IP 地址更改192.168.157.130為您自己的 IP 地址。

void send_data_webserver(char animal[20]){
  //Open a connection to the server
      HTTPClient http;
      http.begin("http://192.168.157.130/wild_animal_tracker/upload.php");
      http.addHeader("Content-Type", "application/x-www-form-urlencoded");
    //format your POST request.
      int httpResponseCode = http.POST("animal=" + String(animal));

      if (httpResponseCode >0){
          //check for a return code - This is more for debugging.
        String response = http.getString();
        Serial.println(httpResponseCode);
        Serial.println(response);
      }
      else{
        Serial.print("Error on sending post");
        Serial.println(httpResponseCode);
      }
    //closde the HTTP request.
      http.end();
}

我已經(jīng)定義了在函數(shù)run_classifier() 中調(diào)用的setup()函數(shù)。該run_classifier()函數(shù)實際上調(diào)用classifier() 執(zhí)行推理的函數(shù)并調(diào)用send_data_webserver()將數(shù)據(jù)發(fā)布到 Web 服務(wù)器的函數(shù)。函數(shù)按以下順序調(diào)用run_classifier()-->classifier() --->send_data_webserver().以下是代碼run_classifier().

void run_classifier(){
    fb = esp_camera_fb_get();
    if (!fb) {
        Serial.println("Camera capture failed");
    }
    classify();
    esp_camera_fb_return(fb);
}

最后在setup() 函數(shù)中，我借助以下代碼啟用了外部喚醒

esp_sleep_enable_ext0_wakeup(GPIO_NUM_13, 1);

此外部喚醒使用來自連接在 GPIO 引腳號上的 PIR 傳感器的輸入信號。13. 因此，當檢測到運動時，ESP32 會喚醒，進行推理，將數(shù)據(jù)發(fā)送到 Web 服務(wù)器并再次進入深度睡眠。這樣我們可以節(jié)省大量的電池電量。傳感器僅在需要時執(zhí)行處理，否則其余時間處于深度睡眠模式。

ESP32 在深度睡眠模式下消耗的能量非常少，并且可以用來節(jié)省大量電池能量并使傳感器節(jié)點使用電池運行更長的時間，這已經(jīng)得到了很好的研究。以下鏈接描述了 ESP32 板的深度睡眠功能。

帶有 Arduino IDE 和喚醒源的 ESP32 深度睡眠

深度睡眠模式用于低功耗：在深度睡眠模式下，CPU、大部分 RAM 和所有數(shù)字外設(shè)都處于關(guān)閉狀態(tài)。芯片中唯一保持通電的部分是：RTC 控制器、RTC 外圍設(shè)備（包括 ULP 協(xié)處理器）和 RTC 存儲器（慢速和快速）。該芯片消耗大約 0.15 mA（如果 ULP 協(xié)處理器通電）至 10μA。

要啟用深度睡眠，請調(diào)用以下函數(shù)。

esp_deep_sleep_start();

該esp_deep_sleep_start() 函數(shù)將 ESP32 發(fā)送到深度睡眠。另請注意，在調(diào)用esp_deep_sleep_start()函數(shù)之前，我已經(jīng)調(diào)用WiFi.disconnect()了函數(shù)，因為在進入睡眠模式之前斷開 WiFi 連接很重要，否則喚醒 ESP32 將無法連接到 WiFi。

部署 Web 應(yīng)用程序

現(xiàn)在下一步是安裝 Web 服務(wù)器。此項目的 Web 服務(wù)器可以通過兩種方式使用

• 本地計算機上的網(wǎng)絡(luò)服務(wù)器
• 在 Internet 上托管空間的 Web 服務(wù)器

如果您購買托管空間，則無需安裝 Web 服務(wù)器。您只需要將代碼上傳到該項目提供的網(wǎng)絡(luò)服務(wù)器。如果您打算在本地計算機上安裝網(wǎng)絡(luò)服務(wù)器，那么我更喜歡 XAMPP 網(wǎng)絡(luò)服務(wù)器。

在本地計算機上下載XAMPP 服務(wù)器，然后導航到htdocs webservers 根目錄中的文件夾并復制粘貼整個wild_animal_tracker文件夾。這是您的網(wǎng)絡(luò)應(yīng)用程序。它包含如下圖所示的文件和目錄。

打開DBController.php文件并更改以下數(shù)據(jù)庫設(shè)置

private $host = "localhost";
private $user = "root";
private $password = "";
private $database = "test";

安裝 XAMPP 網(wǎng)絡(luò)服務(wù)器后，請記住使用phpmyadmin 模塊創(chuàng)建一個名為“test”的數(shù)據(jù)庫，并創(chuàng)建下表來存儲數(shù)據(jù)。

CREATE TABLE wild_animal_data ( id INT(6) UNSIGNED AUTO_INCREMENT PRIMARY KEY, animal_detected VARCHAR(30) NOT NULL, reading_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP );

DBController.php文件包含上傳和檢索數(shù)據(jù)的所有功能。完成所有設(shè)置后，您可以連接傳感器節(jié)點，然后使用以下 URL 在瀏覽器中打開 Web 應(yīng)用程序。

http://localhost/wild_animal_tracker/display.html

或者

http://192.168.157.130/wild_animal_tracker/display.html

請記住，這192.168.157.130是您需要更改的系統(tǒng) IP 地址。同樣的 IP 地址也用于Arduino代碼。如果您訪問 Web 應(yīng)用程序而不是在安裝它的系統(tǒng)上，則需要 IP 地址。在 Windows 上，您可以使用ipconfig命令，在 Unix/Linux 上，您可以使用ifconfig命令來查找系統(tǒng)的 IP 地址。

由于 Web 應(yīng)用程序也發(fā)送電子郵件警報，因此發(fā)送和接收電子郵件的設(shè)置也應(yīng)更新。打開upload.php文件并更新 sendAlert() 函數(shù)中的電子郵件設(shè)置。

//This function sends an e-mail alert
function sendAlert($animal){
     $mail = new PHPMailer(true);        // Passing `true` enables exceptions
    date_default_timezone_set("Asia/Kolkata");
                $dateTime = date("Y-m-d H:i:s");
     try {
                    $mail = new PHPMailer;
                    $mail->isSMTP(); 
                    $mail->SMTPDebug = 2; 
                    $mail->Host = "smtp.gmail.com"; 
                    $mail->Port = "587"; // typically 587 
                    $mail->SMTPSecure = 'tls'; // ssl is depracated
                    $mail->SMTPAuth = true;
                    $mail->Username = "your_password";
                    $mail->Password = "your password";
                    $mail->setFrom("sender_email", "Wild Animal Tracker App");
                    $mail->addAddress("receipient_email", "receipient_name");
                    $mail->Subject = 'Alert! '.$animal.' has been detected';
                    $mail->msgHTML($animal. " has been detected at ". $dateTime); 
                    $mail->AltBody = $animal. " has been detected at ". $dateTime;
                    //$mail->addAttachment('docs/brochure.pdf'); 

                    $mail->send();
             echo 'Message has been sent!';
            } catch (Exception $e) {
                                //error
                echo "error: ". $e;
     }
}

$mail->Host 如果您不使用 Gmail ，$mail->Port請根據(jù)您的 SMTP 服務(wù)器進行更改。更新 $mail->Username = "your_password" 并 $mail->Password使用您的電子郵件登錄憑據(jù)。在$mail->setFrom()函數(shù)中更新發(fā)件人的電子郵件地址，并在$mail->addAddress()函數(shù)中更新電子郵件地址和收件人姓名。

如果您使用的是 Gmail SMTP 服務(wù)器，則還需要執(zhí)行一個步驟。那就是您需要在 google 中允許不太安全的應(yīng)用程序，否則網(wǎng)絡(luò)應(yīng)用程序無法發(fā)送電子郵件警報。您可以通過訪問 URLhttps://myaccount.google.com/security并使用您的 Gmail 帳戶登錄來啟用它。

注意：僅在使用 GMail SMTP 服務(wù)器時才需要安全性較低的應(yīng)用程序設(shè)置。如果您有自己的 Web 服務(wù)器和托管空間，您通常會在您的域中獲得幾個具有 SMPT 設(shè)置的電子郵件帳戶。如果您使用 SMTP 設(shè)置和電子郵件地址在您自己的域上上傳此 Web 應(yīng)用程序，則此應(yīng)用程序運行時無需指定任何安全設(shè)置。

結(jié)果

以下視頻和圖表顯示了系統(tǒng)的輸出。

視頻說明：上述視頻Sensor Node - Running Inference on EXTERNAL WAKEUP using PIR Sensor展示了 tinyML 模型的工作情況。在視頻中，首先您會在之前檢測到的 Web 應(yīng)用程序界面中看到斑馬的圖像。傳感器節(jié)點處于睡眠模式。在視頻中，當我將手放在 PIR 傳感器前時，這意味著傳感器檢測到了一些動物。現(xiàn)在 ESP32 攝像頭被喚醒并捕捉到放置在攝像頭前面的 Lion 的圖像。ESP32 運行推理，對動物進行分類并在 Web 應(yīng)用程序上上傳數(shù)據(jù)，然后再次進入睡眠狀態(tài)，如您在串行終端中看到的那樣。結(jié)果也會立即在 Web 應(yīng)用程序上更改，即傳感器現(xiàn)在檢測到 Lion 并且還會發(fā)送電子郵件警報。

下圖顯示了 tinyML 模型在串行終端上的執(zhí)行，結(jié)果反映在 Web 應(yīng)用程序中。

Web 應(yīng)用程序有不同的部分來顯示信息。

Web 應(yīng)用程序儀表板當前顯示檢測到的動物的圖像、檢測到動物的日期和時間、數(shù)據(jù)庫中 JSON 格式的最近 15 條記錄以及檢測到前五種動物的頻率。目前界面顯示動物的靜態(tài)圖像。還可以顯示動物的實時圖像，正在開發(fā)中。

下圖顯示了通過 Gmail 帳戶發(fā)送的警報。

結(jié)論和未來范圍

該項目可用作野生動物監(jiān)測中非常有用的應(yīng)用程序，當研究人員無法經(jīng)常訪問該位置時，它可以幫助對動物進行研究。研究人員可以對適用領(lǐng)域的動物進行研究。可以使用安裝在特定區(qū)域中的設(shè)備 ID 來識別動物的位置。這個想法是為每個設(shè)備提供唯一的 ID。這樣我們可以通過添加 GPS 傳感器來減少設(shè)備的額外工作量，從而可以節(jié)省更多電量。

該項目是高度可定制的，因為可以根據(jù)用戶要求輕松添加其他功能。該項目還可以定制上傳動物的實時圖像。我目前正在研究這個功能。例如，如果檢測到獅子，傳感器節(jié)點將通過創(chuàng)建另一個帶有日期時間的子文件夾來自動將獅子圖像上傳到網(wǎng)絡(luò)服務(wù)器上的獅子文件夾中。Web 界面也在開發(fā)中，它將允許生成完整的報告。

由于預算限制，我使用了 ESP32 CAM 板，它有其自身的局限性。但是，我計劃使用Luxonis LUX-ESP32并利用它的深度 AI功能，這將使該項目的傳感器節(jié)點更加強大和高效。我還計劃使用 LoRa 網(wǎng)絡(luò)，這將擴展該項目的連接性，并且還可以用于收集具有低功耗功能的位置數(shù)據(jù)，因為 LoRa 消耗的能量比 WiFi 低得多。已經(jīng)證明 LoRa 可以在森林環(huán)境中使用。添加太陽能電池是另一個問題。