使用Google Coral搜索和救援無人機

描述

從 1992 年到 2007 年，美國國家公園每天進行大約 11 次搜救 (SAR) 行動。每次事件的成本約為 895 美元，總計 58、572、164 美元。此外，每年約有 700 人因海岸警衛(wèi)隊的搜救任務(wù)而喪生。更好的培訓(xùn)和技術(shù)進步幫助降低了死亡人數(shù)和成本，但仍然相對昂貴。因此，需要一種能夠最大限度地降低搜尋與援救行動的死亡率和成本的新型裝置。

該設(shè)備是一種無人機，可以成功地在任何地形上自主飛行并搜索丟失的對象。操作員只需插入電池，撥動開關(guān)，即可按照可配置為任何搜索區(qū)域和模式的編程 SAR 模式起飛。攝像機拍攝下方地面的視頻，并將輸入輸入計算模塊以運行卷積神經(jīng)網(wǎng)絡(luò) (CNN)。這個 CNN 能夠檢測到人類、汽車和其他幾個物體，這些物體可以為 SAR 團隊找到失蹤的對象提供線索。當(dāng)無人機檢測到人時，如果它移動，它將跟隨對象，同時將帶有時間戳的 GPS 坐標(biāo)發(fā)送給 SAR 團隊。操作員還可以查看實時視頻，以協(xié)調(diào)如何以最安全的方式到達失蹤對象。電池電量不足時，無人機將自動飛回它起飛的地方。使用無人機而不是使用直升機或陸地團隊是執(zhí)行搜尋與援救行動的一種更便宜、更安全的方式。團隊可以使用多架這樣的無人機，快速自主地搜索大片區(qū)域。

代碼：

請克隆我的 GitHub存儲庫以跟隨本教程。

第 1 步，設(shè)置您的 Raspberry Pi

在本教程中，我使用了 Raspberry Pi 4 Model B 4GB。如果您有 8GB 版本，請隨意使用它以獲得更好的性能（您將獲得更多 fps，從而實現(xiàn)更好的跟蹤功能）。但是，我從未使用 8GB 版本對其進行過測試。該項目確實適用于 Raspberry Pi 3 Model B+，但 fps 較慢。

如果這是您第一次使用 Raspberry Pi，請確保使用最新的 Raspberry Pi 操作系統(tǒng)進行設(shè)置。請按照本教程獲取指導(dǎo)。如果您過去使用過 Raspberry Pi，請確保使用全新的 RPI 操作系統(tǒng)刷新您的 SD 卡。

啟動并設(shè)置好所有內(nèi)容后，在終端中輸入：

$ sudo raspi-config

使用箭頭鍵導(dǎo)航到該Interface Options部分并按enter。

?

您將需要通過此菜單打開相機、SSH 和串行：

?

完成后，您可以退出并重新啟動。

啟用相機將使我們能夠執(zhí)行必要的計算機視覺以檢測失蹤人員。SSH 將允許您通過筆記本電腦/PC 遠程編程和控制 RPI，而無需將兩者連接在一起。這只是為了方便和安全。Serial 將允許 RPI 通過MAVLink與我們的機載飛行控制器進行通信。

啟用攝像頭、SSH 和串行后，您現(xiàn)在可以通過 SSH 連接到 RPI。

首先，通過在 RPI 的終端中鍵入以下內(nèi)容來找出您的 RPI 的 IP 地址：

$ hostname -I

如果您使用的是 Windows 筆記本電腦/PC，請確保您已安裝 OpenSSH 客戶端。轉(zhuǎn)到設(shè)置 > 應(yīng)用程序 > 應(yīng)用程序和功能 > 可選功能 > 在文本字段中搜索 OpenSSH 客戶端，如果尚未安裝，請選擇安裝 OpenSSH 客戶端。

然后在您的終端（對于 Linux 或 Windows 用戶）中輸入：

ssh pi@

替換為您的 RPI 的 IP 地址。

然后將提示您輸入pi登錄密碼。Raspberry Pi OS 上的默認密碼是raspberry.

然后，確保在終端中使用以下兩個命令更新 RPI：

$ sudo apt-get update
$ sudo apt-get upgrade

第 2 步，設(shè)置您的珊瑚 TPU

現(xiàn)在，我們可以開始安裝必要的軟件包和程序，通過 Google Coral Edge TPU USB 加速器啟用計算機視覺。

首先，添加 Coral Edge TPU 包存儲庫：

$ echo "deb https://packages.cloud.google.com/apt coral-edgetpu-stable main" | sudo tee /etc/apt/sources.list.d/coral-edgetpu.list
$ curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -
$ sudo apt-get update

現(xiàn)在，安裝 EdgeTPU 運行時庫：

$ sudo apt-get install libedgetpu1-std

接下來，安裝 EdgeTPU Python API：

$ sudo apt-get install python3-edgetpu

然后重新啟動以完成安裝過程：

$ sudo reboot now

我們現(xiàn)在將設(shè)置一個 Python 虛擬環(huán)境來幫助隔離本教程中使用的 Python 包。我們將使用 virtualenv 和 virtualenvwrapper。

首先，安裝 pip：

$ wget https://bootstrap.pypa.io/get-pip.py
$ sudo python get-pip.py
$ sudo python3 get-pip.py
$ sudo rm -rf ~/.cache/pip

接下來，安裝 virtualenv 和 virtualenvwrapper：

$ sudo pip install virtualenv virtualenvwrapper

安裝后，編輯~/.bashrc文件：

$ sudo nano ~/.bashrc

將以下行添加到文件的底部：

# virtualenv and virtualenvwrapper
export WORKON_HOME=$HOME/.virtualenvs
export VIRTUALENVWRAPPER_PYTHON=/usr/bin/python3
source /usr/local/bin/virtualenvwrapper.sh

ctrl + x使用, y,保存并退出enter。

接下來，重新加載您的~/.bashrc文件以應(yīng)用我們的更改：

$ source ~/.bashrc

最后，創(chuàng)建我們的 Python 3 虛擬環(huán)境：

$ mkvirtualenv sar -p python3

注意：從現(xiàn)在開始，請始終確保您處于sar虛擬環(huán)境中。如果不是，請使用以下命令：

$ workon sar

現(xiàn)在我們需要創(chuàng)建一個符號鏈接來將我們的 EdgeTPU 運行時鏈接到我們的 sar 虛擬環(huán)境中。

運行此命令以查找 Python EdgeTPU 包的安裝路徑：

$ dpkg -L python3-edgetpu
...
/usr/lib/python3
/usr/lib/python3/dist-packages
/usr/lib/python3/dist-packages/edgetpu
/usr/lib/python3/dist-packages/edgetpu/__init__.py
...

注意線/usr/lib/python3/dist-packages/edgetpu。這是我們的 edgetpu 庫的根目錄。

現(xiàn)在，我們可以創(chuàng)建符號鏈接：

$ cd ~/.virtualenvs/sar/lib/python3.7/site-packages
$ ln -s /usr/lib/python3/dist-packages/edgetpu/ edgetpu
$ cd ~

要測試我們的安裝，請打開 Python shell：

$ workon sar
$ python
>>> import edgetpu
>>> edgetpu.__version__
'2.12.2'

通過安裝使用 PiCamera 和執(zhí)行圖像處理所需的 python 包，完成 Coral TPU 的設(shè)置過程：

$ pip install "picamera[array]" # Raspberry Pi only
$ pip install numpy
$ pip install opencv-contrib-python==4.1.0.25
$ pip install imutils
$ pip install scikit-image
$ pip install pillow

現(xiàn)在我們可以在示例程序上測試 TPU。

首先，安裝示例包：

$ sudo apt-get install edgetpu-examples

然后，將寫入權(quán)限添加到示例目錄：

$ sudo chmod a+w /usr/share/edgetpu/examples

更改目錄并運行測試程序：

$ cd /usr/share/edgetpu/examples
$ python classify_image.py \
--mode models/mobilenet_v2_1.0_224_inat_bird_quant_edgetpu.tflite \
--label models/inat_bird_labels.txt \
--image images/parrot.jpg
---------------------------
Ara macao (Scarlet Macaw)
Score :  0.61328125
---------------------------
Platycercus elegans (Crimson Rosella)
Score :  0.15234375

如果您收到與上述類似的回復(fù)，則表示您所做的一切都是正確的。

如果你很好奇，下面是parrot.jpg這樣的：

第三步，安裝 DroneKit：

DroneKit允許我們利用配套計算機（在我們的例子中為 RPI）來控制基于ArduPilot的飛行控制器。在本教程中，我們使用 RPI 和 Google Coral TPU 執(zhí)行對象檢測，同時向 PixHawk 4 飛行控制器發(fā)送命令以移動我們的無人機并尋找失蹤人員。

首先，確保您已安裝 pip 和 python-dev：

$ sudo apt-get install python-pip python-dev

接下來，安裝 DroneKit：

$ workon sar
$ pip install dronekit
$ pip install dronekit-sitl

現(xiàn)在我們用一個簡單的程序測試我們的安裝。首先，我們需要克隆 GitHub 存儲庫：

$ git clone https://github.com/bandofpv/SAR_Drone

導(dǎo)航到SAR_Drone存儲庫并運行測試程序：

$ cd SAR_Drone
$ python dronekit_test.py

如果安裝正確，您應(yīng)該得到以下響應(yīng)：

Start simulator (SITL)
Downloading SITL from http://dronekit-assets.s3.amazonaws.com/sitl/copter/sitl-win-copter-3.3.tar.gz
Extracted.
Connecting to vehicle on: 'tcp:127.0.0.1:5760'
>>> APM:Copter V3.3 (d6053245)
>>> Frame: QUAD
>>> Calibrating barometer
>>> Initialising APM...
>>> barometer calibration complete
>>> GROUND START
Get some vehicle attribute values:
 GPS: GPSInfo:fix=3,num_sat=10
 Battery: Battery:voltage=12.587,current=0.0,level=100
 Last Heartbeat: 0.713999986649
 Is Armable?: False
 System status: STANDBY
 Mode: STABILIZE
Completed

第 4 步，建造無人機：

在本教程中，我假設(shè)您在構(gòu)建無人機方面有相當(dāng)多的經(jīng)驗，所以我不會詳細介紹我如何構(gòu)建我的無人機，因為它相對簡單且不言自明。

電機和電調(diào)放置都是標(biāo)準(zhǔn)的。這是一個很好的示意圖，說明了如何將電池、電機和 ESC 連接到 PDB 上：

?

PDB 安裝在框架的中心（通常是飛行控制器所在的位置），因為 PixHawk 4 無法放入其中：

?

所以 PixHawk 4 飛控是倒掛在機身底板底部的。確保還使用防振泡沫/凝膠來安裝飛行控制器，以減少可能影響飛行性能的振動：

?

?

?

?

1 / 2

?

云臺也安裝在框架底板的底部，但我使用金屬支架將云臺抬離底板，為飛行控制器留出空間。FPV 攝像頭和 RPI RX 也都安裝在底板的底部：

?

?

?

?

1 / 3

?

RPI 安裝在底板頂部的前部，而 Coral TPU 安裝在背面：

?

?

?

?

1 / 2 ?注意：確保將 Coral TPU 的 USB-C 電纜插入 RPI 的藍色 USB 3 端口

?

GPS 模塊和天線都直立安裝，并且彼此之間保持盡可能遠的距離，以最大程度地減少干擾：

電池帶和電池泡沫墊也安裝在頂板上

?

注意：請確保 GPS 模塊上的箭頭向前對齊并與飛控對齊。

您還必須修改 USB-C 連接器以通過電池為 RPI 供電。這可以通過剝?nèi)?USB-C 電纜的電纜并將紅色和黑色的大線焊接到 5V UBEC 來簡單地完成。將 UBEC 的輸入電源連接到 PDB（連接電池的地方），RPI 將獲得電源。

連接 FPV 系統(tǒng)的相機設(shè)置非常簡單。只需將 VTX 的電源線焊接到 PDB 并將攝像機連接到 VTX 和天線。

接下來，我們需要連接 PixHawk 4 飛行控制器：

?

您可以忽略遙測無線電，因為它不需要，因為我們將使用 FrSky 的智能端口遙測技術(shù)。

如圖所示連接遙測電纜（鏈接在BOM中）：

?

連接到 PixHawk 4 的電纜將插入UART & I2C B端口。

現(xiàn)在，我們需要將云臺連接到飛行控制器，以便我們可以從 RPI 和/或我們的無線電發(fā)射器控制云臺。上面鏈接的云臺預(yù)裝了 STorM32，所以我們需要做的就是將三根線焊接到云臺上：

?

與其將其連接到TELEM 2，不如將其連接到 ，TELEM 1因為我們將TELEM 2用于與 RPI 進行通信。

最后但同樣重要的是，我們可以將 RPI 連接到 PixHawk 4 以允許 RPI 通過 MavLink 向飛行控制器發(fā)送命令：

?

此插圖使用 RPI 零，但過程相同。將飛行控制器的TELEM 2端口連接到 RPI 的Ground,TX和RX引腳。這是 RPI 4 Model B 的引腳排列（圖像是 RPI 3 Model B+，但引腳排列相同）：

引腳 6 接地，引腳 8 為 TX，引腳 10 為 RX

?

重要的是要意識到您將 RPI 連接TX到飛行控制器RX，并將 RPIRX連接到飛行控制器的TX.

第五步，調(diào)整云臺設(shè)置：

雖然項目BOM中鏈接的云臺預(yù)裝了 STOrM32 并進行了預(yù)校準(zhǔn)，但如果云臺仍未調(diào)平，有時您必須調(diào)整微調(diào)。要測試是否需要修剪云臺，請插入電池為其供電。確保您在水平面上啟動它并保持靜止，直到您聽到嗶嗶聲并且云臺將初始化并嘗試保持在穩(wěn)定位置。如果該穩(wěn)定位置與地平線不齊，則需要修剪云臺電機。

首先，下載o323BGC 固件。這個 GUI 將允許我們修剪云臺。下載名為：的 zip 文件很重要o323bgc-release-v090-v20160110：

?

下載后，在您的文件夾中找到它，Downloads然后雙擊 zip 文件將其打開。雙擊名為的文件夾o323bgc-release-v090-v20160110，然后雙擊名為o323BGCTool_v090. 它會提示你：

?

單擊按鈕并通過在第二個提示中Extract all進行選擇來提取文件。Extract我選擇了默認位置，因為我不需要長時間保留此應(yīng)用程序。如果您確實計劃在將來使用 GUI，那么將其解壓縮到您的Program Files文件夾中可能會有所幫助。

?

如果您保持Show extracted files when complete選中狀態(tài)，它應(yīng)該會自動打開提取所有文件的文件夾。再次，雙擊名為的文件夾o323bgc-release-v090-v20160110，然后雙擊名為o323BGCTool_v090. 這次它將打開 GUI 應(yīng)用程序。打開它時，您可能會收到更新提示。只是忽略該消息。

接下來，通過 Mini USB B 連接器將云臺插入電腦。

然后，導(dǎo)航到 GUI 的左下角以選擇正確的端口。我的是COM6：

?

拔下任何/所有 USB 設(shè)備以避免 COM 端口之間的混淆也可能會有所幫助。

現(xiàn)在，單擊Connect端口下拉菜單旁邊的按鈕。它應(yīng)該會讀取有關(guān)云臺板的大量信息，完成后應(yīng)如下所示：

?

導(dǎo)航到Rc Inputs選項卡：

?

您現(xiàn)在將看到調(diào)整修剪的選項。有一個選項Auto Trim，但我發(fā)現(xiàn)手動執(zhí)行它更容易。

首先，您需要插入電池并等待其初始化（等待嗶聲）。

然后，您可以在 GUI 中調(diào)整修剪并單擊Write按鈕以使更改生效。作為參考，這里有一個很好的圖表來解釋 Pitch、Roll 和 Yaw 之間的區(qū)別：

?

一旦您的云臺與地平線齊平，單擊Disconnect按鈕并拔下 USB 數(shù)據(jù)線。

第六步，設(shè)置飛控：

設(shè)置 PixHawk 4 相對簡單。您需要做的就是遵循首次設(shè)置指南。它將引導(dǎo)您安裝 Mission Planner（安裝在筆記本電腦/PC 上）、刷新新固件和配置。

注意：配置飛行模式時，至少有Stabilize、Guided和RTL模式很重要。Stabilize將需要手動控制飛機，Guided是允許 RPI 控制直升機的模式，并且RTL作為安全機制很好。

完成后，按照首次飛行指南將您的無人機帶上試飛。玩得開心駕駛你的無人機！

如果一切正常并且您有一個成功的處女座，我們可以開始設(shè)置飛控以與 RPI、云臺和智能端口一起使用。

在 Mission Planner 上，單擊CONFIG選項卡并導(dǎo)航到以下Full Parameter List部分：

?

我們將需要更改以下設(shè)置：

• SERIAL2_PROTOCOL = 2
• SERIAL2_BAUD = 921
• SERIAL1_BAUD = 115
• SERIAL1_PROTOCOL = 8
• BRD_SER1_RTSCTS = 0
• MNT_RC_IN_TILT = 6（這將允許您通過 Ch. 6 旋鈕控制云臺的俯仰）
• 設(shè)置 MNT_TYPE = 5
• SERIAL4_PROTOCOL = 10

而不是滾動瀏覽所有參數(shù)選項，使用位于 Mission Planner 右側(cè)的搜索功能非常重要：

?

?

?

?

1 / 2

?

進行適當(dāng)?shù)膮?shù)更改后，您可以單擊Write Params按鈕應(yīng)用更改。

第 7 步，設(shè)置遙測：

現(xiàn)在我們可以設(shè)置我們的無線電控制器來接收實時遙測數(shù)據(jù)（電池、GPS 坐標(biāo)等）。本教程使用 Taranis X9D+，但任何 Taranis 型號都可以使用。

首先，確保您的收音機已綁定到無人機的接收器。這個過程很簡單。只需在您的收音機上創(chuàng)建一個新模型并導(dǎo)航到該Model Setup頁面。向下滾動到該Mode部分并選擇 D16。然后，向下滾動到該Receiver No.部分并單擊綁定按鈕。現(xiàn)在，找到bind無人機接收器上的按鈕。按住此按鈕，然后插入電池。繼續(xù)按住此按鈕，直到接收器上的燈變?yōu)榫G色。一旦發(fā)生這種情況，您可以單擊bind發(fā)射器上的按鈕來完成綁定過程。

我們現(xiàn)在可以在我們的發(fā)射器上安裝一個 lua 腳本，它將以一種很好的格式組織我們所有的遙測數(shù)據(jù)：

?

第一步是使用最新的 OpenTX 版本刷新收音機。

首先，下載最新版本的 OpenTX 伴侶。轉(zhuǎn)到 OpenTX下載頁面并選擇最新版本：

?

向下滾動到該Download links:部分并下載并安裝OpenTX Companion到您的操作系統(tǒng)：

?

現(xiàn)在，通過在開機時向內(nèi)按下兩個水平微調(diào)按鈕，將您的收音機置于引導(dǎo)加載程序模式：

?

現(xiàn)在將 USB 電纜插入收音機并將其連接到您的計算機。

打開已安裝的 OpenTX Companion，然后單擊Settings頂行的按鈕：

?

在Radio Profile選項卡上，選擇您的 Taranis 模型并選擇noheli和lua復(fù)選框。然后選擇Ok按鈕以保存您的更改：

?

接下來，單擊Downloads按鈕：

?

在彈出的窗口中，單擊Download firmware按鈕并保存 .bin 文件：

?

接下來，單擊Download SD contents將打開一個網(wǎng)站的按鈕，您可以在其中下載您需要復(fù)制到收音機中的 SD 卡的 SD 卡內(nèi)容。確保下載最新版本：

?

現(xiàn)在，首先備份計算機上的 SD 卡文件，然后刪除其中的所有內(nèi)容，并將新的 SD 卡文件復(fù)制到其中。然后從 、 和 文件夾中復(fù)制您之前擁有的任何自IMAGES定義SOUNDS文件MODELS 。

最后，我們可以將新固件刷寫到收音機上。單擊Write Firmware To Radio左側(cè)菜單上的按鈕并加載您之前保存的固件文件。然后，單擊Write to TX按鈕使收音機閃爍：

?

刷新收音機后，將此文件夾中的內(nèi)容復(fù)制到收音機 SD 卡中。

打開你的收音機并導(dǎo)航到頁面Display并分配類型：yaapu9Screen 1Script

?

您還可以創(chuàng)建一個單獨的遙測頁面來顯示 GPS 坐標(biāo)。導(dǎo)航到Display頁面并將GPS遙測變量分配給Screen 2類型Nums：

?

您的第二個遙測屏幕現(xiàn)在應(yīng)該如下所示：

?

第 8 步，最終設(shè)置：

在我們開始駕駛這架直升機執(zhí)行搜索和救援任務(wù)之前，我們需要運行一些測試程序以確保所有部件都能正常工作。

首先，我們需要測試 RPI 和飛控之間的 MavLink 連接。

在 RPI 上，運行connection_test.py程序：

$ cd SAR_Drone
$ python connection_test.py

您應(yīng)該得到類似的響應(yīng)：

Connecting to vehicle on: serial0
>>> APM:Copter V4.0 (d6053245)
>>> Frame: QUAD
>>> Calibrating barometer
>>> Initialising APM...
>>> barometer calibration complete
>>> GROUND START
Get some vehicle attribute values:
 GPS: GPSInfo:fix=3,num_sat=10
 Battery: Battery:voltage=16.787,current=0.0,level=100
 Last Heartbeat: 0.713999986649
 Is Armable?: True
 System status: STANDBY
 Mode: STABILIZE
Completed

現(xiàn)在我們可以確認 RPI 可以與 PixHawk 4 通信，我們現(xiàn)在可以測試 RPI 和 Coral TPU 是否正常工作。

在 RPI 上，運行video_detect_test.py程序：

$ python video_detect_test.py \
--model mobilenet_ssd_v2/mobilenet_ssd_v2_coco_quant_postprocess_edgetpu.tflite \
--labels mobilenet_ssd_v2/coco_labels.txt

如果您連接了監(jiān)視器或使用VNC ，您將看到來自 RPI 攝像頭模塊的視頻源的彈出窗口。當(dāng)您走到鏡頭前時，結(jié)果應(yīng)該類似于演示中的視頻。

現(xiàn)在我們可以確認 RPI 和 Coral TPU 正在相應(yīng)地運行，我們可以開始駕駛無人機進行一些試飛。我們的第一個試飛計劃將是takeoff_test.py。但首先，我們需要對 RPI 進行編程以在啟動時運行程序，因為我們將不再擁有現(xiàn)場的 SSH 控制權(quán)。

為此，我們需要 ~/.bashrc再次編輯文件：

$ sudo nano ~/.bashrc

導(dǎo)航到文件底部并添加以下行：

workon sar
python /home/pi/SAR_Drone/takeoff_test.py

現(xiàn)在，將您的無人機帶到現(xiàn)場并執(zhí)行適當(dāng)?shù)?/font>預(yù)裝安全檢查。準(zhǔn)備好布防后，將無人機切換到GUIDED模式。不久之后，無人機應(yīng)該武裝自己，起飛到 10m，懸停 10 秒，然后降落，然后解除武裝。

$ sudo nano ~/.bashrc

workon sar
python /home/pi/SAR_Drone/square_movement_test.py

$ sudo nano ~/.bashrc

workon sar
python /home/pi/SAR_Drone/record_test.py \
--model /home/pi/SAR_Drone/mobilenet_ssd_v2/mobilenet_ssd_v2_coco_quant_postprocess_edgetpu.tflite \
--labels /home/pi/SAR_Drone/mobilenet_ssd_v2/coco_labels.txt

$ sudo nano ~/.bashrc

workon sar
python /home/pi/SAR_Drone/main.py \
--model /home/pi/SAR_Drone/mobilenet_ssd_v2/mobilenet_ssd_v2_coco_quant_postprocess_edgetpu.tflite \
--labels /home/pi/SAR_Drone/mobilenet_ssd_v2/coco_labels.txt