關于無人機的新型輕型高速視覺系統(tǒng)

在無人機視覺系統(tǒng)的常規(guī)研究中，用于基于視覺的導航的視覺同步定位和映射（Visual SLAM）和視覺里程計（VO）是主要課題。V-SLAM技術構建無人機經過的周圍環(huán)境的實時地圖，并且無人機相對于該構建的地圖進行自身定位。VO使用連續(xù)捕獲的圖像來估計無人機的自我運動，而不是構建無人機的完整環(huán)境圖。這些研究集中在 3D環(huán)境的識別上，并根據(jù)識別結果控制無人機。但是V-SLAM的計算成本很高，處理速度不是很高。另一方面，在飛行生物中，實時視覺信息用于避免碰撞并在狹窄空間飛行。在這種情況下，無需獲取詳細的世界坐標系3D環(huán)境地圖，即使只獲取無人機機身與障礙物之間的相對位置和方位，無人機也可以通過視覺伺服飛行。省略了準確的3D環(huán)境識別過程，實現(xiàn)了響應迅速的飛行。

我們認為這種響應式視覺伺服在傳統(tǒng)無人機研究中的表現(xiàn)仍然不夠高。因此，開發(fā)了一種用于無人機的新型輕型高速視覺系統(tǒng)和用于快速目標跟蹤的視覺伺服控制。所提出的視覺系統(tǒng)可以在短時間內識別周圍環(huán)境，并可以立即將控制信號傳輸?shù)斤w行控制器。圖1顯示了本文中使用的基于相對位置的視覺伺服與傳統(tǒng)方法之間的差異。基于相對位置的視覺伺服估計與目標的相對位置和方向以進行視覺伺服，而不是收集完整的環(huán)境信息來制定控制策略。

圖1 傳統(tǒng)方法 （ a ） 和基于相對位置的視覺伺服 （ b ） 的概念

開發(fā)用的無人機

圖2a顯示了我們在實驗中使用的平臺。對于快速運動，我們選擇了QAV250光纖框架作為飛行平臺。對于高速目標識別，我們選擇了配備Theia SY110M超廣角鏡頭的XIMEA MQ003CG-CM高速相機?？紤]到快速圖像處理和姿態(tài)估計的需要，我們選擇了Jetson TX2，這是NVIDIA推出的低功耗嵌入式平臺，包括一個256核的NVIDIA Pascal GPU，一個六核ARMv8 64位CPU復合體，以及帶有128位接口的8 GB LPDDR4內存。作為飛控，我們選擇了Pixhawk2.1 Cube作為基礎硬件來開發(fā)自己的飛控。

圖2 開發(fā)用的無人機：（ a ） 平臺 （ b ） 接線配置

圖2b顯示了我們的無人機的接線圖。高速相機通過USB3.0 電纜將原始圖像傳輸?shù)脚涮子嬎銠C。在計算出相對位姿后，當前位置和設定點通過FTDI USB到TTL電纜使用mavlink協(xié)議傳輸?shù)斤w行控制器。最后，PPM信號被發(fā)送到ESC以將它們轉換為三相信號以驅動無刷電機。

移動目標

在實驗中，我們準備了一個樣本移動目標作為視覺伺服的參考，以定量驗證其性能。為了方便圖像處理中的快速特征檢測，我們在一塊板上安裝了四個LED燈作為移動目標，如圖3a所示。將每個LED的坐標定義為（0 ， 0 ， 0 ），（0.21 ， 0 ， 0 ），（0 ， 0.15 ， 0 ），（0.21 ， 0.15 ， 0 ）分別從第1點到第4點。為了移動目標板，我們使用了Barrett WAM7-DoF機器人機械手，如圖3b所示，并以不同的速度和加速度移動它。

圖3 目標對象的配置：（ a ） 目標對象 （ b ） 用于移動目標的機械臂

特征檢測

我們使用Harris角點算法來檢測目標上的特征。這是一種通用的特征檢測算法，可以很容易地應用于其他識別任務。此外，由于計算量低，它適用于高速圖像處理。在使用高速視覺的情況下，幀之間只觀察到目標的微小變化，并且可以假設時間連續(xù)性，因此很容易防止誤檢。

圖像質心

在時間t，我們可以使用所有圖像特征的中心C將特征分類為一些部分，如圖4所示。

圖4 為姿勢估計選擇四個內點的圖像處理

基于相對位置的視覺服務

為了實現(xiàn)響應式快速運動，我們提出了基于相對位置的視覺伺服，它只計算無人機相對于目標的位姿。由于我們的控制器只需要相對位置，因此車載伴侶計算機上圖像處理的計算量將得到有效降低，我們可以在相同的時間內獲得更多可用的視覺信息。圖5顯示了我們在實驗中使用的基于相對位置的視覺伺服方法。

圖5 基于相對位置的高速視覺伺服控制回路

坐標變換

我們的系統(tǒng)中有三個坐標系：目標坐標系O、相機坐標系C和無人機機身坐標系B，如圖6a所示。我們可以通過PnP直接獲得°x和°R。

圖6坐標系和相對姿態(tài)：（ a ） 各坐標系之間的關系 （ b ） 相對偏航角

在實驗中，首先讓四旋翼手動起飛，一旦目標在視野范圍內，飛行模式就會自動切換到位置保持模式。四旋翼飛行器將飛行到相對于目標原始點的設定點并保持其位置。由于目標和四旋翼之間的相對位置用于基于位置的視覺伺服，因此四旋翼將在目標移動期間繼續(xù)飛行到設定點。在進行動態(tài)目標跟蹤實驗之前，我們在一個位置保持實驗中測試了直接視覺伺服的性能，實驗配置如圖7所示。

圖7 位置保持飛行的配置

軌跡模擬

對于動態(tài)目標跟蹤，為了方便設置目標的移動速度，預先設置了目標的軌跡。實驗中，目標在不同運動速度的機械臂兩個姿態(tài)之間前后移動，以驗證不同條件下的跟蹤結果。圖8顯示了為跟蹤任務設置的位置。

圖8 目標軌跡模擬：（ a ） 目標的第一個位置 （ b ） 目標的第二個位置

跟蹤軌跡被轉換到位于機器人手臂上的世界坐標系（圖9），如圖10所示，目標以0.5［m/s］的線速度和0.1［m/s2］的線加速度移動。圖11顯示了1.7秒內動態(tài)目標跟蹤的實驗結果。

圖9 物體坐標系與世界坐標系的關系

圖10 自主目標跟蹤軌跡（移動速度：v = 0.5 ［m/s］，a = 0.1 ［m/s2］，目標識別率：350 Hz）

圖11 自主目標跟蹤（移動速度：v = 0.5 ［m/s］，a = 1.0 ［m/s2］

提出了一種基于相對位置的視覺伺服系統(tǒng)，該系統(tǒng)采用高速目標識別方法和新穎的控制器設計。與以往對無人機視覺伺服的研究相比，我們的系統(tǒng)利用視覺位置信息直接對無人機進行高速控制，并在定位飛行中驗證了所提出的控制方案的可行性。通過實時目標跟蹤實驗證明了該方法的優(yōu)點。實驗結果表明，我們提出的方法可以實現(xiàn)比低速目標識別設置更好的跟蹤性能?！　?/p>