3D ToF相機傳感器在無人機上的10大出色應用

無人機或地面系統(tǒng)上的閃光激光雷達（也稱為ToF相機傳感器）具有許多強大的用途，包括物體掃描、測量距離、室內導航、避障、手勢識別、跟蹤物體、測量體積、反應式高度計、3D攝影、增強現(xiàn)實游戲等。

什么是ToF相機傳感器？

飛行時間（ToF）是一種高精度的距離測繪和3D成像技術，其根據(jù)信號的發(fā)射與被物體反射后返回傳感器之間的時間差來測量傳感器與物體之間的距離——飛行時間3D深度傳感器發(fā)射一個很短的紅外光脈沖，然后相機傳感器的每個像素測量返回時間。

測距成像ToF相機是一種非常先進的激光雷達系統(tǒng)，它用一個光脈沖或閃光來代替標準的逐點激光束，以實現(xiàn)完全的空間感知。該相機可以感知光線從任何周圍物體返回所需的時間，將其與視頻數(shù)據(jù)相結合，并創(chuàng)建實時3D圖像。還可用于跟蹤面部或手部動作，繪制房間地圖，從圖像中移除背景，甚至在圖像中疊加3D對象。

ToF傳感器技術的優(yōu)勢

作為一種新興技術，ToF或3DFlashLIDAR與傳統(tǒng)的點（單像素）掃描儀相機和立體相機相比具有許多優(yōu)勢，包括：

簡單

與立體視覺或三角測量系統(tǒng)相比，整個系統(tǒng)非常緊湊：照明僅放置在鏡頭旁邊，而其他系統(tǒng)則需要一定的最小基線。

與激光掃描系統(tǒng)相比，不需要機械運動部件。

飛行時間相機的一大優(yōu)勢是能夠以一張鏡頭合成場景的3D圖像。其他3D視覺系統(tǒng)需要更多圖像和運動。

高效

從ToF傳感器的輸出信號中提取距離信息是直接的過程。結果，該任務僅使用少量的處理能力，而對于立體視覺，實現(xiàn)了復雜的相關算法，需要更多的能量和更多的處理能力。

提取距離數(shù)據(jù)后，物體檢測也是一個簡單的過程，因為算法不會受到物體圖案的干擾。

速度

飛行時間3D攝像機可以單次測量整個場景中的距離。由于攝像頭每秒可達到160幀，因此非常適合在實時應用中使用。

價錢

與其他3D深度范圍掃描技術（例如結構化光相機/投影儀系統(tǒng)或激光測距儀）相比，ToF技術非常便宜。

ToF是被稱為范圍成像的少數(shù)技術之一。用于產生范圍圖像的傳感器設備有時被稱為范圍相機。其他的測距技術有立體三角測量、光片三角測量、結構光、干涉測量和編碼光圈。

ToF相機傳感器技術與其他技術相比具有巨大的優(yōu)勢，因為它能夠在一次拍攝中測量完整場景內的距離。且ToFFlash激光雷達無需掃描儀，這意味著整個場景是通過單個光脈沖（閃光）捕獲的，而不是通過旋轉的激光束逐點捕獲。ToF相機使用專用的圖像傳感器可在三個維度上捕獲整個場景，因此無需移動部件。

3DToF相機傳感器在無人機上的10大出色應用

①、無人機ToF傳感器用于室內導航

對于無人駕駛飛機甚至機器人，要在室內成功安全地導航，都會帶來許多技術挑戰(zhàn)。在機器人制圖中，同時定位和制圖（SLAM）是在構造或更新未知環(huán)境的地圖并同時跟蹤代理在其中的位置時所遇到的計算問題。

簡單來說，SLAM關心的問題是，移動機器人在構建未知環(huán)境的地圖的同時使用地圖導航環(huán)境。

使用飛行時間深度感應攝像頭的無人機ParrotARDrone通過其攝像頭在沒有GPS的情況下實現(xiàn)室內飛行。其所使用的基本機制是在車輛下方的地面上拍攝兩張照片。然后將第二張照片與第一張照片進行比較，并計算出偏移量。此偏移量指示車輛在兩張照片之間移動了多少。

該技術與向下指向的飛行時間3D深度傳感器相結合，為室內水平和垂直空間定位提供了一種非常準確且低成本的機制。

②、無人機ToF傳感器用于3D形狀掃描

無人機目前已用于創(chuàng)建建筑物和紀念碑的精確3D模型。2015年，一架無人機在巴西成功創(chuàng)建了基督救世主雕像的3D圖像。在此之前，任何地方都沒有這個雕像的準確模型。使用3D攝影測量基督救世主雕像，這意味著無人機必須在雕像周圍飛來飛去，拍攝數(shù)千張圖片，然后使用3D制圖軟件將它們縫合在一起。

其他3D形狀掃描技術使用專用且復雜的傳感器，例如結構化的攝像頭/投影儀系統(tǒng)或激光測距儀。即使這些產生高質量的數(shù)據(jù)，它們也很昂貴并且經常需要專家知識來進行操作。

哈佛大學提出了一種使用ToF相機的極具成本效益的3D形狀掃描解決方案?，F(xiàn)在，該解決方案是基于地面的。但是，當安裝在無人機上時，此解決方案也將起作用。

隨著在這一領域的更多創(chuàng)新和投資，我們很可能會看到ToF相機成為掃描大型物體和紀念碑的經濟有效的解決方案。

③、無人機ToF傳感器用于農業(yè)

在農業(yè)領域，裝有多光譜傳感器的無人機可以讓農民更有效地管理作物和土壤。這些多光譜成像農業(yè)無人機使用綠波段、紅波段、紅邊波段和近紅外波段的遙感技術，拍攝農作物和植被的可見和不可見圖像。

多光譜傳感器的數(shù)據(jù)對預防病害、蟲害非常有用。它們還能極大地幫助農民計算出正確的水、肥料和噴灑量。

ToF相機可以通過多種方式作為農業(yè)多光譜解決方案的一部分。

ToF相機在快速測量體積方面表現(xiàn)出色。它們可以在一次拍攝中捕捉到完整的場景。ToF3D傳感器是測量作物密度和提供覆蓋物和糞便堆積量數(shù)據(jù)的理想選擇。

為了獲得農作物的準確數(shù)據(jù)，無人機飛行越穩(wěn)定，數(shù)據(jù)、圖像和膠片就越準確。更平穩(wěn)的飛行可以改善數(shù)據(jù)采集過程，也有助于延長飛行自主性。

TeraRangerOne等ToF傳感器可以作為一個非常精確的反應式高度計。與視野非常狹窄的激光系統(tǒng)相比，當無人機在地面和藤蔓上空交替飛行時，TeraRangerToF相機可以提供更平滑、更穩(wěn)定的相對高度。

④、無人機ToF傳感器用于測量體積

FlashlidarToF相機正被用于測量體積，如工廠或倉儲環(huán)境中箱子的包裝空間。

飛行時間傳感器技術非常適合此應用，主要有以下三個原因。與其他3D掃描技術（例如條紋圖案投影和3D激光位移傳感器）相比，它更具成本效益；與3D激光位移傳感器一樣，它不需要運動軸即可掃描盒子；它的運行速度高達40每秒幀數(shù)，在包裝盒填充包裝材料時提供實時的體積測量。

在戶外，安裝有ToF相機的無人機或起重機能夠測量庫存或裝滿原材料的卡車的體積。安裝有ToF相機的無人機可以飛越全部或部分存儲區(qū)域，并快速計算出材料的沉積量或卡車的總負荷。

WhitakerContracting使用帶ToF相機的無人機測量他們的庫存，每年可節(jié)省22%的成本。他們節(jié)省了大量的成本，同時測量庫存的頻率也提高了2倍?，F(xiàn)在測量庫存所花費的時間比以前減少了75%。

⑤、無人機ToF傳感器用于防撞系統(tǒng)

2016年，我們首次開始看到市場上出現(xiàn)了小型消費和商業(yè)無人機，它們可以檢測障礙物。根據(jù)無人機、其傳感技術和軟件編程，無人機在檢測到物體時，可以采取停止和懸停的動作，也可以繞著物體導航。

ToF相機的眾多功能之一就是用于避障和防撞。

在研究市場上一些最新的無人機時，我可以找到3款無人機，它們使用ToF進行避障。其中一款無人機只使用ToF攝像頭來探測無人機上方的物體。另一款無人機則是使用ToF攝像頭與其他傳感器結合來避開障礙物。

由于這是相當新的技術，隨著更多的發(fā)展，相信未來我們會看到更多的無人機使用ToF閃光激光雷達相機傳感器進行障礙物檢測。

⑥、無人機上的手勢識別ToF

一般來說，“3D飛行時間”用途可分為“手勢”和“非手勢”兩類。手勢應用程序強調人與人之間的互動和速度。非手勢應用則強調測量精度。

手勢應用程序將人類的動作（面部，手，手指或全身）轉換為符號指令，以命令游戲機，智能電視或便攜式計算設備。

例如，可以通過揮手來完成頻道沖浪，并且可以使用手指閃爍來滾動演示。這些應用通常需要快速的響應時間，中低范圍，厘米級的精度和功耗。在微軟Kinect2使用時間-飛行傳感器的手勢交互。

市面上有不少無人機都有手勢模式，對于拍攝無人機自拍非常有用。大疆MavicPro和Phantom4Pro就使用了手勢模式。

大疆MavicAir采用先進的手勢和人臉識別進行飛行和拍攝。大疆并沒有給出太多關于他們手勢模式背后技術的細節(jié)。他們的許多自主飛行模式和避撞系統(tǒng)，結合了視覺和超聲波傳感器以及復雜的算法。

總的來說，我們會看到更多的無人機進入市場，手勢模式和新的自主飛行模式，ToF也會發(fā)揮它的作用。

⑦、無人機ToF傳感器用于測量距離

飛行時間傳感器基于信號的發(fā)射與被物體反射后返回到傳感器之間的時間差，可以快速測量ToF傳感器與物體之間的距離。

應用包括無人機的地面接近檢測、室內無人機的天花板接近度檢測等。

⑧、無人機ToF傳感器用于倉儲追蹤

ToF相機可用于物體掃描和體積計數(shù)，協(xié)助我們?yōu)閭}儲提供無人機和解決方案。

比如ToF閃光激光雷達相機在Hardis集團Eyesee無人機上的使用。

Eyesee無人機配備了機載攝像頭和室內地理定位技術，使其能夠使用預先設定的飛行計劃進行移動，并捕捉存儲在倉庫中的托盤的相關數(shù)據(jù)。

然后，無人機將捕捉到的圖像與其在倉庫中的位置相關聯(lián)，并將其3D位置自動轉化為物流地址（存儲位置）。

⑨、使用ToF3D深度相機的無人機攝影機

3D在電視和電影中變得非常流行。專業(yè)攝影師、電影制作人和消費者都在尋找能夠生成3D內容的相機，無論是視頻還是靜態(tài)照片。這種3D技術是基于ToF傳感器實現(xiàn)的。

與傳統(tǒng)相機不同的是，ToF相機不僅提供光強度圖像，而且還提供包含每個像素的距離測量的范圍圖，該范圍圖是通過測量光到達物體并返回相機所需的時間獲得的（飛行時間原理）。

無人機中的攝像頭在過去的幾年里有了很大的進步。去年，市場上出現(xiàn)了一些配備4k攝像頭的無人機。還有2款帶變焦攝像頭的無人機。它們分別是WalkeraVoyager和大疆Inspire1無人機的ZenmuseZ3相機。

所以在不遠的將來的某一天，我們可以期待在大多數(shù)無人機上看到3D攝影相機。

⑩、ToF傳感器在無人機及汽車中的創(chuàng)新應用

汽車行業(yè)正在開發(fā)多種系統(tǒng)，包括一些使用閃光激光雷達飛行時間傳感器的優(yōu)秀安全系統(tǒng)。

這也是為什么我相信無人機行業(yè)會跟進，并開始在飛行時間技術上投入更多的時間和資源。

以下是汽車行業(yè)使用ToF技術的一些創(chuàng)新。

駕駛員狀態(tài)監(jiān)測，如頭部位置檢測和睡意識別等。

乘客分類用于自主設置預先定義的乘客偏好、優(yōu)化的抬頭顯示可視化和優(yōu)化調整的安全氣囊部署力。

信息娛樂、導航和HVAC系統(tǒng)等的非接觸式手勢控制。

環(huán)繞視圖，用于復雜的停車輔助和障礙物檢測

例如，MLX75123Tof攝像頭傳感器是Melexis的全集成配套芯片。它完全適用于汽車和非汽車應用，包括但不限于手勢識別、駕駛員監(jiān)控、骨骼跟蹤、人員或障礙物檢測和交通監(jiān)控。
責任編輯人：CC