3D視覺技術(shù)和3D傳感器分析

【摘要】 1. 3D視覺技術(shù)2D視覺技術(shù)借助強(qiáng)大的計(jì)算機(jī)視覺和深度學(xué)習(xí)算法取得了超越人類認(rèn)知的成就，而3D視覺則因?yàn)樗惴ń：铜h(huán)境依賴等問(wèn)題，一直處于正在研究的前沿。3D視覺同樣為傳統(tǒng)研究領(lǐng)域，但最近5年內(nèi)得到快速發(fā)展。與深度學(xué)習(xí)算法結(jié)合，在智能制造/機(jī)器人、自動(dòng)駕駛、AR/VR、SLAM、無(wú)人機(jī)、三維重建、人臉識(shí)別等領(lǐng)域取得了優(yōu)異的效果。3D視覺主要研究?jī)?nèi)容包括：l 3D感知：點(diǎn)云獲取...1.3D視覺技術(shù) 2D視覺技術(shù)借助強(qiáng)大的計(jì)算機(jī)視覺和深度學(xué)習(xí)算法取得了超越人類認(rèn)知的成就，而3D視覺則因?yàn)樗惴ń：铜h(huán)境依賴等問(wèn)題，一直處于正在研究的前沿。 3D視覺同樣為傳統(tǒng)研究領(lǐng)域，但最近5年內(nèi)得到快速發(fā)展。與深度學(xué)習(xí)算法結(jié)合，在智能制造/機(jī)器人、自動(dòng)駕駛、AR/VR、SLAM、無(wú)人機(jī)、三維重建、人臉識(shí)別等領(lǐng)域取得了優(yōu)異的效果。3D視覺主要研究?jī)?nèi)容包括：

3D感知：點(diǎn)云獲取及處理，應(yīng)用于機(jī)器人/機(jī)械臂、自動(dòng)駕駛、無(wú)人機(jī)等場(chǎng)景。

位姿估計(jì)（視覺SLAM）：應(yīng)用于機(jī)器人定位導(dǎo)航、VPS等場(chǎng)景。

3D重建：

大規(guī)模場(chǎng)景的3D重建、動(dòng)態(tài)實(shí)景融合和3D理解（與3D感知趨于一致等），應(yīng)用于數(shù)字城市/園區(qū)、數(shù)字文旅、混合現(xiàn)實(shí)等場(chǎng)景。

人臉、人體、手部3D重建和關(guān)鍵點(diǎn)檢測(cè)識(shí)別，應(yīng)用于游戲娛樂(lè)、動(dòng)漫影視內(nèi)容制作等領(lǐng)域。

近年來(lái)，學(xué)術(shù)界和工業(yè)界推出了一系列優(yōu)秀的算法和產(chǎn)品，被廣泛應(yīng)用到各個(gè)領(lǐng)域。

學(xué)術(shù)界：

CVPR、ECCV、ICCV三大頂會(huì)每年和3D視覺相關(guān)主題的文章數(shù)量保持在十分之一左右，且呈增加趨勢(shì)。3D視覺技術(shù)主要包括：3D點(diǎn)云識(shí)別與分割、3D物體檢測(cè)、單目圖像深度圖的生成、語(yǔ)義SLAM、三維重建、光場(chǎng)計(jì)算等。

工業(yè)界：

3D視覺廣泛應(yīng)用到人臉識(shí)別、智能機(jī)器人、自動(dòng)駕駛、ARVR等領(lǐng)域；比如，OPPO、華為和蘋果等公司推出的3D+AI識(shí)別功能，通過(guò)掃描人臉三維結(jié)構(gòu)完成手機(jī)解鎖；自動(dòng)駕駛領(lǐng)域通過(guò)分析3D人臉信息，判斷司機(jī)駕駛時(shí)的情緒狀態(tài)；SLAM方式通過(guò)重建周邊環(huán)境，完成建圖與感知；AR領(lǐng)域通過(guò)三維重建技術(shù)完成目標(biāo)的重現(xiàn)，等等。2.3D視覺傳感器/相機(jī) 傳感器/相機(jī)作為3D視覺的眼睛，其在3D技術(shù)演進(jìn)及落地應(yīng)用過(guò)程中所占的位置十分重要，甚至一定程度上決定了3D視覺技術(shù)的發(fā)展了應(yīng)用。本文概要分析3D傳感器/相機(jī)技術(shù)，并對(duì)當(dāng)前業(yè)界硬件廠商和產(chǎn)品進(jìn)行簡(jiǎn)單介紹。 3D傳感器/相機(jī)，不僅能夠獲得平面圖像，還可以獲得拍攝對(duì)象的深度信息，即三維位置及尺寸等。3D傳感器/相機(jī)通常有多個(gè)攝像頭+深度傳感器組成?？梢詫?shí)現(xiàn)三維信息采集，且三維數(shù)據(jù)可以轉(zhuǎn)成點(diǎn)云。 根據(jù)基礎(chǔ)原理的不同，目前市面上的3D傳感器主要包括以下幾種：

(1)雙目相機(jī) 雙目視覺是機(jī)器視覺的一種重要形式，基于視差原理并利用成像設(shè)備從不同的位置獲取被測(cè)物體的兩幅圖像，通過(guò)計(jì)算圖像對(duì)應(yīng)點(diǎn)間的位置偏差，來(lái)獲取物體三維幾何信息的方法。目前有主動(dòng)雙目，被動(dòng)雙目之分，被動(dòng)雙目就是采用可見光，好處是不需要額外光源，但是晚上無(wú)法使用，主動(dòng)雙目就是主動(dòng)發(fā)射紅外激光做補(bǔ)光，光線暗的場(chǎng)景也能正常使用。

雙目相機(jī)優(yōu)缺點(diǎn)：

硬件要求和成本低，普通CMOS相機(jī)即可。

可適用室內(nèi)外場(chǎng)景。

對(duì)環(huán)境光照非常敏感。光線變化導(dǎo)致圖像偏差大，進(jìn)而會(huì)導(dǎo)致匹配失敗或精度低。

不適用單調(diào)缺乏紋理的場(chǎng)景。雙目視覺根據(jù)視覺特征進(jìn)行圖像匹配，沒有特征會(huì)導(dǎo)致匹配失敗。

計(jì)算復(fù)雜度高。純視覺的方法對(duì)算法要求高，計(jì)算量較大。

基線限制了測(cè)量范圍。測(cè)量范圍和基線（兩個(gè)攝像頭間距）成正比，導(dǎo)致無(wú)法小型化。

(2)結(jié)構(gòu)光 結(jié)構(gòu)光(Structured light)：通常采用特定波長(zhǎng)的不可見的紅外激光作為光源，發(fā)射出來(lái)的光經(jīng)過(guò)一定的編碼投影在物體上，通過(guò)一定算法來(lái)計(jì)算返回的編碼圖案的畸變來(lái)得到物體的位置和深度信息。 根據(jù)編碼圖案不同，機(jī)構(gòu)光相機(jī)可分為：

一般有條紋結(jié)構(gòu)光---enshape

編碼結(jié)構(gòu)光---Mantis Vision, Real sense(F200)

散斑結(jié)構(gòu)光--apple(prime sense)

結(jié)構(gòu)光相機(jī)優(yōu)缺點(diǎn)包括：

方案成熟，相機(jī)基線可以做的比較小，方便小型化。

資源消耗較低，單幀IR圖即可計(jì)算深度信息，功耗低。

主動(dòng)光源，暗光線場(chǎng)景也可使用。

在一定范圍內(nèi)精度高，分辨率高，分辨率可達(dá)1280x1024,幀率可達(dá)到60FPS。

容易受環(huán)境光干擾，室外體驗(yàn)差。

隨檢測(cè)距離增加，精度會(huì)變差。

(3)ToF相機(jī) 不同于使用2D圖像來(lái)推算3D資訊，ToF是透過(guò)紅外光在空氣中的飛行時(shí)間，計(jì)算出目標(biāo)體的距離。ToF技術(shù)也是機(jī)器視覺工業(yè)的重要里程碑，因其只需要使用低成本的CMOS傳感器和主動(dòng)光源技術(shù)就能提供3D場(chǎng)景的距離景深資訊。 此外，不同于單點(diǎn)逐點(diǎn)掃描方式，ToF是每個(gè)圖元都能測(cè)量對(duì)應(yīng)目標(biāo)體的亮度和反射回來(lái)的到達(dá)時(shí)間，從而計(jì)算出該點(diǎn)對(duì)應(yīng)的距離景深。ToF提供了視角范圍內(nèi)場(chǎng)景的整個(gè)分辨率的距離景深資料。該技術(shù)結(jié)構(gòu)簡(jiǎn)單，容易使用，不依賴環(huán)境光，且兼具高精度和高幀率。 TOF法根據(jù)調(diào)制方法的不同，一般可以分為兩種：脈沖調(diào)制（Pulsed Modulation）和連續(xù)波調(diào)制(Continuous Wave Modulation)。脈沖調(diào)制需要非常高精度時(shí)鐘進(jìn)行測(cè)量，且需要發(fā)出高頻高強(qiáng)度激光，目前大多采用檢測(cè)相位偏移辦法來(lái)實(shí)現(xiàn)TOF功能。 下面圖片描述了TOF相機(jī)（連續(xù)波）的基本原理，實(shí)際應(yīng)用中，通常采用的是正弦波調(diào)制。由于接收端和發(fā)射端正弦波的相位偏移和物體距離攝像頭的距離成正比，因此可以利用相位偏移來(lái)測(cè)量距離。

TOF的優(yōu)缺點(diǎn)包括：

檢測(cè)距離遠(yuǎn)。在激光能量夠的情況下可達(dá)幾十米。

受環(huán)境光干擾比較小。

對(duì)設(shè)備要求高，特別是時(shí)間測(cè)量模塊。

資源消耗大。該方案在檢測(cè)相位偏移時(shí)需要多次采樣積分，運(yùn)算量大。

邊緣精度低。

限于資源消耗和濾波，幀率和分辨率都沒辦法做到較高。目前消費(fèi)類最大也就VGA。

除了上述視覺傳感器（相機(jī)）外，3D視覺相關(guān)的數(shù)據(jù)采集設(shè)備還包括：毫米波雷達(dá)、激光雷達(dá)等，廣泛用于機(jī)器人、自動(dòng)駕駛等應(yīng)用場(chǎng)景。 毫米波是指波長(zhǎng)在1mm到10mm之間的電磁波，換算成頻率后，毫米波的頻率位于30GHz到300GHz之間。毫米波的波長(zhǎng)介于厘米波和光波之間，因此毫米波兼有微波制導(dǎo)和光電制導(dǎo)的優(yōu)點(diǎn)。

激光雷達(dá)(Light Detection And Ranging，LiDAR)，即光探測(cè)與測(cè)量，是一種集激光、全球定位系統(tǒng)（GPS）和慣性測(cè)量設(shè)備(IMU)于一身的系統(tǒng)，用于獲得數(shù)據(jù)并生成精確的DEM（數(shù)字高程模型）。LiDAR可以高度準(zhǔn)確地定位激光束打在物體上的光斑，測(cè)距精度可達(dá)厘米級(jí)，其優(yōu)勢(shì)包括“精準(zhǔn)”、“快速”。下圖為自動(dòng)駕駛領(lǐng)域常用的Velodyne LiDAR。

近幾年，無(wú)人駕駛技術(shù)興起并快速發(fā)展。無(wú)人駕駛技術(shù)研發(fā)公司，包括谷歌、百度、Uber等主流無(wú)人駕駛汽車研發(fā)團(tuán)隊(duì)，都在使用激光雷達(dá)作為傳感器之一，與圖像識(shí)別等技術(shù)搭配使用，實(shí)現(xiàn)三維環(huán)境感知，為自動(dòng)駕駛保駕護(hù)航。 LiDAR系統(tǒng)通過(guò)發(fā)射一束激光，測(cè)量光在物體表面反射而返回來(lái)的信號(hào)，信號(hào)傳輸所需的時(shí)間提供了一種直接測(cè)量LiDAR系統(tǒng)與物體之間的距離的手段。關(guān)于物體的額外的信息，比如它的速率或材料成分，也可以通過(guò)測(cè)量反射回來(lái)的信號(hào)中的某些特性而得以確定，這些特性包括誘導(dǎo)多普勒頻移，從而創(chuàng)建出完整的3D模型。

審核編輯 ：李倩