現(xiàn)行的深度傳感鏡頭作為智能手機的一大創(chuàng)新,已在目前主流智能手機上廣泛應(yīng)用?,F(xiàn)因蘋果在最新版iPad Pro上搭載了D-ToF(直接飛行時間法)深度傳感鏡頭引起了極大的關(guān)注,推動了3D視覺在消費場景的新應(yīng)用機會。為了讓讀者更全面的了解ToF技術(shù),本文將會分析3D視覺傳感技術(shù)的基本原理,ToF鏡頭的相關(guān)產(chǎn)業(yè)鏈信息,ToF技術(shù)的具體應(yīng)用以及ToF技術(shù)的未來發(fā)展前景。 ?
01??3D視覺方案技術(shù)介紹
3D視覺傳感技術(shù)是一項重要的科學(xué)突破。它是一種深度傳感技術(shù),增強了攝像機進行面部和目標(biāo)識別的能力。相對于2D技術(shù),3D技術(shù)除了顯示對象的X和Y值之外,還可以提供記錄場景或?qū)ο蟮纳疃戎?,在感知和處理日?;顒拥姆绞缴蠋砹霜毺氐倪M步,制造商爭先恐后地將這些新的進步融入到手機等消費產(chǎn)品中。該技術(shù)利用光學(xué)技術(shù)模擬人類視覺系統(tǒng),促進了增強現(xiàn)實、人工智能和物聯(lián)網(wǎng)的出現(xiàn)和應(yīng)用。
目前市面上主流的3D光學(xué)視覺方案有三種:雙目立體視覺法(Stereo Vision,在下文稱雙目法),結(jié)構(gòu)光法(Structured Light,在下文稱結(jié)構(gòu)光)以及飛行時間法(Time of Flight, ToF在下文稱ToF)。此文主要探討的是ToF,同時會對其他兩種主流方案進行技術(shù)比較。目前較為成熟的方案是結(jié)構(gòu)光和ToF。其中結(jié)構(gòu)光最為成熟,已經(jīng)在工業(yè)3D視覺中大規(guī)模應(yīng)用。ToF的概念是扎根于深度傳感器的。這里的深度傳感器是指采用像素陣列來獲取整個場景的高分辨率深度分布。對于深度傳感器來說,一般用于測量深度的方案分別有結(jié)構(gòu)光、雙目和ToF三種,其中結(jié)構(gòu)光(iPhone目前的Face ID就是使用了基于結(jié)構(gòu)光的深度傳感器)和雙目技術(shù)都是基于幾何原理做間接深度估計,而ToF則是測量發(fā)射光和反射光之間的飛行時間并根據(jù)光速來直接估計深度。
1.1 雙目立體視覺法(Stereo Vision)
雙目立體視覺法的技術(shù)原理是通過從兩個視點觀察同一物體,從而來獲得同一物體在不同視角下的圖像。通過三角測量原理來計算圖像像素間的位置偏差(視差)來獲取物體的三維圖像,比如把一只手指放在鼻尖前方,左右眼看到手指會有一個錯位的效果,這個位置差被稱為視差。相機所要拍攝的物體離相機越近,視差越大,離相機越遠,視差就越小。由此可以得出,當(dāng)兩個相機的位置等條件已知時,就可以通過計算相似三角形的原理來得出從物體到相機的距離。過程跟人類眼睛的工作原理相似。在雙目立體視覺系統(tǒng)的硬件結(jié)構(gòu)中,通常采用兩個攝像機作為視覺信號的采集設(shè)備,通過雙輸入通道圖像采集卡與計算機連接,把攝像機采集到的模擬信號經(jīng)過采樣、濾波、強化、模數(shù)轉(zhuǎn)換,最終向計算機提供圖像數(shù)據(jù)。
雙目立體視覺的開創(chuàng)性工作始于上世紀(jì)的60年代中期。美國MIT的Lawrence Roberts通過從數(shù)字圖像中提取立方體、楔形體和棱柱體等簡單規(guī)則多面體的三維結(jié)構(gòu),并對物體的形狀和空間關(guān)系進行描述,把過去的簡單二維圖像分析推廣到了復(fù)雜的三維場景,標(biāo)志著立體視覺技術(shù)的誕生。隨著研究的深入,研究的范圍從邊緣、角點等特征的提取,線條、平面、曲面等幾何要素的分析,直到對圖像明暗、紋理、運動和成像幾何等進行分析,并建立起各種數(shù)據(jù)結(jié)構(gòu)和推理規(guī)則。特別是在1982年,David Marr首次將圖像處理、心理物理學(xué)、神經(jīng)生理學(xué)和臨床精神病學(xué)的研究成果從信息處理的角度進行概括,創(chuàng)立了視覺計算理論框架。這一基本理論對立體視覺技術(shù)的發(fā)展產(chǎn)生了極大的推動作用,在這一領(lǐng)域已形成了從圖像的獲取到最終的三維場景可視表面重構(gòu)的完整體系,使得立體視覺已成為計算機視覺中一個非常重要的分支。
一個完整的雙目立體視覺系統(tǒng)通??煞譃閿?shù)字圖像采集、相機標(biāo)定、圖像預(yù)處理與特征提取、圖像校正、立體匹配、三維重建六大部分。雙目立體成像法具有高3D成像分辨率、高精度、高抗強光干擾等優(yōu)勢,而且可以保持低成本。但是需要通過大量的CPU/ASIC演算取得它的深度和幅度信息其算法極為復(fù)雜較難實現(xiàn),同時該技術(shù)易受環(huán)境因素干擾,對環(huán)境光照強度比較敏感,且比較依賴圖像本身的特征,因而拍攝暗光場景時表現(xiàn)差。雙目立體視覺法還有另一個限制,它過度的依賴于被拍攝物體的表面紋理,如果被攝物體表面沒有明顯的紋理,使用雙目立體視覺法會無法匹配與之對應(yīng)的像素的問題。
1.2 結(jié)構(gòu)光法(Structured Light)
該技術(shù)是一種主動雙目視覺技術(shù),結(jié)構(gòu)光技術(shù)的基本原理是,通過近紅外激光器,將具有已知的結(jié)構(gòu)特征(比如離散光斑、條紋光、編碼結(jié)構(gòu)光等)的光線投射到被拍攝物體上,再由專門的紅外攝像頭進行采集三維物體物理表面成像的畸變情況,再通過觀測圖案與原始圖案之前發(fā)生的形變由此來得到圖案上的各個像素的視差。這個技術(shù)通過光學(xué)手段獲取被拍攝物體的三維結(jié)構(gòu),再將獲取到的信息進行更深入的應(yīng)用。其工作原理可看作是另一種雙目法,紅外激光器和紅外攝像頭可當(dāng)做是雙目立體視覺法中的左右雙目的觀測原理。
結(jié)構(gòu)光在消費電子領(lǐng)域的商用最早可追溯到2009年,微軟與以色列3D感測公司 PrimeSense合作發(fā)布了搭載結(jié)構(gòu)光模組的體感設(shè)備Kinect一代,2010年11月上市后,該產(chǎn)品成為 2011 年銷售最快的消費電子設(shè)備。盡管產(chǎn)品大獲成功,但第一代 Kinect 的準(zhǔn)確度、圖像分辨率和響應(yīng)速度并不理想。2017年蘋果發(fā)布iPhone X,首次搭載 3D 結(jié)構(gòu)光模組,可實現(xiàn)3D人臉識別技術(shù),成為蘋果近幾年最大的創(chuàng)新。此前由于半導(dǎo)體工藝等多方面技術(shù)的限制,3D 感測很難應(yīng)用到體積非常有限、功耗要求低的手機上,因此iPhone X 的發(fā)布是結(jié)構(gòu)光技術(shù)的重大突破,市場對結(jié)構(gòu)光技術(shù)的熱情重新點燃。主要結(jié)構(gòu)光方案廠商還有美國的英特爾、高通/Himax,以色列 Mantis Vision 以及國內(nèi)華為、奧比中光等公司。iPhone X 發(fā)布后,國內(nèi)小米、華為和 OPPO 也先后發(fā)布了首款搭載結(jié)構(gòu)光模組的智能手機,其中小米采用的是以色列 Mantis Vision 公司的解決方案,華為采用的是自研方案,OPPO采用的是國內(nèi)公司奧比中光的解決方案。蘋果在2018年和2019年的iPhone新產(chǎn)品中也全部搭載了結(jié)構(gòu)光模組。
結(jié)構(gòu)光技術(shù)相較于雙目技術(shù)有一個好處,結(jié)構(gòu)光的紅外激光器發(fā)射出了光,可以照亮被掃描物體,所以它不需要像雙目結(jié)構(gòu)一樣依賴于光源,而且在較平整,沒有圖案的物體表面也可以測算出物體的三維深度。綜上所述,結(jié)構(gòu)光相較于雙目結(jié)構(gòu)有兩個優(yōu)點:(1)在場景較暗的場景下也可以運作正常(2)在沒有明顯紋理的物體上也可以實現(xiàn)深度掃描。
02??飛行時間法介紹
ToF是Time of Flight的縮寫,直譯為飛行時間,通過給目標(biāo)連續(xù)發(fā)送光脈沖,然后用傳感器接收從物體返回的光,通過探測這些發(fā)射和接收光脈沖的飛行(往返)時間來得到目標(biāo)物距離。傳感器通過計算光線發(fā)射和反射時間差或相位差,來換算被拍攝景物的距離,以產(chǎn)生深度信息,此外再結(jié)合傳統(tǒng)的相機拍攝,就能將物體的三維輪廓以不同顏色代表不同距離的地形圖方式呈現(xiàn)出來。
ToF最早的商用可追溯到 2006 年 7 月,衍生自CSEM(瑞士電子與微技術(shù)中心)的 MESA Imaging公司成立,并推出商用ToF攝像頭產(chǎn)品系列 SwissRanger,最開始應(yīng)用于汽車的被動安全檢測。ToF技術(shù)首次應(yīng)用到智能手機是在 2016 年,Google 和聯(lián)想合作推出了全球首個搭載ToF模組的智能手機 Phab2 Pro,采用的是pmd/英飛凌的ToF方案,該手機可實現(xiàn)一些如三維測量等簡易的 AR 應(yīng)用,但并沒有引起市場較大的反響。2018年8月6日,OPPO 在北京召開了ToF技術(shù)溝通會, 并在8月23日發(fā)布了其首部搭載 ToF 攝像頭的智能手機 OPPO R17 Pro,采用了 Sony 的解決方案。隨后在 2018 年 12 月,vivo 發(fā)布了其首部搭載 ToF 攝像頭的智能手機 vivo NEX 雙屏版,采用了松下的解決方案; 華為發(fā)布了其首部搭載 ToF 攝像頭模組的智能手機榮耀 V20,采用的是 OPPO R17 Pro 相同的 ToF方案。進入 2019 年后,安卓廠商紛紛加入 ToF 鏡頭的陣營。此后,有越來越多的手機廠商在手機上搭配ToF鏡頭。
典型ToF測量設(shè)置描繪在圖中,它包含幾個構(gòu)建塊:(a)脈沖/調(diào)制光源(在ToF中一般使用VCSEL,請見下文解釋)(b)光學(xué)擴散片將光擴散傳播出去,接著當(dāng)光從物體上反射回來時,用(c)一組透鏡收集從物體上折射回來的光。接著經(jīng)過一個濾光片將折射回來的光收集起來并且適當(dāng)?shù)卣{(diào)整光源的波長,接著通過改善背景噪聲抑制令光波可被芯片所識別。最后,測量系統(tǒng)的核心是由固態(tài)量程圖像傳感器(d),由一組光探測器(像素)組成,能夠直接或間接地測量光脈沖從光源到目標(biāo)并返回傳感器所需的飛行時間。該系統(tǒng)還需要一個合適的傳感器接口,為傳感器提供電源、所需的偏置電壓/電流信號、數(shù)字控制相位,并從傳感器讀取數(shù)據(jù)流,這通常需要進一步的小處理以獲得3D體積數(shù)據(jù)。最后,傳感器接口負責(zé)與外部(到PC或處理單元)的通信。
ToF 技術(shù)具有以下的優(yōu)點:1、軟件復(fù)雜性低,設(shè)計與應(yīng)用簡單 2、在暗光與強光環(huán)境下表現(xiàn)不錯 3、功耗不高 4、有較遠的探測距離 5、成本低 6、響應(yīng)速度快,缺點則在于室外受自然光紅外線影響大、遠距離無法保證精度。
飛行時間測量技術(shù)(D-ToF)
在經(jīng)典的飛行時間測量中,直接飛行時間(Direct ToF,D-ToF,下文稱為D-ToF)的原理比較直接,即直接發(fā)射一個光脈沖,之后測量反射光脈沖和發(fā)射光脈沖之間的時間間隔,就可以得到光的飛行時間。探測器系統(tǒng)在發(fā)射光脈沖產(chǎn)生的同時啟動一個高精度的秒表。當(dāng)探測到目標(biāo)發(fā)出的光回波時,秒表停止并直接存儲往返時間。目標(biāo)距離z可通過以下簡單方程估算:
其中表示光在空氣中傳播的速度。D-ToF通常用于單點測距系統(tǒng),但由于像素級亞納秒電子秒表的實現(xiàn)困難,D-ToF的成本以及技術(shù)難度相較于I-ToF更高。這項技術(shù)特別適用于基于SPAD的ToF系統(tǒng)。目前主流的主流的ToF技術(shù)所采用的SPAD(single- photon avalanche diode,單光子雪崩二極管)是一種高靈敏度的半導(dǎo)體光電檢測器,其被廣泛運用于弱光信號檢測領(lǐng)域。結(jié)合D-ToF技術(shù),可用來精確檢測記錄光子的時間和空間信息,繼而通過三維重極算法進行場景的三維重構(gòu)。蘋果在2020年發(fā)布的第四代iPad Pro中就運用到了D-ToF技術(shù)。D-ToF的原理看起來雖然很簡單,但是實際能達到較高的精度很困難而且成本對比I-ToF要高很多。除了對時鐘同步有非常高的精度要求以外,還對脈沖信號的精度有很高的要求。普通的光電二極管難以滿足這樣的需求。而D-ToF中的核心組件SPAD由于制作工藝復(fù)雜,能勝任生產(chǎn)任務(wù)的廠家并不多,并且集成困難。所以目前研究D-ToF的廠家并不多,更多的是在研究和推動I-ToF。
飛行時間測量技術(shù)(I-ToF)
D-ToF的另一種解決方案是所謂的間接ToF(Indirect ToF,I-ToF,下文稱為I-ToF),而I-ToF的原理則要復(fù)雜一些。在I-ToF中,發(fā)射的并非一個光脈沖,而是調(diào)制過的光。接收到的反射調(diào)制光和發(fā)射的調(diào)制光之間存在一個相位差,通過檢測該相位差就能測量出飛行時間,從而估計出距離。其中往返行程時間是從光強度的時間選通測量中間接外推的。在這種情況下,不需要精確的秒表,而是需要時間選通光子計數(shù)器或電荷積分器,它們可以在像素級實現(xiàn),只需較少的計算工作和硅面積。I-ToF是基于ToF相機的電子和照片混合設(shè)備的自然解決方案。
2.1?ToF產(chǎn)業(yè)鏈介紹
3D傳感產(chǎn)業(yè)生態(tài)鏈包括光源、光學(xué)單元(透鏡及濾光片等)、圖像傳感器及模組制造等直接硬件環(huán)節(jié),此外還包括軟件、處理器、3D系統(tǒng)設(shè)計等。
2.2?ToF鏡頭組成核心硬件
發(fā)射端:?1)發(fā)光單元:
ToF鏡頭的發(fā)光單元通常為能發(fā)出特定波長紅外線的垂直腔面發(fā)射激光器(Vertical-Cavity Surface-Emitting Laser,又譯垂直共振腔面射型激光,在下文稱VCSEL),VCSEL能以相對較小功率發(fā)射出較高的信號。VCSEL是一種半導(dǎo)體,其激光垂直于頂面射出,與一般用切開的獨立芯片制成,激光由邊緣射出的邊射型激光有所不同。傳統(tǒng)的光電轉(zhuǎn)換技術(shù)一般是用的LED等發(fā)光器件,這種發(fā)光器多采用的是邊緣發(fā)射,缺點是體積較大,所以會比較難于半導(dǎo)體技術(shù)相結(jié)合。20世紀(jì)90年代垂直腔表面發(fā)射激光VCSEL技術(shù)成熟后,解決了發(fā)光器件和半導(dǎo)體技術(shù)結(jié)合的問題,因此迅速得到普及。VCSEL是很有發(fā)展前景的新型光電器件,也是光通信中革命性的光發(fā)射器件。此外,ToF中泛光照明器的VCSEL輸出光束無需經(jīng)過編碼,因此器件制作上更為簡單,可供選擇的 VCSEL 供應(yīng)商也更多。顧名思義,邊發(fā)射激光器是沿平行于襯底表面、垂直于解理面的方向出射,而面發(fā)射激光器其出光方向垂直于襯底表面,如下圖:
VCSEL 是 3D Sensing 中重要的部件之一,不僅體現(xiàn)在其功能在體現(xiàn)在其價值量之中。隨著 3D Sensing 在手機中進一步滲透,VCSEL 的市場規(guī)模將隨之?dāng)U大。ToF不僅可以在手機中使用,還可以在光通訊、激光雷達等多個領(lǐng)域中使用,市場空間巨大。據(jù)市場研究機構(gòu) Yole 預(yù)測,到 2023 年,整個 VCSEL 市場將達到 35 億美元,年復(fù)合增長率達到 48%。VCSEL 領(lǐng)域具有市場大、增長快、應(yīng)用廣等特點,未來對 VCSEL 的關(guān)注度將會日漸提升。從圖中可看出未來在VCSEL賽道,主要集中的領(lǐng)域是消費電子、工業(yè)領(lǐng)域以及通信。VCSEL 是化合物半導(dǎo)體激光器,因此對應(yīng)化合物半導(dǎo)體產(chǎn)業(yè)鏈,包括晶圓、外延片(EPI)、IC 設(shè)計、晶圓代工和封測等環(huán)節(jié)。
發(fā)射端:2)準(zhǔn)直鏡頭:
利用光的折射原理,將波瓣較寬的衍射圖案校準(zhǔn)匯聚為窄波瓣的近似平行光。采用準(zhǔn)直鏡頭對 VCSEL 出射光束進行準(zhǔn)直、形成散斑等整形處理。WLO(Wafer-level Optics,在下文稱為WLO)晶圓級光學(xué)器件,是指晶圓級鏡頭制造技術(shù)和工藝。與傳統(tǒng)光學(xué)器件的加工技術(shù)不同,WLO工藝在整片玻璃晶圓上,用半導(dǎo)體工藝批量復(fù)制加工鏡頭,多個鏡頭晶圓壓合在一起,然后切割成單顆鏡頭,具有尺寸小、高度低、一致性好等特點。
發(fā)射端:3)DOE擴散片:
DOE衍射光學(xué)元件(Diffractive Optical Elements,在下文稱為DOE)在3D攝像頭結(jié)構(gòu)光方案中的作用就是利用光的衍射原理,將激光器的點光源轉(zhuǎn)換為散斑圖案(pattern)。首先根據(jù)特定衍射圖像的光學(xué)需求,設(shè)計并制作出三維母模,然后根據(jù)母模再制作出DOE光柵,光柵表面具有三維的微結(jié)構(gòu)圖案,尺寸都在微米級別。激光器發(fā)射的線性激光通過DOE的時候發(fā)生衍射,衍射光的角度和數(shù)量是受DOE上pattern的控制,衍射出來的光斑具備lighting code信息。DOE主要是用于結(jié)構(gòu)光成像技術(shù)的攝像頭中,DOE的制造成本相對較高。
在ToF的發(fā)射成像技術(shù)中主要運用的是擴散板(在下文稱為Diffuser),主要是為顯示器提供一個均勻的面光源,ToF投射器主要包括VCSEL + Diffuser,而ToF的VCSEL并不像結(jié)構(gòu)光那樣對編碼圖案有一定要求,只是最常規(guī)的規(guī)則排列,器件制作上更為簡單,裝配精度要求也更低。Diffuser是DOE的一種,也屬于波束整形器,用于對輸入光束進行均一化,通過使較大折射角處具有更大屈光度,使得較窄的光束擴展到更寬的角度范圍內(nèi),并具備均勻的照明場。TOF 中的 Diffuser 的設(shè)計制作難度,比 3D 結(jié)構(gòu)光點陣投影儀中的 DOE 要簡單很多。
根據(jù)光大證券測算,考慮到疫情影響預(yù)計2020年全球智能機出貨量有所下降,滯后的 5G 需求有望在2021年釋放,預(yù)計 20~21 年全球智能機出貨量分別為 12.6/15.0 億部,其中 iphone 出貨量 1.7/2.1 億部,安卓機 10.9/12.9 億部。假設(shè) 20~21 年前置結(jié)構(gòu)光在 iphone 的滲透率分別為92%/95%,在安卓的滲透2%/5%,推算結(jié)構(gòu)光攝像頭出貨量 1.8/2.7 億顆。假設(shè) 20~21 年后置 TOF 在 iphone 的滲透率分別為 25%/50%,在安卓的滲透率 7%/15%,加上 ipad 出貨量,推算后置 TOF 攝像頭出貨量 2.7/4.4 億顆。假定DOE/Diffuser單價1美元測算,對應(yīng)DOE 20~21年市場規(guī)模1.8/2.7億美元;Diffuser市場規(guī)模 2.7/4.4 億美元;窄帶濾光片按 20~21 年單價 1/0.75 美元測算,對應(yīng)市場規(guī)模 9/10.5 億美元。
接收端:1)窄帶濾光片和光學(xué)鏡頭:
ToF模組依靠窄帶濾光片和光學(xué)鏡頭來收集反射回的光線。濾光片只允許對應(yīng)波長的紅外線通過,抑制其他光線,并降低噪聲。近紅外識別系統(tǒng)中所用到的窄帶濾光片及超薄高性能鍍膜也是基于結(jié)構(gòu)光及ToF的3D攝像頭技術(shù)關(guān)鍵。3D攝像頭在接收反射光時要求只有特定波長的光線能夠穿過鏡頭,攔截頻率帶之外的光線,即隔離干擾光、通過信號光凸顯有用信息,因此需要濾光片在接收端過濾掉非工作波段的光波。
在窄帶濾光片賽道,難度和價值量都高于傳統(tǒng)攝像頭所用的濾光片,目前僅有 VIAVI 和水晶光電的技術(shù)較為成熟,這兩家也是蘋果iPhone X的窄帶濾光片供應(yīng)商。目前全球僅水晶光電和唯亞威(Viavi)兩家企業(yè)具備大批量供貨的能力。
接收端:2)紅外CIS(下文稱為圖像傳感器):
早年的ToF傳感器,多采用CCD(Charge-coupled Device,中文為電荷耦合元件,是一種圖像傳感器,下面簡稱CCD),而CMOS是另一種目前市場上更為主流的圖像傳感器(Complementary Metal Oxide Semiconductor,互補金屬氧化物半導(dǎo)體,在下文簡稱CMOS)。CCD的感光利用率更高,但是功耗十分大,發(fā)熱嚴(yán)重,也是此前ToF方案未能應(yīng)用在手機中的原因之一。隨著圖像傳感器廠商不斷提高CMOS傳感器的技術(shù),通過背照式(Backside Illumination,在下文簡稱BIS)設(shè)計、電流輔助光子演示(CPAD)技術(shù),并將高速率多幀圖像合成單張圖像用以計算最終的深度,在降低圖像噪聲的同時降低了功耗,從而使ToF應(yīng)用于手機成為可能,但對應(yīng)的ToF傳感器芯片成本也高出很多。
CMOS圖像傳感器市場集中度較高,2017年,前十大廠商市場份額合為94%,其中前三家廠商索尼(Sony)、三星(Samsung)、豪威科(Omnivision)市場份額合計占比達73%,CR3較2014年的63%有明顯提升。從CIS市場增速來看,根據(jù)IC Insights2018年預(yù)測,2017-2022年銷售額CAGR為8.8%,銷售量CAGR為11.7%;根據(jù)Yole2018年預(yù)測,2017-2023年銷售額CAGR為9.4%,而該機構(gòu)最新預(yù)測顯示,受到新冠肺炎疫情影響,2020年增速將回落至7%,2021年略有反彈(增速為12%),預(yù)計2025年CIS市場規(guī)模將達到280億美元。
03??ToF技術(shù)應(yīng)用場景
ToF技術(shù)具有豐富的應(yīng)用場景,在手機、汽車、工業(yè)、人臉識別、物流、安撫監(jiān)控、健康,游戲、娛樂、電影特效、3D打印和機器人等諸多領(lǐng)域都有應(yīng)用。以下將舉例ToF在不同領(lǐng)域中的實際應(yīng)用。
?
手機:
目前ToF技術(shù)在手機領(lǐng)域的三個應(yīng)用主要是:安全(人臉識別,支付)、攝影、娛樂(增強現(xiàn)實,在下文簡稱AR)。
ToF技術(shù)鏡頭在手機中用于安全領(lǐng)域的人臉識別和金融支付主要是在運用在手機中的前置攝像頭中,此前在手機前置攝像頭中運用的三維技術(shù)大部分是結(jié)構(gòu)光技術(shù)。由于結(jié)構(gòu)光在成本上比ToF要高且工藝更復(fù)雜,因此現(xiàn)在的手機人臉識別技術(shù)開始從結(jié)構(gòu)光技術(shù)向ToF技術(shù)轉(zhuǎn)移。代表機型:華為Mate 30 Pro,三星Galaxy S10+5G、Vivo NEX雙屏版。例如在Vivo NEX雙屏版中,ToF前置攝像頭可以運用3D人臉建模技術(shù)來進行人臉識別和自拍圖片優(yōu)化。
手機攝影:在手機攝影方面,ToF技術(shù)讓鏡頭實現(xiàn)對焦更快、精準(zhǔn)摳像、探測景深、背景虛化等功能。代表機型:Oppo R17 Pro(國內(nèi)首臺使用ToF技術(shù)手機)、華為P30 Pro。
?
手機娛樂/教育:AR建模與體感游戲。代表機型:榮耀V20、OPPO R17 Pro,iPad Pro。
汽車:
ToF相機主要應(yīng)用在三個領(lǐng)域,一個是座艙內(nèi)部的駕駛者疲勞監(jiān)測、手勢識別、人臉識別。第二個領(lǐng)域是固態(tài)激光雷達。ToF相機可以看做一種固態(tài)激光雷達。第三個領(lǐng)域是自動泊車領(lǐng)域。在汽車電子領(lǐng)域,以ADAS(Advanced Driver Assistant System,高級駕駛輔助系統(tǒng))滲透率不斷提高為代表的汽車智能化趨勢也正加速演進,而作為激光雷達、智能攝像頭等深度測距傳感器領(lǐng)域最主流的方案,ToF市場也正持續(xù)受益。而汽車電子領(lǐng)域以ADAS滲透率不斷提高為代表的汽車智能化趨勢也正加速演進,作為激光雷達、智能攝像頭等深度測距傳感器領(lǐng)域最主流的方案,ToF市場正持續(xù)受益。根據(jù) AutoLab的數(shù)據(jù),2015年10月國內(nèi)市場各種功能的ADAS的滲透率分別為:BSD 3.8%,AP 2.6%,F(xiàn)CW 2.6%,AEB 2.4%,SVC 2.3%,LDW 1.7%,ACC 1.3%, LKS 0.8%。全球整車市場ADAS的滲透率也低于10%,歐美地區(qū)市場接近8%,新興 國家市場則僅為2%,仍有很大提升空間。據(jù)PR Newswire咨詢公司測算,未來全球 ADAS滲透率將大幅提升,預(yù)計2022年全球新車ADAS搭載率將達到50%。
人臉識別/安保系統(tǒng):
ToF技術(shù)將深度信息添加到2D圖像中可以提取有用的信息,并且可以大大提高場景信息的質(zhì)量。例如,二維傳感無法區(qū)分真人和照片。提取深度信息可以更好地對人進行分類,跟蹤人的面部和身體特征。ToF深度傳感可以為安全認(rèn)證提供高質(zhì)量、可靠的人臉識別。分辨率和深度精度越高,分類算法越好。這可以用于簡單的功能,例如允許訪問移動設(shè)備/我們的個人家庭空間,或者用于高端使用情況,例如商業(yè)敏感區(qū)域的安全門訪問控制。隨著深?度傳感技術(shù)獲得更高的分辨率和深度精度,人們的分類和跟蹤將變得更加容易。人工智能的使用將使分類具有非常高的可信度,從而創(chuàng)造新的和新興的應(yīng)用領(lǐng)域。一個用例用于商業(yè)自動開門功能,特別是在陽光強烈的區(qū)域。確保一扇門只為一個人而不是其他任何東西打開,可以提高建筑管理的效率,以及安保和安全。
工業(yè)領(lǐng)域/物流:
ToF也可為機器人帶來視覺效應(yīng)。ToF深度傳感的一個重要應(yīng)用將是在工業(yè)、制造和施工過程中。通過生產(chǎn)過程實時準(zhǔn)確地標(biāo)注和分類對象的能力在工業(yè)領(lǐng)域也是非常重要的。精確的深度傳感可以確定倉庫的空間利用率。從生產(chǎn)線上下來的產(chǎn)品需要快速地確定尺寸以便轉(zhuǎn)移。高分辨率深度傳感將允許實時確定目標(biāo)物體的邊緣和線條,并進行快速的體積計算。神經(jīng)網(wǎng)絡(luò)方法已經(jīng)被用于這種體積測定。工廠內(nèi)產(chǎn)品的自主轉(zhuǎn)移繼續(xù)增加。像自動導(dǎo)向車(Autonomous guided vehicles,AGV)這樣的自主車輛需要在工廠和倉庫中更快地自我導(dǎo)航。高精度的深度傳感技術(shù)將允許傳感器實時繪制環(huán)境地圖,在地圖中定位自己,然后繪制最有效的導(dǎo)航路徑。這種技術(shù)在工廠自動化中的應(yīng)用面臨的最大挑戰(zhàn)之一是可能在同一區(qū)域工作的其他傳感器的干擾。在人類與機器人的合作問題上,安全性永遠是要考慮的首要問題,尤其是當(dāng)機器人身處較為擁擠的工作環(huán)境中,它們必須能辨認(rèn)人與機械以及機械的動作,并作出迅速的反應(yīng)以避免受傷。因此,自動化工廠中的各類機器人都需要自主避障,如果以激光雷達來解決,成本則需要增加數(shù)萬元,用雙攝像頭方案又需要大量的運算和雙攝像頭精準(zhǔn)位置的調(diào)教,而ToF則成為解決上述難題的極具性價比的最佳選擇。ToF技術(shù)也可用在日用的掃地機器人身上,機器人可依靠ToF鏡頭來給屋子實現(xiàn)智能掃描并精準(zhǔn)建圖。
?
04??ToF市場前景
根據(jù)Yole數(shù)據(jù),2019年全球3D成像和傳感市場規(guī)模為50.48億美元,其中,移動&消費應(yīng)用占比40%,是最大的應(yīng)用領(lǐng)域,工業(yè)、國防&航空航天和汽車應(yīng)用占比分別為21%、17%、17%;Yole預(yù)測2025年全球3D成像和傳感市場規(guī)模達150.79億美元,2019-2025年CAGR超過20%,移動&消費應(yīng)用繼續(xù)為最大的應(yīng)用領(lǐng)域,2025年市場規(guī)模為81.65億美元,占比為54%,汽車應(yīng)用上升為第二大應(yīng)用領(lǐng)域,2025年市場規(guī)模為36.73億美元,占比為24%。其中ToF傳感器未來幾年在終端將迎來高速增長。據(jù)IHS Markit報告,2018年全球ToF sensor傳感器市場規(guī)模為 3.7億美元,占整個3D感測市場的33%,2019年其市場規(guī)模同比增長 35%,市場份額達到5億美金,占比提高至40%左右?;赥oF方案的多方面優(yōu)勢,尤其是成本優(yōu)勢,預(yù)計 2022 年,TOF sensor市場規(guī)模有望達到7億美金。這一市場的增長主要是由汽車行業(yè)對ToF傳感器的需求不斷增加、智能手機中3D相機的采用不斷增加以及此類智能手機的使用不斷增加所推動的。
3D機器視覺系統(tǒng)在各個行業(yè)的應(yīng)用不斷增加,工業(yè)4.0的部署不斷增加,為ToF傳感器市場的增長提供了重大機遇。從具體應(yīng)用領(lǐng)域來看,未來三年ToF主要的應(yīng)用市場還是來自智能手機市場,預(yù)計2020年對應(yīng)市場規(guī)模超過6億美元,占整個市場的90%以上其次是平板電腦市場、建筑物檢測、智能家居、汽車中控、無人機等應(yīng)用領(lǐng)域。未來ToF技術(shù)將不斷滲透到中高端甚至中端機型的功能中去。如果中高端機型被普及ToF技術(shù),那么需求體量將會大幅上升。而隨著手機每天使用的3D應(yīng)用程序不斷增加,ToF將來的需求量勢必會更大。
不過,目前雖然市場上已推出過眾多手機帶有ToF功能,如利用美圖功能可優(yōu)化手機拍照的景深效果、“三維建?!惫δ芸蓪崿F(xiàn)體型測量等,但這些功能對于用戶來說大多只停留在嘗試的階段,由于并不實用,長期來看難以拉動需求。但是伴隨著今年以來疫情的影響,人們消費及生活方式加速向線上轉(zhuǎn)變,ToF鏡頭主打的虛擬現(xiàn)實功能(AR)將在線上虛擬購物,虛擬游戲體驗等方面起到良好的應(yīng)用。日益增長的線上需求將會被進一步激發(fā),未來會有更多內(nèi)容廠商推動AR/VR的發(fā)展,加上國家對于5G的大力推廣,AR/VR將在手機的應(yīng)用發(fā)展得更加成熟。
在智能手機之外,ToF在3D成像技術(shù)方面仍有很大的潛力,隨著體感交互、3D識別與感知、環(huán)境感知等技術(shù)與應(yīng)用的發(fā)展,市場對3D視覺與識別技術(shù)的興趣日益濃厚。在未來可能是sensor市場的一個驅(qū)動引擎,可以應(yīng)用在自動駕駛、醫(yī)療檢測和物體識別等多種新興領(lǐng)域。未來幾年,ToF技術(shù)將在終端迎來高速增長。隨著ToF技術(shù)的不斷成熟和應(yīng)用場景的不斷豐富,手機攝像頭、手勢交互UI(用戶界面)、汽車電子ADAS、安防監(jiān)控等多個領(lǐng)域,對ToF深度傳感器的數(shù)量需求都將大幅增長。
05??本文涉及公司總目錄
編輯:黃飛
?
評論
查看更多