一文解析dTOF技術(shù)的應(yīng)用現(xiàn)狀及展望

目前存在兩種 ToF 技術(shù)路線: iToF(間接飛行時間，indirect-ToF)和 dToF(直接飛行時間，direct-ToF)。dToF 直接測量飛行時間，原理是通過直接向測量物體發(fā)射光脈沖，并測量反射光脈沖和發(fā)射光脈沖之間的時間間隔，得到光的飛行時間，從而直接計算待測物體的深度。iToF 則是通過發(fā)射特定頻率的調(diào)制光，檢測反射調(diào)制光和發(fā)射的調(diào)制光之間的相位差，測量飛行時間。dToF深度算法相對簡單，難點在于用以實現(xiàn)較高精度的 SPAD。未來 TOF會向更高集成度、更小的傳感器尺寸、更高分辨率發(fā)展。

目前手機是 ToF 在消費電子中的主要應(yīng)用領(lǐng)域，隨著市場對 3D 視覺與識別技術(shù)的興趣日益濃厚，頭部終端廠商推動 TOF 技術(shù)在 3D 感知和成像方向上不斷拓展，我們看到 TOF 技術(shù)在智能手機端加速滲透，TOF 的使用進一步豐富著 3D sensing 的應(yīng)用場景。伴隨 AR/VR 的發(fā)展，ToF 有望成為智能手機攝像頭的下一個風(fēng)口。ToF 技術(shù)的應(yīng)用亦是 AR、VR 時代的催化劑?？紤]到 ToF 的兩個獨特的優(yōu)點——作用距離長、刷新率高，存在遠距離 3D 測距需求的 AR/VR 是最能體現(xiàn) TOF 優(yōu)勢的功能之一。根據(jù) Markets and Markets，2019 年全球 AR 市場規(guī)模達到 107 億美元，預(yù)計到 2024 年將達到 727 億美元。

一、dToF 開啟深度信息的新未來

3D sensing 是智能手機創(chuàng)新的趨勢之一，當(dāng)前正加速向中低端手機滲透。目前實現(xiàn) 3D sensing 共有三種技術(shù)，分別為雙目立體成像、結(jié)構(gòu)光和 ToF，目前已經(jīng)比較成熟的方案 是結(jié)構(gòu)光和 ToF。其中結(jié)構(gòu)光方案最為成熟，已經(jīng)大規(guī)模應(yīng)用于工業(yè) 3D 視覺，ToF 則憑 借自身優(yōu)勢成為在移動端較被看好的方案。

ToF 的多場景應(yīng)用呈現(xiàn)出了比結(jié)構(gòu)光更為廣闊的發(fā)展前景。作用距離的劣勢限制結(jié)構(gòu)光 的應(yīng)用，ToF 技術(shù)則彌補了距離上的缺陷，可以被應(yīng)用于包含 3D 人臉識別、3D 建模以 及手勢識別、體感游戲、AR/VR 在內(nèi)的更多場景中，能夠為智能手機帶來更娛樂性和實 用性的體驗。此外，相比結(jié)構(gòu)光技術(shù)，ToF 的模組復(fù)雜度低，堆疊簡單，可以做到非常 小巧且堅固耐用，在屏占比不斷提高的外觀趨勢下，更得到手機廠商的青睞。

ToF(Time of Flight)，通過測量發(fā)射光與反射光的飛行時間計算出光源與物體之間的距 離，本質(zhì)上是時間維度測量。根據(jù)測距的方式不同，目前存在兩種 ToF 技術(shù)路線:iToF (間接飛行時間，indirect-ToF)和 dToF(直接飛行時間，direct-ToF)。dToF 直接測量飛 行時間，原理是通過直接向測量物體發(fā)射光脈沖，并測量反射光脈沖和發(fā)射光脈沖之間 的時間間隔，得到光的飛行時間，從而直接計算待測物體的深度。iToF 則是通過發(fā)射特 定頻率的調(diào)制光，檢測反射調(diào)制光和發(fā)射的調(diào)制光之間的相位差，測量飛行時間。

iToF 間接測量飛行時間，具備低成本、較高分辨率優(yōu)勢，適用于短距離測距。iToF 原理 為把發(fā)射的光調(diào)制成一定頻率的周期型信號，測量該發(fā)射信號與到達被測量物反射回接 收端時的相位差，間接計算出飛行時間。由于 iToF sensor 的 pixel 相對較小，可實現(xiàn)相 對高圖像分辨率。但 iToF 問題在于的測距精度的實現(xiàn)限制了最大測距距離，從原理上看， 調(diào)制頻率越高則測距精度越好，高調(diào)制頻率意味著對應(yīng)的測距距離不能太大，并且環(huán)境 光會對電路產(chǎn)生干擾。因此目前 iToF 主要應(yīng)用在手機面部識別、手勢識別等測距距離較 短的場景中。

iToF 傳感器電路相對簡單，難點主要在深度算法，安卓陣營自 2018 年引入 iToF 并推 動其主流化。目前如三星、華為、OPPO、vivo 等品牌均有在中高端機型中配臵，除此之 外，iToF 在物體識別，3D 重建以及行為分析等應(yīng)用場景中能夠重現(xiàn)場景中更多的細節(jié)信 息，因此還被廣泛應(yīng)用于機器人、新零售等領(lǐng)域。

dToF 直接測量飛行時間，具備低功耗、抗干擾等優(yōu)勢，適用于對測距精度要求高的較 遠距離測距場景。dToF 原理為向被測物體發(fā)射光脈沖，通過對反射和發(fā)射光脈沖時間間 隔的測量，直接計算待測物體的深度。測距原理使得 dTOF 測量精度不會因距離增大而 降低，功耗更低同時對環(huán)境光的抗干擾能力更強。

dToF 深度算法相對簡單，難點在于用以實現(xiàn)較高精度的 SPAD。dToF 要檢測光脈沖信 號(納秒甚至皮秒級)，因而對光的敏感度要求會很高，因此接收端通常選擇 SPAD(單 光子雪崩二極管)或者 APD(雪崩光電二極管)這類傳感器來實現(xiàn)，集成度弱于普通的 CMOS 圖像傳感器，像素尺寸一般大于 10μm，從而分辨率通常較差，成本更高。SPAD 是 dTOF 技術(shù)的核心，技術(shù)難度大且制作工藝復(fù)雜，目前世界上極少廠家具備量產(chǎn)能力， 集成難度很高難以小型化應(yīng)用在手機等小型消費電子上，因而除傳統(tǒng)熱門應(yīng)用領(lǐng)域車載 LiDAR 之外，消費電子領(lǐng)域目前僅有蘋果一家實現(xiàn)商用(iPad Pro 首次搭載)。

未來 TOF 會向更高集成度、更小的傳感器尺寸、更高分辨率發(fā)展。

目前傳統(tǒng)的 CIS 單像素尺寸最小可達到 0.7μm，而目前 0.6μm 也已經(jīng)在研發(fā)中。但 ToF 傳感器更要求單像素獲取信號的能力，因而需要更大的單像素尺寸;dToF 傳感器電路設(shè) 計比較復(fù)雜，需占據(jù)較大的片上尺寸;iTOF 像素尺寸則需暫時讓步于更高的集光效率。種種原因使得 ToF 圖像傳感器的小型化存在一定困難。

半導(dǎo)體工藝改進將有望實現(xiàn) TOF 傳感器小型化。ToF 傳感器廠商通過半導(dǎo)體工藝方案的 改進，如背照式(BSI)、堆棧式(Stacked)CMOS 等技術(shù)，將原本位于光電二極管上方 的布線層移至下方，以及將光電轉(zhuǎn)換器、電子倍增器(electron multipier)這些部分垂 直堆疊，增大像素開口率，同時減小像素尺寸。目前根據(jù)松下最新的研究成果，dToF 傳 感器也可以用 CMOS 工藝實現(xiàn)，集成度已經(jīng)在數(shù)量級上逼近 iToF 方案。

目前 ToF 技術(shù)低分辨率的固有缺陷仍然存在，未來有望隨技術(shù)更迭而實現(xiàn)突破。目前 ToF 測量精度量級仍然相較結(jié)構(gòu)光方案落后，但近兩年其傳感器分辨率已經(jīng)在提升。iToF 方面，英飛凌面向消費市場的一般 REAL3TM傳感器(iToF)也達到了 3.8 萬像素，2019 年推出的 IRS2771C 則達到 15 萬像素;dToF 方面，例如 iPad Pro 2020 的 LiDAR 分辨率 達到了 3 萬像素;另外 TDC 電路設(shè)計進步也逐步提升著 CMOS 電路中的 TDC 時間分辨 率精度，有望帶來 dToF 的分辨率的提升。

二、ToF 未來最有潛力的應(yīng)用在 AR 領(lǐng)域

目前手機是 ToF 在消費電子中的主要應(yīng)用領(lǐng)域，隨著市場對 3D 視覺與識別技術(shù)的興趣 日益濃厚，頭部終端廠商推動 TOF 技術(shù)在 3D 感知和成像方向上不斷拓展，我們看到 TOF 技術(shù)在智能手機端加速滲透，TOF 的使用進一步豐富著 3D sensing 的應(yīng)用場景。伴隨 AR/VR 的發(fā)展，ToF 有望成為智能手機攝像頭的下一個風(fēng)口。

ToF 助力消費級 AR 普及。ToF 技術(shù)的應(yīng)用亦是 AR、VR 時代的催化劑?？紤]到 ToF 的兩 個獨特的優(yōu)點——作用距離長、刷新率高，存在遠距離 3D 測距需求的 AR/VR 是最能體 現(xiàn) TOF 優(yōu)勢的功能之一。3D 攝像頭技術(shù)提供的手勢識別功能將成為未來 AR/VR 領(lǐng)域 的核心交互手段。目前各大廠商推出的 VR 設(shè)備大都需要控制器，游戲控制器的優(yōu)勢在 于控制反饋及時、組合狀態(tài)多。

根據(jù) Markets and Markets，2019 年全球 AR 市場規(guī)模達到 107 億美元，預(yù)計到 2024 年 將達到 727 億美元，復(fù)合增長率達 46.6%。過去幾年中，以 Facebook、英特爾、高通 和三星為代表的公司在 AR 領(lǐng)域進行了大量投資，推動了全球 AR 市場的快速增長。中國 AR 市場規(guī)模預(yù)計在 2024 年將達到約 59 億美元，從下游應(yīng)用來看，工業(yè)應(yīng)用占比最大， 約占 42%，其次是汽車(18%)，零售(15%)以及航空與國防(10%)等。

AR 室內(nèi)設(shè)計。2020 款 iPad Pro 使用了 dToF LiDAR 技術(shù)，通過這一技術(shù)可以獲得 3D 空 間的深度信息，建立詳細的室內(nèi)環(huán)境空間數(shù)據(jù)，模擬出擺放了新家具后的情況。宜家的 IKE A P lac e 應(yīng)用，利用 AR 讓家居產(chǎn)品的外觀和在家中的擺放效果直接呈現(xiàn)在用戶眼前。

醫(yī)療學(xué)習(xí)。Complete Anatomy 是一款教醫(yī)學(xué)院學(xué)生通過虛擬技術(shù)了解心臟、實時肌肉 運動、神經(jīng)系統(tǒng)等人體結(jié)構(gòu)的軟件，在 2020 款 iPad Pro 上可以使用這一軟件，它將幫 助專業(yè)人士更準(zhǔn)確的評估病人的身體運動情況，為未來醫(yī)學(xué)發(fā)展帶來更多可能性。

3D 攝像頭技術(shù)提供的手勢識別功能將成為未來 AR/VR 領(lǐng)域的核心交互手段。目前各 大廠商推出的 VR 設(shè)備大都需要控制器，游戲控制器的優(yōu)勢在于控制反饋及時、組合狀 態(tài)多。以 HoloLens 為例，就擁有一組四個環(huán)境感知攝像頭和一個深度攝像頭，環(huán)境感 知 攝 像 頭用于人腦追 蹤，深度攝像頭用于輔助手勢識別并 進行環(huán)境的三維重構(gòu)。

拍照虛化。ToF 具備更好的景深信息采集功能，加入智能手機后攝模組后，能夠?qū)崿F(xiàn)快 速、遠距離獲取更高精度的深度圖(depth map)，從而完成較結(jié)構(gòu)光范圍更大的 3D 建 模，而且由于自帶紅外光源，其在暗光環(huán)境下獲得的景深信息同樣準(zhǔn)確。因此，有 TOF 攝像頭參與的成像在虛化效果上會更加真實，富有層次。華為 2019 年發(fā)布的旗艦機 P30 Pro 在后臵 3D 成像與感知模組中加入 ToF 鏡頭輔助，ToF 鏡頭獲取的更多景深信息加強 背景虛化功能，相比雙目視覺更加精準(zhǔn)，使得得到的圖像虛化邊緣更加清晰、更具表現(xiàn) 力。

手勢識別。目前不少手機具備的懸浮手勢識別功能，不用直接接觸手機屏幕，僅借由前 臵 ToF 的對手勢的 3D 感知，通過如在手機前揮揮手這樣簡單的操作來實現(xiàn)翻頁、滾屏 等普通操作。體感游戲相比前者更具交互性，通過 TOF 技術(shù)能夠采集到被拍攝人的身體 深度信息，捕捉和采集身體的動作，進行手勢判定，控制預(yù)制的 3D 建模人偶的形象和 動作，實現(xiàn)真人和 3D 虛擬形象跟隨，用身體、動作和手勢做游戲交互。

ToF 技術(shù)的應(yīng)用是 AR、VR 時代的催化劑?？紤]到 ToF 的兩個獨特的優(yōu)點——作用距離 長、刷新率高，存在遠距離 3D 測距需求的 AR/VR 是最能體現(xiàn) TOF 優(yōu)勢的功能之一。3D 攝像頭技術(shù)提供的手勢識別功能將成為未來 AR/VR 領(lǐng)域的核心交互手段。

dTOF 技術(shù)的應(yīng)用有望推動 AR 內(nèi)容的完善，加速消費級 AR 普及。蘋果 2017 年便針對 開發(fā)者們發(fā)布了用于 iOS 設(shè)備上 AR 應(yīng)用開發(fā)的 ARKit 開發(fā)工具，2020 年發(fā)布的 iPad Pro 為消費電子設(shè)備首次搭載 dToF 模組，可視為蘋果針對 5G 時代 AR 領(lǐng)域的進一步布局。

iPad Pro 搭載的 LiDAR(激光雷達掃描儀)，采用 Sony 3 萬像素 10μm dTOF 圖像傳感 器，SPAD 陣列的探測器，并集成了 Lumentum 的 VCSEL 芯片和 TI 的 VCSEL 驅(qū)動芯片， 能達到 ps 級時間分辨率，可實現(xiàn) 5 米范圍內(nèi)的 3D 感知與成像，具備更快的 AR 建模速 度、更高的測量精度和更少的抖動、錯位。

Sony 的 dTOF 方案首次采用 3D 堆疊工藝，像素內(nèi)連接通過混合鍵合互連技術(shù)將探測器 晶圓和邏輯電路晶圓鍵合實現(xiàn)，同時，深溝槽隔離(Deep trench isolation)也被應(yīng)用， 充滿金屬的溝槽完全隔離了像素。從而有效控制了 dTOF 傳感器的尺寸，使其成功的應(yīng) 用在 iPad 這類小型消費電子設(shè)備中。

目前 iPad Pro 的 LiDAR 共呈現(xiàn)出三種典型場景的應(yīng)用。AR 測量、AR 游戲和 AR 裝修設(shè) 計。

AR 測量:LiDAR 可以快速計算人的身高，并展現(xiàn)垂直和邊緣引導(dǎo)線。通過開發(fā)者開發(fā)的 app 可實現(xiàn)對物體尺寸、建筑物更精細的測量。

AR 游戲:LiDAR 通過對周圍真實環(huán)境的掃描和快速獲得深度信息能力，為 AR 游戲開辟 了更廣闊的設(shè)計空間。如官網(wǎng)展示的《熾熱熔巖 (Hot Lava)》電子游戲，可以把客廳變 成一個虛擬的熔巖環(huán)境，游戲中的玩家可以跳到家具上以此來避開模擬中的地板熔巖。iPad Pro 上市后帶動開發(fā)者不斷豐富 iOS 平臺上 AR 游戲內(nèi)容，也使一些原有的 AR 游戲 因為玩法升級而更具有生命力。

AR 裝修:iOS 上的 Shapr3D app，借助 LiDAR 對房間進行掃描創(chuàng)建 3D 模型，用戶可以 對該模型展開編輯或添加新對象，使用 AR 可以查看實際房間在編輯后的虛擬效果，幫 助用戶在裝修動工前更真切體驗設(shè)計效果。宜家 Place 應(yīng)用同樣可以通過掃描一個房間 獲得與之匹配的家具推薦，然后使用 AR 查看家具擺放效果。

dTOF 在 iPad Pro 上的應(yīng)用，可以視為蘋果打通 AR 生態(tài)硬件基礎(chǔ)的第一步。未來蘋果 通過技術(shù)改進和突破，有望將 dTOF 引入手機端以及更多地 AR 設(shè)備，促進 AR 硬件設(shè)備 的發(fā)展同時，也激發(fā)設(shè)計師基于 dTOF 的特性開發(fā)如建筑、教育、醫(yī)療等更多場景的 AR 內(nèi)容應(yīng)用，推動 AR 應(yīng)用生態(tài)持續(xù)完善。

華為河圖(Cyberverse)定義地球級 XR 應(yīng)用(包括 VR、AR、MR 等擴展現(xiàn)實技術(shù))， 將 AR 應(yīng)用拓展到更廣闊的數(shù)字世界。華為河圖(Cyberverse)被定義用來提供地球級 的虛擬現(xiàn)實融合服務(wù)的數(shù)字平臺，華為 AR 地圖是其推出的第一個商業(yè)產(chǎn)品，主要功能 包括 AR 實景導(dǎo)航、全息信息展示、虛實融合拍照及其他虛擬活動等。全場景空間計算 能力是河圖的核心，這一能力所需的宏觀地圖可以使用衛(wèi)星定位，而室內(nèi)及一些微觀場 所的建模定位則依賴智能手機的 3D Sensing 來完成。目前華為 P40 系列機型已經(jīng)能夠 支持華為 AR 地圖。

下一波移動終端創(chuàng)新將圍繞 AR 進行革命性創(chuàng)新。AR/VR 開發(fā)平臺的搭建和完善，及增 強現(xiàn)實內(nèi)容市場的蓬勃發(fā)展，必然會推動 TOF 產(chǎn)業(yè)的發(fā)展。TOF 有望接力結(jié)構(gòu)光，從生 物感知到虛擬現(xiàn)實，從人臉識別到 3D 建模，帶來產(chǎn)業(yè)端升級和用戶體驗優(yōu)化，前臵人 臉識別+后臵虛擬現(xiàn)實功能可能成為手機的下一個形態(tài)。伴隨 AR/VR 的發(fā)展，ToF 有望 成為 5G 時代智能手機攝像頭的下一個風(fēng)口。

三、下一波創(chuàng)新性革命，TOF 市場空間巨大

下一波移動終端創(chuàng)新將圍繞 AR 進行革命性創(chuàng)新。隨著增強現(xiàn)實內(nèi)容市場的蓬勃發(fā)展， 內(nèi)容廠商不斷推動 AR/VR 開發(fā)平臺的發(fā)展，必然會推動 TOF 產(chǎn)業(yè)的發(fā)展。TOF 有望接 力結(jié)構(gòu)光，從生物感知到虛擬現(xiàn)實，從人臉識別到 3D 建模，帶來產(chǎn)業(yè)端升級和用戶體 驗優(yōu)化，前臵人臉識別+后臵虛擬現(xiàn)實功能可能成為手機的下一個形態(tài)。伴隨 AR/VR 的 發(fā)展，ToF 有望成為智能手機攝像頭的下一個風(fēng)口。

我們看到 2019 年 3D 感測手機大多集中在高端機等旗艦機型，結(jié)構(gòu)光以蘋果為代表，自 iPhoneX 后的機型都已經(jīng)搭載結(jié)構(gòu)光功能，而華為搭載 TOF 的機型數(shù)量最多。根據(jù) Yole 的預(yù)測數(shù)據(jù)也顯示，全球 3D 成像和傳感器的市場規(guī)模在 2016–2022 年的 CAGR 為 38%， 2017 年市場規(guī)模 18.3 億美元，2022 年將超過 90 億美元。其中，消費電子是增速最快 的應(yīng)用場，2016–2022 年的 CAGR 高達 160%，到 2022 年消費電子市場規(guī)模將超過 60 億美元。

從出貨量上來看，我們預(yù)測智能手機 3D 感測需求將從 2017 年的 4000 萬部增加至 2019 年的 2 億部以上，其中 2019 年的 ToF 機型還主要集中在幾款高端旗艦機，從 2020 年開 始 TOF 的出貨量將進一步爆發(fā)，在整體 3D 感應(yīng)中占比有望達到 40%。

我們預(yù)測 2019/2020 年 TOF 的出貨量為 7760 萬/1.6 億部，同比大幅增長 747%/108%。

四、BOM 比較:TOF 或更具成本優(yōu)勢

我們預(yù)計 ToF 和結(jié)構(gòu)光的 BOM 成本大約為 12~15 美元和 20 美元，相比之下 TOF 更具 有成本優(yōu)勢。以 iPhone X 為例，結(jié)構(gòu)光技術(shù)的解決方案包括三個子模塊(點投影儀，近 紅外攝像機和泛光照明器+接近傳感器)，而 ToF 解決方案則將三個集成到一個模塊中， 可以將包裝成本降低。

我們預(yù)計在這個 TOF 模組中，芯片的成本仍占主要的部分，大約占到整體 BOM 的28%~30%。

五、深度解析 3D Sensing 攝像頭產(chǎn)業(yè)鏈

目前 TOF 或結(jié)構(gòu)光的 3D 感知技術(shù)均為主動感知，因此 3D 攝像頭產(chǎn)業(yè)鏈與傳統(tǒng)攝像頭 產(chǎn)業(yè)鏈相比主要新 增加紅外光源、紅外 傳感器和光學(xué)組件等部分 。通過對已經(jīng)上市的主 流 3D 攝像頭產(chǎn)品進行拆解分析，3D 攝像頭產(chǎn)業(yè)鏈可以被分為:

1、 上游:紅外傳感器、紅外光源、光學(xué)組件、光學(xué)鏡頭以及 CMOS 圖像傳感器;

2、 中 游 :傳感器模組、 攝像頭模組、光源代工、光源檢測以 及圖像算法;

3、 下 游 :終端廠商以及 應(yīng)用。

TOF 和結(jié)構(gòu)光二者雖然原理不同，但其所需要的核心部件基本相同，TOF 中的核心部件 包括發(fā)射端的 VCSEL 光源、Diffuser 等，接收端的鏡頭、窄帶濾光片、近紅外 CMOS 等。

編輯：hfy