探索ams的3D dToF方案及應(yīng)用分析

iPhone X的結(jié)構(gòu)光將3D感知/成像在消費電子領(lǐng)域徹底帶火了。其后結(jié)構(gòu)光、3D ToF市場都獲得了相當(dāng)快速的成長。不過2020款iPad Pro發(fā)布時，其上所謂的“LiDAR”攝像頭仍然挺讓人驚訝，包括iPhone 12 Pro手機也沿用了這種3D感知方案：5米的測量范圍的dToF方案。

我們在《手機的3D感知能力——消費電子ToF技術(shù)與市場分析報告》中曾提過，主流的兩大類ToF測距方法，iToF與dToF（indirect ToF與direct ToF）。這兩種方案各有利弊，其中dToF在手機拍照的激光對焦、前置距離傳感，以及投影機對焦等領(lǐng)域已經(jīng)有比較廣泛的應(yīng)用了，但消費電子的3D感知少見dToF方案。

除了蘋果之外，市面上主流的手機、平板所用的3D ToF，基本上都是iToF。這主要是因為iToF技術(shù)整體成熟，且成本控制到位。而dToF在3D感知方面似乎面臨諸多挑戰(zhàn)。

上周的MWC上海展會上，ams（艾邁斯半導(dǎo)體）宣布與ArcSoft（虹軟）合作推出面向移動設(shè)備的后置3D dToF傳感解決方案。這套方案預(yù)計會在今年年底開始量產(chǎn)。也就是說，明年市場上可能就會有大量采用dToF攝像頭的Android手機和其他移動設(shè)備問世了。

借ams的這套方案，我們也有機會更深入地去了解dToF這種測距方法。

現(xiàn)在流行的iToF存在一些問題

ToF（Time of Flight）是一種常見的測距方法，如果將其限定在光學(xué)領(lǐng)域，則ToF光學(xué)測距是指，要測得ToF模組與場景中某個對象的距離，由ToF模組的光源向該對象發(fā)出光（子）。光折返回ToF模組傳感器，計算整個過程里“光的飛行時間”，就能測得距離。

這個原理本身實際上更偏向于dToF，即直接測量。說得更具體些，dToF是指由發(fā)射端發(fā)出一個激光脈沖，經(jīng)過場景中某個對象反射，回到接收端，由接收端的光電探測器檢測到。藉由抽象的“計時電路”測量全過程消耗時間，則獲得距離信息。

iToF實際上還可以做切分，包括p-iToF（基于脈沖的iToF）以及cw-iToF（基于連續(xù)波的iToF）?，F(xiàn)在手機上比較常見的3D ToF方案普遍是cw-iToF測量方法。這種連續(xù)波ToF方法，是針對發(fā)射端的照明，應(yīng)用一個周期性的調(diào)制信號，并針對反射光測量相位差，以此來計算距離。cw-iToF可能需要多次相位差采樣來獲得結(jié)果。

Cw-iToF方法示意，這里的c代表光速，f代表調(diào)制頻率，??代表接收信號的相位差

對于一些精度要求并不高的應(yīng)用而言，cw-iToF方法的優(yōu)勢在于實施起來會更簡單（但精度要求高時，cwToF信號調(diào)制實施難度也不小），其系統(tǒng)成本遠(yuǎn)低于dToF；而且cw-iToF具備較大的彈性、更快的讀出速度，也比較容易做RoI輸出這類功能。

但它也存在一個致命缺陷，從上圖中的深度計算表達(dá)式可知，要獲得更長的測量距離就需要更慢的調(diào)制頻率（f），但這樣就會限制距離精度。距離精度與背景光強度、信號強度、最大不模糊距離（c/2f）有關(guān)。在對象、背景光固定的情況下，反射信號強度隨距離增加而下降，較遠(yuǎn)距離的對象測距就會有顯著的精度降低。

所以除了蘋果之外，市面上現(xiàn)有搭載了3D ToF模組的手機測量距離普遍是比較受限的。ams大中華區(qū)應(yīng)用市場總監(jiān)Bing Xu博士也提到了這一點?！癷ToF往往采用泛光投射，其距離和精度這對矛盾，在原理上很難調(diào)和?！?/p>

“iToF在不同距離下，精度是不同的，基本上是線性遞減。可能測1m的時候，精度是10mm或20mm，但距離在2m的時候精度就只有40mm?！盉ing Xu博士說，“傳統(tǒng)的iToF做不了遠(yuǎn)距離，最多2、3m，絕對不能超過5m。”“但dToF是直接測來回時間，一個脈沖出去到回來，是直接的測量方法。直接的測量方法可以測得很準(zhǔn)，跟距離長短沒什么關(guān)系?！?/p>

不過實際上，多調(diào)制頻率方法是可以緩解cw-iToF的這一問題的，只不過系統(tǒng)復(fù)雜度會增加。除此之外，cw-iToF方法相比p-iToF和dToF，也更容易受到多徑效應(yīng)（Multipath Effects，主要是基于調(diào)幅連續(xù)波的ToF）、解調(diào)錯誤（如場景對象的光散射、材質(zhì)反射率低等）、運動偽像等的影響。

另外從系統(tǒng)的角度來看，cw-iToF通常采用多調(diào)制頻率下相關(guān)函數(shù)的多次采樣，再加上多幀處理，后端信號處理的復(fù)雜度會比較高。所以發(fā)布會上也提到，dToF比iToF在做3D渲染時會快很多，“三維重建過程中，整個系統(tǒng)運行、算法運行的時間會有很大的優(yōu)勢?！?/p>

那么dToF為何一直沒有普及

dToF對上述很多問題都不敏感，包括前文提到的原理更簡單，距離精度不會隨測量距離衰減，也更容易發(fā)現(xiàn)多徑反射問題。但dToF在消費電子產(chǎn)品的3D感知應(yīng)用上卻很少，主要是因為其成本更高。技術(shù)層面，dToF對于發(fā)射端的光源、接收端的傳感器，還有實現(xiàn)同步、時間檢測相關(guān)電路要求也高。

而且dToF由于傳感器電路設(shè)計相對復(fù)雜，包括淬火電路、像素內(nèi)TDC（time to digital converter）等，似乎很難做到高像素（接收端傳感器分辨率）——雖然這兩年通過3D堆疊等技術(shù)正在實現(xiàn)各種改進。所以dToF此前一直局限在諸如激光對焦之類的單點測距應(yīng)用上。像iPad Pro 2020這樣應(yīng)用3萬像素dToF方案的設(shè)備此前是真的很少見。

ams在發(fā)布會上給出一張dToF與iToF方法的簡單對比，從距離精度、動態(tài)范圍、環(huán)境光抑制、分辨率、功耗、后處理功耗、抗干擾能力等角度做了比較，前文大致上也提到了。單就這些項目的比較來看，dToF主要在“分辨率”——也就是XY平面上的精度，會相對較弱。

不過ams產(chǎn)品線高級市場經(jīng)理Sarah Cheng提到：“以現(xiàn)在流行的增強現(xiàn)實AR為例，低功耗和遠(yuǎn)距離成為更重要的技術(shù)指標(biāo)，相較之下分辨率的要求其實并沒有那么強烈?！盿ms這次所推的方案，在應(yīng)用場景上也更偏AR。

上面這張圖是不同的應(yīng)用，對于分辨率、功耗、測量距離這三個指標(biāo)的不同要求?！逼渲杏跋裨鰪妼Ψ直媛室蟾撸鳤R則對距離有更高的要求?！癆R對3D攝像頭分辨率要求其實并不是很高，一方面可以避免過長的重建時間和功耗，而且低分辨率可以通過幀累計補償?！?Sarah Cheng說。

Bing Xu博士提到：“我一直認(rèn)為每項技術(shù)，要看具體的應(yīng)用?？偰苷业竭m合的應(yīng)用方案，無論是dToF還是iToF。我們說dToF，特別是在AR這個應(yīng)用里面，在距離、精度、功耗方面是有絕對優(yōu)勢的。”那么就來看一看，ams這次所推的方案究竟是什么樣。

ams的3D dToF方案

ams的這套3D dToF方案在 MWC上海展會上已經(jīng)有了展示，且發(fā)布會上的演示效果上佳。先來看看這套dToF方案的一些關(guān)鍵參數(shù)：

包括1200個深度點，以及室外5m、室內(nèi)10m以上的檢測距離；在全測量距離內(nèi)<8mm的距離

；幀率最高100fps，在30fps幀率下功耗<300mW，“這對手機平臺就非常友好”。

從上圖也可見，系統(tǒng)分為兩個模組，包括高功率照明模組，以及SPAD 3D攝像頭模組——即發(fā)射端和接收端。照明模組主要是VCSEL激光器——這是ams的傳統(tǒng)強項了，包括多結(jié)VCSEL實現(xiàn)極高的峰值功率，還有VCSEL驅(qū)動器系統(tǒng)，針對超短脈沖的優(yōu)化連接，實現(xiàn)高距離精度，以及低EMI輻射；整體組成還有配套的點陣光學(xué)系統(tǒng)（包括衍射光學(xué)器件等）；以及SPAD傳感器——dToF常見的一種光敏器件，一個光生載流子就能觸發(fā)大量雪崩電流。

且兩個模組分開，“手機廠商設(shè)計整個系統(tǒng)時，有更大的靈活性，在主板上做零部件的排列和設(shè)計?！?Sarah Cheng說。另外還包括一些周邊的特性，如光源需要確保人眼安全相關(guān)的電路等。

ams方面列出本次所推3D dToF方案的幾個主要特性包括：

? 在所有光強條件下（強光，弱光，室內(nèi)，室外，較復(fù)雜的環(huán)境光等），在恒定分辨率下可實現(xiàn)較大的距離檢測范圍和較高的（不變的）距離檢測精度。其中“所有光強條件”也是絕大部分ToF方案的宣傳點，包括對背景高光的抑制技術(shù)。

? 高環(huán)境光抗擾性，與市面上提供的3D ToF解決方案相比，“峰值功率高出20倍”；

? 針對移動設(shè)備，優(yōu)化最低平均功耗，特別針對房間掃描距離范圍內(nèi)高幀率（>30fps）運行環(huán)境。

從這些特性也可見，這套方案的應(yīng)用偏向功耗敏感的移動設(shè)備，但同時又需要為這樣的設(shè)備賦予比較可靠的AR能力。

針對移動設(shè)備后置3D dToF傳感的完整解決方案中，還包含了ArcSoft的中間件，結(jié)合RGB攝像頭輸出將depth map轉(zhuǎn)為精確的場景重建。再上層還有ArcSoft軟件，將3D圖像輸出與移動設(shè)備顯示屏結(jié)合，提供AR應(yīng)用?！敖档褪謾C廠商集成的復(fù)雜度和工作量”，“與Android操作環(huán)境集成，讓移動設(shè)備OEM能夠直接集成新的dToF功能”。

單就3D dToF光學(xué)傳感解決方案來說，這一直是ams的長項。ams大中華區(qū)銷售與市場高級副總裁陳平路在會上提到，“從我們的技術(shù)平臺、產(chǎn)品平臺基礎(chǔ)上發(fā)展起來的解決方案，光學(xué)傳感器系統(tǒng)的解決方案，包括算法、軟件，目前我們認(rèn)為在光學(xué)傳感器領(lǐng)域，我們應(yīng)該說是唯一的一家可以提供全平臺解決方案的這么一個公司?！北憩F(xiàn)在這套“垂直鏈的光學(xué)元器件技術(shù)，完全是從ams來的?！贝饲拔覀円姷胶芏鄟碜云渌麖S商的ToF和結(jié)構(gòu)光模組方案，也都能見到ams提供的組成部分。

3D ToF的應(yīng)用方向在哪兒？

Sarah Cheng在會上演示了一個demo，是這套方案的完整體現(xiàn)（包括ArcSoft的中間件及軟件算法），也體現(xiàn)這套3D dToF方案實際相比iToF的優(yōu)勢。

相比一般的iToF，dToF在3D渲染過程中提供了更高質(zhì)量的深度圖，演示中有更精細(xì)的3D網(wǎng)格細(xì)節(jié)：包括覆蓋范圍更廣，渲染速度更快；對于弱光環(huán)境、對象邊角、紋理特征不明確的光滑平面等，dToF表現(xiàn)也遠(yuǎn)優(yōu)于iToF，從深度信息的精度到渲染速度。

另外Sarah Cheng也演示了這套方案在多徑干擾消除方面的優(yōu)勢，能夠更好地分辨弱光環(huán)境、復(fù)雜對象的前后關(guān)系。這些與前文探討的dToF與iToF兩者的特點相符。這讓我們對明年Android移動設(shè)備逐漸普及3D dToF方案更為期待。

事實上ams并沒有在這場發(fā)布會上具體去談，ams是如何在技術(shù)層面實現(xiàn)這套方案面向移動設(shè)備的大規(guī)模量產(chǎn)和應(yīng)用的；以及ams在這個過程中究竟解決了哪些技術(shù)難題。不過這套方案必然需要在3D dToF的成本、功耗、距離精度、分辨率等參數(shù)上做出權(quán)衡，尤其是在成本不會很高的前提下確保性能，令其適用于移動消費電子設(shè)備，這是大方向的難點所在。Bing Xu博士也在講話中提到，“我相信隨著量的增加，工藝性能提高，以及ams本土化計劃推進，價格成本就會往下降。”

最后比較值得關(guān)注的話題，還是落腳在消費類的移動設(shè)備搭載此類3D感知方案，究竟能夠用來做什么。畢竟這才是像ams這樣的3D dToF方案能不能普及的驅(qū)動力。

事實上，3D ToF在手機和各種移動設(shè)備上始終沒有什么殺手級應(yīng)用?，F(xiàn)有的一些3D ToF方案在手機上的應(yīng)用可能包括成像增強，例如利用深度圖來做對焦輔助、背景虛化，或智能美顏等。此前有評論認(rèn)為，3D感知實現(xiàn)的智能美顏可能會成為ToF市場需求的殺手級應(yīng)用，但事實上也并未如預(yù)期。

對此，Sarah Cheng表示：“很多手機廠可能在一些平臺上搭載過ToF后又棄用。其中一個關(guān)鍵因素是，ToF本身帶來的成本壓力，以及它為用戶帶來的收益很有限。這是因為iToF技術(shù)上的限制，導(dǎo)致大家對ToF接受度有限?！鼻拔奶峒埃琩ToF相較iToF有諸多方面的優(yōu)勢，“使手機后置的一些像AR這樣的應(yīng)用更加多元化，促使手機廠商去采用這樣的技術(shù)?！币郧啊癲ToF門檻高，能選的方案上不多?！?/p>

“就我們現(xiàn)在的計劃來看，2021年底先以智能手機為目標(biāo)平臺，第二波會慢慢延續(xù)到AR設(shè)備，比如AR眼鏡等產(chǎn)品上?！?Sarah Cheng說，“最新版iPad Pro和iPhone的出現(xiàn)，搭載的dToF技術(shù)的深度相機已經(jīng)成為3D視覺在消費場景的應(yīng)用推動了新的機會?！?/p>

“引用他們的一句標(biāo)語，‘Pro級攝像頭打通了真實和虛擬的交界’，在我們看來，這是未來手機后置3D應(yīng)用的大趨勢和核心，也就是更加沉浸式的AR用戶體驗，逐漸融入現(xiàn)有的各大游戲、社交、網(wǎng)上購物、室內(nèi)裝潢、AR導(dǎo)游地圖等線上應(yīng)用平臺和軟件?！?/p>

Bing Xu博士還補充說：“我們首先會推消費電子類，這個市場很大。從消費電子推到工業(yè)界，各種各樣的工業(yè)界，只要測距離、測體積，需要3D建模的我們都會去推?！?/p>

編輯：hfy