智能手機(jī)中的3D ToF深度傳感技術(shù)

作為智能手機(jī)的三大創(chuàng)新之一，3D ToF深度傳感技術(shù)依靠體積小、誤差低、直接輸出深度數(shù)據(jù)與抗干擾性強(qiáng)等優(yōu)勢(shì)，成為近年來(lái)智能手機(jī)上的關(guān)鍵創(chuàng)新亮點(diǎn)之一。

ToF技術(shù)解碼

ToF是Time of Flight的縮寫(xiě)，又稱飛行時(shí)間法3D成像。這種成像技術(shù)通過(guò)向目標(biāo)發(fā)射連續(xù)的特定波長(zhǎng)的紅外光線脈沖，通過(guò)特定傳感器接收待測(cè)物體傳回的光信號(hào)，計(jì)算光線往返的飛行時(shí)間或相位差得到待測(cè)物體的3D深度信息，ToF相機(jī)的亮度圖像可以通過(guò)模型迅速連接起來(lái)。

相比3D深度視覺(jué)其它兩種方案（結(jié)構(gòu)光與雙目立體成像技術(shù)）而言， ToF方案在實(shí)際應(yīng)用中的優(yōu)勢(shì)顯著。例如：在畫(huà)面拍攝后計(jì)算景深時(shí)不需要進(jìn)行后處理，既可避免延遲又可節(jié)省采用強(qiáng)大后處理系統(tǒng)帶來(lái)的相關(guān)成本；ToF測(cè)距規(guī)模彈性大，大多數(shù)情況下只需改變光源強(qiáng)度、光學(xué)視野以及發(fā)射器脈沖頻率即可完成；由于具有不易受外界光干擾、體積小巧、響應(yīng)速度快以及識(shí)別精度高等多重優(yōu)勢(shì)，使得ToF無(wú)論是在移動(dòng)端還是車載等應(yīng)用領(lǐng)域日漸成為3D視覺(jué)的首選技術(shù)方案。目前，ToF技術(shù)應(yīng)用領(lǐng)域廣泛，包括：

消費(fèi)電子：虛擬現(xiàn)實(shí)、人臉識(shí)別、體感交互等新零售：手勢(shì)識(shí)別、客流統(tǒng)計(jì)、行為識(shí)別等智能安防：人臉識(shí)別、行為分析等工業(yè)級(jí)自動(dòng)化：自動(dòng)避障、測(cè)量測(cè)距、感知定位等醫(yī)療電子：增強(qiáng)現(xiàn)實(shí)、遠(yuǎn)程交互等汽車電子：輔助駕駛、人臉識(shí)別、手勢(shì)識(shí)別等

TOF測(cè)量原理

TOF飛行時(shí)間，即傳感器發(fā)出經(jīng)調(diào)制的近紅外光，遇物體后反射，傳感器通過(guò)計(jì)算光線發(fā)射和反射時(shí)間差或相位差，來(lái)?yè)Q算被拍攝景物的距離，以產(chǎn)生深度信息，此外再結(jié)合傳統(tǒng)的相機(jī)拍攝，就能將物體的三維輪廓以不同顏色代表不同距離的地形圖方式呈現(xiàn)出來(lái)。

發(fā)射的紅外光線被被測(cè)物體反射后回到傳感器，內(nèi)置的計(jì)時(shí)器記錄其來(lái)回時(shí)間，然后即可計(jì)算出其距離。聽(tīng)起來(lái)好像和大家玩爛了的超聲波測(cè)距沒(méi)啥不同。但其實(shí)不然，超聲波測(cè)距對(duì)反射物體要求比較高，面積小的物體，如線、錐形物體就基本測(cè)不到，而TOF紅外測(cè)距完全可克服此問(wèn)題，同時(shí)TOF測(cè)距精度高，測(cè)距遠(yuǎn)，響應(yīng)快。

這種技術(shù)跟3D激光傳感器原理基本類似，只不過(guò)3D激光傳感器是逐點(diǎn)掃描，而TOF相機(jī)則是同時(shí)得到整幅圖像的深度信息。

ToF的原理是通過(guò)光子的反射測(cè)距。傳統(tǒng)上是紅外測(cè)距，但紅外測(cè)距沒(méi)有計(jì)算時(shí)間差的能力，主要靠測(cè)光強(qiáng)，但打在黑色、白色等顏色物體上，由于材料本身的吸收度不同，也會(huì)影響測(cè)距效果，因此ST的FlightSense采用計(jì)算發(fā)射和返回的光子時(shí)間差，即計(jì)算飛行時(shí)間(ToF)方案。另外在集成度上，ST的方案是發(fā)射和接收都做在一起，而紅外測(cè)距往往是分立方案。

市面上有多家公司采用ToF方法，但主要采用相位測(cè)距法，主要用于工業(yè)，原理是脈沖計(jì)算法，但在波谷的能量就不測(cè)量了，會(huì)造成能量損失。

為何ST方案的測(cè)距角度都是25°?因手機(jī)鏡頭弧度是25°左右，所以市面上的產(chǎn)品往往是25~30°視角。FlightSense二代之所以是2米測(cè)距，因手機(jī)拍攝的理想距離是1.2~1.5米。

市面上有多家公司采用ToF方法，但主要采用相位測(cè)距法，主要用于工業(yè)，原理是脈沖計(jì)算法，但在波谷的能量就不測(cè)量了，會(huì)造成能量損失。

飛行時(shí)間(ToF)傳感系統(tǒng)是最有盈利空間的創(chuàng)新成像技術(shù)之一。市場(chǎng)上的主要消費(fèi)類產(chǎn)品制造商都希望在各種智能硬件中集成飛行時(shí)間(ToF)測(cè)距，以提供3D成像、接近感應(yīng)、環(huán)境光感測(cè)、手勢(shì)識(shí)別等功能。

意法半導(dǎo)體在飛行時(shí)間(ToF)傳感方面潛心研究，而iPhone 7 Plus中的飛行時(shí)間(ToF)測(cè)距傳感器是意法半導(dǎo)體為蘋(píng)果公司定制的產(chǎn)品。

這款為蘋(píng)果定制的產(chǎn)品位于iPhone手機(jī)前面、主揚(yáng)聲器上方，采用光學(xué)柵格陣列(LGA)封裝形式，尺寸為2.8mm x 2.40mm，小于意法半導(dǎo)體對(duì)外公開(kāi)銷售的任一款ToF傳感器。

ToF究竟是未來(lái)趨勢(shì)還是廠商套路

既然 TOF 的歷史已經(jīng)如此悠久，為啥近一年才成為消費(fèi)電子的熱詞呢?

因?yàn)楦拍畛霈F(xiàn)了混淆，如今熱議的 TOF 技術(shù)其實(shí)應(yīng)該叫 TOF 3D 技術(shù)，屬于 3D 視覺(jué)技術(shù)的一種，目標(biāo)是和 2D 相機(jī)配合建立物體和空間的立體模型，而之前的 TOF 只是點(diǎn)光源，只是用于測(cè)量前方物體距離有多遠(yuǎn)而已，無(wú)論從實(shí)現(xiàn)目標(biāo)還是復(fù)雜度來(lái)說(shuō)都不能相提并論。

此外，有關(guān) TOF 3D 的基本原理還是要再簡(jiǎn)單講一下，首先通過(guò)紅外光源，打出超短的脈沖信號(hào)，形態(tài)是面光，要求覆蓋整個(gè)視場(chǎng)范圍，然后通過(guò)紅外相機(jī)接收反射信號(hào)，在成像的同時(shí)也獲得了空間內(nèi)每個(gè)點(diǎn)收發(fā)信號(hào)的時(shí)間差，最后通過(guò)光速計(jì)算出距離，就能搞定視場(chǎng)內(nèi)整個(gè)空間的 3D 輪廓。

當(dāng)然，理論都是很美好的，否則沒(méi)人會(huì)愿意推進(jìn)它們的實(shí)用化，尤其對(duì)大家伙們來(lái)說(shuō)，如今的產(chǎn)品做到了什么程度才是關(guān)鍵。

好在這件事分析起來(lái)不難，因?yàn)槟壳爸髁魇袌?chǎng)上用 TOF 3D 的產(chǎn)品也就三款，一個(gè)“前置”是 vivo NEX雙屏版，兩個(gè)后置，OPPO R17 Pro 和華為榮耀 V20。接下來(lái)我們逐個(gè)分析。

vivo NEX 雙屏版官方說(shuō)的很明確，TOF 就是拿來(lái)搞面部識(shí)別用的，和結(jié)構(gòu)光一個(gè)玩法。模組上的合作伙伴是艾德諾半導(dǎo)體(ADI)，型號(hào)是 ADDI9036，鏡頭光圈 f/1.3，再就沒(méi)有其他的公開(kāi)資料。不過(guò)從 ADI 以往展出的產(chǎn)品來(lái)看，最近的是 ADDI9033，用于工業(yè)機(jī)械臂，sensor 分辨率是 VGA(640*480) 水準(zhǔn)，這樣可以推知 9036 應(yīng)該是 9033 的衍生版本。

其中值得一提的是，對(duì)于前置面部識(shí)別來(lái)說(shuō)，行業(yè)內(nèi)主流的選擇是結(jié)構(gòu)光，原因各家有多次科普，這里就簡(jiǎn)單提一下，即在正常使用距離(0.2-1.2m)，結(jié)構(gòu)光的深度精度明顯比 TOF 更有優(yōu)勢(shì)，TOF 則需要更遠(yuǎn)一些才能發(fā)揮。這很好理解，畢竟距離太近的話，精度需求也更細(xì)微，信號(hào)來(lái)回時(shí)間太短，甚至接近于信號(hào)本身的脈沖長(zhǎng)度，算起來(lái)誤差就會(huì)很大，而距離變長(zhǎng)的話，結(jié)構(gòu)光實(shí)際有效的采集點(diǎn)會(huì)變少，單個(gè)斑點(diǎn)面積會(huì)變大，精度當(dāng)然也會(huì)有明顯的損失。不過(guò)從實(shí)際產(chǎn)品來(lái)看，vivo NEX 至少接入了支付寶的面容支付，說(shuō)明安全性上用起來(lái)并沒(méi)啥問(wèn)題。

而在構(gòu)造上，從實(shí)際產(chǎn)品來(lái)看，TOF 面部和結(jié)構(gòu)光都是 3 個(gè)必需元器件，但不同在于，結(jié)構(gòu)光需要點(diǎn)陣投影器和紅外相機(jī)拉開(kāi)一定的距離，因此它們?cè)谒挟a(chǎn)品上都是分居左右兩側(cè)的，而 TOF 沒(méi)這種需求，因而相對(duì)來(lái)說(shuō)堆疊比較簡(jiǎn)單。

至于 vivo 官方所宣稱的“TOF 精度是結(jié)構(gòu)光的 10 倍”，則應(yīng)該是指其 sensor 的 VGA 分辨率，640*480=307200 正好 30 萬(wàn)像素，是結(jié)構(gòu)光 3 萬(wàn)個(gè)點(diǎn)陣的“10 倍”。不過(guò)這很顯然是偷換概念，畢竟結(jié)構(gòu)光的點(diǎn)陣和 sensor 的分辨率并不能混為一談，真要論起來(lái)，結(jié)構(gòu)光陣營(yíng)最低端的 OV9282 都有 100 萬(wàn)像素，數(shù)量碾壓 TOF，而高端 TOF sensor 用的 IMX456QL，單像素尺寸 10μm，反過(guò)來(lái)又碾壓了結(jié)構(gòu)光普遍的 3μm，你說(shuō)這事該咋整? 況且，作為 3D 視覺(jué)技術(shù)，更重要的還是在于深度的精度，無(wú)論 TOF 的分辨率還是結(jié)構(gòu)光的點(diǎn)陣數(shù)量，都屬于 2D 平面的概念，比來(lái)比去也沒(méi)啥意思。

綜上，“前置”用于面部識(shí)別的 TOF，實(shí)際用起來(lái)不會(huì)好于結(jié)構(gòu)光。

該輪到后置這兩位，R17 Pro 和 V20 其實(shí)沒(méi)有本質(zhì)區(qū)別，sensor 都是同款，索尼 IMX316，公開(kāi)資料也很少，索尼對(duì)此一言不發(fā)。

找遍全網(wǎng)，只有一個(gè)國(guó)外設(shè)備商有所提及 http://www.dynaoptics.com/time-of-flight.html ，具體見(jiàn)下，IMX316 被稱為“輕 TOF”，也就是入(最)門(mén)(低)級(jí)(端)。

需要補(bǔ)充的是，上面的表格數(shù)據(jù)有些偏差，比如索尼已經(jīng)公布的 IMX456QL，是 1/2 英寸 10μm，30 萬(wàn)像素，和表格上 1/3 英寸不同。不過(guò) IMX316 的參數(shù)還是和網(wǎng)絡(luò)上流傳的吻合，1/6 英寸，像素只有一種傳說(shuō)是 4.32 萬(wàn)，好吧，是挺慘的。

那么這玩意到底有啥用呢?一是拿來(lái)當(dāng)景深攝像頭用，榮耀 V20 就是這么干的，眾所周知這活是個(gè)攝像頭就能干，所以意義不大;R17 Pro 早期有個(gè) TOF 3D 建模功能，圍物體轉(zhuǎn)一圈就能建立一個(gè) 3D 模型，和華為的小物建模用途差不多，但可能是因?yàn)樾Ч^(guò)于感人，當(dāng)初到手試了一下從來(lái)沒(méi)建出過(guò)像樣的東西，在某次更新之后，OPPO 取消了這個(gè)功能，目前只有內(nèi)置的 AR 測(cè)量功能依賴了 TOF 模組，其實(shí)現(xiàn)效果和 iPhone 的測(cè)距儀大同小異，功能上全面一點(diǎn)點(diǎn)。

因此簡(jiǎn)單說(shuō)，就是目前的 IMX316 其實(shí)沒(méi)什么用，或者說(shuō)很容易替代，沒(méi)啥存在的必要。考慮到 sensor 的規(guī)格，以及這些產(chǎn)品的上市時(shí)間，它們的應(yīng)該也沒(méi)什么使用潛力，故而可以說(shuō)后置的 TOF 目前來(lái)看沒(méi)啥存在的必要。

總結(jié)一下，目前的 TOF 3D 技術(shù)，“前置”體驗(yàn)不超過(guò)結(jié)構(gòu)光，后置的存在意義暫時(shí)為 0，或許過(guò)個(gè)半年一年，后置 TOF 會(huì)找到用武之地，但也很可能輪不到目前已經(jīng)上市的 IMX316 們，畢竟規(guī)格偏弱。

審核編輯：郭婷