3D視覺感知底層技術與產業(yè)應用

奧比中光是一家專門做3D視覺感知技術的公司。我們?yōu)槭裁匆鋈S相關的東西？其實還是應用驅動。三維相關的應用變多了，如智能檢測識別、6DoF定位、機器人SLAM等，而原來的2D信息則越來越不夠用。

為什么需要三維感知技術？

實際上，三維感知技術的種類還是蠻多的。今天我想講的，主要還是偏重于非接觸式的三維感知技術。而即使是非接觸式的三維感知，依然有很多分支，有光學的，還有非光學的，像超聲、毫米波等。

奧比中光關注的還是光學方面。從光學測量系統來看，又分為透射式、反射式。透射式一般測什么？測一些透明材質物體（如玻璃），往往是用透射式的。我們常見的一般是反射式：光在發(fā)出之后通過物體表面反射回來，然后被傳感器接收到，利用這個信息來計算深度。

反射式又可以分主動和被動。主動是指它會投射一些特定的光或光斑，從而實現三維恢復。我在圖中列了幾種常見的方法，其實光學測量的范疇很大，還不限于這幾類。被動也很多技術路線。人的眼睛其實就是一個被動雙目，像SFM、SFX、攝影測量等，則是利用Motion、shading等多種約束去解算。

今天，我主要想和大家分享下奧比中光的主動結構光、主動被動雙目及ToF技術。

結構光的前世今生

結構光的歷史其實很早。20年前，研究人員就能用條紋結構光重建出人臉模型，只是計算和建模過程比較緩慢。即使到了現在，結構光的概念還是比較寬泛的。

我想重點介紹的Kinect，大家可能已經比較清楚了。Kinect應該是第一個消費級的Depth-Camera，而且銷量也蠻大，有超過3000萬套。而真正為Kinect提供技術的公司，其實是以色列的PrimeSense。這家2007年成立的公司專注于研發(fā)實時結構光技術，并在2009年與微軟一起發(fā)布了Kinect，可以和Xbox配合做體感游戲。Kinect深刻影響了企業(yè)界和學術界，大家那時發(fā)現，1000塊錢左右就能得到一個深度相機，還是很不可思議的。

奧比中光在2013年成立，在2015年就推出了我們第一套結構光傳感器。為了推廣方面的需求，我們做了兼容，盡量與Kinect的數據協議保持一致。實際上，我們的傳感器能輸出的分辨率還可以更高。

PrimeSense后來被蘋果收購。蘋果在2017年9月推出iPhone X，帶著結構光“劉?！?，這也是蘋果第一款帶3D相機的手機，可以用來刷臉解鎖、刷臉支付。

在安卓陣營里，奧比中光與OPPO合作，推出了第一款帶3D攝像頭的安卓手機。其實，我們在2017年初就可以把3D結構光方案做進手機，只是廠商當時不理解3D應用的價值，直到iPhone X的發(fā)布引爆了行業(yè)。

在2018年下半年，我們又在結構光的產業(yè)化應用上邁出了一大步，把結構光大規(guī)模地用在線下刷臉支付設備中。

實時結構光的原理其實不難。把激光散斑投射到物體上，形成散斑圖，然后在特定的平面上采集一幀參考圖像。利用這個散斑圖，跟參考圖上的散斑做匹配，找到對應的視差，然后計算它Z方向的信息。

結構光跟雙目有一定接近的地方，不過結構光只有一個相機。如果把結構光相機中的激光投影模塊看成一個倒置的相機，其實就很接近雙目技術。

結構光的核心在于做匹配，計算量很大。即使是算一個像素，一個block，也要算很多次。計算100萬像素的話，數據量就非常巨大。所以，實現這個過程，需要自己做芯片。

到現在為止，奧比中光已經自研了四代結構光芯片。因為結構光計算量大，集成到芯片上，可以把算力、成本、功耗都平衡到可以大規(guī)模生產的地步。

主動被動融合的奧比中光雙目技術

再來講講雙目。奧比中光在雙目上做了什么呢？

我們做了主動被動融合的雙目模式。在幾米之內的近距離時，采用主動增加散斑紋理，得到更好的精度；在遠距離時，因為主動投射沒有任何意義，就會變成被動雙目。

同學們可能知道，這時候圖像容易出現抖動的情況。怎么辦呢？奧比中光開始采用深度學習的方式，用深度學習模型來學習圖像的特征，然后做特征匹配，效果比傳統方法好很多。

雙目芯片這塊，我們也在做芯片設計。因為雙目的計算量與結構光一樣，都非常巨大。奧比中光原來已有的兩款結構光芯片MX6000和MX6600，其實也兼容雙目。之后，我們還會再專門做一款AIOT芯片，我們叫它Venus，結合了雙目和iToF的處理。

iToF與dToF：自研Sensor是核心壁壘

奧比中光也在投入iToF Sensor，預計今年7月份能夠量產。這個項目從開始到現在已經做了快三年，用的時間還蠻長的。值得一提的是，我們目前正在和微軟一起合作，開發(fā)在Azure云計算平臺上使用的iToF相機。

iToF發(fā)展簡史

簡單介紹下iToF的原理。iToF的原理是發(fā)射脈沖，再接受脈沖，最終利用相位差計算深度。一個不需要高精度的iToF測量其實很簡單，但如果想把一個系統做得很精確，需要大量的標定工作。因為發(fā)射的脈沖跟理想的正弦信號還差很多，這塊需要標定。

iToF系統濾波算法

而iToF系統標定這塊，主要有四個方面：

全局偏差標定與補償：全局偏差相當于整個系統的系系統誤差，通過對全局偏差的處理，使測量數據歸一化。

wiggling標定：主要解決調制信號與理想信號存在的周期性差異，因此，在標定時需要確保完成對一個調制周期的標定補償。

FPPN標定：FPPN噪聲是與像素點相關的固定偏置噪聲，因此，可以在某一位置上計算固定偏置的相位。然后在計算深度時加上這一個固定的偏置相位即可。

溫漂標定：溫度會改變深度偏移，因為激光調制和傳感器中的延遲時間解調會隨溫度變化。因此，補償隨溫度變化漂移時，應根據傳感器和激光驅動器中的溫度應用于原始距離。

給大家再介紹下奧比中光自研iToF傳感器PLECO。PLECO采用背照和堆疊工藝設計，像素層和邏輯層采用65nm工藝，尺寸做得更小。聽說索尼下一代將采用背照和堆疊工藝來做iToF傳感器，實際上奧比中光在這上面已經做了三年了。

奧比中光iToF開發(fā)時間線

講完iToF，再講講dToF。蘋果在iPhone12系列上裝的Lidar其實就是dToF。dToF跟iToF原理上唯一的差別就在于，dToF是測量時間差，發(fā)射出去脈沖跟接收的脈沖中間有一個時間差。不過，對這個時間差的測量精度要求非常高。

dToF最關鍵的部件是接收端的Sensor。dToF Sensor的發(fā)展也有一個趨勢，最早基本都在用APD (Avalanche Photo Diode)，后來發(fā)展成SPAD（Single Photon Avalanche Diode），即單光子雪崩二極管，只進去一個光子也會觸發(fā)它的雪崩。再后來，則會走向SPAD Array的路線。而dToF技術的核心壁壘，也在于Sensor。

主流3D視覺感知技術，各有千秋

3D視覺感知技術各有特色，我們是全球少數全面布局結構光、雙目、iToF、dToF、激光雷達等主流3D視覺感知技術的公司。我這里并沒有給出哪種技術它的精度到底好還是不好，而是給了一些跟誤差相關的參數。

主流3D視覺感知技術對比

像結構光和雙目，它的誤差聯系最緊密的就是測量距離和焦距，可以看出它的誤差是隨著距離成平方關系的。iToF基本跟距離成線性關系，dToF幾乎就是一個常量，整體精度不隨距離的變化而變化，當然，dToF測量結果跟時間的精度關系很大。

3D視覺感知技術本身沒有“好”與“壞”之分，而是分別適合于不同的應用場景。我認為幾種技術之間，是一種優(yōu)勢互補、長期并存的狀態(tài)。

3D視覺感知技術是趨勢，大規(guī)模產業(yè)化正當其時

我再分享幾個典型的應用場景。整體來說，結構光的優(yōu)勢還是近距離感測，雙目的好處就在于它可近可遠。iToF在0.1到5米范圍內，dToF可以到幾百米，車載激光雷達的原理就是dToF。

奧比中光一直在做3D視覺感知技術，把這幾種技術從底層Sensor、芯片設計到光學、算法以及整體系統優(yōu)化，都做了全方位深耕。我們?yōu)槭裁匆@么做？舉個簡單的例子，如果企業(yè)核心的Sensor是買來的，那么做很多應用都會被局限住，就容易在一些關鍵領域被卡脖子。

奧比中光做了很多3D視覺感知模組，這些模組可以應用到的場景也很多，如手機前置、后置攝像頭，線下刷臉支付，汽車激光雷達、車內安防，智能門鎖，AR/VR，機器人，智慧畜牧，工業(yè)三維檢測等等。

奧比中光智能制造行業(yè)解決方案

當前，3D視覺感知技術已經在多個領域崛起，并且在迅速擴大應用規(guī)模。與此同時，我們也能看到光學產業(yè)已經在向亞洲乃至轉移——從20世紀中葉前歐洲國家（德國為主）獨占鰲頭，到1950年日本光學產業(yè)高速起飛而后制霸全球，從21世紀初期臺灣光學產業(yè)在智能手機鏡頭帶動下崛起，到近年來大陸光學產業(yè)科創(chuàng)新秀涌現、大規(guī)模應用落地，中國有望在3D感知技術產業(yè)實現彎道超車。

我們捕捉到了3D視覺感知技術在物聯網時代的應用浪潮，并大力發(fā)展底層核心技術和下游應用生態(tài)。

我希望，中國能夠在高端基礎組件(比如Sensor、算法芯片、硅光技術等)上，有自己的持續(xù)研發(fā)和生產能力，培養(yǎng)更多人才，不被“卡脖子”

審核編輯 ：李倩