全面解析深度攝像頭（TOF Camera）的原理

深度攝像頭是什么?

深度檢測只是計算機視覺中一個基本而又核心的任務(wù)，要準(zhǔn)確地檢測目標(biāo)，可能還需要做很多圖像分割，識別，跟蹤方面的工作。

人類雙眼的基本原理就是stereo vision的主要依據(jù)，依靠視差(disparity)來估計深度。

本身沒有深度檢測功能的攝像頭，可以使用立體視覺的原理(stereo，MVS)來估計深度，而有深度檢測的攝像頭，比如說Kinect，也常常是利用視差原理來求取深度的，投射一個pattern，然后比較。

當(dāng)然最開始求取深度的，還有廣泛使用的激光雷達(dá)(RangeFinder)，只是成本很高，軍用，工業(yè)用比較多。

深度攝像頭面臨的問題

可以肯定的是深度攝像頭獲取的深度信息有非常廣泛的應(yīng)用，但目前仍存在一些問題，我覺得最為核心的兩個方面：一是測量范圍;二是應(yīng)用環(huán)境。

目前深度相機的測量范圍也就幾米，對應(yīng)用環(huán)境的要求也比較苛刻(主要受環(huán)境光影響嚴(yán)重)。所以，目前的深度相機應(yīng)用在監(jiān)控上還有非常遙遠(yuǎn)的路要走。

計算機視覺的范圍就太廣了，除了通過相機獲取信息之外，更重要更復(fù)雜的是對獲取的信息進(jìn)行理解：

包含三維信息提取、物體識別、分類、運動跟蹤等等。雙目視覺是目前深度測量的一種方法，這種方法同樣面臨很多問題，比如要求場景有明顯的特征，算法復(fù)雜等等。

總之，現(xiàn)在離深度攝像頭被廣泛應(yīng)用還有很長的路要走。

未來深度攝像頭的市場

2017年蘋果將發(fā)布三款機型，其中OLED機型的前置攝像頭可能有重大升級，預(yù)期配備深度攝像頭模組。他預(yù)期此先進(jìn)的深度前置攝像頭模組，將具備三維感測與三維建模能力。

消息一出，整個資本市場沸騰了，紛紛尋找供應(yīng)鏈相關(guān)企業(yè)投資標(biāo)的，相關(guān)公司股票都有巨幅上漲。

顯然僅僅認(rèn)為這是一次資本市場的題材操作，這是對國外成熟資本市場的侮辱，由于蘋果巨大的光環(huán)效應(yīng)，它的一舉一動都會引起整個高科技行業(yè)的劇變，一旦傳聞坐實，深度攝像頭將從原來相對小眾的行業(yè)市場快速進(jìn)入大眾消費移動市場。

我們從蘋果供應(yīng)鏈得到的消息是：這次蘋果的確是在前置攝像頭使用結(jié)構(gòu)光技術(shù)的深度攝像頭，各家供應(yīng)商都已經(jīng)確定，連代工廠的相應(yīng)光學(xué)標(biāo)定流程也已經(jīng)固化，現(xiàn)在就等蘋果正式發(fā)布的時候公布具體信息了。

同時消息源指出，由于該深度攝像頭模組的功耗較高，接近1瓦，所以現(xiàn)在只是用在前置攝像頭用作手勢和面部識別等時間較短的應(yīng)用，后置攝像頭的環(huán)境建模等應(yīng)用起碼要等下一代產(chǎn)品才可能用上了。

果粉可能認(rèn)為深度攝像頭又是啥獨家黑科技了，其實前兩年開始芯片業(yè)巨頭Intel一直在各個公眾場合高調(diào)宣傳的RealSense實感攝像頭，其實就是一個深度攝像頭。

它的各類應(yīng)用也引起了業(yè)內(nèi)人士和一些行業(yè)媒體的關(guān)注。怎奈Intel在消費市場的影響力差蘋果有100個高通的距離，所以深度攝像頭的概念對普通大眾來說仍舊是不知所云。那么它到底是何方神圣?

這種攝像頭和普通攝像頭的區(qū)別就是除了能夠獲取平面圖像以外還可以獲得拍攝對象的深度信息，也就是三維的位置和尺寸信息，于是整個計算系統(tǒng)就獲得了環(huán)境和對象的三維立體數(shù)據(jù)。

實際深度攝像頭早在上世紀(jì)80年代就由藍(lán)色巨人IBM提出相關(guān)概念，這家現(xiàn)在顯得有點英雄遲暮的巨頭在基礎(chǔ)研究領(lǐng)域可謂是整個時代的領(lǐng)跑者。

2005年創(chuàng)建于以色列的 PrimeSense 公司可謂該技術(shù)民用化的先驅(qū)，以色列的創(chuàng)新能力由此可見一斑，而且該領(lǐng)域以色列技術(shù)公司的數(shù)量是最多最好的。

當(dāng)時，在消費市場推廣深度攝像頭還處在概念階段，此前深度攝像頭僅使用在軍事和工業(yè)領(lǐng)域，為機械臂、工業(yè)機器人等提供圖形視覺服務(wù)。由它提供技術(shù)方案的微軟Kinect1代成為深度攝像頭在消費領(lǐng)域的開山之作，并帶動整個業(yè)界對該技術(shù)的民用開發(fā)。

PrimeSense本來以為抱到微軟大腿就可以仙福永享了，但是在2012年微軟先后收購了以色列的TOF攝像頭公司canesta和3dv，2013年微軟終止與PrimeSense的合作，自行開發(fā)了Kinect2代(成為Kinect one)，改走TOF技術(shù)路線。

這一變故使得PrimeSense只能另找靠山，于是在2013年蘋果正式收購PrimeSense，將它的技術(shù)和專利收入囊中，并且停止對外技術(shù)授權(quán)和供貨。顯然這次蘋果使用的深度攝像頭技術(shù)就是來自收購的PrimeSense，使用結(jié)構(gòu)光技術(shù)路線。

如果大家認(rèn)為只有微軟和蘋果有大動作，那就圖樣了，前面提到的Intel也是通過收購Tyzx和Omek等公司做出了RealSense這一明星級產(chǎn)品，現(xiàn)在任何公眾場合都是Intel高調(diào)宣傳的重點，去年還收購了視覺處理器廠商Movidius。被Facebook收購的VR巨頭Occulus在2014年左右接連收購了Nimble VR、13th Lab、Surreal Vision和Pebbles Interfaces等多家相關(guān)領(lǐng)域創(chuàng)業(yè)公司，完善了自己的技術(shù)布局。

索尼則在 2015 年 10 月宣布收購比利時一家名為 SoftKinetic 的TOF傳感器初創(chuàng)公司，為自己的VR和游戲機產(chǎn)品保駕護航。

軟件巨頭谷歌雖然沒有通過收購直接進(jìn)入深度攝像頭硬件領(lǐng)域，但它的Project Tango卻是利用深度攝像頭做移動應(yīng)用的最佳軟件范例，并且前不久開源了一個業(yè)界最關(guān)心的視覺SLAM(同步定位與建圖的縮寫)方案，聯(lián)想也發(fā)布了一款使用Tango方案的Phablab2手機，作為開發(fā)者的開發(fā)平臺。

顯然深度攝像頭及相關(guān)的計算視覺領(lǐng)域已經(jīng)成為整個科技行業(yè)最熱門的領(lǐng)域之一，為何熱門?

從前面的介紹中可以看出，一個能夠獲得環(huán)境三維信息的傳感器對機器識別和認(rèn)識世界起到了極端重要的作用，因為視覺信息是人腦和機器獲取外界信息最大的渠道，人的眼鏡能夠獲得三維的信息，所以對世界的識別會比較準(zhǔn)確。

原來由于技術(shù)的限制，普通攝像頭獲得的平面圖像信息對機器理解世界產(chǎn)生了巨大的限制，現(xiàn)在由于深度攝像頭的出現(xiàn)，使得機器也獲得了三維視覺能力，讓機器認(rèn)識和理解世界產(chǎn)生了飛躍的進(jìn)步。人工智能要借助于計算視覺的發(fā)展來獲取和識別外界的視覺信息。

所以今天在機器人導(dǎo)航、自動駕駛、無人機、AR/VR/MR、三維重建、人機互動、智能制造等最熱門的領(lǐng)域都有深度攝像頭的身影閃現(xiàn)，而且在這些領(lǐng)域都是必不可少的基礎(chǔ)傳感器，所以巨頭的這些動作也就不難理解，最基礎(chǔ)核心的技術(shù)自然要自己掌握才放心。

在人工智能火熱的今天，該領(lǐng)域成為顯學(xué)自然是應(yīng)有之義，只不過行業(yè)內(nèi)熱鬧不代表能傳遞到大眾領(lǐng)域，這次蘋果的出手終于將熱度帶到大眾市場，并且在資本市場已經(jīng)產(chǎn)生影響。

尤其是蘋果在整合供應(yīng)鏈的方面也有了大動作，它主導(dǎo)的幾個供應(yīng)商之間的資本運作已經(jīng)啟動，比如奧地利微電子(AMS)就高價收購了Heptagon，歐菲光也收購了一家以色列初創(chuàng)公司mantis vision。當(dāng)然，這一切都僅僅是開始，今后的資本運作會更加頻繁。

顯然國內(nèi)資本市場也不會放過這個風(fēng)口，搜索枯腸，國內(nèi)能夠和該領(lǐng)域直接掛鉤的上市公司幾乎沒有。那么非上市公司呢?居然發(fā)現(xiàn)中國在該領(lǐng)域的初創(chuàng)公司已經(jīng)走在了世界的前列。圖漾科技就是其中一家，這家總部位于上海的初創(chuàng)公司在業(yè)內(nèi)已經(jīng)名聲在外，最近更是接到大量投資機構(gòu)的拜訪請求?！白罱鼇碚椅覀兊耐顿Y機構(gòu)幾乎踩破門檻，主要是來了解行業(yè)信息，當(dāng)然也會提到今后的投資機會，”圖漾科技的副總經(jīng)理徐韜向我們透露。近期他們發(fā)布了一款高清分辨率(實際達(dá)到960P)的深度攝像頭，從性能指標(biāo)看，它已經(jīng)超越RealSense和Kinect2。

說到技術(shù)路線，現(xiàn)在深度攝像頭主流有三個技術(shù)路線：單目結(jié)構(gòu)光、TOF(飛行時間)和雙目視覺。TOF原理是傳感器發(fā)出經(jīng)調(diào)制的近紅外光，遇物體后反射，通過計算光線發(fā)射和反射時間差或相位差來換算被拍攝物體的距離。

結(jié)構(gòu)光(Structured Light)技術(shù)則要相對復(fù)雜一些，該技術(shù)將編碼的光柵或線光源等投射到被測物上，根據(jù)它們產(chǎn)生的畸變來解調(diào)出被測物的三維信息。

雙目視覺則是和人眼一樣用兩個普通攝像頭以視差的方式來計算被測物距離。三種方式各有優(yōu)缺點，在現(xiàn)有技術(shù)條件下各有應(yīng)用場景。

但圖漾則是結(jié)合了雙目和結(jié)構(gòu)光提出了主動雙目的技術(shù)，相比現(xiàn)有方案有了相當(dāng)?shù)脑韮?yōu)勢，可以獲得更好的深度數(shù)據(jù)質(zhì)量，更好的環(huán)境適應(yīng)性，更高的產(chǎn)品工作壽命和多設(shè)備間無干擾的特性，這些特性在行業(yè)應(yīng)用中幾乎是必備條件，所以他們的產(chǎn)品主要針對行業(yè)市場開發(fā)，現(xiàn)在主要用在機器人、安防、物流和工業(yè)自動化領(lǐng)域。

徐韜認(rèn)為：隨著Mantis被收購，現(xiàn)在市面上的獨立深度攝像頭供應(yīng)商只剩下中國幾家初創(chuàng)公司，那些巨頭都不屑做配件供應(yīng)商，只會為自己的整機服務(wù)，比如蘋果收購PrimeSense以后就不再對外供貨，很多廠商失去核心部件供應(yīng)商，造成巨大的供應(yīng)鏈風(fēng)險。只有Intel提供攝像頭模組，但需要搭配它的處理器，型號也極少，不能定制，無法滿足絕大部分客戶需求。

再加上全球電子產(chǎn)業(yè)鏈高度集中在中國，讓本土的初創(chuàng)企業(yè)擁有了極大的生存空間。

結(jié)合智能手機市場份額愈來愈集中到中國廠商的趨勢，深度攝像頭移動市場的戰(zhàn)爭幾乎就是在蘋果和中國廠商之間展開。

蘋果所開啟的深度攝像頭移動市場將會在大眾市場快速普及三維視覺的應(yīng)用，其市場想象空間巨大，但這次我們終于可以看到有本土企業(yè)在這個新興市場成為主力玩家。