典型3D ToF系統(tǒng)組成有哪些？

上海數(shù)跡智能科技有限公司（簡稱：數(shù)跡智能）專注于3D視覺智能處理器及3D智能相機(jī)的研發(fā)和銷售，提供Smart3D-ISP系列處理器、SmartToF?系列相機(jī)及人數(shù)統(tǒng)計(jì)、體積測量、隱私監(jiān)護(hù)等應(yīng)用的配套解決方案。數(shù)跡智能管理團(tuán)隊(duì)多來自富士通、聯(lián)想、IBM等國際一流公司以及國內(nèi)頂尖高校，掌握3D飛行時間（ToF）應(yīng)用普及的核心技術(shù)，具備強(qiáng)大的創(chuàng)新研發(fā)實(shí)力，與世界領(lǐng)先的ToF圖像傳感器廠商合作緊密，擁有多項(xiàng)技術(shù)專利和豐富的行業(yè)應(yīng)用成果儲備。近些年，隨著華為、OPPO、vivo等廠商將3D ToF技術(shù)導(dǎo)入智能手機(jī)，并且蘋果新款iPhone手機(jī)也預(yù)期采用ToF技術(shù)，預(yù)示著新一輪3D傳感與成像應(yīng)用浪潮正在襲來。在此背景下，麥姆斯咨詢近日采訪了數(shù)跡智能技術(shù)總監(jiān)鄒耀先生，就3D成像及信號處理技術(shù)進(jìn)行交流。

鄒耀：從機(jī)遇角度講，2019年各大手機(jī)廠商紛紛導(dǎo)入ToF技術(shù)，傳言新款iPhone機(jī)型也將搭載ToF攝像頭。ToF技術(shù)作為手機(jī)行業(yè)的新風(fēng)口，得益于5G與AI的發(fā)展，作為在AR/VR應(yīng)用中不可或缺的技術(shù)手段，必將伴隨著5G的普及而普及。我們認(rèn)為ToF技術(shù)不僅僅是手機(jī)行業(yè)的狂歡，更是滿足未來5G與AI應(yīng)用需求的最重要的技術(shù)之一，也將是智能制造、智能駕駛、機(jī)器人等領(lǐng)域的標(biāo)配，市場空間將超乎想象。

ToF技術(shù)機(jī)遇和挑戰(zhàn)并存，作為3D成像的新技術(shù)，在系統(tǒng)性能、功耗和成本等方面還有待成熟改善。我們認(rèn)為其將與2D成像技術(shù)發(fā)展成熟的路線相似。ToF系統(tǒng)涉及多種技術(shù)，是一個復(fù)雜的系統(tǒng)，不只涉及發(fā)光器件、傳感器還涉及圖像信號處理（ISP）技術(shù)。面臨場景的適應(yīng)性，如何在任意場景下獲取可靠和準(zhǔn)確的深度數(shù)據(jù)是非常大的技術(shù)挑戰(zhàn)，是ToF技術(shù)普及的關(guān)鍵。目前尚未出現(xiàn)爆款級的應(yīng)用其主要原因是缺乏3D ISP增強(qiáng)引擎來消除干擾，降低功耗，提高實(shí)時性能；缺少面向3D行業(yè)的ISP IP及中間件，無法有力支撐上層應(yīng)用；以ISP技術(shù)為核心，系統(tǒng)性地提升ToF性能并降低功耗和成本是幾年來數(shù)跡智能團(tuán)隊(duì)的研發(fā)目標(biāo)，誰率先解決了這些問題則必將抓住ToF帶來市場的發(fā)展機(jī)遇。從目前的研發(fā)成果來看，我們有很大的勝算！

記者：典型3D ToF系統(tǒng)組成有哪些？

鄒耀：典型的3D ToF系統(tǒng)主要由發(fā)射端、接收端和控制方案端組成。目前ToF發(fā)射端的核心是由VCSEL、LED等發(fā)光器件組成，主要負(fù)責(zé)發(fā)射850nm或940nm的調(diào)制光信號，這一塊主要廠商有國外的歐司朗（OSRAM）、飛利浦（Philips）、艾邁斯半導(dǎo)體（ams）、Lumentum、II-VI和國內(nèi)的縱慧芯光、睿熙科技、博昇光電等。接收端的核心是基于飛行時間法的CCD/CMOS圖像傳感器芯片，負(fù)責(zé)將接收到的調(diào)制光信號轉(zhuǎn)化為電信號，這一塊的主流廠商包括璦鐠瑞思（ESPROS）、索尼（Sony）、英飛凌（Infineon）、松下（Panasonic）和國內(nèi)的炬佑智能（OPNOUS）、艾普柯微電子（Epticore）等。另外，接收端還包括窄帶濾光片和光學(xué)鏡頭等?？刂品桨付藙t是串聯(lián)整個3D ToF系統(tǒng)方案的“中樞神經(jīng)”，包括整個系統(tǒng)的模塊控制、時序信號、數(shù)據(jù)校準(zhǔn)降噪處理、軟件驅(qū)動開發(fā)工具包等。

數(shù)跡智能就是一家主要立足于控制方案端的3D ToF系統(tǒng)解決方案提供商，我們在3D ToF系統(tǒng)方案中的軟件算法核心技術(shù)上會成為未來3D圖像信號處理器中的“長矛利劍”。

記者：3D成像應(yīng)用為什么需要3D圖像信號處理器（ISP）？3D ISP能做什么？

鄒耀：3D ISP主要用于提升3D圖像質(zhì)量，以及實(shí)現(xiàn)ToF圖像傳感器參數(shù)的自動控制等，能夠大幅降低3D成像應(yīng)用的開發(fā)難度，縮短3D成像產(chǎn)品的上市時間?？梢哉f，3D ISP既是ToF圖像傳感器到3D成像應(yīng)用的推進(jìn)器，也是3D成像市場爆發(fā)的必要條件，這是因?yàn)椋?/p>

（1）ToF圖像傳感器的規(guī)?；秃Ａ繎?yīng)用市場前景是3D ISP研制的前提，這一條件已經(jīng)具備。當(dāng)前，ToF圖像傳感器已經(jīng)完成從CCD到CMOS的技術(shù)演進(jìn)，同時逐步在智能手機(jī)上規(guī)模化使用（最具代表性的智能手機(jī)包括華為Mate 30 Pro和未來的蘋果iPhone）也意味著ToF圖像傳感器的規(guī)?；殉蔀楸厝唬S著規(guī)模效應(yīng)帶來的成本降低，越來越多的應(yīng)用將會結(jié)合3D成像技術(shù)進(jìn)行開發(fā)。因此，多家著名咨詢機(jī)構(gòu)預(yù)測，3D成像應(yīng)用市場在未來五年將具有極高的增速。例如Yole認(rèn)為全球3D成像和傳感市場將從2017年的21億美元增長至2023年的185億美元，復(fù)合年增長率高達(dá)44%。

（2）3D ISP層級的處理器產(chǎn)品是3D成像應(yīng)用的剛需，3D ISP是銜接傳感器和應(yīng)用的重要橋梁。目前95%的基于3D成像應(yīng)用項(xiàng)目均處于概念原型階段（基于我們自己的100多家模組用戶的統(tǒng)計(jì)數(shù)據(jù)），且研制進(jìn)展非常緩慢，主要原因在于3D ISP的缺失。每款應(yīng)用均需要解決3D圖像增強(qiáng)、校準(zhǔn)、參數(shù)自動控制等3D ISP層級的問題。試想一下2D成像的海量應(yīng)用市場，如果沒有2D ISP，讓每款應(yīng)用都直接面對“單反相機(jī)的手動模式”，是無法如此繁榮的。

（3）3D ISP是2D ISP的超集，具有很高的技術(shù)門檻。ToF圖像傳感器的控制參數(shù)數(shù)量、成像運(yùn)算量、校準(zhǔn)復(fù)雜度、應(yīng)用難度均遠(yuǎn)高于普通的2D圖像傳感器，并且核心運(yùn)算內(nèi)容和2D-ISP差別巨大，無法直接采用2D ISP技術(shù)。

記者：數(shù)跡智能在3D ISP方面有哪些技術(shù)儲備？

鄒耀：我們具備做好3D ISP的必要條件，當(dāng)前3D ISP層級上的技術(shù)積累處于領(lǐng)先地位。

（1）3D ISP的基礎(chǔ)架構(gòu)技術(shù)積累和經(jīng)驗(yàn)。這部分我們團(tuán)隊(duì)有多年的多媒體加速IP、多核DSP（自有知識產(chǎn)權(quán)）、MCU類芯片的成功流片和項(xiàng)目經(jīng)驗(yàn)。

（2）3D ISP層級的技術(shù)領(lǐng)先，相關(guān)專利儲備超過50項(xiàng)。這部分的技術(shù)領(lǐng)先離不開大量3D成像應(yīng)用的項(xiàng)目經(jīng)驗(yàn)以及ToF圖像傳感器的底層信號鏈路和信號處理上的實(shí)踐。目前，我們在跟蹤100多家用戶在3D模組使用過程中，已經(jīng)完成3D ISP的規(guī)格定義并在模組開發(fā)套件中進(jìn)行了大量實(shí)踐；尤其是3D ISP中非常重要的校準(zhǔn)技術(shù)方面，我們的自動校準(zhǔn)設(shè)備已經(jīng)獲得索尼（Sony）ToF圖像傳感器部門的認(rèn)可和2020年的訂單；同時作為3D ISP硬件載體的索尼2020年新一代ToF圖像傳感器的官方評估套件也確認(rèn)由我們團(tuán)隊(duì)主要負(fù)責(zé)。

記者：請您再介紹下數(shù)跡智能的核心團(tuán)隊(duì)情況。

鄒耀：數(shù)跡智能目前的團(tuán)隊(duì)無論是技術(shù)產(chǎn)品能力還是市場運(yùn)營能力，在業(yè)內(nèi)都具備優(yōu)秀的競爭力及未來的進(jìn)化能力；團(tuán)隊(duì)成員主要來自富士通、聯(lián)想、IBM等國際一流公司以及國內(nèi)頂尖高校；團(tuán)隊(duì)成員曾自主設(shè)計(jì)并擁有知識產(chǎn)權(quán)多媒體DSP，包括體系架構(gòu)、指令集、編譯器、仿真器、集成開發(fā)環(huán)境，并成功流片和應(yīng)用，可作為3D ISP的核心；團(tuán)隊(duì)成員中參與項(xiàng)目經(jīng)驗(yàn)豐富，曾經(jīng)參與過SONY LSI的數(shù)個IP前端設(shè)計(jì)服務(wù)，HPTG（現(xiàn)ams）的ToF傳感器嵌入式軟硬件平臺等項(xiàng)目；在有影響的國際會議和期刊中發(fā)表多篇論文并在相關(guān)領(lǐng)域擁有數(shù)十項(xiàng)專利。

記者：數(shù)跡智能3D ISP的產(chǎn)品形式（銷售形式）有哪幾種？

鄒耀：我們的3D ISP與常規(guī)的硬件IP產(chǎn)品類似，初期會以FPGA形態(tài)存在（2020年），然后是IP軟核硬核授權(quán)（License）方式（2021~2023年），后期會根據(jù)應(yīng)用規(guī)?；潭?，考慮做成專用集成電路（ASIC）或系統(tǒng)級芯片（SoC）的形式。

記者：數(shù)跡智能的目標(biāo)市場有哪些？可以談?wù)勈袌鲆?guī)劃嗎？

鄒耀：ToF將來的應(yīng)用將會非常廣泛，市場也會逐步成熟。將來我們的主要的目標(biāo)是將圍繞著智能手機(jī)、電子領(lǐng)域、自動駕駛、機(jī)器人、AR/VR等巨量市場進(jìn)行布局；將數(shù)跡智能的產(chǎn)品以各種形態(tài)與合作模式賦能3D視覺的蓬勃發(fā)展。從市場規(guī)劃來說，我們也會更加務(wù)實(shí)的由近及遠(yuǎn)的推動業(yè)務(wù)良性發(fā)展，開發(fā)適合市場的終端應(yīng)用型產(chǎn)品；不斷拓寬通用型產(chǎn)品的的打磨，讓ToF通用型產(chǎn)品產(chǎn)能上量；并不斷積累行業(yè)經(jīng)驗(yàn)建立不可替代的核芯能力。

記者：數(shù)跡智能的競爭對手有哪些？

鄒耀：智能手機(jī)、汽車、安防等終端廠商自研3D ISP是一種潛在的競爭。但是，以技術(shù)領(lǐng)先的硬件IP授權(quán)方式進(jìn)入這些領(lǐng)域的SoC芯片或方案可以規(guī)避這種直接競爭，甚至可以將他們轉(zhuǎn)換為客戶，例如：Chips&Media視頻編解碼器IP、英特爾（Intel）收購的Habana Labs人工智能（AI）加速IP等案例充分說明確保IP技術(shù)領(lǐng)先是創(chuàng)業(yè)公司切入熱點(diǎn)市場的可行方式。當(dāng)前我們3D ISP層級上的技術(shù)積累處于領(lǐng)先地位，并積極推進(jìn)3D ISP的IP產(chǎn)品化。

記者：與2D ISP廠商和ToF圖像傳感器廠商相比，數(shù)跡智能自研3D ISP有哪些競爭優(yōu)勢？

鄒耀：與2D ISP廠商相比：3D ISP是2D ISP的超集，具有很高的技術(shù)門檻， 2D ISP廠商做3D ISP不是一個技術(shù)的簡單升級，也需要大量的3D ISP層級的技術(shù)儲備，這部分我們目前的技術(shù)積累領(lǐng)先地位是最大的優(yōu)勢。

與ToF圖像傳感器廠商相比，實(shí)際上不是直接競爭關(guān)系而是產(chǎn)業(yè)上下游的合作關(guān)系。圖像傳感器和ISP本質(zhì)屬于產(chǎn)業(yè)鏈細(xì)分環(huán)節(jié)，圖像傳感器只解決最基本的信號解調(diào)和基于用戶參數(shù)成像控制；且從2D成像應(yīng)用市場上看，海量應(yīng)用都是基于2D ISP輸出的圖像再進(jìn)行處理的（直接基于CMOS圖像傳感器芯片輸出圖像的很少），且2D ISP的產(chǎn)品形態(tài)也基本以獨(dú)立于CMOS圖像傳感器之外的方式存在（集成在AP SoC控制器或獨(dú)立ISP芯片）。

記者：與數(shù)跡智能合作的ToF圖像傳感器廠商有哪些？可以介紹合作進(jìn)展嗎？

鄒耀：數(shù)跡智能與ESPROS、Sony等國際知名ToF圖像傳感器廠商建立了良好的合作伙伴關(guān)系。數(shù)跡智能是國內(nèi)首家提供基于Sony iMX556傳感器的3D相機(jī)的廠商，通過扎實(shí)的技術(shù)能力取得了Sony的信任。未來將在ToF評估板參考設(shè)計(jì)、ToF攝像頭/相機(jī)校準(zhǔn)、軟件開發(fā)、方案應(yīng)用等方面與Sony展開深度合作。

記者：請問數(shù)跡智能近期是否有融資計(jì)劃？如果有，能否簡單介紹下需求。

鄒耀：由于產(chǎn)業(yè)還處于發(fā)展早期，還需要不斷發(fā)展！數(shù)跡智能目前正積極選擇有產(chǎn)業(yè)資源的投資方及同行人，一起為整個ToF行業(yè)的發(fā)展努力。目前，我們處于A輪融資階段，融資需求為3000萬，主要用于團(tuán)隊(duì)拓展、技術(shù)研究、市場拓展等。
? ? ? ?責(zé)任編輯:pj