到底什么是3D視覺(jué)技術(shù)？

近年來(lái)，3D視覺(jué)技術(shù)在眾多領(lǐng)域飛速發(fā)展，除了智能機(jī)器人、自動(dòng)駕駛、無(wú)人機(jī)等無(wú)人系統(tǒng)，在我們身邊的AR、VR、智能家居，以及智能手機(jī)中通過(guò)掃描人臉三維結(jié)構(gòu)實(shí)現(xiàn)手機(jī)解鎖、手機(jī)支付等應(yīng)用。除此之外在工業(yè)領(lǐng)域中，3D視覺(jué)技術(shù)可以進(jìn)行納米級(jí)的工業(yè)掃描、工業(yè)檢測(cè)等，實(shí)現(xiàn)大場(chǎng)景三維重建，助力工業(yè)智能化發(fā)展。從城市到工業(yè)，3D視覺(jué)技術(shù)已經(jīng)成為智能終端必不可少的AI“慧眼”。到底什么是3D視覺(jué)技術(shù)？我們一起往下看。

Industry

3D視覺(jué)技術(shù)與3D傳感器

3D視覺(jué)是一個(gè)多學(xué)科相融合的技術(shù)，可以總結(jié)為：計(jì)算圖形學(xué)+計(jì)算機(jī)視覺(jué)+人工智能=3D視覺(jué)。3D視覺(jué)技術(shù)是通過(guò)3D攝像頭采集視野空間內(nèi)每個(gè)點(diǎn)位的三維座標(biāo)信息，通過(guò)算法復(fù)原獲取三維立體成像，不會(huì)輕易受到外界環(huán)境、復(fù)雜光線的影響，與2D成像技術(shù)相比更穩(wěn)定，體驗(yàn)感更強(qiáng)，安全性更高。

3D視覺(jué)技術(shù)結(jié)合深度學(xué)習(xí)算法，在眾多領(lǐng)域取得了突出效果，其主要研究?jī)?nèi)容包括：

3D感知：3D感知能夠捕捉到現(xiàn)實(shí)世界中的人、車、物、空間的三維信息，應(yīng)用于機(jī)器人/機(jī)械臂、自動(dòng)駕駛、無(wú)人機(jī)等場(chǎng)景；

位姿估計(jì)（Pose estimation）: 位姿估計(jì)在計(jì)算機(jī)視覺(jué)領(lǐng)域扮演著十分重要的角色。在使用視覺(jué)傳感器估計(jì)機(jī)器人位姿進(jìn)行控制、機(jī)器人導(dǎo)航、增強(qiáng)現(xiàn)實(shí)等方面都有極大的應(yīng)用。位姿估計(jì)這一過(guò)程的基礎(chǔ)是找到現(xiàn)實(shí)世界和圖像投影之間的對(duì)應(yīng)點(diǎn)，然后根據(jù)這些點(diǎn)對(duì)的類型，如2D-2D, 2D-3D, 3D-3D，采取相應(yīng)的位姿估計(jì)方法。位姿估計(jì)應(yīng)用于機(jī)器人定位導(dǎo)航、VPS（(Virtual Private Server ）等場(chǎng)景；

*位姿估計(jì) 圖源：網(wǎng)絡(luò)

3D重建: 大規(guī)模場(chǎng)景的3D重建，被應(yīng)用于智慧城市、智慧文旅、混合現(xiàn)實(shí)等場(chǎng)景，此外在人臉人體等部位的3D重建和關(guān)鍵點(diǎn)檢測(cè)識(shí)別技術(shù)，也被廣泛應(yīng)用于游戲、動(dòng)漫影視中內(nèi)容的制作等。

3D傳感器作為3D視覺(jué)的眼睛，通過(guò)多個(gè)攝像頭與深度傳感器的組合能夠獲得物體三維位置及尺寸等數(shù)據(jù)，實(shí)現(xiàn)三維信息采集。目前3D傳感器主要有雙目相機(jī)、結(jié)構(gòu)光相機(jī)及TOF（Time of flight）相機(jī)。

雙目相機(jī)的原理與人類視覺(jué)感知過(guò)程相類似，是從兩個(gè)不同位置的相機(jī)去觀察同一事物，獲取在不同視角下的感知圖像，然后通過(guò)三角測(cè)量原理計(jì)算圖像的視差，以此得到景物的三維信息。它的缺點(diǎn)在于對(duì)環(huán)境光照非常敏感，當(dāng)光線變化時(shí)會(huì)導(dǎo)致精準(zhǔn)度變低。

*雙目立體視覺(jué)測(cè)量示意圖 圖源：網(wǎng)絡(luò)

結(jié)構(gòu)光相機(jī)是將激光散斑圖像投射到物體表面，由攝像頭接收采集物體表面反射的信息，根據(jù)物體造成的光信號(hào)變化計(jì)算出物體位置和深度信息，識(shí)別精度達(dá)到1mm。我們?cè)谏坛Ｒ?jiàn)的刷臉支付、社區(qū)刷臉門(mén)禁等均為3D結(jié)構(gòu)光技術(shù)，更為適合應(yīng)用在近距離面部識(shí)別驗(yàn)證等場(chǎng)景。

*3D結(jié)構(gòu)光原理 圖源：網(wǎng)絡(luò)

TOF（Time of flight）相機(jī)是通過(guò)專用傳感器，捕捉近紅外光從發(fā)射到接收的飛行時(shí)間差來(lái)判斷并計(jì)算出物體的距離信息，與結(jié)構(gòu)光相比，TOF可進(jìn)行遠(yuǎn)距離測(cè)量，更適合遠(yuǎn)距離應(yīng)用且算法較為簡(jiǎn)單。

*用于距離測(cè)量和目標(biāo)檢測(cè)的TOF系統(tǒng) 圖源：網(wǎng)絡(luò)

Industry

3D視覺(jué)技術(shù)與2D視覺(jué)技術(shù)的區(qū)別

了解3D視覺(jué)技術(shù)后，那么2D與3D的區(qū)別在哪里？2D視覺(jué)技術(shù)根據(jù)灰度或彩色圖像中對(duì)比度的特征提供結(jié)果，可以用來(lái)識(shí)別零件并創(chuàng)建動(dòng)態(tài)適應(yīng)零件位置、角度和尺寸的檢測(cè)工具，從而實(shí)現(xiàn)零件移動(dòng)的穩(wěn)定測(cè)量，是處理零件變化的關(guān)鍵。但2D技術(shù)無(wú)法提供更精準(zhǔn)的諸如物體平面度、表面角度、部分體積等的識(shí)別，3D視覺(jué)技術(shù)的出現(xiàn)彌補(bǔ)了2D的不足。

舉個(gè)例子，當(dāng)我們?cè)诰W(wǎng)上搜索二手房信息時(shí)，2D成像僅能記錄視場(chǎng)范圍內(nèi)的色彩信息，但對(duì)于房屋內(nèi)的戶型、大小、高低的精度信息描述卻難以記錄，而基于3D視覺(jué)傳感器采集的信息，不僅有色彩信息，還增加空間幾何尺寸信息，更直觀地將房型的3D模型精準(zhǔn)呈現(xiàn)。

*2D與3D效果圖的區(qū)別 圖源：網(wǎng)絡(luò)

Industry

3D視覺(jué)技術(shù)的應(yīng)用情況

3D視覺(jué)技術(shù)產(chǎn)品在經(jīng)過(guò)長(zhǎng)期的研究發(fā)展后，在以下領(lǐng)域?qū)崿F(xiàn)推廣應(yīng)用，并在國(guó)民經(jīng)濟(jì)中發(fā)揮重要作用，賦能各行各業(yè)實(shí)現(xiàn)數(shù)字化、智能化升級(jí)。

生物識(shí)別領(lǐng)域 生物識(shí)別是一種通過(guò)計(jì)算機(jī)、光學(xué)、聲學(xué)、生物傳感器等多個(gè)技術(shù)領(lǐng)域密切結(jié)合，利用人體固有的生理特性（如指紋、人臉、虹膜）和行為特征（如筆跡、聲音、步態(tài)）進(jìn)行個(gè)人身份鑒定。在該領(lǐng)域中，通過(guò)3D視覺(jué)感知技術(shù)實(shí)現(xiàn)的生物識(shí)別方法如支付寶“蜻蜓”3D刷臉支付，以及通過(guò)搭載3D人臉識(shí)別實(shí)現(xiàn)的門(mén)鎖門(mén)禁、地鐵車站刷臉閘機(jī)等，未來(lái)3D人臉識(shí)別還將在更多場(chǎng)景為用戶提供便利服務(wù)，讓智慧城市生活成為現(xiàn)實(shí)。

AIoT領(lǐng)域

AIoT（人工智能物聯(lián)網(wǎng)）=AI（人工智能）+IoT（物聯(lián)網(wǎng)）。3D視覺(jué)感知技術(shù)在AIoT領(lǐng)域的應(yīng)用包括3D空間掃描，如貝殼VR看房，通過(guò)3D視覺(jué)傳感器陣列組成的3D房屋掃描設(shè)備，可快速對(duì)房屋內(nèi)部進(jìn)行高精度三維重建，更精準(zhǔn)地還原房屋信息；服務(wù)機(jī)器人，即在餐廳用機(jī)器人代替服務(wù)員傳菜，通過(guò)3D視覺(jué)傳感器幫助機(jī)器人高效完成人臉識(shí)別、距離感知、避障、導(dǎo)航等功能；AR交互，即在現(xiàn)實(shí)場(chǎng)景中打造虛擬人物，通過(guò)3D視覺(jué)感知技術(shù)可幫助AR設(shè)備對(duì)周圍環(huán)境進(jìn)行三維重建，使得虛擬的立體影像疊加在現(xiàn)實(shí)場(chǎng)景中，同時(shí)使虛擬形象識(shí)別現(xiàn)實(shí)人的動(dòng)作，從而進(jìn)行互動(dòng)；此外在體感健身中，通過(guò)搭載3D視覺(jué)傳感器的設(shè)備對(duì)人體動(dòng)作進(jìn)行捕捉、識(shí)別，讓人們足不出戶即可體驗(yàn)到專業(yè)健身教練的指導(dǎo)；在體育比賽中，3D感知技術(shù)對(duì)快速移動(dòng)的人體與物體進(jìn)行識(shí)別、定位，實(shí)現(xiàn)對(duì)高速運(yùn)動(dòng)中物體軌跡的3D重現(xiàn)，輔助裁判評(píng)分。

消費(fèi)電子領(lǐng)域

3D視覺(jué)技術(shù)在消費(fèi)電子領(lǐng)域主要應(yīng)用在智能手機(jī)等終端設(shè)備中。在智能手機(jī)品牌系列中，蘋(píng)果、華為、OPPO、魅族等分別嘗試在前置、后置視覺(jué)傳感器中使用3D結(jié)構(gòu)光與TOF技術(shù)，從而實(shí)現(xiàn)手機(jī)的人臉解鎖、支付、AR互動(dòng)、AR試妝、美顏拍照等功能，使用戶達(dá)到最佳體驗(yàn)感。

工業(yè)領(lǐng)域

在工業(yè)領(lǐng)域自動(dòng)化生產(chǎn)中，最早2D視覺(jué)技術(shù)較為普遍，然而2D視覺(jué)一般只能解決平面上的問(wèn)題，而對(duì)汽車、半導(dǎo)體、大型鋼材等行業(yè)的高精度需求，2D視覺(jué)技術(shù)顯然難以滿足。3D視覺(jué)技術(shù)對(duì)環(huán)境光變化不敏感且更加精準(zhǔn)，在產(chǎn)線中能夠快速檢測(cè)移動(dòng)的物體并獲得形狀、空間坐標(biāo)等信息，常搭載2D協(xié)同運(yùn)行，因此在工業(yè)領(lǐng)域發(fā)揮著高效作用。工業(yè)3D視覺(jué)主要應(yīng)用于三維掃描、微小形變測(cè)量、工業(yè)機(jī)器人的定位與導(dǎo)航等。

*

汽車領(lǐng)域

我們?cè)隈{車行駛時(shí)，汽車輔助駕駛的實(shí)現(xiàn)需要感知車身周圍3D信息的360度環(huán)視系統(tǒng)。當(dāng)通過(guò)狹窄道路時(shí)，覆蓋車輛周邊所有視場(chǎng)范圍的4個(gè)廣角攝像頭能夠?qū)ν粫r(shí)刻采集到的多路視頻影像，處理成一幅車輛周邊360度的車身俯視圖，并在汽車中控臺(tái)上顯示，幫助駕駛員規(guī)避障礙物安全駕駛；此外，3D視覺(jué)感知也可實(shí)現(xiàn)車外車主身份識(shí)別，通過(guò)紅外3D人臉識(shí)別解鎖啟動(dòng)系統(tǒng)，在身份確認(rèn)后即可無(wú)感啟動(dòng)車輛。

3D視覺(jué)技術(shù)的快速發(fā)展，無(wú)論在涉及衣食住行的民用領(lǐng)域，還是在創(chuàng)新鏈帶動(dòng)產(chǎn)業(yè)鏈快速發(fā)展的工業(yè)領(lǐng)域，都對(duì)提升終端智能化程度極為重要。未來(lái)，3D視覺(jué)技術(shù)將會(huì)助力各類終端更好地看懂三維世界，使其通過(guò)語(yǔ)音感知交互能力、視覺(jué)感知交互能力以及各種AI決策分析能力，擁有“嘴巴”“耳朵”“眼睛”和“大腦”與人類進(jìn)行互動(dòng)。

隨著人工智能等技術(shù)的不斷提高，國(guó)產(chǎn)制造業(yè)也迎來(lái)了曙光。第六鏡科技以AI技術(shù)賦能工業(yè)數(shù)字化轉(zhuǎn)型，基于機(jī)器視覺(jué)技術(shù)推出“一種熱態(tài)鋼軌輪廓測(cè)量及缺陷檢測(cè)裝置”、“數(shù)字化煤倉(cāng)”、“爐輥結(jié)瘤檢測(cè)儀”等智能硬件設(shè)備，提供了AI加持的工業(yè)機(jī)器視覺(jué)解決方案，助力企業(yè)降本增效提質(zhì)，加快智慧工廠的智能化升級(jí)。

審核編輯 ：李倩