0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

綜述:飛行時間(ToF)透散射介質(zhì)成像技術(shù)

MEMS ? 來源:麥姆斯咨詢 ? 2023-03-27 10:42 ? 次閱讀

三維成像技術(shù)能夠獲取和記錄完整的場景幾何信息,在場景三維重構(gòu)、高精度定位、工業(yè)檢測等領(lǐng)域應(yīng)用廣泛。ToF(Time-of-Flight,飛行時間)相機(jī)與其他三維成像技術(shù)相比,具有體積小、成本低、實(shí)時深度成像等優(yōu)勢,其利用主動深度成像技術(shù),基于光在相機(jī)和目標(biāo)之間的飛行時間測量場景的深度信息,廣泛應(yīng)用于機(jī)器視覺、人機(jī)交互、工業(yè)自動化、自動駕駛、目標(biāo)識別等領(lǐng)域。

然而,ToF相機(jī)在霧天、水下、生物組織等散射場景中成像時,傳感器接收的返回信號是目標(biāo)反射光和散射光的混合信號,深度測量誤差較大,這限制了ToF相機(jī)在水下形貌勘測、霧天自動駕駛、生物醫(yī)學(xué)等領(lǐng)域中的應(yīng)用,因此如何提高ToF相機(jī)在散射場景中的成像質(zhì)量引起了國內(nèi)外學(xué)者的關(guān)注。

據(jù)麥姆斯咨詢報道,近期,北京理工大學(xué)光電成像技術(shù)與系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室科研團(tuán)隊(duì)在《紅外與激光工程》期刊上發(fā)表了以“Time-of-Flight透散射介質(zhì)成像技術(shù)綜述”為主題的文章。該文章第一作者為王霞副教授,主要從事光電成像技術(shù)和光電檢測技術(shù)方面的研究。

文中首先介紹ToF相機(jī)的基本結(jié)構(gòu)及成像原理,分別介紹散射場景中ToF穩(wěn)態(tài)成像和瞬態(tài)成像過程、透散射介質(zhì)成像的理論和相關(guān)研究,之后介紹ToF透散射介質(zhì)成像的應(yīng)用前景,最后結(jié)合國內(nèi)外研究現(xiàn)狀,對未來ToF相機(jī)透散射介質(zhì)成像研究的發(fā)展趨勢進(jìn)行預(yù)測和展望。

ToF成像基本原理

ToF相機(jī)依據(jù)是否直接獲取光的飛行時間分為直接式ToF(d-ToF)相機(jī)和間接式ToF(i-ToF)相機(jī)。d-ToF相機(jī)發(fā)射光脈沖信號探測場景,其內(nèi)部的計時器記錄光信號在發(fā)射和接收之間的時間差,獲得光在場景目標(biāo)和相機(jī)之間的飛行時間,從而計算出目標(biāo)和相機(jī)之間的距離。d-ToF相機(jī)測量精度比i-ToF相機(jī)高,測距范圍較遠(yuǎn),但是其圖像分辨率較低,制作工藝較難,成本較高,目前已應(yīng)用于車載激光雷達(dá)、增強(qiáng)現(xiàn)實(shí)(AR)或虛擬現(xiàn)實(shí)(VR)等領(lǐng)域。此外,由于不同光路達(dá)到探測器的時間不同,所以d-ToF在散射場景中成像時可通過設(shè)置時間門控,減少傳感器對散射光的接收,其受到多徑干擾的影響較小。因此,ToF透散射介質(zhì)成像研究通常是針對i-ToF開展。

依據(jù)是否采用相關(guān)測量,i-ToF相機(jī)分為脈沖調(diào)制式ToF(PL-ToF)和連續(xù)波調(diào)制式ToF(CW-ToF)。PL-ToF相機(jī)采用脈沖調(diào)制光信號,傳感器接收來自探測場景返回的信號,接收電路的光開關(guān)S?和S?交替閉合,對應(yīng)的電容積累電荷,如圖1所示。

97a1041e-cbf8-11ed-bfe3-dac502259ad0.jpg

圖1 PL-ToF深度成像系統(tǒng)示意圖

CW-ToF相機(jī)成像過程如圖2所示,光源經(jīng)正弦信號調(diào)制,調(diào)制光信號經(jīng)場景目標(biāo)反射后,由ToF傳感器接收,接收信號與參考信號進(jìn)行相關(guān),通過四步相移等方式獲得接收信號和參考信號間的相位差,由相位差計算出目標(biāo)深度。

97d568f8-cbf8-11ed-bfe3-dac502259ad0.jpg

圖2 CW-ToF深度成像系統(tǒng)示意圖

兩種i-ToF相機(jī)各具優(yōu)勢,CW-ToF相機(jī)測量精度高,但是計算較復(fù)雜、功耗大。PL-ToF相機(jī)因其測量原理的限制,在近距離和遠(yuǎn)距離處誤差較大,測量精度偏低,容易受背景噪聲和暗噪聲影響,但是其計算更簡單、計算量更低。i-ToF圖像分辨率比d-ToF相機(jī)高,成本較低,但抗干擾能力較差。由于ToF成像能夠提供場景各點(diǎn)的深度信息,有助于判斷物體的形貌、距離等,廣泛應(yīng)用于目標(biāo)識別、三維場景重構(gòu)、機(jī)器視覺、人機(jī)交互等領(lǐng)域。

ToF穩(wěn)態(tài)成像的透散射介質(zhì)成像方法

ToF透散射介質(zhì)成像的目標(biāo)是抑制散射分量的影響或從接收信號中分離目標(biāo)分量,提升ToF相機(jī)在散射場景中的成像質(zhì)量。ToF穩(wěn)態(tài)成像是直接基于商用ToF相機(jī)獲取場景信息,而不需要恢復(fù)精確的時間響應(yīng)。在ToF穩(wěn)態(tài)成像的透散射介質(zhì)成像中,由于PL-ToF和CW-ToF成像原理不同,所以國內(nèi)外學(xué)者針對不同的成像系統(tǒng),研究了不同的深度圖像恢復(fù)方法。

散射場景中ToF穩(wěn)態(tài)成像的過程可描述為相機(jī)的光源經(jīng)信號調(diào)制后照亮場景,經(jīng)場景目標(biāo)反射后,由傳感器接收。從信號處理的角度,這一過程可表示為發(fā)射信號Lemit(t)和場景響應(yīng)i(t)的卷積。

當(dāng)探測場景存在散射介質(zhì)時,由于散射介質(zhì)對光的散射作用,傳感器接收信號是目標(biāo)反射光和散射光的混疊信號,如圖3所示。因此,在散射場景中,ToF成像因受到多徑干擾的影響,會出現(xiàn)物體距離的錯誤估計、三維形貌被扭曲等現(xiàn)象,不利于其在霧天、水下等場景中的應(yīng)用,所以ToF透散射介質(zhì)成像能夠更準(zhǔn)確地獲取散射場景中的有效深度信息,具有重要意義及應(yīng)用前景。

9803e020-cbf8-11ed-bfe3-dac502259ad0.jpg

圖3 散射場景中ToF穩(wěn)態(tài)成像過程示意圖

PL-ToF透散射介質(zhì)成像方法

PL-ToF相機(jī)的光源經(jīng)方波脈沖調(diào)制,在無散射介質(zhì)的場景中,返回信號Lreceive(t)只受到場景目標(biāo)的影響,返回幅值與目標(biāo)反射率成正比,與發(fā)射信號Lemit(t)之間的時間延遲與目標(biāo)實(shí)際距離相關(guān),如圖4(a)。在有散射介質(zhì)存在的場景中,返回信號Lreceive(t)受到光散射的影響,是目標(biāo)分量和散射分量多個回波信號的疊加,波形發(fā)生畸變,不再保持方波波形,如圖4(b)所示。

9819f2e8-cbf8-11ed-bfe3-dac502259ad0.jpg

圖4 PL-ToF成像的發(fā)射和接收光信號的波形圖。(a)清晰場景中的波形圖;(b)散射場景中的波形圖

Laurenzis M等人采用三維距離選通成像系統(tǒng)最先對這一過程進(jìn)行物理建模,該模型為后續(xù)PL-ToF透散射介質(zhì)成像提供了理論基礎(chǔ),有利于從散射光對深度成像的機(jī)理出發(fā)抑制多徑干擾的影響。Kijima D等人進(jìn)一步細(xì)化了霧天PL-ToF成像模型,基于該模型的實(shí)驗(yàn)裝置及實(shí)驗(yàn)結(jié)果如圖5所示。Kijima D等人增加了一個時間門控在光源發(fā)射信號后立即打開,以接收只包含散射分量的信號,并依據(jù)霧的散射特性估計,實(shí)現(xiàn)在能見度為10 m的霧天場景中強(qiáng)度和深度圖像恢復(fù),如圖6所示,振幅圖像的峰值信噪比為27.04,深度圖像在2.9 m的目標(biāo)處的絕對均值誤差為0.07 m。該方法能夠有效估計散射分量,實(shí)時恢復(fù)霧天場景的深度圖像,該成果在霧天自動駕駛領(lǐng)域有廣闊的應(yīng)用前景。

9833d37a-cbf8-11ed-bfe3-dac502259ad0.jpg

圖5 基于多重曝光時間的ToF霧天成像的實(shí)驗(yàn)裝置及結(jié)果

985a9be0-cbf8-11ed-bfe3-dac502259ad0.jpg

圖6 CW-ToF成像的發(fā)射和接收光信號的波形圖。(a)清晰場景中的波形圖;(b)散射場景中的波形圖

有文獻(xiàn)研究了水下場景中ToF透散射介質(zhì)成像,與其他研究不同,其主要關(guān)注前向散射對ToF成像的影響。該研究采用時間選通抑制后向散射,并采用貝葉斯概率模型從受到前向散射干擾的返回信號中識別反射脈沖,利用鄰近像素信息重新配置深度信息,實(shí)現(xiàn)了在海灣、沿海和深海三種水下環(huán)境中距離相機(jī)7~10 m的目標(biāo)的深度信息恢復(fù)。其中,在10 m距離處的深度恢復(fù)圖像的偏差在2.83%。該技術(shù)能夠在水下實(shí)時恢復(fù)場景的深度信息,在水下形貌勘測等領(lǐng)域有可觀的應(yīng)用價值。

CW-ToF透散射介質(zhì)成像方法

2018年,Consani等人首次探究了霧對CW-ToF成像的影響,在Zemax上基于光線追跡模擬了霧天ToF成像過程,指出誤差主要來自光到達(dá)場景前的后向散射。該研究為霧天CW-ToF透散射介質(zhì)成像提供了理論和仿真基礎(chǔ),有助于理解氣溶膠粒子對CW-ToF成像的影響。

在無散射介質(zhì)的場景中,傳感器接收信號與發(fā)射信號之間的相位差Δφ只與目標(biāo)的實(shí)際距離和光源調(diào)制頻率相關(guān),Δφ=4πfd0/c,如圖6(a)。在有散射介質(zhì)的場景中,傳感器接收信號為目標(biāo)反射光信號和散射光信號的混疊信號,如圖6(b)所示。

研究發(fā)現(xiàn),當(dāng)光源調(diào)制頻率高于全局傳輸帶寬時,ToF相機(jī)接收到的多徑干擾分量可近似為直流分量,從而可以實(shí)現(xiàn)散射場景中散射分量的抑制。Takeshi Muraji等人進(jìn)一步擴(kuò)展了基于相量表示的透散射介質(zhì)成像方法,其基于位于同一深度的目標(biāo)受到散射分量影響相同的思想,采用多頻測量場景,將位于同一深度的像素進(jìn)行聚類,通過線性擬合的方式,消除散射分量的影響,實(shí)現(xiàn)了在目標(biāo)深度為8.71 m時恢復(fù)的深度圖像的誤差為0.23 m。如圖7所示,該方法不再對調(diào)制頻率的范圍有限制,且無需繁瑣的迭代優(yōu)化過程,適用于同一深度至少存在兩個反射率的目標(biāo)的場景,在霧天自動駕駛等戶外場景中有很大的應(yīng)用價值。

98740bc0-cbf8-11ed-bfe3-dac502259ad0.jpg

圖7 Takeshi Muraji等人采用的相量表示(a)和實(shí)驗(yàn)結(jié)果(b)

有研究同樣采用相量表示,基于局部二次先驗(yàn)和全局對稱先驗(yàn),采用迭代加權(quán)最小二乘法估計散射分量。該方法適應(yīng)于包含目標(biāo)前景和背景的場景,且目標(biāo)需要與相機(jī)之間有足夠的距離,以滿足相機(jī)接收的信號中目標(biāo)前的散射分量達(dá)到飽和,從而能夠采用背景區(qū)域的散射分量近似目標(biāo)區(qū)域的散射分量,實(shí)驗(yàn)結(jié)果表明該方法恢復(fù)深度圖像的絕對誤差均值最小為1.8 cm。該方法適應(yīng)于包含目標(biāo)前景和背景的場景,且目標(biāo)需要與相機(jī)之間有足夠的距離,以滿足相機(jī)接收的信號中目標(biāo)前的散射分量達(dá)到飽和,從而能夠采用背景區(qū)域的散射分量近似目標(biāo)區(qū)域的散射分量。由于該方法在目標(biāo)充滿整個相機(jī)視場、散射介質(zhì)非均勻或動態(tài)散射場景時無法恢復(fù)場景深度,因此在實(shí)際應(yīng)用中,該技術(shù)仍需進(jìn)一步優(yōu)化和改進(jìn)。筆者課題組研究了偏振相量成像法,將偏振光學(xué)去霧成像從可見光成像領(lǐng)域引入到CW-ToF透散射介質(zhì)成像中,提出了偏振度相量的概念,以描述散射場景中ToF測量數(shù)據(jù)的偏振特性,基于偏振度相量從背景區(qū)域估計出散射分量,從而實(shí)現(xiàn)霧天環(huán)境中振幅和深度圖像的恢復(fù),深度恢復(fù)圖像的絕對誤差均值最小為0.01 m。偏振相量成像法的實(shí)驗(yàn)裝置如圖8所示,采用時序型偏振成像系統(tǒng),通過旋轉(zhuǎn)傳感器前的偏振片,采集不同偏振度下的振幅和相位圖像。

9890c558-cbf8-11ed-bfe3-dac502259ad0.jpg

圖8 筆者課題組采用CW-ToF偏振成像系統(tǒng)(a)和實(shí)驗(yàn)結(jié)果(b)

此外,Lu H等人同時考慮了散射場景的可見光信息和深度信息,采用水下中值雙通道先驗(yàn)估計出粗略的深度圖像,并采用圖像插值方法彌補(bǔ)丟失的深度信息,結(jié)合可見光去霧圖像進(jìn)行深度圖像濾波,提升水下深度成像質(zhì)量,如圖9所示。該方法綜合考慮了場景的深度信息和顏色信息,但是沒有考慮散射光對深度圖像的退化機(jī)理,其在海底三維重構(gòu)領(lǐng)域有重要的應(yīng)用價值。

98c0458a-cbf8-11ed-bfe3-dac502259ad0.jpg

圖9 Lu H等人提出方法的流程圖(a)和實(shí)驗(yàn)結(jié)果(b)

在ToF穩(wěn)態(tài)成像領(lǐng)域,國內(nèi)外學(xué)者針對不同的ToF成像原理采用不同的方式提升散射場景中ToF成像質(zhì)量?;赑L-ToF相機(jī)的透散射介質(zhì)成像主要抑制散射光對脈沖延遲測量的影響,而基于CW-ToF相機(jī)的透散射介質(zhì)成像主要基于相量表示分離散射分量。表1對不同方法的性能進(jìn)行總結(jié),當(dāng)前深度恢復(fù)精度在厘米量級,在未來仍需進(jìn)一步提升。

表1 ToF穩(wěn)態(tài)成像領(lǐng)域的不同研究方法對比

98e75198-cbf8-11ed-bfe3-dac502259ad0.png

ToF瞬態(tài)成像的透散射介質(zhì)成像方法

瞬態(tài)成像描述了光在場景中傳播的瞬間,有利于分析復(fù)雜環(huán)境中光的傳播路徑?;赥oF相機(jī)的瞬態(tài)成像研究最早開始于2013年,Heide等人對商用CW-ToF相機(jī)進(jìn)行了硬件修改,建立了ToF時域瞬態(tài)成像模型,在多個調(diào)制頻率和相位下測量場景,通過計算重構(gòu)瞬態(tài)圖像,如圖10所示。瞬態(tài)圖像是由一系列瞬態(tài)像素αx,y(τ)構(gòu)成的,下標(biāo)x,y為傳感器像素坐標(biāo),其描述了場景在極短光脈沖照明下像素強(qiáng)度隨時間的變化。由于時域瞬態(tài)成像模型難以分析噪聲問題,且計算成本較高,后續(xù)又發(fā)展了頻域瞬態(tài)成像模型和壓縮感知瞬態(tài)成像模型。ToF瞬態(tài)成像的透散射介質(zhì)成像過程如圖11所示。

991ef8be-cbf8-11ed-bfe3-dac502259ad0.jpg

圖10 Heide等人拍攝的瞬態(tài)圖像時間切片

993aa0dc-cbf8-11ed-bfe3-dac502259ad0.jpg

圖11 散射場景中ToF瞬態(tài)成像過程示意圖

為了恢復(fù)散射場景中的瞬態(tài)圖像,Heide F等人采用卷積稀疏編碼的方式,采用修正的高斯函數(shù)描述瞬態(tài)像素,構(gòu)建過完備基,并建立基追蹤模型以重構(gòu)瞬態(tài)圖像。該方法在不同濃度的牛奶和水的混合液體中進(jìn)行,恢復(fù)最小誤差在1~5 cm內(nèi),其能夠在一定程度上抑制散射退化,但對真實(shí)物理過程的保真度不高,且計算成本較高。Wu R H等人基于光的偏振特性,采用主動偏振瞬態(tài)成像系統(tǒng),提出了瞬態(tài)偏振度的概念,在偏振特性均勻的散射介質(zhì)中恢復(fù)瞬態(tài)圖像,其實(shí)驗(yàn)裝置及重構(gòu)效果如圖12所示。有研究進(jìn)一步擴(kuò)展了這一項(xiàng)研究,采用自適應(yīng)偏振差分方法實(shí)現(xiàn)瞬態(tài)成像。偏振瞬態(tài)成像方法利用了光的偏振特性,有效抑制了散射光對瞬態(tài)圖像重構(gòu)的影響,在濃度為0.1~10 mfp的散射介質(zhì)中,恢復(fù)瞬態(tài)圖像的誤差不超過0.5 m。但是該方法需要長時間采集大量的數(shù)據(jù)以重構(gòu)瞬態(tài)圖像,不適于動態(tài)、非穩(wěn)定的散射場景中,因此,其應(yīng)用到真實(shí)水下場景還需進(jìn)一步研究,減少方法的運(yùn)行時間。

此外,Wu R H等人將穩(wěn)態(tài)成像中單次散射模型擴(kuò)展到瞬態(tài)成像領(lǐng)域,采用偏移拍攝法求解深度,重構(gòu)瞬態(tài)圖像,其提出的瞬態(tài)成像的單次散射模型。該方法在60 L水中混入15 mL的牛奶的場景中重構(gòu)的瞬態(tài)圖像的峰值信噪比為34.4065。該項(xiàng)研究進(jìn)一步豐富了散射場景中瞬態(tài)圖像重構(gòu)模型,重構(gòu)出目標(biāo)的深度和紋理,在火災(zāi)救援、工業(yè)檢測、水下勘測等領(lǐng)域有重要的應(yīng)用價值。

995d4b0a-cbf8-11ed-bfe3-dac502259ad0.jpg

圖12 Wu R H等人偏振瞬態(tài)圖像重構(gòu)方法的實(shí)驗(yàn)裝置及結(jié)果

在瞬態(tài)成像領(lǐng)域,國內(nèi)外學(xué)者采用了卷積稀疏編碼、偏振瞬態(tài)成像和建立單散射瞬態(tài)成像模型等方式恢復(fù)散射場景中的瞬態(tài)圖像,不同方法各具特色,其性能總結(jié)于表2中。當(dāng)前瞬態(tài)成像方法較難實(shí)現(xiàn)實(shí)時成像,散射場景中深度恢復(fù)精度在厘米量級。

表2 ToF瞬態(tài)成像領(lǐng)域的不同研究方法對比

997f662c-cbf8-11ed-bfe3-dac502259ad0.png

ToF透散射介質(zhì)成像的應(yīng)用前景

ToF相機(jī)能夠獲取場景目標(biāo)的距離、紋理等形貌信息,在自動駕駛、人機(jī)交互等領(lǐng)域已展示了其應(yīng)用價值,其透散射介質(zhì)成像的潛在應(yīng)用前景如下:

(1)工業(yè)自動化。Behrje U等人將ToF相機(jī)安裝在叉車的頂部,以實(shí)現(xiàn)在倉庫中叉車的自動駕駛。當(dāng)倉庫環(huán)境中煙塵較為嚴(yán)重時,ToF深度測量受到多徑干擾的影響,會引起自動駕駛中的錯誤定位及與前方障礙物距離的錯誤估計,因此,ToF透散射介質(zhì)成像研究有助于推動ToF相機(jī)在工業(yè)生產(chǎn)自動化中的應(yīng)用。

(2)自動駕駛。2021年,Niskanen I等人基于BIM檢測移動車輛,并對車輛進(jìn)行三維建模,如圖13所示。在晴朗的天氣條件下,實(shí)現(xiàn)了90%的檢測準(zhǔn)確率,但是其性能會因霧天氣溶膠粒子對光的散射作用而降低。因此ToF透散射介質(zhì)成像研究能夠進(jìn)一步推動ToF相機(jī)在道路交流流量監(jiān)測、物流監(jiān)測、自動駕駛的應(yīng)用。

999a2c3c-cbf8-11ed-bfe3-dac502259ad0.jpg

圖13 ToF相機(jī)應(yīng)用于移動車輛檢測

(3)農(nóng)業(yè)生產(chǎn)。2011年,Klose R等人使用ToF相機(jī)評估植物的表現(xiàn)型,能夠在植物培育、種植期間監(jiān)測植物生長狀態(tài),優(yōu)化養(yǎng)殖策略。2014年,Kazmi W等人測試了三種ToF相機(jī)對植物葉片成像的性能,推動了ToF相機(jī)在農(nóng)業(yè)自動化生產(chǎn)領(lǐng)域的應(yīng)用。2016年,Dionisio A等人基于Kinect相機(jī),采用高度選擇和RGB分割方法分離作物和雜草。2018年,有研究對玉米進(jìn)行三維重構(gòu),如圖14所示。以評估玉米的生長狀況,更好地進(jìn)行種植管理。在戶外場景中,霧霾天氣會影響ToF重構(gòu)質(zhì)量,對植物的評估效果,因此ToF透散射介質(zhì)成像研究在農(nóng)業(yè)生產(chǎn)領(lǐng)域有重要的應(yīng)用價值。

99e11822-cbf8-11ed-bfe3-dac502259ad0.jpg

圖14 ToF相機(jī)應(yīng)用于玉米植株的三維重構(gòu)

(4)水下勘測。2014年,美國華盛頓大學(xué)Tsui C L等人首次將ToF相機(jī)用于水下目標(biāo)深度探測,基于商業(yè)ToF相機(jī)進(jìn)行硬件修改,實(shí)現(xiàn)水下深度圖像和點(diǎn)云圖像的采集。Atif Anwer等人基于光折射的物理模型,結(jié)合Kinect在水下獲得的RGB、深度圖像和近紅外強(qiáng)度圖像,實(shí)現(xiàn)水下目標(biāo)的三維成像。Digumarti S T等人在巴哈馬群島的珊瑚園區(qū)對水下珊瑚進(jìn)行三維重構(gòu),觀測珊瑚的生態(tài)體積如圖15所示。在渾濁的水下環(huán)境中,ToF相機(jī)因受到散射光的影響,重構(gòu)質(zhì)量顯著下降,因此ToF透散射介質(zhì)成像研究有利于提升水下三維重構(gòu)質(zhì)量,推動ToF相機(jī)進(jìn)一步應(yīng)用于不同的水下環(huán)境進(jìn)行形貌勘測等任務(wù)。

9a072e0e-cbf8-11ed-bfe3-dac502259ad0.jpg

圖15 ToF相機(jī)在水下對珊瑚進(jìn)行三維重構(gòu)的應(yīng)用場景

結(jié)論

ToF成像是一種主動深度成像技術(shù),在散射環(huán)境進(jìn)行ToF成像時,由于散射介質(zhì)對光的散射作用,ToF深度測量會受到多徑干擾,測量誤差較大。很多研究針對ToF在散射場景中多徑干擾的校正進(jìn)行開展,依據(jù)是否恢復(fù)精確的時間響應(yīng),分為穩(wěn)態(tài)成像領(lǐng)域和瞬態(tài)成像領(lǐng)域。文中對這兩個領(lǐng)域中,ToF相機(jī)在散射環(huán)境下成像過程進(jìn)行介紹和分析,分別介紹了兩個領(lǐng)域的ToF透散射介質(zhì)成像方法。與穩(wěn)態(tài)成像相比,瞬態(tài)成像能夠記錄更豐富的場景信息,有助于理解復(fù)雜環(huán)境中光的傳播過程,但是其成本較高,難以實(shí)時成像。穩(wěn)態(tài)成像一般基于商業(yè)ToF相機(jī)采集數(shù)據(jù),無需恢復(fù)精確的時間響應(yīng),成本較低。目前,ToF相機(jī)透散射介質(zhì)成像領(lǐng)域仍處于起步階段,各種方法已有效提升散射環(huán)境中ToF的成像質(zhì)量,但是由散射介質(zhì)引起的多徑干擾很難完全消除且在散射介質(zhì)非均勻分布的場景圖像恢復(fù)精確度降低,各種方法的魯棒性、恢復(fù)精確度仍有待進(jìn)一步提升,未來研究應(yīng)向著低成本、高精度的恢復(fù)效果進(jìn)一步發(fā)展。

結(jié)合當(dāng)前國內(nèi)外研究現(xiàn)狀,ToF透散射介質(zhì)成像未來研究方向可從以下三個方面進(jìn)一步研究和完善:

(1)ToF透散射介質(zhì)成像理論研究。目前已在穩(wěn)態(tài)成像領(lǐng)域和瞬態(tài)成像領(lǐng)域建立了一些成像模型,但是這些成像模型均存在一些自身的局限性,比如運(yùn)算時間長、散射介質(zhì)的空間均勻性等,這些限制了其在實(shí)際場景中的應(yīng)用。因此,在未來可借鑒其他透散射成像領(lǐng)域的理論,如可見光透散射介質(zhì)成像理論,進(jìn)一步豐富ToF透散射介質(zhì)成像的理論和技術(shù),進(jìn)一步推動ToF透散射介質(zhì)成像在實(shí)際場景中的應(yīng)用。

(2)基于深度學(xué)習(xí)方法的ToF深度透散射介質(zhì)成像。深度學(xué)習(xí)在圖像處理中展現(xiàn)出強(qiáng)大的處理能力,一些深度學(xué)習(xí)網(wǎng)絡(luò)已應(yīng)用于ToF相機(jī)的MPI校正中,并獲得不錯的處理效果。目前尚未建立針對散射環(huán)境中ToF成像特性的深度學(xué)習(xí)網(wǎng)絡(luò),因此,未來基于深度學(xué)習(xí)方法的ToF深度透散射介質(zhì)成像是一個值得研究的方向。

(3)ToF與其他技術(shù)相融合的透散射介質(zhì)成像。由于不同探測器具有其自身獨(dú)特的優(yōu)勢,不同探測器數(shù)據(jù)融合一直是計算機(jī)視覺領(lǐng)域的研究熱點(diǎn)。目前,已有學(xué)者采用RGB-D相機(jī)實(shí)現(xiàn)水下深度成像,在未來可以結(jié)合ToF與其他成像技術(shù),更好地利用不同探測器的優(yōu)勢,實(shí)現(xiàn)更魯棒的透散射介質(zhì)成像。

該項(xiàng)研究獲得國家自然科學(xué)基金(62031018)的資助和支持。

審核編輯 :李倩

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 虛擬現(xiàn)實(shí)
    +關(guān)注

    關(guān)注

    15

    文章

    2282

    瀏覽量

    94510
  • 三維成像
    +關(guān)注

    關(guān)注

    0

    文章

    35

    瀏覽量

    11086
  • TOF
    TOF
    +關(guān)注

    關(guān)注

    9

    文章

    475

    瀏覽量

    36224

原文標(biāo)題:綜述:飛行時間(ToF)透散射介質(zhì)成像技術(shù)

文章出處:【微信號:MEMSensor,微信公眾號:MEMS】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦

    飛行時間ToF技術(shù)大熱,但這幾個問題如何破?

    飛行時間ToF技術(shù)方案成為眾多傳感器廠商相繼追逐的熱點(diǎn),ToF技術(shù)與芯片供應(yīng)商是否都能夠提供良好的解決方案?有哪些
    的頭像 發(fā)表于 08-22 18:48 ?2w次閱讀

    何謂飛行時間ToF)?飛行時間ToF):助力實(shí)現(xiàn)三維體驗(yàn) 讓創(chuàng)意起飛

    何謂飛行時間ToF)?飛行時間ToF):助力實(shí)現(xiàn)三維體驗(yàn) 讓創(chuàng)意起飛 我們已習(xí)慣使用Microsoft Teams、Zoom和Google Meet來改善遠(yuǎn)程會議體驗(yàn)。但即便如此,
    的頭像 發(fā)表于 07-01 11:26 ?1885次閱讀

    UWB利用飛行時間ToF)從容應(yīng)對百威啤酒廠倉庫物流難題

    UWB利用飛行時間ToF)來測量與標(biāo)簽的距離;此外,多種ToF技術(shù)手段的運(yùn)用提高了測量的精確度,并降低了基礎(chǔ)設(shè)施成本。
    發(fā)表于 06-04 11:28 ?707次閱讀
    UWB利用<b class='flag-5'>飛行時間</b>(<b class='flag-5'>ToF</b>)從容應(yīng)對百威啤酒廠倉庫物流難題

    飛行時間技術(shù)的確切原理是什么?

    嗨,我在互聯(lián)網(wǎng)上搜索了飛行時間技術(shù)的確切原理,但我得到的答案在不同的網(wǎng)站上有所不同。我最近購買了VL53l0X傳感器,我需要ST產(chǎn)品TOF的確切原理。以上來自于谷歌翻譯以下為原文 Hi, i
    發(fā)表于 09-12 16:27

    走進(jìn)飛行時間傳感技術(shù)揭秘TOF傳感器工作原理及應(yīng)用領(lǐng)域

    TOF飛行時間(Time of Flight)技術(shù)的縮寫,即傳感器發(fā)出經(jīng)調(diào)制的近紅外光,遇物體后反射,傳感器通過計算光線發(fā)射和反射時間差或相位差,來換算被拍攝景物的距離,以產(chǎn)生深度信
    發(fā)表于 11-14 15:00

    3D成像飛行時間法(ToF)可望推動CMOS圖像傳感器的發(fā)展

    飛行時間法(ToF)提供了非凡的3D視角,可望推動新一代專用CMOS圖像傳感器的發(fā)展。
    的頭像 發(fā)表于 04-02 09:33 ?2.2w次閱讀
    3D<b class='flag-5'>成像</b>:<b class='flag-5'>飛行時間</b>法(<b class='flag-5'>ToF</b>)可望推動CMOS圖像傳感器的發(fā)展

    Espros創(chuàng)建“飛行時間學(xué)院”,進(jìn)行進(jìn)行ToF和激光雷達(dá)知識培訓(xùn)

    據(jù)麥姆斯咨詢報道,Espros創(chuàng)建了“飛行時間ToF)學(xué)院”,對ToF和激光雷達(dá)(LiDAR)技術(shù)進(jìn)行培訓(xùn)。
    的頭像 發(fā)表于 07-25 16:51 ?5094次閱讀

    飛行時間傳感器的距離確定方法

    飛行時間傳感器測量物體穿過介質(zhì)傳播所需的時間。通常,是在發(fā)出波脈沖,從對象反射到返回到ToF傳感器之間經(jīng)過的時間的度量。
    的頭像 發(fā)表于 04-12 17:31 ?4343次閱讀

    利用ToF原理創(chuàng)造了FlightSenseTM技術(shù),推出了飛行時間(ToF)傳感器

    TOF飛行時間(TIme of Flight)技術(shù)的縮寫,即傳感器發(fā)出經(jīng)調(diào)制的近紅外光,遇物體后反射,傳感器通過計算光線發(fā)射和反射時間差或相位差,來換算被拍攝景物的距離,以產(chǎn)生深度信
    的頭像 發(fā)表于 12-28 16:45 ?3831次閱讀

    ADI和Microsoft為3D成像啟用飛行時間技術(shù)

    Analog Devices (ADI) 和 Microsoft 聯(lián)手生產(chǎn)飛行時間ToF) 3D 成像解決方案,目標(biāo)是在任何場景條件下都提供更高的精度。ADI 將利用 Microsoft
    的頭像 發(fā)表于 07-27 08:02 ?979次閱讀
    ADI和Microsoft為3D<b class='flag-5'>成像</b>啟用<b class='flag-5'>飛行時間</b><b class='flag-5'>技術(shù)</b>

    飛行時間系統(tǒng)設(shè)計的應(yīng)用概述

    這是我們飛行時間ToF)系列的第一篇文章,將概述連續(xù)波(CW)CMOS ToF相機(jī)系統(tǒng)技術(shù)及其相對于機(jī)器視覺應(yīng)用傳統(tǒng)3D成像解決方案的優(yōu)勢
    的頭像 發(fā)表于 12-09 15:46 ?966次閱讀
    <b class='flag-5'>飛行時間</b>系統(tǒng)設(shè)計的應(yīng)用概述

    飛行時間(TOF)相機(jī)的優(yōu)缺點(diǎn)及其應(yīng)用領(lǐng)域

    利用TOF技術(shù)成像的設(shè)備被稱為TOF相機(jī)(或TOF攝像頭), TOF相機(jī)與普通機(jī)器視覺
    的頭像 發(fā)表于 05-10 11:19 ?1575次閱讀

    硅光電倍增管用于直接飛行時間測距應(yīng)用(一):直接ToF測距系統(tǒng)的設(shè)計

    硅光電倍增管用于直接飛行時間測距應(yīng)用(一):直接ToF測距系統(tǒng)的設(shè)計
    的頭像 發(fā)表于 12-07 10:23 ?612次閱讀
    硅光電倍增管用于直接<b class='flag-5'>飛行時間</b>測距應(yīng)用(一):直接<b class='flag-5'>ToF</b>測距系統(tǒng)的設(shè)計

    多區(qū)飛行時間(ToF)傳感器的特點(diǎn)

    ???????? VL53L5、VL53L7、VL53L8都是基于ST的FlightSense技術(shù)的多區(qū)飛行時間ToF)傳感器。
    的頭像 發(fā)表于 02-25 09:41 ?1049次閱讀
    多區(qū)<b class='flag-5'>飛行時間</b>(<b class='flag-5'>ToF</b>)傳感器的特點(diǎn)

    意法半導(dǎo)體的多區(qū)飛行時間ToF)傳感器系列介紹

    VL53L5、VL53L7、VL53L8都是基于意法半導(dǎo)體(ST)的FlightSense技術(shù)的多區(qū)飛行時間ToF)傳感器。
    的頭像 發(fā)表于 02-28 09:53 ?792次閱讀
    意法半導(dǎo)體的多區(qū)<b class='flag-5'>飛行時間</b>(<b class='flag-5'>ToF</b>)傳感器系列介紹