PatchMatch MVS求解器中深度估計(jì)的挑戰(zhàn)性問題

本文介紹了一種可學(xué)習(xí)的變形假設(shè)采樣器（DeformSampler），用于解決精確PatchMatch多視圖立體（MVS）中嘈雜深度估計(jì)的挑戰(zhàn)性問題。我們觀察到PatchMatch MVS求解器所采用的啟發(fā)式深度假設(shè)采樣模式對以下兩個(gè)方面不敏感：（i）物體表面深度的分段平滑分布，（ii）沿著表面點(diǎn)射線方向的深度預(yù)測概率的隱式多模態(tài)分布。因此，作者開發(fā)了DeformSampler，以學(xué)習(xí)對分布敏感的樣本空間，以便（i）沿著物體表面?zhèn)鞑ヅc場景幾何一致的深度，（ii）擬合逼近實(shí)際深度沿射線方向的點(diǎn)級概率分布的拉普拉斯混合模型。作者將DeformSampler集成到可學(xué)習(xí)的PatchMatch MVS系統(tǒng)中，以提高在挑戰(zhàn)性區(qū)域（如分段不連續(xù)的表面邊界和紋理較弱的區(qū)域）的深度估計(jì)能力。在DTU和Tanks＆Temples數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，與最先進(jìn)的競爭對手相比，其表現(xiàn)優(yōu)越且具有很好的泛化能力。

讀者理解：

該方法的主要貢獻(xiàn)是提出了一種可學(xué)習(xí)的變形假設(shè)采樣器（DeformSampler），用于解決多視圖立體匹配（PatchMatch MVS）中噪聲深度估計(jì)的挑戰(zhàn)問題。DeformSampler 通過學(xué)習(xí)分布敏感的樣本空間，能夠傳播與場景幾何一致的深度，并擬合逼近實(shí)際深度分布的拉普拉斯混合模型。

實(shí)驗(yàn)結(jié)果表明，該方法在 ETH3D 數(shù)據(jù)集上表現(xiàn)優(yōu)異，甚至超過了其他最新的基于學(xué)習(xí)的 MVS 模型。

具體來說，該方法的創(chuàng)新點(diǎn)包括：

提出了一種可學(xué)習(xí)的變形假設(shè)采樣器（DeformSampler），用于解決多視圖立體匹配（PatchMatch MVS）中噪聲深度估計(jì)的挑戰(zhàn)問題。通過學(xué)習(xí)分布敏感的樣本空間，DeformSampler 能夠傳播與場景幾何一致的深度，并擬合逼近實(shí)際深度分布的拉普拉斯混合模型。

實(shí)驗(yàn)結(jié)果表明，該方法在 ETH3D 數(shù)據(jù)集上表現(xiàn)優(yōu)異，甚至超過了其他最新的基于學(xué)習(xí)的 MVS 模型。

1 引言

這篇論文主要解決了多視圖立體（MVS）中深度估計(jì)的挑戰(zhàn)性問題。傳統(tǒng)方法在低紋理、鏡面和反射區(qū)域內(nèi)的匹配困難，學(xué)習(xí)型方法引入全局語義信息以提高魯棒性，但準(zhǔn)確性與效率之間存在差距。學(xué)習(xí)型方法通常構(gòu)建3D成本體，利用3D CNN進(jìn)行深度回歸。然而，資源有限限制了這些方法的成本體和CNN的3D形式。

為了解決這些限制，研究致力于減少成本體大小和修改正則化技術(shù)。近期出現(xiàn)的一種有前景的解決方案將傳統(tǒng)的PatchMatch MVS轉(zhuǎn)化為端到端框架，但這些方法未充分考慮場景內(nèi)隱含的深度分布，導(dǎo)致深度估計(jì)性能下降。

因此，論文提出了DeformSampler，一種可學(xué)習(xí)的變形假設(shè)采樣器，用于在學(xué)習(xí)型PatchMatch框架中學(xué)習(xí)隱含深度分布，指導(dǎo)可變形的假設(shè)采樣。DeformSampler在傳播和擾動(dòng)階段支持每個(gè)像素進(jìn)行最優(yōu)假設(shè)采樣。通過平面指示器捕捉分段平滑深度分布，以實(shí)現(xiàn)結(jié)構(gòu)感知的深度傳播，并利用概率匹配器對深度預(yù)測概率的多模態(tài)分布進(jìn)行建模，實(shí)現(xiàn)不確定性感知的擾動(dòng)。集成DeformSampler到學(xué)習(xí)型PatchMatch框架中，能在具有挑戰(zhàn)性的分段不連續(xù)表面邊界和紋理較弱區(qū)域獲得優(yōu)秀的深度估計(jì)性能，并展現(xiàn)出在室外和室內(nèi)場景中的強(qiáng)大泛化能力。

2 方法

本文提出了一種全新的學(xué)習(xí)型PatchMatch MVS框架，DS-PMNet，并嵌入了DeformSampler。這個(gè)框架能夠以端到端的方式學(xué)習(xí)隱含深度分布，指導(dǎo)可變形的深度采樣。論文總體框架在圖2中展示，主要包括四個(gè)階段的優(yōu)化：初始化、傳播、評估和擾動(dòng)。其中，傳播階段通過平面指示器Pθ捕捉物體表面的分段平滑深度分布，指導(dǎo)結(jié)構(gòu)感知的假設(shè)傳播；而擾動(dòng)階段則利用概率匹配器Mθ模擬深度預(yù)測概率的多模態(tài)分布，指導(dǎo)不確定性感知的擾動(dòng)。

具體實(shí)現(xiàn)中，DS-PMNet通過特征金字塔Ψ提取了不同尺度的特征，用于深度估計(jì)。在階段I中，隨機(jī)初始化參考圖像的深度圖。在階段II，平面指示器Pθ利用自相似性特征編碼，指導(dǎo)結(jié)構(gòu)感知的假設(shè)傳播，生成可靠的假設(shè)集合。在階段III，概率匹配器Mθ模擬了深度預(yù)測概率的分布，輸出不確定性，指導(dǎo)下一步的擾動(dòng)。階段IV則利用推斷出的混合分布來引導(dǎo)擾動(dòng)，進(jìn)一步優(yōu)化深度估計(jì)。這個(gè)框架能夠提高深度估計(jì)性能，在圖像特征和深度估計(jì)中起到關(guān)鍵作用。

此外，文中提到的平面指示器Pθ由兩部分組成：內(nèi)視圖相關(guān)金字塔和平面流解碼器。內(nèi)視圖相關(guān)金字塔利用卷積運(yùn)算計(jì)算特征之間的相關(guān)性，而平面流解碼器則逐漸推斷出平面流場。概率匹配器Mθ則基于多視圖成本金字塔，預(yù)測深度估計(jì)概率的分布參數(shù)，進(jìn)一步提高深度估計(jì)的準(zhǔn)確性。

最后，論文采用了負(fù)對數(shù)似然損失函數(shù)作為監(jiān)督，用于監(jiān)督深度估計(jì)的擬合混合拉普拉斯分布，進(jìn)一步優(yōu)化模型?？偟膩碚f，DS-PMNet框架通過DeformSampler的引導(dǎo)，能夠提升MVS中的深度估計(jì)性能，對于深度估計(jì)及場景特征提取有著重要的作用。

3 總結(jié)

本文提出了一種可學(xué)習(xí)的DeformSampler，嵌入到PatchMatch MVS框架中，有助于在復(fù)雜場景中實(shí)現(xiàn)準(zhǔn)確的深度估計(jì)。所提出的DeformSampler能夠在傳播和擾動(dòng)過程中，幫助采樣對分布敏感的假設(shè)空間。在多個(gè)具有挑戰(zhàn)性的MVS數(shù)據(jù)集上進(jìn)行了廣泛實(shí)驗(yàn)，結(jié)果顯示DeformSampler能夠有效學(xué)習(xí)物體表面的分段平滑深度分布，可靠地傳播深度，并成功捕捉深度預(yù)測概率的多模態(tài)分布，從而實(shí)現(xiàn)精細(xì)化的假設(shè)采樣。與現(xiàn)有方法的比較也表明，我們的方法在MVS基準(zhǔn)測試上能夠達(dá)到最先進(jìn)的性能水平。

審核編輯：黃飛