使用RayDF方法突破3D形狀重建方案

1.摘要

傳統(tǒng)的三維形狀表示方法存在離散化和內(nèi)存占用等問題，而基于深度學(xué)習(xí)的方法在恢復(fù)三維幾何結(jié)構(gòu)方面取得了顯著的進展。然而，這些方法的離散形狀表示受到空間分辨率和內(nèi)存占用的限制。因此，本文提出了一種新的三維形狀表示方法，即射線-表面距離場（RayDF），通過學(xué)習(xí)射線與表面之間的距離來表示三維形狀。與現(xiàn)有的基于坐標(biāo)和射線的方法相比，RayDF具有更高的效率和更準(zhǔn)確的三維幾何重建能力。同時，本文還引入了多視角一致性優(yōu)化模塊，以提高學(xué)習(xí)到的射線-表面距離場在不同視角下的一致性。通過在多個數(shù)據(jù)集上的實驗證明，RayDF方法在三維形狀重建的準(zhǔn)確性和效率方面優(yōu)于現(xiàn)有的方法。

2.研究思路

本研究的研究思路是通過神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)三維形狀的表面距離，并保持多視角一致性。我們提出了一種稱為RayDF的方法，它包括三個關(guān)鍵組件：

主要的射線-表面距離網(wǎng)絡(luò)

輔助的雙射線可見性分類器

多視角一致性優(yōu)化模塊

3.貢獻

我們采用了直觀的射線-表面距離場來表示三維形狀，這種表示方法比現(xiàn)有的基于坐標(biāo)的表示更高效。

我們設(shè)計了一種新的雙射線可見性分類器，用于學(xué)習(xí)任意一對射線的空間關(guān)系，使學(xué)到的射線-表面距離場具有多視角幾何一致性。

我們在多個數(shù)據(jù)集上展示了優(yōu)越的三維形狀重建準(zhǔn)確性和效率，相比于現(xiàn)有的基于坐標(biāo)和基于射線的基線方法，取得了顯著更好的結(jié)果。

4.研究問題的解決方法

通過訓(xùn)練主要的射線-表面距離網(wǎng)絡(luò)和輔助的雙射線可見性分類器，并引入多視角一致性優(yōu)化模塊來訓(xùn)練這兩個網(wǎng)絡(luò)。具體而言，我們的訓(xùn)練模塊包括兩個階段：

階段1：訓(xùn)練雙射線可見性分類器。關(guān)鍵是創(chuàng)建正確的數(shù)據(jù)對，將原始深度值轉(zhuǎn)換為射線-表面距離值，并生成射線對和0/1標(biāo)簽。采用標(biāo)準(zhǔn)的交叉熵損失函數(shù)來優(yōu)化雙射線可見性分類器。

階段2：訓(xùn)練射線-表面距離網(wǎng)絡(luò)。將所有深度圖像轉(zhuǎn)換為射線-表面距離，為特定的3D場景生成訓(xùn)練射線-距離對。通過采樣多視角射線并利用訓(xùn)練好的可見性分類器，優(yōu)化射線-表面距離網(wǎng)絡(luò)，使其不僅適應(yīng)已見射線的距離，還能準(zhǔn)確估計未見射線的距離，從而實現(xiàn)多視角一致性。

5.RayDF網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練過程

網(wǎng)絡(luò)結(jié)構(gòu)

RayDF模型包括主要的射線-表面距離網(wǎng)絡(luò)、輔助的雙射線可見性分類器和多視角一致性優(yōu)化模塊。

訓(xùn)練過程

第一階段是訓(xùn)練雙射線可見性分類器

首先，將所有原始深度值轉(zhuǎn)換為射線-表面距離值。對于第k張圖像中的第i條射線（像素），將其射線-表面點投影回剩余的（K-1）個掃描中，得到相應(yīng)的（K-1）個距離值。設(shè)置10毫米作為接近閾值，確定投影的（K-1）條射線在（K-1）個圖像中是否可見?？偣采蒏* H * W * (K-1)對射線，以及0/1標(biāo)簽。采用標(biāo)準(zhǔn)的交叉熵損失函數(shù)來優(yōu)化雙射線可見性分類器。推薦三維重建課程基于深度學(xué)習(xí)的三維重建MVSNet系列 [論文+源碼+應(yīng)用+科研]

第二階段是訓(xùn)練射線-表面距離網(wǎng)絡(luò)

首先，將所有深度圖像轉(zhuǎn)換為射線-表面距離，為特定的3D場景生成K * H * W個訓(xùn)練射線-距離對。然后，對于特定的訓(xùn)練射線，稱為主射線，我們在以表面點p為球心的球中均勻采樣M條射線，稱為多視角射線。

然后，計算表面點p與沿著每條多視角射線的邊界球之間的距離，得到多視角距離。

接下來，建立M對射線并將它們輸入到訓(xùn)練好的可見性分類器中，推斷它們的可見性得分。

然后，將主射線和所有采樣的M條多視角射線輸入到射線-表面距離網(wǎng)絡(luò)中，估計它們的表面距離。

最后，使用多視角一致性損失函數(shù)來（公式如下）優(yōu)化射線-表面距離網(wǎng)絡(luò)，使其不僅適應(yīng)主射線的表面距離，還滿足可見的多視角射線也具有準(zhǔn)確的距離估計。

6.創(chuàng)新點

主要體現(xiàn)在以下幾個方面：

提出了一種新的神經(jīng)網(wǎng)絡(luò)模型，稱為RayDF，用于學(xué)習(xí)三維場景的表面距離。與傳統(tǒng)的基于點云或體素的方法不同，RayDF利用射線與表面的交點來表示場景的幾何形狀，從而更準(zhǔn)確地捕捉細節(jié)和形狀變化。

引入了多視角一致性約束，通過訓(xùn)練網(wǎng)絡(luò)來學(xué)習(xí)不同視角下的一致性信息。這種約束可以提高模型在新視角下的泛化能力，使其能夠更好地處理未見過的場景。

提出了雙射線可見性分類器，用于判斷射線是否與表面相交。這個分類器可以幫助網(wǎng)絡(luò)學(xué)習(xí)更準(zhǔn)確的表面距離，并提高模型在測試階段的性能。

在實驗中，本研究在多個真實世界的三維數(shù)據(jù)集上進行了評估，并與其他基線方法進行了比較。

7.實驗方法

本研究采用了兩組實驗方法進行評估。第一組實驗方法是基于多視角深度圖像的三維形狀表示。在這組實驗中，我們使用了多視角深度圖像作為輸入，通過訓(xùn)練模型來學(xué)習(xí)三維場景的形狀表示。我們與其他基線方法進行了比較，包括OF、DeepSDF、NDF、NeuS、DS-NeRF、LFN和PRIF。通過對六個ScanNet數(shù)據(jù)集場景的評估，我們發(fā)現(xiàn)我們的方法在ADE指標(biāo)上表現(xiàn)明顯優(yōu)于其他方法，展示了我們方法在顯式表面恢復(fù)方面的明顯優(yōu)勢。第二組實驗方法是基于多視角RGB圖像和深度圖像的三維形狀和外觀表示。在這組實驗中，我們使用了多視角RGB圖像和深度圖像作為輸入，通過訓(xùn)練模型來學(xué)習(xí)三維場景的形狀和外觀表示。我們與NeuS、DS-NeRF、LFN和PRIF等基線方法進行了比較。通過對DM-SR數(shù)據(jù)集的評估，我們發(fā)現(xiàn)我們的方法在ADE指標(biāo)上再次超越了所有基線方法，展示了我們方法在形狀恢復(fù)方面的優(yōu)勢。同時，我們的方法在PSNR、SSIM和LPIPS等指標(biāo)上也取得了可比較的性能。

8.結(jié)論

本文的研究旨在提出一種稱為RayDF的方法，用于準(zhǔn)確地表示三維形狀。該方法基于射線-表面距離場的概念，通過訓(xùn)練一個主要的射線-表面距離網(wǎng)絡(luò)和一個輔助的雙射線可見性分類器，以及一個多視角一致性優(yōu)化模塊來實現(xiàn)。主要網(wǎng)絡(luò)直接將射線作為輸入，并推斷射線起點與其在表面上的擊中點之間的距離。輔助網(wǎng)絡(luò)則以一對射線作為輸入，并預(yù)測它們的相互可見性。通過訓(xùn)練輔助網(wǎng)絡(luò)，可以有效地利用學(xué)到的雙射線可見性來訓(xùn)練主網(wǎng)絡(luò)，從而使學(xué)到的射線-表面距離在任何已見或未見的視角下保持多視角一致性。研究結(jié)果表明，相比于現(xiàn)有的基于坐標(biāo)的表示方法，RayDF方法在效率上具有優(yōu)勢，而相比于現(xiàn)有的基于射線的方法，RayDF方法在學(xué)習(xí)準(zhǔn)確的三維幾何形狀方面表現(xiàn)出色。在多個數(shù)據(jù)集上的實驗證明了RayDF方法在三維形狀重建的準(zhǔn)確性和效率方面的優(yōu)越性。

編輯：黃飛