RayDF：實(shí)時(shí)渲染！基于射線的三維重建新方法

方法流程：

圖 1 RayDF的整體流程和組成部分

一、Introduction

在機(jī)器視覺和機(jī)器人領(lǐng)域的許多前沿應(yīng)用中，學(xué)習(xí)準(zhǔn)確且高效的三維形狀表達(dá)是十分重要的。然而，現(xiàn)有的基于三維坐標(biāo)的隱式表達(dá)在表示三維形狀或是渲染二維圖像時(shí)，需要耗費(fèi)昂貴的計(jì)算成本；相比之下，基于射線的方法則能夠高效地推斷出三維形狀。但是，已有的基于射線的方法沒有考慮到多視角下的幾何一致性，以至于在未知視角下難以恢復(fù)出準(zhǔn)確的幾何形狀。

針對(duì)這些問題，本論文提出一個(gè)全新的維護(hù)了多視角幾何一致性的基于射線的隱式表達(dá)方法RayDF。該方法基于簡(jiǎn)單的射線-表面距離場(chǎng)（ray-surface distance field），通過引入全新的雙射線可見性分類器（dual-ray visibility classifier）和多視角一致性優(yōu)化模塊（multi-view consistency optimization module），學(xué)習(xí)得到滿足多視角幾何一致的射線-表面距離。實(shí)驗(yàn)結(jié)果表明，改方法在三個(gè)數(shù)據(jù)集上實(shí)現(xiàn)了優(yōu)越的三維表面重建性能，并達(dá)到了比基于坐標(biāo)的方法快1000倍的渲染速度（見Table 1）。

主要貢獻(xiàn)如下：

采用射線-表面距離場(chǎng)來表示三維形狀，這個(gè)表達(dá)比現(xiàn)有的基于坐標(biāo)的表達(dá)更高效。

設(shè)計(jì)了全新的雙射線可見性分類器，通過學(xué)習(xí)任意一對(duì)射線的空間關(guān)系，使得所學(xué)的射線-表面距離場(chǎng)能夠在多視角下保持幾何一致性。

在多個(gè)數(shù)據(jù)集上證明了該方法在三維形狀重建上的準(zhǔn)確性和高效性。

二、Method

2.1 Overview

如圖1所示，RayDF包含兩個(gè)網(wǎng)絡(luò)及一個(gè)優(yōu)化模塊。對(duì)于主網(wǎng)絡(luò)ray-surface distance network，只需輸入一條射線，即可得到射線起點(diǎn)到射線打到的幾何表面點(diǎn)之間的距離值。其中，如圖2所示，RayDF使用一個(gè)包圍三維場(chǎng)景的球?qū)斎氲纳渚€進(jìn)行參數(shù)化，將參數(shù)化得到的四維球坐標(biāo)（入射點(diǎn)和出射點(diǎn)）作為網(wǎng)絡(luò)輸入。對(duì)于輔助網(wǎng)絡(luò)dual-ray visibility classifier，輸入一對(duì)射線和一個(gè)幾何表面點(diǎn)，預(yù)測(cè)兩條射線之間的相互可見性。這個(gè)輔助網(wǎng)絡(luò)在訓(xùn)練好之后，將在后續(xù)multi-view consistency optimization module中起到關(guān)鍵作用。

圖 2 射線-表面距離場(chǎng)的射線參數(shù)化及網(wǎng)絡(luò)結(jié)構(gòu)

2.2 Dual-ray Visibility Classifier

該方法中的輔助網(wǎng)絡(luò)是一個(gè)預(yù)測(cè)輸入的兩條射線是否能同時(shí)看到一個(gè)表面點(diǎn)的二元分類器。如圖3所示，將輸入的兩條射線所得特征取平均值，以確保預(yù)測(cè)的結(jié)果不受兩條射線的順序所影響。同時(shí)，將表面點(diǎn)進(jìn)行單獨(dú)編碼得到的特征拼接在射線特征之后，以增強(qiáng)射線特征，從而提升分類器的準(zhǔn)確性。

圖 3 雙射線可見性分類器的框架結(jié)構(gòu)

2.3 Multi-view Consistency Optimization

以設(shè)計(jì)的主網(wǎng)絡(luò)ray-surface distance network和輔助網(wǎng)絡(luò)dual-ray visibility classifier為鋪墊，引入多視角一致性優(yōu)化這一關(guān)鍵模塊，對(duì)兩個(gè)網(wǎng)絡(luò)進(jìn)行two-stage訓(xùn)練。

(1) 首先為輔助網(wǎng)絡(luò)dual-ray visibility classifier構(gòu)造用于訓(xùn)練的射線對(duì)。對(duì)于一張圖片中的一條射線（對(duì)應(yīng)圖片中的一個(gè)像素），通過其ray-surface distance可知對(duì)應(yīng)的空間表面點(diǎn)，將其投影到訓(xùn)練集中的剩余視角下，即得到另一個(gè)射線；而該射線有其對(duì)應(yīng)的ray- surface distance，文章設(shè)置閾值10毫米來判斷兩條射線是否相互可見。

(2) 第二階段是訓(xùn)練主網(wǎng)絡(luò)ray-surface distance network使其預(yù)測(cè)的距離場(chǎng)滿足多視角一致性。如圖4所示，對(duì)于一條主射線及其表面點(diǎn)，以該表面點(diǎn)為球心均勻采樣，得到若干條multi-view ray。將主射線與這些multi-view ray一一配對(duì)，通過訓(xùn)練好的dual-ray visibility classifier即可得到其相互可見性。再通過ray-surface distance network預(yù)測(cè)這些射線的ray-surface distance；若主射線與某一條采樣射線是相互可見的，那么兩條射線的ray-surface distances計(jì)算得到的表面點(diǎn)應(yīng)是同一個(gè)點(diǎn)；依此設(shè)計(jì)了對(duì)應(yīng)的損失函數(shù)，并對(duì)主網(wǎng)絡(luò)進(jìn)行訓(xùn)練，最終可以使ray-surface distance field滿足多視角一致性。

圖 4 多視角射線采樣

2.4 Surface Normal Derivation and Outlier Points Removal

由于在場(chǎng)景表面邊緣處的深度值往往存在突變（存在不連續(xù)性），而神經(jīng)網(wǎng)絡(luò)又是連續(xù)函數(shù)，上述ray-surface distance field在表面邊緣處容易預(yù)測(cè)出不夠準(zhǔn)確的距離值，從而導(dǎo)致邊緣處的幾何表面存在噪聲。好在，設(shè)計(jì)的ray-surface distance field有一個(gè)很好的特性，如圖5所示，每個(gè)估計(jì)的三維表面點(diǎn)的法向量都可以通過網(wǎng)絡(luò)的自動(dòng)微分以閉合形式輕松求出。因此，可以在網(wǎng)絡(luò)推理階段計(jì)算表面點(diǎn)的法向量歐氏距離，若該距離值大于閾值，則該表面點(diǎn)被視作離群點(diǎn)并剔除，從而得到干凈的三維重建表面。

圖 5 Surface normal計(jì)算

三、Experiments

為了驗(yàn)證所提出方法的有效性，本文在三個(gè)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，分別是object-level的合成數(shù)據(jù)集Blender [1]、scene-level合成數(shù)據(jù)集DM-SR [2]、scene-level真實(shí)數(shù)據(jù)集ScanNet [3]。論文選取了七個(gè)baselines進(jìn)行性能對(duì)比，其中OF [4]/DeepSDF [5]/NDF [6]/NeuS [7]是基于坐標(biāo)的level-set方法、DS-NeRF [8]是有depth監(jiān)督的NeRF-based方法，LFN [9]和PRIF [10]是基于射線的兩個(gè)baselines。

由于RayDF方法很容易直接增加一個(gè)radiance分支來學(xué)習(xí)紋理，從而和上述支持預(yù)測(cè)radiance field的baselines進(jìn)行比較。因此，論文對(duì)比實(shí)驗(yàn)分為兩組，其中，Group 1只預(yù)測(cè)distances （幾何），Group 2同時(shí)預(yù)測(cè)distances和radiances（幾何和紋理）。

3.1 Evaluation on Blender Dataset

從Table 2和圖6可以看出，在Group 1和2中，RayDF在表面重建上取得了更優(yōu)的結(jié)果，尤其是在最重要的 ADE 指標(biāo)上明顯優(yōu)于基于坐標(biāo)和射線的baselines。同時(shí)在radiance field rendering上，RayDF也取得了與DS-NeRF相當(dāng)?shù)男阅?，并?yōu)于LFN和PRIF。

圖 6 Blender數(shù)據(jù)集可視化對(duì)比

3.2 Evaluation on DM-SR Dataset

從Table 3可以看出，在最關(guān)鍵的 ADE 指標(biāo)上，RayDF超越了所有baselines。同時(shí)，在Group 2的實(shí)驗(yàn)中，RayDF能夠在獲得高質(zhì)量的新視圖合成的同時(shí)，保證恢復(fù)出準(zhǔn)確的表面形狀（見圖7）。

圖 7 DM-SR數(shù)據(jù)集可視化對(duì)比

3.3 Evaluation on ScanNet Dataset

Table 4比較了RayDF和baselines在具有挑戰(zhàn)性的真實(shí)世界場(chǎng)景中的性能。在Group 1和2中，RayDF在幾乎所有評(píng)估指標(biāo)上都明顯優(yōu)于baselines，展示出了在恢復(fù)復(fù)雜的真實(shí)世界三維場(chǎng)景方面的明顯優(yōu)勢(shì)。

圖 8 ScanNet數(shù)據(jù)集可視化對(duì)比

3.4 Ablation Study

論文在Blender數(shù)據(jù)集上進(jìn)行了消融實(shí)驗(yàn)，其中Table 5展示了在十分關(guān)鍵的dual-ray visibility classifier上的消融實(shí)驗(yàn)結(jié)果。

如Table 5 (1)所示，如果沒有dual-ray visibility classifier的幫助，ray-surface distance field則會(huì)無法對(duì)新視角下的射線預(yù)測(cè)出合理的距離值（見圖9）。

在classifier的輸入中，選擇了輸入表面點(diǎn)坐標(biāo)來作為輔助，如Table 5 (2)和(3)所示，若選擇輸入表面點(diǎn)距離值作為輔助或是不提供輔助信息，分類器會(huì)獲得較低的準(zhǔn)確率和F1分?jǐn)?shù)，導(dǎo)致為ray-surface distance network提供的可見性信息不夠準(zhǔn)確，進(jìn)而預(yù)測(cè)出錯(cuò)誤的距離值。

如Table 5 (4)所示，以非對(duì)稱的方式輸入一對(duì)射線，所訓(xùn)練得到的分類器準(zhǔn)確率較高，但F1分?jǐn)?shù)較低。這表明，這種分類器的魯棒性明顯低于用對(duì)稱輸入射線訓(xùn)練的分類器。

其他ablations可在論文及論文附錄中查看。

圖 9 使用與不使用分類器的可視化對(duì)比

四、Conclusion

總的來說，論文證明了通過使用基于射線的多視角一致性框架，確實(shí)可以高效、準(zhǔn)確地學(xué)習(xí)三維形狀表示。論文使用簡(jiǎn)單的射線-表面距離場(chǎng)來表示三維形狀幾何圖形，并通過新穎的雙射線可見性分類器進(jìn)一步實(shí)現(xiàn)多視角幾何一致性。在多個(gè)數(shù)據(jù)集上都證明了RayDF方法具有極高的渲染效率和出色的性能。歡迎進(jìn)一步對(duì)RayDF框架進(jìn)行擴(kuò)展。更多可視化結(jié)果可在主頁(yè)查看：