用于快速高保真RGB-D表面重建的神經特征網格優(yōu)化的GO-Surf

摘要

我們提出了GO-Surf，一種直接的特征網格優(yōu)化方法，用于從RGB-D序列中準確和快速地重建表面。我們用一個學習過的分層特征體素網格對底層場景進行建模，該網格封裝了多層次的幾何和外觀局部信息。

特征向量被直接優(yōu)化，以便在三線插值后，由兩個淺層MLP解碼為有符號的距離和輻射度值，并通過體積渲染進行渲染，使合成的RGB/深度值與觀察到的RGB/深度值之間的差異最小。

我們的監(jiān)督信號--RGB、深度和近似的SDF--可以直接從輸入圖像中獲得，不需要任何融合或后處理。我們制定了一個新的SDF梯度正則化項，鼓勵表面光滑和孔洞填充，同時保持高頻細節(jié)。GO-Surf可以在15-45分鐘內優(yōu)化1-2K幀的序列，比基于MLP表示的最相關方法NeuralRGB-D的速度提高了60倍，同時在標準基準上保持同等的性能。

主要貢獻： GO-Surf將可學習的特征網格引入RGB-D序列的SDF重建中，以實現(xiàn)： (i) 在交互式運行時間內快速優(yōu)化 (ii) 高精度的表面重建。 我們還首次在體素網格的背景下應用Eikonal和平滑度正則化條款。

主要方法

給定一個輸入的RGB-D序列，GO-Surf通過直接優(yōu)化一個多分辨率的特征網格和有符號的距離值以及顏色預測來獲得高質量的三維表面重建。

我們在有符號距離值上制定了一個新的平滑度先驗，從而在保留細節(jié)的同時，改善了孔洞填充和平滑度特性。我們的優(yōu)化比基于MLP的方法快×60倍。



GO-Surf使用多級特征網格和兩個淺層MLP解碼器。給定一個沿射線的采樣點，每個網格通過三線插值進行查詢。多級特征被串聯(lián)并解碼為SDF，并用于計算樣本權重。顏色是由最細的網格單獨解碼的。

損失項被應用于SDF值，并渲染深度和顏色。在每個查詢點計算SDF的梯度，并用于Eikonal和平滑度正則化。



主要結果

審核編輯：劉清