介紹一種神經(jīng)場成對配準(zhǔn)的技術(shù)NeRF2NeRF

大家好，今天要介紹的論文是來自多倫多大學(xué)和谷歌研究室的NeRF2NeRF：神經(jīng)輻射場的配對配準(zhǔn)。

摘要

我們介紹了一種神經(jīng)場成對配準(zhǔn)的技術(shù)，它擴(kuò)展了基于優(yōu)化的經(jīng)典局部配準(zhǔn)（即ICP）以操作神經(jīng)輻射場（NeRF）。NeRF不分解光照和顏色，因此為了使配準(zhǔn)不受光照影響，我們引入了 "表面場 "的概念（Surface Field）--從預(yù)先訓(xùn)練的NeRF模型中提煉出來的場，用于測量一個點在物體表面的概率。

然后，我們將nerf2nerf配準(zhǔn)作為一個穩(wěn)健的優(yōu)化，迭代地尋求一個剛性的變換，使兩個場景的表面場對齊。我們通過引入預(yù)訓(xùn)練的NeRF場景數(shù)據(jù)集來評估我們技術(shù)的有效性--我們的合成場景能夠進(jìn)行定量評估并與經(jīng)典的配準(zhǔn)技術(shù)進(jìn)行比較，而我們的真實場景則證明了我們的技術(shù)在真實世界場景中的正確性。

主要貢獻(xiàn)

提出了一種對包含同一物體的兩個場景的NeRFs進(jìn)行配準(zhǔn)的方法。

引入表面場作為一個點在物體表面的概率進(jìn)行配準(zhǔn)。

在幾個相應(yīng)的點上對準(zhǔn)初始化后，使用NeRF場進(jìn)行高精度優(yōu)化。

主要方法：

使用NeRF進(jìn)行定位主要存在以下問題：

由于色彩信息在不同場景中不一致導(dǎo)致照明和顏色不能分開。

由于物體內(nèi)部的密度場是有噪聲的，沒有對閉塞區(qū)的密度進(jìn)行監(jiān)測的方法。

本文使用的方法是通過使用響應(yīng)對象表面的場的概率來保持一致性，用以配準(zhǔn)兩個不同神經(jīng)場下的場景。

表面場：表面場的主要作用是對渲染過程中透明度變化較大的區(qū)域做出反應(yīng)，假設(shè)相機的位置在物體之外，搜索來自每個相機的射線，計算每個參考相機的 "短間隔內(nèi)的透明度變化"，并使用最大值作為"表面場"。最大值被用作表面場。

設(shè)計了一個目標(biāo)函數(shù)，使兩個場景之間的坐標(biāo)變換[R,t]得到優(yōu)化，這里使用場景之間對應(yīng)點的表面場值的殘差：

用高斯分布對表面場進(jìn)行卷積，并對其進(jìn)行平滑處理。

主要結(jié)果

審核編輯：劉清