WACV 2023 I從ScanNeRF到元宇宙：神經(jīng)輻射場(chǎng)的未來

本文提出了一個(gè)用于評(píng)估神經(jīng)輻射場(chǎng)和神經(jīng)渲染框架的真實(shí)基準(zhǔn)思想，并設(shè)計(jì)了一個(gè)有效的流程用于快速掃描真實(shí)物體。通過不到500美元的硬件預(yù)算，在5分鐘內(nèi)能夠收集到大約4000張被掃描物體的圖像。構(gòu)建了ScanNeRF數(shù)據(jù)集，其中包含多個(gè)訓(xùn)練、驗(yàn)證和測(cè)試集，用于評(píng)估不同條件下現(xiàn)代NeRF方法的性能。通過評(píng)估三個(gè)先進(jìn)的NeRF變種，突出了它們的優(yōu)點(diǎn)和缺點(diǎn)。該數(shù)據(jù)集可以在項(xiàng)目頁(yè)面上獲取，并提供在線基準(zhǔn)測(cè)試，以促進(jìn)更好的NeRF的發(fā)展。

1 前言

本文提出了元宇宙的概念以及使用神經(jīng)渲染技術(shù)將真實(shí)物體轉(zhuǎn)移到虛擬世界中的方法。為了實(shí)現(xiàn)這一目標(biāo)，作者構(gòu)建了一個(gè)簡(jiǎn)單而有效的物體掃描站-ScanNeRF，并生成了一種高質(zhì)量的真實(shí)數(shù)據(jù)集，其中包含適用于訓(xùn)練和評(píng)估最先進(jìn)的神經(jīng)輻射場(chǎng)方法的圖像。這個(gè)數(shù)據(jù)集為神經(jīng)渲染領(lǐng)域的研究提供了一個(gè)基準(zhǔn)，并探討了如何在從單個(gè)側(cè)面采集的圖像中完全渲染一個(gè)物體的挑戰(zhàn)。此外，作者的工作展示了使用僅500美元的簡(jiǎn)單硬件就可以構(gòu)建來自真實(shí)物體的數(shù)字孿生。

作者的貢獻(xiàn)有三個(gè)方面:

提出了一個(gè)用于收集圖像的簡(jiǎn)單而有效的平臺(tái)，用于訓(xùn)練神經(jīng)渲染方法。

發(fā)布了一個(gè)包含真實(shí)物體圖像的新型基準(zhǔn)測(cè)試數(shù)據(jù)集。

評(píng)估了現(xiàn)代神經(jīng)輻射場(chǎng)的性能，并突出了它們?cè)诓煌闆r下的優(yōu)缺點(diǎn)。

2 相關(guān)工作

本文回顧了神經(jīng)輻射場(chǎng)（NeRF）的文獻(xiàn)，并介紹了NeRF在新視點(diǎn)合成領(lǐng)域的最新進(jìn)展。NeRF使用多層感知器（MLP）對(duì)隱式連續(xù)的體素表示進(jìn)行編碼，與離散表示相比具有較好的性能。然而，傳統(tǒng)的NeRF存在訓(xùn)練時(shí)間長(zhǎng)、需要為每個(gè)新場(chǎng)景進(jìn)行獨(dú)立訓(xùn)練以及渲染速度慢等限制。為了解決這些問題，文獻(xiàn)中提出了一些加速NeRF訓(xùn)練和渲染的方法，包括預(yù)訓(xùn)練階段、使用額外的深度信息、利用顯式表示以及結(jié)合隱式表示等。最近的研究工作已經(jīng)實(shí)現(xiàn)了更快速訓(xùn)練和渲染的NeRF變體，使得實(shí)時(shí)渲染成為可能。在此基礎(chǔ)上，本文選擇了DirectVoxGo、Plenoxels和Instant-NGP作為基準(zhǔn)模型，建立了ScanNeRF基準(zhǔn)測(cè)試，旨在推動(dòng)神經(jīng)輻射場(chǎng)和相關(guān)技術(shù)領(lǐng)域的進(jìn)一步研究。與現(xiàn)有的基準(zhǔn)測(cè)試相比，ScanNeRF提供了更可擴(kuò)展的數(shù)據(jù)收集框架，并明確定義了測(cè)試集，避免了潛在的偏見結(jié)果。

3 關(guān)于神經(jīng)輻射場(chǎng)的背景

神經(jīng)輻射場(chǎng)（NeRF）通過將三維場(chǎng)景編碼成隱式表示，在視覺領(lǐng)域中廣泛應(yīng)用。通過學(xué)習(xí)多層感知機(jī)（MLP）來建立隱式映射，其中包括中間的MLP（pos）用于推斷密度和嵌入，淺層的MLP（rgb）用于預(yù)測(cè)顏色。為了更準(zhǔn)確地表示底層函數(shù)的高頻部分，使用基于傅里葉特征的位置編碼。渲染圖像時(shí)，根據(jù)光學(xué)模型和體繪制渲染，通過累計(jì)透射量和數(shù)值積分來計(jì)算像素顏色。訓(xùn)練NeRF模型時(shí)，通過最小化光度誤差平方來優(yōu)化模型參數(shù)。

4 ScanNeRF基準(zhǔn)測(cè)試

在本節(jié)中，作者描述了ScanNeRF框架的硬件和軟件組成部分。作者首先介紹我們的采集平臺(tái)，然后描述了用于選擇最終圖像的后處理步驟，以及用于提取物體的掩膜策略。最后，作者強(qiáng)調(diào)了生成數(shù)據(jù)集的整體組織方式。

4.1 掃描站設(shè)置

掃描站使用Lego Mindstorm套件構(gòu)建，配備了OpenCV Oak-D Lite相機(jī)。通過旋轉(zhuǎn)底座和機(jī)械臂的兩個(gè)自由度，可以輕松地收集掃描物體周圍的圖像。相機(jī)姿態(tài)計(jì)算基于ChArUco標(biāo)記和OpenCV庫(kù)的功能實(shí)現(xiàn)。掃描過程中，相機(jī)以30fps的頻率錄制1440×1080分辨率的圖像。整個(gè)掃描站通過Lego Mindstorms桌面應(yīng)用程序的API進(jìn)行Python編程，并通過藍(lán)牙連接進(jìn)行控制。掃描站的硬件預(yù)算低于500美元。

4.2 數(shù)據(jù)集過濾

數(shù)據(jù)集過濾的過程通過計(jì)算相機(jī)姿態(tài)的方位角來檢測(cè)基座的旋轉(zhuǎn)，并丟棄方位角與前一個(gè)角度之差小于1.15°的圖像。這樣可以有效地去除在臂下降期間收集的圖像，從而保留只在臂不移動(dòng)且基座旋轉(zhuǎn)時(shí)獲取的圖像。

4.3 背景遮罩

為了剔除不一致的背景并獲得只包含掃描物體的圖像，作者采用背景遮罩的方法。通過使用Instant-NGP神經(jīng)渲染框架，作者訓(xùn)練并渲染了與原始圖像相同姿態(tài)的新圖像。在渲染過程中，作者使用渲染體積來裁剪不一致的背景，并根據(jù)像素的alpha值生成遮罩。這些遮罩被應(yīng)用于原始圖像，移除了背景和掃描站基座，使最終的圖像中只保留了物體。

4.4 數(shù)據(jù)集的組織和劃分

在數(shù)據(jù)集組織和劃分階段，作者將獲取的圖像序列劃分為Train、Val和Test三個(gè)宏劃分，分別包含不同數(shù)量的圖像。作者通過Farthest Point Sampling算法在物體上方半球均勻采樣圖像，并將Train宏劃分的圖像進(jìn)一步細(xì)分為三個(gè)訓(xùn)練子劃分，以探究不同圖像數(shù)量對(duì)NeRF算法性能的影響。同時(shí)，作者還構(gòu)建了八個(gè)附加的子劃分，每個(gè)子劃分包含在特定區(qū)域更密集采集的圖像，并從整個(gè)半球分布的位置上隨機(jī)采樣一小部分圖像。這些子劃分的設(shè)計(jì)旨在研究在訓(xùn)練集具有不均勻視角空間分布時(shí)不同NeRF算法的表現(xiàn)，并以此促進(jìn)未來的研究。

4.5 掃描時(shí)間和物體數(shù)量

所述流程允許快速掃描大量物體。一個(gè)完整的獲取周期包括收集約9000張圖像，并經(jīng)過過濾步驟后減少至約4000張。當(dāng)前的ScanNeRF數(shù)據(jù)集包括35個(gè)真實(shí)物體，用于評(píng)估現(xiàn)代NeRF框架的性能。未來計(jì)劃擴(kuò)大數(shù)據(jù)集以包含數(shù)百個(gè)甚至數(shù)千個(gè)物體，并通過基準(zhǔn)網(wǎng)站共享Train/Val拆分。

5 實(shí)驗(yàn)

在本節(jié)中，作者對(duì)作者的創(chuàng)新ScanNeRF數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)。具體而言，作者在作者設(shè)計(jì)的拆分?jǐn)?shù)據(jù)上運(yùn)行了三種現(xiàn)代高效的NeRF框架，以研究它們?cè)诓煌芏群陀?xùn)練圖像數(shù)量的情況下的性能表現(xiàn)，以及它們?cè)趦H從掃描對(duì)象周圍的特定區(qū)域密集獲取圖像時(shí)的行為。

5.1 評(píng)估的框架和設(shè)置

在本節(jié)中，我們對(duì)我們的創(chuàng)新ScanNeRF數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)。我們?cè)u(píng)估了三種現(xiàn)代高效的NeRF框架：DVGO、Plenoxels和Instant-NGP。每種方法都具有不同的訓(xùn)練和渲染速度。我們使用每個(gè)框架的官方代碼進(jìn)行實(shí)驗(yàn)，并保持默認(rèn)的超參數(shù)設(shè)置。在評(píng)估中，我們訓(xùn)練了420個(gè)實(shí)例，并使用峰值信噪比（PSNR）作為評(píng)估指標(biāo)來衡量渲染圖像的質(zhì)量。

5.2 均勻分布采集的實(shí)驗(yàn)

在均勻分布采集的實(shí)驗(yàn)中，作者訓(xùn)練和評(píng)估了三種方法：DVGO、Plenoxels和Instant-NGP。當(dāng)使用1000張圖像進(jìn)行訓(xùn)練時(shí)，所有三種NeRF變體的性能都相當(dāng)出色，達(dá)到了超過30的PSNR。隨著訓(xùn)練圖像密度逐漸減少到500、250和100，三個(gè)框架的性能出現(xiàn)了不同的變化。Instant-NGP幾乎不受訓(xùn)練圖像減少的影響，DVGO的PSNR有輕微下降，而Plenoxels在僅用100張圖像進(jìn)行訓(xùn)練時(shí)出現(xiàn)了最大的渲染質(zhì)量下降。根據(jù)實(shí)驗(yàn)結(jié)果，Instant-NGP在訓(xùn)練和渲染速度、渲染質(zhì)量以及對(duì)訓(xùn)練圖像數(shù)量減少的魯棒性方面表現(xiàn)最佳。這里也推薦「3D視覺工坊」新課程《深度剖析面向機(jī)器人領(lǐng)域的3D激光SLAM技術(shù)原理、代碼與實(shí)戰(zhàn)》。

5.3 對(duì)密集局部采集的實(shí)驗(yàn)

本實(shí)驗(yàn)主要針對(duì)密集局部采集進(jìn)行了實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果顯示，三種NeRF算法在訓(xùn)練和測(cè)試相同分布位置的子集時(shí)表現(xiàn)良好，但在來自不同密集采集子集的測(cè)試中，它們的表現(xiàn)有所不同。其中，Plenoxels在這種設(shè)置下表現(xiàn)不穩(wěn)定，而DVGO和Instant-NGP相對(duì)更具魯棒性。作者推測(cè)，這一差異可能是因?yàn)榍皟煞N方法中的MLP組件能夠從均勻分布的樣本中學(xué)到強(qiáng)烈的偏差，從而幫助它們推廣到幾乎未見過的半球區(qū)域。

6 結(jié)論

本文介紹了ScanNeRF作為一個(gè)可伸縮的神經(jīng)輻射場(chǎng)基準(zhǔn)和神經(jīng)渲染框架的評(píng)估平臺(tái)。通過ScanNeRF的特殊劃分，作者在不同設(shè)置下研究了現(xiàn)代NeRF框架的潛力，并給研究社區(qū)提出了一些新的挑戰(zhàn)。我們相信ScanNeRF將促進(jìn)神經(jīng)輻射場(chǎng)框架的研究。