Block nerf：可縮放的大型場(chǎng)景神經(jīng)視圖合成

摘要

我們提出了 Block-NeRF，一種神經(jīng)輻射場(chǎng)的變體，可以表示大規(guī)模的場(chǎng)景。具體來說，我們發(fā)現(xiàn)，當(dāng)使用 NeRF 渲染跨越多個(gè)街區(qū)的城市規(guī)模場(chǎng)景時(shí)，將場(chǎng)景分解為單獨(dú)訓(xùn)練的子 NeRF 至關(guān)重要。這種分解將渲染時(shí)間與場(chǎng)景大小分離，使渲染能夠擴(kuò)展到任意大的場(chǎng)景，并允許對(duì)環(huán)境進(jìn)行逐塊更新。我們采用了幾項(xiàng)架構(gòu)更改，以使 NeRF 對(duì)在不同環(huán)境條件下數(shù)月捕獲的數(shù)據(jù)具有魯棒性。我們?yōu)槊總€(gè)單獨(dú)的 NeRF 添加了外觀嵌入、可學(xué)習(xí)的位姿細(xì)化和可控曝光，并引入了校準(zhǔn)相鄰 NeRF 之間外觀的程序，以便它們可以無縫組合。我們從 280 萬張圖像中構(gòu)建了一個(gè) Block-NeRF 網(wǎng)格，以創(chuàng)建迄今為止最大的神經(jīng)場(chǎng)景表示，能夠渲染舊金山的整個(gè)社區(qū)。

video： （click the picture to view）

主要貢獻(xiàn)

為了在大場(chǎng)景中應(yīng)用神經(jīng)輻射場(chǎng)（NeRF）模型，文章提出將大型場(chǎng)景分解為相互重疊的子場(chǎng)景 （block），每一個(gè)子場(chǎng)景分別訓(xùn)練，在推理時(shí)動(dòng)態(tài)結(jié)合相鄰 Block-NeRF 的渲染視圖。

文章在 mip-NeRF 的基礎(chǔ)上增加了外觀嵌入、曝光嵌入和位姿細(xì)化，以解決訓(xùn)練數(shù)據(jù)橫跨數(shù)月而導(dǎo)致的環(huán)境變化和位姿誤差。

為了保證相鄰 Block-NeRF 的無縫合成，文章提出了在推理時(shí)迭代優(yōu)化這些 Block-NeRF 的輸入外觀嵌入以校準(zhǔn)它們的渲染結(jié)果。

方法概述

神經(jīng)輻射場(chǎng) （NeRF）是使用神經(jīng)網(wǎng)絡(luò)擬合輻射場(chǎng)，用于視圖渲染的方法。然而，傳統(tǒng)的 NeRF 很難被直接擴(kuò)展到大場(chǎng)景應(yīng)用。這是因?yàn)閿M合大場(chǎng)景所需的神經(jīng)網(wǎng)絡(luò)也會(huì)很大，這會(huì)導(dǎo)致訓(xùn)練和推理渲染變得很困難。本文提出將大的場(chǎng)景劃分為數(shù)個(gè)相互重合的小場(chǎng)景 （block）。如下圖所示的丁字路口被劃分為三個(gè)小場(chǎng)景（黃圈），針對(duì)每一個(gè)小場(chǎng)景單獨(dú)訓(xùn)練一個(gè) Block-NeRF。推理時(shí)合并覆蓋目標(biāo)視圖范圍的 Block-NeRF 渲染生成最終的視圖。

mip-NeRF 拓展

文章基于 mip-NeRF，但是由于訓(xùn)練視圖在長(zhǎng)達(dá)數(shù)月的時(shí)間內(nèi)采集，不可避免地出現(xiàn)場(chǎng)景光照不同、相機(jī)曝光不同、視圖位姿存在誤差等問題。為了解決這些問題，文章在 mip-NeRF 的基礎(chǔ)上增加了外觀嵌入和曝光作為神經(jīng)網(wǎng)絡(luò)的輸入（如下圖所示，其中 fσ 和 fc 分別為預(yù)測(cè)密度 σ 和顏色 RGB 的神經(jīng)網(wǎng)絡(luò)，x 為場(chǎng)景中的三維坐標(biāo)點(diǎn)，d 表示視角）。

訓(xùn)練時(shí)使用生成式潛碼優(yōu)化的方法學(xué)習(xí)外觀嵌入，消除天氣光照等原因的影響。曝光則直接可以讀取采集記錄，只需對(duì)其進(jìn)行正弦位置編碼即可。

與此同時(shí)，訓(xùn)練視圖的采集跨越了多個(gè)駕駛段，這些駕駛軌跡之間不可避免地存在位姿誤差。Block-NeRF 訓(xùn)練時(shí)還同時(shí)優(yōu)化每一個(gè)駕駛段的位姿偏移以降低位姿誤差帶來的影響。

街道視圖中存在汽車、行人等瞬時(shí)物體，然而場(chǎng)景渲染通常只關(guān)注建筑、街道等靜態(tài)結(jié)構(gòu)。文章于是使用語義分割網(wǎng)絡(luò)對(duì)訓(xùn)練視圖中的動(dòng)態(tài)物體進(jìn)行掩蔽，這樣神經(jīng)輻射場(chǎng)就不會(huì)學(xué)習(xí)這些動(dòng)態(tài)物體，而是只關(guān)注靜態(tài)場(chǎng)景結(jié)構(gòu)。

有時(shí)目標(biāo)視圖的相鄰 Block-NeRF 可能距離上很近，但并不在目標(biāo)視圖的視野之內(nèi)，文章在傳統(tǒng) NeRF 的兩個(gè)神經(jīng)網(wǎng)絡(luò) fσ 和 fc 之外，還增加了一個(gè)預(yù)測(cè)能見度的網(wǎng)絡(luò) fv。給定三維坐標(biāo) x 和視角 d ， fv 預(yù)測(cè)該點(diǎn)在給定視角下的能見度。合成多個(gè) Block-NeRF 的渲染時(shí)，能見度低于閾值的渲染不會(huì)被用于最終的合成。訓(xùn)練時(shí)能見度可以由相應(yīng)點(diǎn)的透光率作為監(jiān)督目標(biāo)。

Block-NeRF 融合

為提高渲染效率，渲染目標(biāo)視圖時(shí)文章僅融合：

中心點(diǎn)在閾值半徑內(nèi)

且平均能見值高于閾值的 Block-NeRFs

滿足這兩個(gè)條件的 Block-NeRFs 以反距離加權(quán)的方式融合渲染視圖。這里的距離選擇相機(jī)到 Block-NeRFs 的二維空間距離。這樣的融合方法既保證了渲染真實(shí)度又能夠滿足時(shí)空一致性。

為了保證不同視角下渲染的天氣、光線等外觀的一致性，文章還在推理時(shí)引入了外觀嵌入迭代優(yōu)化。給定一個(gè) Block-NeRF 的外觀嵌入，文章在鎖定神經(jīng)網(wǎng)絡(luò)權(quán)重不變的基礎(chǔ)上，優(yōu)化相鄰 Block-NeRFs 的外觀嵌入，最大化其渲染視圖的一致性。

實(shí)驗(yàn)結(jié)果

文章采集并開源了兩個(gè)數(shù)據(jù)集：San Francisco Alamo Square Dataset 和 San Francisco Mission Bay Dataset，分布包含280萬和1.2萬圖片。Alamo Square Dataset覆蓋大約 0.5km2 ，采集自3個(gè)月周期內(nèi)，包括不同光線條件和天氣的數(shù)據(jù)。Mission Bay Dataset 涵蓋的地理范圍遠(yuǎn)遠(yuǎn)小于 Alamo Square Dataset，主要被用來與 NeRF做比較。

Table 2 顯示 Block-NeRF 相較于NeRF 渲染效果更好。并且 block 數(shù)量越多越好。即便是保持神經(jīng)網(wǎng)絡(luò)總參數(shù)量不變，Block-NeRF 仍然優(yōu)于 NeRF 并且推理速度在不考慮并行計(jì)算的前提下也大大提高。

Table 1 和 Figure 7 分別定量和定性地顯示外觀嵌入、曝光輸入以及位姿優(yōu)化都對(duì)提高渲染效果有幫助。

Figure 6 顯示推理時(shí)外觀嵌入優(yōu)化可以將渲染從白天場(chǎng)景轉(zhuǎn)換成黑夜場(chǎng)景，從而更好地與基準(zhǔn) Block-NeRF 匹配，增強(qiáng)渲染地時(shí)空一致性。

總結(jié)

本文提出了Block-NeRF，采用 divide-and-conquer 的方法使用多個(gè) Block-NeRFs 學(xué)習(xí)大型場(chǎng)景的不同分塊，最終將這些Block-NeRFs 的渲染合成目標(biāo)視圖。這樣的方法使得利用 NeRF 模型渲染城市規(guī)模的場(chǎng)景成為了可能。

此外 Block-NeRF 還在 mip-NeRF 的基礎(chǔ)上，引入了外觀嵌入優(yōu)化、曝光輸入和位姿細(xì)化等擴(kuò)展，以解決訓(xùn)練數(shù)據(jù)橫跨數(shù)月而導(dǎo)致的環(huán)境變化和位姿誤差。

審核編輯 ：李倩