基于在廣泛的計算平臺上進行高效渲染的神經(jīng)場體系結(jié)構(gòu)

Neural Radiance Fields (NeRF) 通過合成 3D 場景新視角圖像展現(xiàn)出驚人的能力。然而，它們依賴于基于光線行進的專門體積渲染算法，這些算法不符合廣泛部署的圖形硬件的能力。本文提出了一種基于紋理多邊形的新型 NeRF 表示法，它將 3D 場景轉(zhuǎn)化為一組多邊形。這種方法使用傳統(tǒng)的多邊形光柵化管道進行渲染，提供了大規(guī)模的像素級并行性，可以在廣泛的計算平臺上實現(xiàn)交互式幀率。

1 前言

NeRF 是表示 3D 場景的方法，通過估計從任何位置和方向發(fā)射的密度和輻射的隱式函數(shù)，用于體積渲染框架生成新視角圖像。然而，傳統(tǒng)的 NeRF 實現(xiàn)的渲染過程太慢以至于無法進行交互式可視化。本文提出了一個名為 MobileNeRF 的方法，將 NeRF 表示為一組紋理多邊形，利用現(xiàn)代圖形硬件的光柵化管道和 Z-buffer 實現(xiàn)像素級并行性，以實現(xiàn)交互式幀率渲染，并在 標準測試場景上優(yōu)于 SNeRG 10 倍，適用于各種常見移動設備。

MobileNeRF 的貢獻如下：

在與最先進的方法（SNeRG）具有相同輸出質(zhì)量的情況下，渲染速度提高了 10 倍；

通過存儲表面紋理而不是體積紋理，使用的內(nèi)存較少，使本文的方法能夠在具有有限內(nèi)存和功率的集成 GPU 上運行；

可以在 Web 瀏覽器上運行，并且與本文測試過的所有設備兼容，因為本文的查看器是一個 HTML 網(wǎng)頁；

允許對重建的對象/場景進行實時操作，因為它們是簡單的三角形網(wǎng)格。

2 相關背景

本文介紹了在視圖綜合方面的多種方法和技術，包括光場、幾何圖形、神經(jīng)網(wǎng)絡等。不同的方法有不同的優(yōu)勢和局限性，但是它們的共同目標是實現(xiàn)高質(zhì)量的實時渲染。作者的方法通過緩存發(fā)射輻射來實現(xiàn)高質(zhì)量的視圖綜合，并且適用于低功率硬件上的實時渲染。同時，它不需要輸入重構(gòu)的3D幾何體。與現(xiàn)有的方法相比，作者的方法在低功率設備上具有更好的可用性。

3 方法

本文介紹了一種優(yōu)化表示以實現(xiàn)高效新視圖綜合的方法。該表示包含一個多邊形網(wǎng)格和紋理映射，采用兩階段延遲渲染過程來繪制圖像。該方法需要初始三維幾何體，并通過迭代過程中修改網(wǎng)格來進行優(yōu)化。本文提出了一種離散表示來實現(xiàn)高效的新視圖綜合的方法。該方法通過渲染階段1和渲染階段2實現(xiàn)。作者采用三個訓練階段來構(gòu)建本方法的離散表示。在最后的訓練階段，作者提取了一個稀疏的多邊形網(wǎng)格，將不透明度和特征烘焙到紋理映射中，并存儲了神經(jīng)延遲著色器的權重。同時，作者提出了一種基于超采樣的簡單且計算高效的抗鋸齒解決方案。由于采用標準的GPU光柵化管道，因此我們的實時渲染器只是一個HTML網(wǎng)頁。

3.1 Continuous training (Training Stage 1) - 連續(xù)訓練（訓練階段1

本文提出了一個新穎的渲染框架，構(gòu)建了一個以多邊形網(wǎng)格為基礎的渲染器，其中使用透明合成和神經(jīng)渲染器來產(chǎn)生高保真度的圖像。作者使用MLPs來表示網(wǎng)格中的顏色和不透明度，使用MLP的輸入來表示網(wǎng)格中的幾何完成，從而實現(xiàn)了從場景數(shù)據(jù)到圖像的連續(xù)訓練。作者使用了加速格子來限制每條光線上的積分點數(shù)量，從而減少了渲染時間。與現(xiàn)有的渲染框架相比，作者的方法可以更好地處理反射，折射，陰影和非連續(xù)性的材料，并且對于多個數(shù)據(jù)集進行了廣泛的實驗和評估，結(jié)果表明它可以生成具有可比性的視圖。

3.2 Binarized training (Training Stage 2) - 二值化訓練（訓練階段2）

本文介紹了如何使用離散/分類不透明度來避免處理半透明物體時需要排序的問題。作者使用一個直通估計器優(yōu)化離散操作，并提出了一個聯(lián)合訓練策略來同時訓練連續(xù)模型和離散模型。離散模型的輸出輻射度由離散不透明度和顏色加權組成。最后，文章提到將進行微調(diào)來優(yōu)化訓練結(jié)果。

3.3 Discretization (Training Stage 3) - 交叉注意力實現(xiàn)可微分渲染

本文介紹了如何將離散/分類不透明度的表示轉(zhuǎn)換為顯式的多邊形網(wǎng)格，并將其存儲為紋理圖像。作者實驗中使用的技術包括可見的四邊形的剪裁、尺寸調(diào)整和離散不透明度值和特征值的烘焙。值得注意的是，8位的量化精度在反向傳播中沒有被考慮到，但對渲染質(zhì)量的影響不大。

3.4 Anti-aliasing - 訓練和損失函數(shù)

本文采用超采樣來實現(xiàn)抗鋸齒，并通過對特征進行平均來避免每幀多邊形排序?？逛忼X的變化應用于訓練階段2中，最終作者平均子像素特征來獲得抗鋸齒表示并將其傳遞給神經(jīng)推遲著色器。

3.5 Rendering - 渲染

本文使用優(yōu)化的延遲渲染管線進行渲染，包含兩個步驟：光柵化多邊形以及渲染紋理矩形并將其與特征圖像疊加。采用二進制透明度的z-buffer使得多邊形不需要按照深度排序，且由于特征轉(zhuǎn)換的小型MLP可以在GLSL片元著色器中并行運行，所以能夠在GPU上高度優(yōu)化，以實現(xiàn)在各種設備上以交互式幀速率運行。

4 實驗

MobileNeRF通過在三個數(shù)據(jù)集上進行測試，包括NeRF合成的場景，LLFF前向場景和Mip-NeRF 360的無界戶外場景，證明了在各種場景和設備上表現(xiàn)良好。與SNeRG進行比較顯示MobileNeRF可以在常見設備上實時運行。詳細的消融研究進一步研究了不同設計選擇的影響。

4.1 比較

本研究通過在各種設備上測試證明了MobileNeRF的出色性能和兼容性。在渲染質(zhì)量方面，使用PSNR、SSIM和LPIPS等指標顯示本文的方法具有與SNeRG相近的圖像質(zhì)量，且優(yōu)于NeRF。此外，MobileNeRF需要的GPU內(nèi)存比SNeRG少5倍。渲染質(zhì)量在相機距離適當?shù)那闆r下與SNeRG類似，但當相機縮放時，SNeRG容易渲染過度平滑的圖像。三角形面不與實際物體表面對齊，因此需要更好的正則化損失或訓練目標來改善表面質(zhì)量。

4.2 消融研究

本文討論了在表中展示的消融研究，分析了在每個階段中各種修改對渲染效果的影響。在第一階段中，使用固定網(wǎng)格或不使用視角相關效果會顯著降低性能。在第二階段中，不進行微調(diào)或僅使用二進制不透明度會導致性能下降。在第三階段中，使用更大的紋理大小可以提高性能，但空間成本也會增加。超采樣步驟和小型MLP對性能影響最大。

5 總結(jié)

MobileNeRF介紹了一種可以在廣泛的計算平臺上進行高效渲染的神經(jīng)場體系結(jié)構(gòu)，可以比之前的最新技術更快地生成同等質(zhì)量的圖像。然而，它存在一些限制，如估計的表面可能不準確，它無法處理半透明和高光表面等。擴展多邊形渲染管道可以解決這些問題，并將該架構(gòu)擴展到快速訓練的體系結(jié)構(gòu)這是未來工作的一個激動人心的方向。