基于幾何分析的神經(jīng)輻射場編輯方法

神經(jīng)輻射場作為近期一個廣受關注的隱式表征方法，能合成照片級真實的多視角圖像。但因為其隱式建模的性質，用戶難以直觀編輯神經(jīng)輻射場建模對象的幾何。面對這一問題，最新被IEEE TPAMI接收的論文《Interactive NeRF Geometry Editing with Shape Priors》 [1]提出了一種基于幾何分析的交互式神經(jīng)輻射場編輯方法。目前已有的一些借助顯式幾何代理的神經(jīng)輻射場幾何編輯方法，如NeRF-Editing [2]，NeuMesh [3]等，一方面無法實現(xiàn)實時編輯，另一方面需要用戶對幾何網(wǎng)格代理編輯，具有一定的操作門檻。而該論文提出的方法允許用戶在自動提取的盒式變形圖柄上交互式編輯神經(jīng)輻射場，并支持自由視角瀏覽。

Part1 研究目標

神經(jīng)輻射場隱式建模場景或物體的幾何和外觀，提供了逼真的重建效果。但對于建模后的模型，其修改或編輯能力同樣重要，以滿足后續(xù)創(chuàng)作或應用需求?，F(xiàn)有基于靜態(tài)神經(jīng)輻射場的幾何編輯方法通常引入顯式幾何代理，在對顯式幾何代理編輯后，將幾何代理的變化傳播到神經(jīng)輻射場的采樣點上，利用光線彎曲實現(xiàn)對渲染結果的修改[2]；或者在幾何代理上定義特征，神經(jīng)輻射場的渲染與這些特征相關聯(lián)，因此當特征的空間位置隨著幾何代理的變化而變化后，渲染結果也會發(fā)生改變[3]。

該論文提出的交互式編輯方法考慮編輯對象的幾何屬性，希望在幾何編輯過程中保持對象的幾何屬性，比如對稱性。通過引入合成數(shù)據(jù)先驗，提出的方法可以對建模對象進行幾何分析，提取抽象盒子表示，語義分割和對稱性。將這些幾何屬性應用于編輯后，用戶可以直接利用抽象盒子作為變形圖柄編輯神經(jīng)輻射場幾何，減輕用戶的編輯負擔，如圖1所示。提出的方法還能進行變形傳播，比如將一個奔跑馬的動作序列傳播到陶瓷麋鹿模型上，如圖2所示。

圖1. 交互式編輯神經(jīng)輻射場幾何

圖2.將奔跑馬的動作序列傳播到陶瓷麋鹿模型上

Part2 研究方法

該論文提出的方法將合成數(shù)據(jù)先驗引入神經(jīng)輻射場的幾何編輯中，并實現(xiàn)交互式編輯和不同模型語義部件的組合，圖3展示了方法流程圖。

圖3. 基于幾何分析的神經(jīng)輻射場編輯方法，同時支持對不同模型的語義部件的組合

幾何屬性提取：

該方法首先從預訓練的神經(jīng)輻射場網(wǎng)絡中提取顯式網(wǎng)格表示。由于針對單個重建模型進行幾何分析比較困難，所以依靠合成數(shù)據(jù)集中的形狀先驗來幫助對真實重建模型的幾何分析。首先，結合枚舉和迭代最近點（ICP）算法對提取網(wǎng)格執(zhí)行包括對齊和縮放在內的預處理操作。具體地，將重建模型沿三個軸中的每一個旋轉一定角度，然后將隨機選取的合成模型縮放到與旋轉后的重建模型相似的大小；計算旋轉后的重建模型和縮放后的合成模型之間的誤差，并選擇誤差最小的旋轉角度對；進一步考慮選擇的旋轉角度附近的角度，重復上述操作。經(jīng)過一定次數(shù)的重復操作后，使用迭代最近點算法完成最終對齊，完成重建模型到合成模型的匹配。匹配后的模型通過幾何分析網(wǎng)絡[4][5]獲得幾何屬性，包括抽象盒子表示、語義分割和對稱性。

基于幾何分析的編輯：

論文提出的方法使用抽象盒子表示作為變形代理對神經(jīng)輻射場的幾何進行交互式編輯。在編輯中同時引入對稱性和語義分割信息，可以在用戶編輯時保持模型的對稱性，并且編輯不會超出對應的語義部分。用戶可以對抽象盒子旋轉、平移或縮放，這些編輯會先對網(wǎng)格模型變形。具體地，網(wǎng)格的每個頂點找到最近的兩個抽象盒子，并將這兩個盒子的變換的加權組合作為頂點的變換，其中權重計算為距離的倒數(shù)。為了限制編輯在對應的語義部件內，對于網(wǎng)格上的每個頂點，尋找模型點云上的最近點，并將最近點對應的語義標簽賦給網(wǎng)格頂點。然后在變換的加權組合中，引入對應語義的抽象盒子，并給該盒子的變換賦予更大的權重。如旋轉矩陣可以被計算為：

其中l(wèi)og和exp分別為矩陣的對數(shù)和指數(shù)操作。此外，系統(tǒng)標記了對稱的抽象盒子對，若用戶選擇保持對稱，則與用戶編輯的盒子對稱的抽象盒子將同時進行相應的變換，從而保持模型的對稱性。在將編輯傳播到網(wǎng)格后，提出方法使用NeRF-Editing [2]提出的兩步傳播方法將編輯從網(wǎng)格傳播到隱式空間場。具體地，先將三角網(wǎng)格擴大形成包圍網(wǎng)格，并從包圍網(wǎng)格建立四面體網(wǎng)格，然后利用三角網(wǎng)格的變化對四面體網(wǎng)格進行變形，最后利用四面體網(wǎng)格對光線上的采樣點進行偏移，得到變形模型的視角合成結果。

不同模型的語義部件組合：

使用語義分割，還可以將來自不同神經(jīng)輻射場模型的語義部件組合成一個新的神經(jīng)輻射場模型，并從任意視角瀏覽。用戶通過標記抽象盒子指定要組合的語義部件，也可以使用抽象盒子調整對應部件的位置和大小，保證合成模型的合理性。渲染組合模型時，每個采樣點會從其所在分割部件的有向包圍盒對應的神經(jīng)輻射場網(wǎng)絡中獲取其密度和顏色值，最后利用體渲染聚合每條光線上所有采樣點的顏色，得到視角合成結果。

實時交互式編輯：

為了實現(xiàn)實時渲染，引入iNGP [6]中的多分辨率哈希編碼結構。進一步地，只在網(wǎng)格表面附近或有向包圍盒內部采樣，大大減少了光線采樣點的數(shù)量，加快了渲染速度。

Part3實驗效果

圖4展示了提出方法在不同椅子上的基于幾何分析的編輯結果，這些編輯都使用了對稱性。第一列是抽象盒子表示在編輯前后的可視化?？梢钥吹剑褂锰崛〉暮惺阶冃螆D柄能對模型進行不同的幾何編輯，并能很好地保持模型的對稱性。

圖4. 提出方法在不同椅子上的基于幾何分析的編輯結果

圖5展示了在其他類別物體上的編輯結果，編輯時沒有使用對稱性。用戶可以將站立長頸鹿改為奔跑姿勢，也能改變桌腿的朝向，使其更有設計感。

圖5.對其他類別物體的編輯結果

圖6展示了將不同模型的語義部件組合成新模型的結果。用戶可以交換兩把椅子的上半部分和下半部分，生成兩把新椅子；也可以在兩個不同類別的物體，麋鹿和桌子之間組合，將鹿腿用于支撐桌面，構成一個充滿創(chuàng)意的桌子模型。

圖6.不同模型的語義部件的組合結果

該方法也與NeRF-Editing進行了對比，在對稱性保持上具有優(yōu)勢；同時也進行了消融實驗，在編輯中不使用語義分割信息會導致編輯超出所屬語義部件范圍，產(chǎn)生不自然的編輯效果；不使用對稱屬性會和NeRF-Editing類似，編輯結果難以保持原有的對稱性，如圖7所示。

圖7.與NeRF-Editing方法的對比以及消融實驗

Part4總結和展望

該工作將合成數(shù)據(jù)集先驗引入到真實神經(jīng)輻射場模型的幾何編輯中，實現(xiàn)基于幾何分析的編輯方法，能自動提取變形圖柄方便用戶操作，編輯時保持模型的幾何屬性。借助提取的語義分割，提出的方法還能實現(xiàn)語義部件級的神經(jīng)輻射場組合。在未來可以探索如何在神經(jīng)輻射場中直接進行幾何分析，不會因為合成數(shù)據(jù)先驗限定物體類別。同時，結合一些材質光影解耦的方法，在幾何編輯時相應地改變光影。

參考文獻

[1]Yu-Jie Yuan, Yang-Tian Sun, Yu-Kun Lai, Yuewen Ma, Rongfei Jia, Leif Kobbelt, Lin Gao*, Interactive NeRF Geometry Editing with Shape Priors, IEEE TPAMI 2023.

[2]Yu-Jie Yuan#, Yang-Tian Sun#, Yu-Kun Lai, Yuewen Ma, Rongfei Jia, Lin Gao*, NeRF-Editing: Geometry editing of neural radiance fields, IEEE CVPR 2022.

[3]Chong Bao and Bangbang Yang, Junyi Zeng, Hujun Bao, Yinda Zhang, Zhaopeng Cui, Guofeng Zhang, Neumesh: Learning disentangled neural mesh-based implicit field for geometry and texture editing, European Conference on Computer Vision (ECCV), 2022.

[4]Kaizhi Yang and Xuejin Chen, Unsupervised learning for cuboid shape abstraction via joint segmentation from point clouds, ACM Transactions on Graphics (TOG), vol. 40, no. 4, pp. 1–11, 2021.

[5]Lin Gao, Ling-Xiao Zhang, Hsien-Yu Meng, Yi-Hui Ren, Yu-Kun Lai, Leif Kobbelt, PRS-Net: Planar reflective symmetry detection net for 3D models, IEEE Transactions on Visualization and Computer Graphics, vol. 27, no. 6, pp. 3007–3018, 2020.

[6] Thomas Müller, Alex Evans, Christoph Schied, Alexander Keller, Instant neural graphics primitives with a multiresolution hash encoding, ACM Transactions on Graphics (TOG), vol. 41, no. 4, pp. 102:1–102:15, 2022.

編輯：黃飛