基于NeRF的三維場景重建和理解

如果從方法出發(fā)的話，兩張圖就能看懂：

圖 1

圖 2 上面是 NeRF 的網(wǎng)絡(luò)結(jié)構(gòu)，下面是 Semantic-NeRF 的網(wǎng)絡(luò)結(jié)構(gòu)，就是在 NeRF 的網(wǎng)絡(luò)中加了一個分支，輸出到語義。和 NeRF 一樣，Semantic-NeRF 能夠連續(xù)的表達(dá)空間信息，因此你可以看到 Semantic-NeRF 主頁里的各種酷炫的 demo. 這是 ICCV 2021 的 oral 工作。 如果有留意上一講的講座，從 Semantic-NeRF 的demo中你應(yīng)該能推測出，這應(yīng)該是第四種拍攝方式：

圖 3 這種拍攝方式在SLAM或者SFM中更多見，而傳統(tǒng)三維重建或者RGBD重建是很難做出 NeRF 或者 Semantic-NeRF 這種效果的。所以方法可能很簡單，但是這個工作很有意義。 應(yīng)用的話，大家可以參考視頻。

Semantic-NeRF應(yīng)用

稀疏監(jiān)督下的新視角語義生成(Semantic View Synthesis with Sparse Labels

語義標(biāo)簽去噪(LabelDenoising

語義標(biāo)簽超分辨(Super-Resolution)

稀疏語義標(biāo)簽傳播(LabelPropagation)

多視角語義融合(Multi-view Semantic Fusion)

稠密的語義三維重建

在這篇工作之后智博又做了 iLabel 的工作，將 imap 和 semantic-NeRF 結(jié)合，這里我們就不細(xì)講了，感興趣的同學(xué)歡迎去看原文。 需要提到的另一篇工作是 NeSF 這篇文章。 智博在講解 NeSF 的時候提到，訓(xùn)練的sample是場景，而不是圖片，這是對這篇文章的一個高度概況。NeSF 首先會訓(xùn)練許多場景，比如100個場景，那我們就會得到100個 NeRF 的模型，我們對這 100 個 NeRF 的模型做 Grid query，從而獲取一個 Density Grid，其實(shí)就是一堆規(guī)則的點(diǎn)，可以使用 3D 卷積，從而轉(zhuǎn)換為 Feature Grid. 對 Feature Grid 做 volume rendering 就能渲染出各個視角的語義圖像了。下面是 NeSF 的流程圖。

圖 4 NeSF流程圖 NeSF 的泛化性從 demo 來看還是不錯的，但是這樣的工作顯然不是我們可以玩的 (訓(xùn)練 100 個 NeRF)， 你幾乎不用猜都知道是哪里出的工作。 這也就引出了 NeRF 的許多痛點(diǎn)，印象里第四講嘉賓在講 NeRF in the wild 和 Ha-NeRF 的時候說，每次實(shí)驗(yàn)要 4 張V100 跑2天。因此不論是推理還是訓(xùn)練，加速工作都顯得尤為重要，對語義 NeRF 相關(guān)的工作更是如此，因?yàn)槟壳暗募铀俟ぷ鞔蠖純A向于擺脫神經(jīng)網(wǎng)絡(luò)。 動態(tài)場景的 NeRF 也有一些工作，但是是否一樣能像 Semantic NeRF 一樣，很輕松地 work 呢？其實(shí)能引發(fā)的問題還是挺多的。 評估一項(xiàng)工作的 novelty 的其中一項(xiàng)指標(biāo)就是看這篇工作挖了多少坑，能啟發(fā)多少后續(xù)工作，Semantic NeRF 就是這樣的一篇工作。如果你看懂這個系列的工作，推薦大家立刻去看 panoptic NeRF 相關(guān)的工作。

審核編輯 ：李倩