大家好，今天要介紹的是AAAI 2024關(guān)于不良光照下NeRF新視角合成的工作Aleth-NeRF，目的在不良光照?qǐng)鼍跋拢ㄈ绲凸庹蘸瓦^曝光）場(chǎng)景，能夠從NeRF無(wú)監(jiān)督增強(qiáng)并且生成正常光照的連貫3D scene。我們提出的方法可以對(duì)現(xiàn)有NeRF進(jìn)行簡(jiǎn)單改進(jìn)，通過引入一個(gè)Concealing Field的概念，僅用幾行代碼就可以使得現(xiàn)有的NeRF在低光照或者過曝光的情況下，進(jìn)行Novel View Synthesis重建，并且實(shí)現(xiàn)無(wú)監(jiān)督的低光增強(qiáng)和曝光糾正。

1. 方法概述：

本文提出了Aleth-NeRF模型來完成無(wú)監(jiān)督低光照增強(qiáng)&過曝糾正和Novel View Synthesis。傳統(tǒng)NeRF [1]是以觀察者視角出發(fā)，通過設(shè)定當(dāng)前位置光通量的多少來定義物體，缺乏對(duì)于光照和物體的結(jié)構(gòu)，無(wú)法解釋光照變換對(duì)場(chǎng)景的影響 [2]，所以NeRF無(wú)法應(yīng)用于低光照和過度曝光時(shí)候的重建。非常有趣的是古希臘人也秉持著與NeRF非常接近的世界觀，古希臘人認(rèn)為人的眼睛有一道視線，人們看到物體是來源于視線的累積，看不見物體是因?yàn)榭諝庵写嬖谡趽?。受到古希臘視覺觀點(diǎn)的啟發(fā)，我們認(rèn)為在黑夜看不見物體是因?yàn)榭諝庵写嬖谡趽跷镫[蔽場(chǎng)(Concealing Field)，女神Aletheia象征著真實(shí)/不隱蔽，在希臘語(yǔ)里意為“真相”，這也是Aleth-NeRF名字的由來。因此我們通過對(duì)NeRF框架做最小改動(dòng)，在NeRF模型中引入了隱蔽場(chǎng)的概念，可以用來有效的解釋光照變換，在實(shí)際實(shí)現(xiàn)中只需要加入幾行代碼，不需要復(fù)雜的光照解構(gòu)，就可以使得各種NeRF框架擁有同時(shí)處理低光和過曝光的能力，分為兩組隱蔽場(chǎng)(voxel-wise的局部隱蔽場(chǎng)，以及global-wise的全局隱蔽場(chǎng))。低光場(chǎng)景下的訓(xùn)練如上圖(c)所示，訓(xùn)練階段隱蔽場(chǎng)會(huì)加入到NeRF的volume rendering中參與訓(xùn)練低光照?qǐng)鼍?，在測(cè)試階段隱蔽場(chǎng)將會(huì)被拿開rendering出正常光照?qǐng)鼍啊＿^曝光場(chǎng)景下的訓(xùn)練如上圖(d)所示，訓(xùn)練階段正常，然而測(cè)試階段隱蔽場(chǎng)將會(huì)被加上用來rendering出正常光照?qǐng)鼍?。?duì)于以上兩種場(chǎng)景，我們都會(huì)在訓(xùn)練階段給NeRF網(wǎng)絡(luò)以及隱蔽場(chǎng)加入無(wú)監(jiān)督損失函數(shù)來控制隱蔽場(chǎng)的生成。

2. 模型架構(gòu)：

模型的大概結(jié)構(gòu)圖如下所示：

以最經(jīng)典的原始NeRF為例，局部隱蔽場(chǎng)通過NeRF的MLP網(wǎng)絡(luò)產(chǎn)生，與原始NeRF的兩個(gè)輸出color和density相同，屬于voxel-wise，全局隱蔽場(chǎng)則是一組可學(xué)習(xí)的網(wǎng)絡(luò)參數(shù)，在每個(gè)場(chǎng)景下固定，屬于global-wise，兩組隱蔽場(chǎng)共同加入Volume Rendering中來衰退原有NeRF的Volume Rendering，通過Concealing Field的引入，Volume Rendering中的每個(gè)粒子受到前面粒子的遮蔽作用加強(qiáng)，我們通過Concealing Field這一假設(shè)來模擬黑暗的產(chǎn)生。與此同時(shí)，訓(xùn)練階段我們也通過添加各種無(wú)監(jiān)督損失函數(shù)來約束Concealing Field的生成，幫助我們更好的增強(qiáng)和修復(fù)不良光照?qǐng)鼍?。低光?chǎng)景的訓(xùn)練階段會(huì)采用引入Concealing Field的Volume Rendering公式，在測(cè)試階段采用去掉Concealing Field的原有Volume Rendering公式，過曝場(chǎng)景則與之相反。

經(jīng)過我們的實(shí)驗(yàn)發(fā)現(xiàn)， Concealing Field的生成范圍和Volume Rendering中粒子Density的范圍呈反比例關(guān)系，這意味著訓(xùn)練過程中Concealing Field更傾向于出現(xiàn)在沒有物體的地方，與我們對(duì)Concealing Field存在空氣中的假想一致。

3. 損失函數(shù)

為了保障Aleth-NeRF的無(wú)監(jiān)督增強(qiáng)/過曝糾正，我們額外引入了幾個(gè)損失函數(shù)來約束Concealing Fields的生成，首先我們把NeRF原有的MSE損失函數(shù)L_mse變換為L(zhǎng)_it-mse，即在計(jì)算MSE損失之前先把圖像過一個(gè)反向Tone曲線，因?yàn)樵糓SE損失中黑暗像素往往權(quán)重過小而過曝像素往往權(quán)重較大，因此先加一個(gè)反向Tone曲線可以某種程度上做一下平衡。剩余的是三個(gè)無(wú)監(jiān)督損失函數(shù)，其中包括控制總體亮度范圍(Enhance Degree)的損失函數(shù)L_de和控制對(duì)比度(Contrast Degree)的損失函數(shù)L_co，以及一個(gè)Color Constancy損失函數(shù)L_cc。通過調(diào)整控制總體亮度損失函數(shù)L_de和控制對(duì)比度損失函數(shù)L_co的超參數(shù)，也可以實(shí)現(xiàn)不同程度的增強(qiáng)。

4. 數(shù)據(jù)集：

關(guān)于數(shù)據(jù)集方面，我們提出了一個(gè)成對(duì)的低光照/過曝光/正常光照的multi-view數(shù)據(jù)集(LOM數(shù)據(jù)集)，以便大家進(jìn)行后續(xù)研究，低光照和過曝光的圖像用于訓(xùn)練模型，正常光照的圖像用于Novel View Synthesis的驗(yàn)證，相比于2D圖像增強(qiáng)以及視頻增強(qiáng)，這一任務(wù)更具挑戰(zhàn)性，因?yàn)樾枰趫D像增強(qiáng)的同時(shí)來確保生成圖像的multi-view一致性，數(shù)據(jù)集圖片如下，我們通過相機(jī)采集了五個(gè)真實(shí)世界的場(chǎng)景 (buu, chair, sofa, bike, shrub)，每個(gè)場(chǎng)景都包含有25～65張multi-view圖像，每個(gè)圖像都有三組不同曝光條件(低光照/過曝光/正常光照)。值得一提的是，此前谷歌的RAW-NeRF [3]也提供了一些真實(shí)世界的multi-view低光圖片，但是RAW-NeRF關(guān)注的更多是將ISP與NeRF渲染結(jié)合，利用RAW圖像的廣闊色域和比特?cái)?shù)優(yōu)勢(shì)來進(jìn)行渲染，而并不是RGB圖像增強(qiáng)，因此RAW-NeRF也沒有對(duì)應(yīng)正常光照RGB的ground truth。我們提供的LOM數(shù)據(jù)集可以從網(wǎng)站或Github上下載，概覽如下圖示：

5. 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)方面，我們把原始的NeRF模型作為baseline，除此之外我們?cè)倥c現(xiàn)有的2D圖像/視頻增強(qiáng)方法進(jìn)行了對(duì)比，與增強(qiáng)方法進(jìn)行對(duì)比時(shí)，我們?cè)O(shè)計(jì)了兩種方式，(1). 第一種是用先在低光/過曝圖像上訓(xùn)練NeRF然后在novel view synthesis階段把2D增強(qiáng)方法用作后處理，(2). 第二種是先用2D圖像/視頻增強(qiáng)方法來預(yù)處理數(shù)據(jù)集，然后在這些增強(qiáng)后的數(shù)據(jù)上訓(xùn)練NeRF。通過實(shí)驗(yàn)我們發(fā)現(xiàn)，方式(1)的缺陷在于低質(zhì)量圖像上訓(xùn)練的NeRF本身不夠可靠，導(dǎo)致后處理增強(qiáng)后的結(jié)果也往往不盡如人意，容易出現(xiàn)低分辨率和模糊的情況，方式(2)的缺陷在于2D圖像/視頻增強(qiáng)方法往往不能保證3D multi-view的一致性，因此在不一致圖像上訓(xùn)練的NeRF也會(huì)存在問題。總的來說，Aleth-NeRF這種end-to-end的方法能夠在最終的平均指標(biāo)上取得最優(yōu)效果，在3D的可視化中也能保持多視角的consistency，表格與實(shí)驗(yàn)結(jié)果圖如下。：

6. 缺陷和展望：

雖然Aleth-NeRF在低光和過曝場(chǎng)景實(shí)現(xiàn)了較好的無(wú)監(jiān)督恢復(fù)，但是只是這一任務(wù)的初步探索，比如NeRF本身自帶的缺陷如訓(xùn)練慢和場(chǎng)景無(wú)法泛化等，以及Aleth-NeRF還是無(wú)法解決一些非均勻光照?qǐng)鼍芭c陰影場(chǎng)景等，還有在一些場(chǎng)景中，Aleth-NeRF復(fù)原的圖像色彩存在偏差，有些過曝場(chǎng)景的恢復(fù)會(huì)丟失色彩等等。收到古希臘視覺理論，Aleth-NeRF提出了Concealing Fields概念，用一種簡(jiǎn)單直觀的方式來建模黑暗，我們認(rèn)為也許其他不同的黑暗建模方式也能夠取到很好的效果，更有效的低光照建模也許能夠克服Aleth-NeRF的不足。