神經(jīng)輻射場(chǎng)(NeRF)這一技術(shù)能夠創(chuàng)建人工智能生成的三維環(huán)境和三維物體。但這種新的圖像合成技術(shù)需要大量的訓(xùn)練時(shí)間,并且缺乏實(shí)現(xiàn)實(shí)時(shí)、高度響應(yīng)接口的實(shí)現(xiàn)。然而,企業(yè)和學(xué)術(shù)界之為這一挑戰(zhàn)提供了新的思路——新視圖合成 (NVS)。
近日,一篇題為Neural Lumigraph Rendering的研究論文聲稱,它對(duì)現(xiàn)有的2個(gè)數(shù)量級(jí)圖像進(jìn)行了改進(jìn),展示了通過(guò)機(jī)器學(xué)習(xí)管道實(shí)現(xiàn)實(shí)時(shí) CG 渲染的幾個(gè)步驟。與以前的方法相比,神經(jīng)光圖渲染提供了更好的混合偽像分辨率,并改進(jìn)了遮擋的處理。除了斯坦福大學(xué)(Stanford University)和全息顯示技術(shù)公司 Raxium 的研究人員,這篇論文的貢獻(xiàn)者還包括谷歌首席機(jī)器學(xué)習(xí)架構(gòu)師、 Adobe 的計(jì)算機(jī)科學(xué)家,以及 StoryFile 的首席技術(shù)官。體積捕獲的原理是拍攝主題的靜態(tài)圖像或視頻,并使用機(jī)器學(xué)習(xí)來(lái)「填充」原始文檔未涵蓋的觀點(diǎn)的想法。
上圖取自 Facebook AI 的 2019 AI 研究 ,可以看出體積捕獲的四個(gè)階段:
多個(gè)攝像機(jī)獲取圖像/畫(huà)面;
編碼器/解碼器架構(gòu)(或其他架構(gòu))計(jì)算并連接視圖的相關(guān)性;
射線行進(jìn)算法計(jì)算空間中每個(gè)點(diǎn)的體素(或其他 XYZ 空間幾何單位) ;
訓(xùn)練合成一個(gè)完整的實(shí)體,可以實(shí)時(shí)操作。
到目前為止,正是這種數(shù)據(jù)量大的訓(xùn)練階段使得新視圖合成超出了實(shí)時(shí)或高響應(yīng)捕獲的范疇。事實(shí)上,新視圖合成制作了一個(gè)完整3D地圖的體積空間,意味著它是把這些點(diǎn)縫合到一個(gè)傳統(tǒng)的計(jì)算機(jī)生成的網(wǎng)格,有效地捕捉和連接一個(gè)實(shí)時(shí)CGI 角色。使用 NeRF 的方法依靠點(diǎn)云和深度圖在捕獲設(shè)備的稀疏視點(diǎn)之間生成插值。盡管 NeRF 能夠計(jì)算網(wǎng)格,但大多數(shù)并不使用它來(lái)生成體積場(chǎng)景。相比之下,魏茨曼科學(xué)研究所(Weizmann Institute of Science)在2020年10月發(fā)布的隱式可區(qū)分渲染(IDR)方法,取決于利用從捕獲數(shù)組自動(dòng)生成的3D網(wǎng)格信息。雖然 NeRF 缺乏 IDR 的形狀估計(jì)能力,IDR無(wú)法比擬的nerf的圖像質(zhì)量,而且兩者都需要大量的資源來(lái)訓(xùn)練和整理。NLR的Custom相機(jī)裝置具有16臺(tái)GoPro HERO7和6臺(tái)中央Back-Bone H7PRO相機(jī)。對(duì)于實(shí)時(shí)渲染,它們的最低運(yùn)行速度為60fps。
相反,神經(jīng)光圖渲染利用 SIREN (正弦表示網(wǎng)絡(luò))將每種方法的優(yōu)點(diǎn)整合到它自己的框架中,目的是生成直接可用于現(xiàn)有實(shí)時(shí)圖形管道的輸出。在過(guò)去一年中,SIREN 已被用于類似場(chǎng)景,現(xiàn)在是圖像合成社區(qū)中業(yè)余愛(ài)好者 Colabs 的一個(gè)流行的 API 調(diào)用。然而,NLR 的創(chuàng)新是將 SIREN 應(yīng)用于二維多視圖圖像監(jiān)控。從陣列圖像中提取 CG 網(wǎng)格后,通過(guò) OpenGL 對(duì)網(wǎng)格進(jìn)行柵格化,將網(wǎng)格的頂點(diǎn)位置映射到適當(dāng)?shù)南袼攸c(diǎn),然后計(jì)算各種貢獻(xiàn)圖的融合。結(jié)果得到的網(wǎng)格比 NeRF 的網(wǎng)格更加具有代表性,需要更少的計(jì)算,并且不會(huì)將過(guò)多的細(xì)節(jié)應(yīng)用到不能從中受益的區(qū)域(如光滑的面部皮膚) 。
另一方面,NLR 還沒(méi)有任何動(dòng)態(tài)照明或重點(diǎn)照明的能力,輸出僅限于陰影地圖和其他照明時(shí)獲得的信息。研究人員打算在未來(lái)的工作中解決這個(gè)問(wèn)題。此外,論文承認(rèn)由 NLR 生成的圖形并不像一些替代方法那樣精確,或者前面提到的魏茨曼科學(xué)研究。利用神經(jīng)網(wǎng)絡(luò)從一系列有限的照片中創(chuàng)建3D實(shí)體的想法早于 NeRF,而相關(guān)研究可以追溯到2007年或更早。在2019年,F(xiàn)acebook 的人工智能研究部門(mén)發(fā)表了一篇開(kāi)創(chuàng)性的研究論文Neural volume: Learning Dynamic Renderable volume from Images),該論文首次為基于機(jī)器學(xué)習(xí)的體積捕獲生成的合成人啟用了響應(yīng)界面。
原文標(biāo)題:做出電影級(jí)的 CG 渲染!斯坦福大學(xué)研究人員提出神經(jīng)光圖渲染
文章出處:【微信公眾號(hào):Imagination Tech】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
責(zé)任編輯:haq
-
人工智能
+關(guān)注
關(guān)注
1787文章
46061瀏覽量
234985 -
機(jī)器學(xué)習(xí)
+關(guān)注
關(guān)注
66文章
8306瀏覽量
131841
原文標(biāo)題:做出電影級(jí)的 CG 渲染!斯坦福大學(xué)研究人員提出神經(jīng)光圖渲染
文章出處:【微信號(hào):Imgtec,微信公眾號(hào):Imagination Tech】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論