NVIDIA Instant NeRF贏得SIGGRAPH最佳論文

世界各地的開發(fā)者和創(chuàng)作者下載了來自 NVIDIA Research 的最新代碼，以使用 2D 圖像創(chuàng)建令人驚嘆的 3D 場景。

3D 內(nèi)容創(chuàng)作者紛紛開始使用逆向渲染工具NVIDIA Instant NeRF ，它能夠?qū)㈧o態(tài)圖像變成逼真的 3D 場景。

自今年早些時(shí)候首次發(fā)布以來，全球已有數(shù)萬名開發(fā)者下載了 Instant NeRF 的源代碼，使用它渲染出美輪美奐的場景，并在社交媒體上分享精彩的作品。

Instant NeRF 的學(xué)術(shù)研究于 8 月 8 日至 11 日在溫哥華和線上舉行的 SIGGRAPH 上憑借其對(duì)計(jì)算機(jī)圖形研究的未來發(fā)展所做出的貢獻(xiàn)而被評(píng)為最佳論文，據(jù)悉今年僅有五篇論文入選該獎(jiǎng)項(xiàng)，這篇論文也是 NVIDIA 著作者在本次大會(huì)上發(fā)表的 17 篇論文和研討會(huì)論文之一，這些論文涵蓋了神經(jīng)渲染、3D 模擬、全息技術(shù)等主題。

NVIDIA 最近舉行了一次 Instant NeRF 抽獎(jiǎng)活動(dòng)，開發(fā)者在分享用該軟件創(chuàng)建的 3D 場景后就有機(jī)會(huì)贏得高端 NVIDIA GPU。數(shù)百人參與了這項(xiàng)活動(dòng)，發(fā)布的 3D 場景作品包括巨石陣等地標(biāo)性建筑、自家后院，甚至寵物。

以下是幾位使用 Instant NeRF 的創(chuàng)作者：

鏡花水月：Karen X. Cheng 和 James Perlman

來自舊金山的創(chuàng)意總監(jiān) Karen X. Cheng 與軟件工程師 James Perlman 合作渲染 3D 場景，以測(cè)試 Instant NeRF 的創(chuàng)作極限。

兩人已經(jīng)使用 Instant NeRF 創(chuàng)造了探索鏡中反射（如上圖所示）和處理多人復(fù)雜環(huán)境（比如一群人在餐廳里享用拉面）的場景。

Perlman 表示：“該算法本身就是開創(chuàng)性的。能夠以比普通攝影測(cè)量技術(shù)更高的保真度渲染物理場景已經(jīng)十分令人震驚，更不用說還能以如此高的精度再現(xiàn)照明、色差等其他細(xì)枝末節(jié)。”

Cheng 表示：“它甚至讓錯(cuò)誤看起來都很藝術(shù)。我們太喜歡這一點(diǎn)了，有時(shí)我們會(huì)減少場景的訓(xùn)練次數(shù)，嘗試 1000 次、5000 次或 50000 次迭代。有時(shí)候我更喜歡那些訓(xùn)練次數(shù)少的場景，因?yàn)樗鼈兊倪吘墪?huì)更加柔和，就好像油畫一般?！?/p>

如果使用之前的工具，需要三到四天才能訓(xùn)練出一個(gè)“質(zhì)量不錯(cuò)的場景”。有了 Instant NeRF，他們每天可以完成大約 20 個(gè)場景，他們使用 NVIDIA RTX A6000 GPU 來渲染、訓(xùn)練和預(yù)覽其 3D 場景。

快速渲染帶來更快的迭代速度。

Cheng 表示：“快速渲染對(duì)整個(gè)創(chuàng)作過程非常重要。我們會(huì)一起拍攝 15 或 20 個(gè)不同的版本，整夜運(yùn)行，然后查看哪些版本可行。只有當(dāng)在一天內(nèi)能夠運(yùn)行多個(gè)場景時(shí)，我們發(fā)表的所有作品才能被反復(fù)拍攝?！?/p>

留下瞬間：Hugues Bruyère

蒙特利爾創(chuàng)意工作室 Dpt. 的合伙人兼創(chuàng)新主管 Hugues Bruyère 每天都在使用 Instant NeRF。

他表示：“3D 捕捉對(duì)我來說越來越有吸引力，我可以用它來重構(gòu)和移動(dòng)立體圖形，賦予它們更加豐富的意義。”

Bruyère 使用其之前為傳統(tǒng)攝影測(cè)量所采集的數(shù)據(jù)在 Instant NeRF 中渲染 3D 場景，傳統(tǒng)攝影測(cè)量主要依賴于無反數(shù)碼相機(jī)、智能手機(jī)、360 攝像機(jī)和無人機(jī)拍攝的照片。他還使用 NVIDIA GeForce RTX 3090 GPU 渲染 Instant NeRF 場景。

Bruyère 認(rèn)為 Instant NeRF 可以用來保護(hù)和分享在線圖書館、博物館、虛擬現(xiàn)實(shí)體驗(yàn)和文物保護(hù)項(xiàng)目中的文化藝術(shù)品。

他表示：“隨著相機(jī)和軟件解決方案變得越來越便宜，拍攝本身也走向大眾化。在幾個(gè)月或幾年內(nèi)，人們將能夠捕捉物體、地點(diǎn)、時(shí)刻和記憶，并以可分享和永久保存的形式對(duì)它們進(jìn)行實(shí)時(shí)立體渲染。”

借助智能手機(jī)拍攝的照片，Bruyère 為多倫多皇家安大略博物館展覽中的古代大理石宙斯雕像創(chuàng)建了 Instant NeRF 渲染。

步入遙遠(yuǎn)的場景：Jonathan Stephens

空間計(jì)算公司 EveryPoint 首席布道官 Jonathan Stephens 一直在探索 Instant NeRF 的創(chuàng)作和實(shí)際應(yīng)用。

EveryPoint 重建了堆場、鐵路站場、采石場等 3D 場景來幫助企業(yè)管理資源。通過 Instant NeRF，Stephens 可以更加完整地捕捉場景并讓客戶自由探索場景。他還借助 NVIDIA RTX 3080 GPU 運(yùn)行使用 Instant NeRF 渲染過的場景。

Stephens 表示：“我最喜歡 Instant NeRF 的一點(diǎn)是它讓我能夠迅速知道渲染是否有效。以前，大型攝影測(cè)量集可能要等上幾個(gè)小時(shí)或幾天才能知道結(jié)果。現(xiàn)在我可以測(cè)試出一堆不同的數(shù)據(jù)集并在幾分鐘內(nèi)得到答案?！?/p>

他還嘗試使用智能眼鏡等輕型設(shè)備拍攝的畫面制作 NeRF。Instant NeRF 可以將 Stephens 走在街上拍攝的低分辨率、抖動(dòng)的畫面轉(zhuǎn)換成流暢的 3D 場景。

審核編輯：湯梓紅