使用NVIDIA Kaolin Wisp研究神經(jīng)場

研究 神經(jīng)場 近年來，它已成為計(jì)算機(jī)圖形學(xué)和計(jì)算機(jī)視覺領(lǐng)域的一個(gè)日益熱門的話題。通過使用將坐標(biāo)作為輸入并在該位置輸出相應(yīng)數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)，神經(jīng)場可以表示形狀、外觀、運(yùn)動(dòng)和其他物理量等 3D 數(shù)據(jù)。

這些表示已被證明在生成建模和三維重建等各種應(yīng)用中非常有用。 NVIDIA 項(xiàng)目，如： NGLOD， GANcraft， NeRF-Tex， EG3D， Instant-NGP 和 可變比特率神經(jīng)場 ，正在以各種方式推進(jìn)神經(jīng)領(lǐng)域、計(jì)算機(jī)圖形學(xué)和計(jì)算機(jī)視覺領(lǐng)域的最新技術(shù)。

研究挑戰(zhàn)

神經(jīng)領(lǐng)域的研究進(jìn)展迅速，這意味著標(biāo)準(zhǔn)和軟件往往落后。實(shí)現(xiàn)差異可能導(dǎo)致質(zhì)量指標(biāo)和性能的巨大差異。新項(xiàng)目的啟動(dòng)成本可能相當(dāng)高，因?yàn)樯窠?jīng)場的組成部分越來越復(fù)雜。研究小組之間的工作經(jīng)常重復(fù)——例如，創(chuàng)建整個(gè)交互式應(yīng)用程序來可視化神經(jīng)場輸出。

一個(gè)重要的里程碑是： NVIDIA Instant NGP ，由于其能夠以近瞬間速度擬合各種信號，如神經(jīng)輻射場（ NERF ）、符號距離場（ SDF ）和圖像，最近吸引了研究界的廣泛關(guān)注。由于其計(jì)算效率，它開啟了實(shí)際應(yīng)用和研究方向的新前沿。然而，由于高度專業(yè)化和優(yōu)化的代碼很難適應(yīng)和擴(kuò)展，這種計(jì)算效率也可能成為研究的障礙。

NVIDIA Kaolin Wisp

NVIDIA Kaolin Wisp 是一個(gè)快節(jié)奏、面向研究的神經(jīng)領(lǐng)域庫，旨在支持研究人員應(yīng)對日益增長的學(xué)科挑戰(zhàn)。它建在核心之上 Kaolin 庫 功能，包括用于 3D 深度學(xué)習(xí)研究的更通用和穩(wěn)定的組件。

Wisp 的目標(biāo)是為神經(jīng)領(lǐng)域的研究提供一個(gè)共同的核心庫和框架。該庫由可用于創(chuàng)建復(fù)雜神經(jīng)場的模塊化構(gòu)建塊和用于訓(xùn)練和可視化神經(jīng)場的交互式應(yīng)用程序組成。

圖 1. NVIDIA Kaolin Wisp 交互式渲染的屏幕截圖，顯示了正在進(jìn)行的神經(jīng)場優(yōu)化。攝像機(jī)和占用結(jié)構(gòu)的占用狀態(tài)在頂部可視化。右側(cè)的屬性檢查器允許用戶獲取有關(guān)場景的更多信息并對其進(jìn)行操作。

Wisp 沒有提供具體的實(shí)現(xiàn)，而是為神經(jīng)領(lǐng)域提供了構(gòu)建塊。該框架易于擴(kuò)展用于研究目的，由模塊化管道組成，其中每個(gè)管道組件可以輕松互換，為標(biāo)準(zhǔn)培訓(xùn)提供即插即用配置。

Wisp 的目標(biāo)不是提供可用于生產(chǎn)的代碼，而是快速交付新模塊，保持這項(xiàng)技術(shù)的領(lǐng)先地位。它還提供了一組豐富的示例，展示了 Kaolin 核心框架以及［ZHK 七］核心如何用于加速研究。

NVIDIA Kaolin Wisp 功能亮點(diǎn)

Kaolin Wisp 使用基于 Python 的 API ，該 API 基于 PyTorch ，使用戶能夠快速開發(fā)項(xiàng)目。與許多其他基于 PyTorch 的公共項(xiàng)目兼容， Kaolin Wisp 可以輕松地使用基于 PyTorch / CUDA 的構(gòu)建塊進(jìn)行自定義。

雖然 Wisp 旨在提高開發(fā)人員的速度而不是計(jì)算性能，但庫中提供的構(gòu)建塊經(jīng)過優(yōu)化，可以在幾分鐘內(nèi)訓(xùn)練神經(jīng)領(lǐng)域，并以交互方式可視化它們。

Kaolin Wisp 用構(gòu)建塊填充，以混合匹配的方式組成神經(jīng)場管道。值得注意的例子是要素網(wǎng)格，包括：

層次八叉樹：來自 NGLOD 用于學(xué)習(xí)空間細(xì)分樹上的特征。八叉樹還支持光線跟蹤操作，除了 SDF 外，還可以訓(xùn)練基于多視圖圖像的 NGLOD NeRF 變體。

三平面特征：用于 EG3D 和 卷積占用網(wǎng)絡(luò) 學(xué)習(xí)三平面紋理貼圖上的體積特征的論文。三平面還支持多分辨率金字塔結(jié)構(gòu)中的多細(xì)節(jié)層次（ LOD ）。

代碼本：來自 可變二元神經(jīng)場 ，學(xué)習(xí)具有可微可學(xué)習(xí)密鑰的壓縮特征碼本。

哈希網(wǎng)格：來自 即時(shí) NGP 用于學(xué)習(xí)具有高性能內(nèi)存訪問的緊湊緩存友好特征碼本的論文。

圖 3. NVIDIA Kaolin Wisp 架構(gòu)和構(gòu)建塊

NVIDIA Kaolin Wisp 與支持神經(jīng)基元管道靈活渲染的交互式渲染器配對，如 NeRF 和神經(jīng) SDF 的變體。它允許集成新的表示。

OpenGL 風(fēng)格的光柵化原語可以與神經(jīng)表示混合并匹配，以添加更多數(shù)據(jù)層的可視化，如相機(jī)和占用結(jié)構(gòu)。通過在 GUI 上支持可與培訓(xùn)和渲染交互的自定義小部件，它還允許輕松構(gòu)建可定制的應(yīng)用程序。

其他有用的功能包括屬性查看器、優(yōu)化控件、自定義輸出渲染緩沖區(qū)和允許輕松操縱場景攝影機(jī)的攝影機(jī)對象。

關(guān)于作者

Nathan Horrocks 是 NVIDIA Research 的內(nèi)容營銷經(jīng)理。他重點(diǎn)強(qiáng)調(diào)了 NVIDIA 實(shí)驗(yàn)室在世界各地進(jìn)行的驚人研究。

審核編輯：郭婷