借助NVIDIA Research新的AI模型打造虛擬世界

得益于 NVIDIA Research 新的 AI 模型，越來越多的公司和創(chuàng)作者創(chuàng)建的大型虛擬世界可以更輕松地填充一系列多種多樣的 3D 建筑、車輛、人物等內(nèi)容。

NVIDIA GET3D僅使用 2D 圖像進行訓(xùn)練，可生成具有高保真紋理和復(fù)雜幾何細節(jié)的三維圖形。這些 3D 對象的創(chuàng)建格式與熱門圖形軟件應(yīng)用所用的格式相同，允許用戶立即將其形體導(dǎo)入 3D 渲染器和游戲引擎，以便進行后續(xù)編輯。

其所生成的對象可用于建筑、戶外空間或整個城市的 3D 表現(xiàn)，為游戲、機器人開發(fā)、建筑和社交媒體等行業(yè)量身打造。

GET3D 可以根據(jù)受訓(xùn)練時使用的數(shù)據(jù)生成幾乎無限量的三維圖形。就像一位藝術(shù)家將一塊粘土制成精細的雕塑一樣，該模型會將數(shù)字轉(zhuǎn)換為復(fù)雜的三維圖形。

例如，借助 2D 汽車圖像的訓(xùn)練數(shù)據(jù)集，它創(chuàng)建了轎車、卡車、賽車和面包車等系列集。當在動物圖像上訓(xùn)練后，它會生成狐貍、犀牛、馬和熊等生物。如果輸入椅子時，模型會生成各種旋轉(zhuǎn)椅、餐椅和舒適的躺椅。

NVIDIA AI 研究副總裁 Sanja Fidler 負責領(lǐng)導(dǎo)創(chuàng)建此工具的多倫多 AI 實驗室，她表示：“GET3D 讓我們離普及 AI 驅(qū)動的 3D 內(nèi)容創(chuàng)作更近了一步。它能夠即時生成紋理化的三維圖形，這可能會為開發(fā)者帶來顛覆性的變化，有助于他們迅速填充包含各種有趣對象的虛擬世界?！?/p>

在 11 月 26 日至 12 月 4 日于新奧爾良（以及在線）舉辦的 NeurIPS AI 大會上，NVIDIA 有 20 多篇論文、專題研討會， GET3D 就是其中之一。

打造虛擬世界需要多種 AI 類型

現(xiàn)實世界充滿了多樣性：街道上的建筑各有特點，各有不同的車輛則在其間呼嘯而過，川流不息的人群更是異彩紛呈。為反映這一情景的 3D 虛擬世界進行手動建模非常耗時，因此難以填入詳細的數(shù)字環(huán)境。

以前的 3D 生成式 AI 模型，雖然比人工方法更快，但在所能生成的細節(jié)水平上也被限制了。即使是最近的反向渲染方法也只能根據(jù)從多個角度拍攝的 2D 圖像生成 3D 物體，這就需要開發(fā)者一次構(gòu)建一個三維圖形。

相反，在單個 NVIDIA GPU 上運行推理時，GET3D 每秒可生成大約 20 個形體，就像處理 2D 圖像的生成式對抗網(wǎng)絡(luò)一樣，只是生成的是 3D 對象。作為學(xué)習來源的訓(xùn)練數(shù)據(jù)集更大、更多樣化，輸出也會更多樣化，并且更詳細。

NVIDIA 研究人員使用合成數(shù)據(jù)訓(xùn)練 GET3D，數(shù)據(jù)中包含使用不同攝像頭角度拍攝的三維圖形 2D 圖像。該團隊僅用了兩天時間，就使用 NVIDIA A100 Tensor Core GPU，對模型進行了 100 萬張圖像的訓(xùn)練。

讓創(chuàng)作者能夠修改形狀、紋理、材質(zhì)

GET3D 的名稱源于其能夠生成顯式紋理 3D (Generate Explicit Textured 3D) 網(wǎng)格，這意味著它會以三角形網(wǎng)格的形式創(chuàng)建形體并使用紋理材質(zhì)覆蓋，就像 papier-maché 模型一樣。這使得用戶能夠輕松地將對象導(dǎo)入游戲引擎、3D 建模軟件和電影渲染器，并進行編輯。

在創(chuàng)作者將 GET3D 生成的形體導(dǎo)出到圖形應(yīng)用后，當這些物體移動或旋轉(zhuǎn)時，就能使用逼真的照明效果。通過整合 NVIDIA Research 提供的另一種 AI 工具 StyleGAN-NADA，開發(fā)者可以使用文本提示將特定風格添加到圖像中，例如將渲染出的汽車調(diào)整為被燒毀的汽車或出租車，或?qū)⑵胀ǚ课菰O(shè)置成鬼屋。

研究人員指出，未來版本的 GET3D 可以使用攝像頭姿態(tài)預(yù)估技術(shù)，讓開發(fā)者能夠使用真實世界的數(shù)據(jù)（而不是合成數(shù)據(jù)集）來訓(xùn)練模型。還可以對其進行改進以支持通用生成，這意味著開發(fā)者可以一次性訓(xùn)練用于各種三維圖形的 GET3D，而不必每一次在一個對象類別上進行訓(xùn)練。

審核編輯：湯梓紅