NVIDIA Research 在 SIGGRAPH Asia 中展示如何使用生成式 AI 進(jìn)行交互式紋理繪制

在悉尼舉行的 SIGGRAPH Asia Real-Time Live 活動(dòng)中，NVIDIA 研究人員展示了集成在交互式紋理繪制工作流中的生成式 AI，以及其如何支持藝術(shù)家直接在 3D 物體表面繪制復(fù)雜且不重復(fù)的紋理。

該原型展示了 AI 如何像藝術(shù)家手中的畫筆一樣“揮灑自如”，而不是只能依靠高級用戶的指導(dǎo)才能生成完整的結(jié)果。它通過在交互中添加局部細(xì)節(jié)，實(shí)現(xiàn)無限的紋理變化和逼真的過渡。

這只是 NVIDIA 研究項(xiàng)目中的一個(gè)示例，這些系列項(xiàng)目旨在通過開發(fā)具有實(shí)時(shí) AI 推理和直接控制功能的全新迭代工作流，發(fā)揮 AI 的力量來支持創(chuàng)作。在 2023 年 8 月 SIGGRAPH 大會(huì)上的 Real-Time Live 活動(dòng)中，該研究小組還曾展示用于材質(zhì)的生成式 AI。

AI 紋理繪制讓 AI 能夠在交互循環(huán)中進(jìn)一步發(fā)揮作用。比起生成和迭代正方形平鋪物理渲染（PBR）材質(zhì)，然后將其應(yīng)用到 UV 映射的 3D 物體上的處理方式，該項(xiàng)目能夠通過交互式繪制來直接控制紋理的位置、比例和方向。而且，3D 繪畫筆觸的每個(gè)補(bǔ)丁都是由 AI 實(shí)時(shí)生成的。

為施展創(chuàng)造力而定制的 AI

對于用于創(chuàng)作的設(shè)計(jì)工具，對結(jié)果進(jìn)行直接迭代控制至關(guān)重要。將現(xiàn)代基礎(chǔ)圖像 AI 模型集成到繪畫等交互式工作流的挑戰(zhàn)之一，就是 AI 作出的創(chuàng)意不一定符合藝術(shù)家意圖。在某些情況下，這會(huì)導(dǎo)致在編輯 prompt 時(shí)需要十分謹(jǐn)慎，且仍可能出現(xiàn)難以預(yù)測的結(jié)果。

圖 1. 使用以巖石紋理為基礎(chǔ)素材的 AI 畫筆，

以不同大小的畫筆添加蜿蜒曲折的路徑

在這個(gè)界面中，研究人員沒有選擇使用基于文本的界面來顯示或識(shí)別紋理。俗話說“一畫勝千言”，該 AI 畫筆是以目標(biāo)紋理的示例圖像進(jìn)行工作的。

靈感圖像是 3D 設(shè)計(jì)中的一個(gè)常見概念。這些圖像通常只能作為參考，必須經(jīng)過大量處理才能用于 3D 場景中。

此次 SIGGRAPH 上的 AI Material 演示展示了如何將不完美的靈感圖像轉(zhuǎn)換為可平鋪的 PBR 材質(zhì)，從而更加輕松地將現(xiàn)實(shí)世界中的靈感導(dǎo)入 3D 工作流。在這個(gè)新演示中，任何現(xiàn)實(shí)世界紋理的靈感圖像都可以轉(zhuǎn)化成 AI 筆刷，支持藝術(shù)家在 3D 繪畫中使用。不僅是筆觸的形狀，畫筆的大小和紋理方向都可以被控制。

該原型中的 AI 專門用于確保畫筆包含參照物的各種變化，同時(shí)又不過分偏離其特征。這一主干基礎(chǔ) AI 模型還能在不需要任何過渡參照物的情況下，就能實(shí)現(xiàn)不同紋理區(qū)域之間的逼真過渡。例如 AI 可以在原始的草地紋理和巖石路徑之間使用 AI 紋理畫筆進(jìn)行交互繪制，從而實(shí)現(xiàn)逼真的過渡。

圖 2. 通過文本查詢生成的粉色雛菊的畫作

圖 3. 通過文本查詢生成的古老符文紋理的畫作

如果沒有靈感圖像作為畫筆的基礎(chǔ)素材怎么辦？

文本到圖像 AI 可用于生成多個(gè)版本，再由使用者自行選擇想要使用的畫筆，并在該交互式循環(huán)中進(jìn)行直接控制，探索藝術(shù)創(chuàng)作的更多可能性。

NVIDIA 技術(shù)提供助力

該原型使用了多項(xiàng) NVIDIA 技術(shù)。由于速度是交互式界面以及 Real-Time Live 的要求之一，該原型通過 NVIDIA GPU 中的 Tensor Core 進(jìn)行加速推理，使每個(gè)畫筆印章達(dá)到 0.23 - 0.15 秒的推理速度。

該原型作為 NVIDIA Omniverse 擴(kuò)展程序而進(jìn)行開發(fā)。Omniverse 是一個(gè)由 API 和微服務(wù)組成的模塊化開發(fā)平臺(tái)，用于構(gòu)建使用 OpenUSD 和 NVIDIA RTX 的應(yīng)用與服務(wù)，使開發(fā)者能夠創(chuàng)建出包含 AI 的復(fù)雜 3D 工具。

在該原型中，通過集成 NVIDIA Warp 庫的高效光線投射與高效的動(dòng)態(tài)紋理支持，AI 可以直接對渲染對象進(jìn)行快速更新。

該方法的原理是借助用于 3D 深度學(xué)習(xí)的 NVIDIA Kaolin 庫，從而實(shí)現(xiàn)直接在 GPU 上進(jìn)行高效的離屏光柵化和紋理反向投影。

點(diǎn)擊“閱讀原文”或掃描海報(bào)二維碼，鎖定北京時(shí)間 1 月 9 日 (星期二) 凌晨 0 點(diǎn)舉行的線上 NVIDIA CES 2024 特別演講。