SIGGRAPH 2023 | 全新專業(yè)顯卡、AI 工具、Omniverse 和 OpenUSD 協(xié)作功能強(qiáng)效助力內(nèi)容創(chuàng)作

特邀藝術(shù)家 Andrew Averkin 在本周分享作品《Natural Coffee》，讓各位不由自主地想來(lái)上一杯 “天然咖啡”。

在全球規(guī)模最大且薈萃各地計(jì)算機(jī)圖形專家的 SIGGRAPH 盛會(huì)上，AI 和加速計(jì)算已成為關(guān)注焦點(diǎn)，值此之際，NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛在其主題演講中宣布推出 NVIDIA Omniverse 全新更新。NVIDIA Omniverse 是一個(gè)用于構(gòu)建和連接 3D 工具和應(yīng)用的平臺(tái)，還能為可擴(kuò)展的開放式 3D 世界生態(tài)系統(tǒng)通用場(chǎng)景描述（亦稱 OpenUSD）提供加速。 此前不久，NVIDIA 宣布與 Pixar、Adobe、Apple 和 Autodesk 成立 Alliance for OpenUSD。這一舉措可確保各種 3D 工具和內(nèi)容能在各行各業(yè)的數(shù)字化進(jìn)程中相互兼容，標(biāo)志著我們朝著開啟 3D 圖形、設(shè)計(jì)和仿真新時(shí)代的方向邁進(jìn)了一大步。 NVIDIA 推出了三款適用于臺(tái)式工作站的全新 Ada Generation GPU，這些 GPU 分別為 NVIDIA RTX 5000、RTX 4500和 RTX 4000，可為全球?qū)I(yè)人員提供最新的 AI、圖形和實(shí)時(shí)渲染技術(shù)。 Shutterstock 正在利用 NVIDIA Picasso 訓(xùn)練的基礎(chǔ)模型，將生成式 AI 引入 3D 場(chǎng)景的背景中。NVIDIA Picasso 是一個(gè)云上的服務(wù)，負(fù)責(zé)構(gòu)建視覺生成式 AI 模型。經(jīng) Picasso 訓(xùn)練的模型現(xiàn)可生成逼真的 8K 360 度全景高動(dòng)態(tài)范圍成像 (HDRi) 環(huán)境貼圖，這有助于加快場(chǎng)景的開發(fā)速度。Autodesk 也將使用 Picasso 的基礎(chǔ)模型開發(fā)生成式 AI 內(nèi)容創(chuàng)作服務(wù)，并將其集成到熱門的 Autodesk Maya 軟件中。 每月發(fā)布的 NVIDIA Studio 驅(qū)動(dòng)為使用創(chuàng)意應(yīng)用的藝術(shù)家、創(chuàng)作者和 3D 開發(fā)者提供出色性能和可靠性。8 月版 NVIDIA Studio 驅(qū)動(dòng)現(xiàn)已推出，可在創(chuàng)作者使用常用的創(chuàng)意應(yīng)用時(shí)，為其帶來(lái)卓越的可靠性。此版本包括對(duì) Omniverse、XSplit Broadcaster 和 Reallusion iClone 更新的支持。 此外，本周《NVIDIA Studio 創(chuàng)意加速》 欄目的特邀藝術(shù)家 Andrew Averkin 將展示令人賞心悅目的作品 《Natural Coffee》，并分享 AI 如何在他創(chuàng)作期間帶來(lái)深遠(yuǎn)影響。 Omniverse 擴(kuò)展 Omniverse 平臺(tái)得到重大升級(jí)，引入了全新連接器并實(shí)現(xiàn)最新進(jìn)展。 這些更新展示于 Omniverse 基礎(chǔ)應(yīng)用中，這些基礎(chǔ)應(yīng)用是完全可定制的參考應(yīng)用，可供創(chuàng)作者、企業(yè)和開發(fā)者復(fù)制、擴(kuò)展或增強(qiáng)。 升級(jí)版 Omniverse 應(yīng)用包含 Omniverse USD Composer，后者可助力 3D 用戶組裝基于 OpenUSD 的大型場(chǎng)景。Omniverse Audio2Face 可提供生成式 AI 應(yīng)用編程接口，僅憑一個(gè)音頻文件即可生成逼真的面部動(dòng)畫和手勢(shì)，這款應(yīng)用現(xiàn)可支持多種語(yǔ)言，并引入了全新女性基礎(chǔ)模型。 此次更新可提高效率并改善用戶體驗(yàn)。針對(duì)渲染的全新優(yōu)化能夠充分利用 NVIDIA RTX GPU 中 NVIDIA Ada Lovelace 架構(gòu)的增強(qiáng)功能，以及完全集成至 Omniverse RTX 渲染器的 DLSS 3 技術(shù)。此外，全新 AI 降噪器可實(shí)現(xiàn)針對(duì)大規(guī)模工業(yè)場(chǎng)景的實(shí)時(shí) 4K 路徑追蹤。 全新應(yīng)用和體驗(yàn)?zāi)０遄寗側(cè)腴T OpenUSD 和 Omniverse 的開發(fā)者只需少量編碼，即可取得重要的前期優(yōu)勢(shì)。 全新的 Omniverse Kit 擴(kuò)展程序注冊(cè)服務(wù)器是用于訪問、共享和管理 Omniverse 擴(kuò)展程序的中央存儲(chǔ)庫(kù)，可助開發(fā)者在其應(yīng)用中輕松啟用和關(guān)閉功能，讓他們能夠比以往更輕松地利用 NVIDIA 提供的 500 多個(gè)核心 Omniverse 擴(kuò)展程序構(gòu)建自定義應(yīng)用。 全新的擴(kuò)展現(xiàn)實(shí)開發(fā)者工具可讓用戶在基于 Omniverse 的應(yīng)用中以原生方式構(gòu)建空間計(jì)算選項(xiàng)，從而幫助用戶以自己喜歡的方式靈活體驗(yàn) 3D 項(xiàng)目和虛擬世界。 為了擴(kuò)大在 Adobe Substance 3D、生成式 AI 和 OpenUSD 計(jì)劃方面的合作，Adobe 和 NVIDIA 宣布相關(guān)方案，旨在以 API 的形式在 Omniverse 中推出 Adobe Firefly（Adobe 的創(chuàng)意生成式 AI 模型系列），幫助開發(fā)者和創(chuàng)作者增強(qiáng)其設(shè)計(jì)流程。 開發(fā)者和企業(yè)現(xiàn)可使用全新基礎(chǔ)應(yīng)用和服務(wù)，以便通過 OpenUSD 框架和生成式 AI 優(yōu)化和增強(qiáng) 3D 工作流。 專業(yè)設(shè)計(jì)人員可將各種生成式 AI 與其工作流相連接，從而加速整個(gè)項(xiàng)目的各個(gè)環(huán)節(jié)，例如環(huán)境創(chuàng)作、角色動(dòng)畫制作和場(chǎng)景設(shè)置等。借助 Kit AI 智能體、OpenUSD 連接器和用于增強(qiáng)高級(jí)生成式 AI 工具和 API 的擴(kuò)展程序，Omniverse 可以將最終成果整合到同一視窗中，從而縮短將創(chuàng)意由概念轉(zhuǎn)變?yōu)樗囆g(shù)作品所需的總時(shí)間。 全新一代 RTX 全新 NVIDIA RTX 5000、RTX 4500和 RTX 4000專業(yè)臺(tái)式電腦 GPU 采用包括 DLSS 3 在內(nèi)的最新 NVIDIA Ada Lovelace 架構(gòu)技術(shù)，可在虛幻引擎等 3D 應(yīng)用中實(shí)現(xiàn)更流暢的渲染和實(shí)時(shí)交互。 這些工作站級(jí)別的 GPU 采用第三代 RT Core，其吞吐量高達(dá)上一代的 2 倍。這使得用戶能夠?qū)崟r(shí)處理更大且保真度更高的圖像。這樣一來(lái)，藝術(shù)家和設(shè)計(jì)師便能維持順暢的創(chuàng)意工作流。 在 AI 訓(xùn)練和開發(fā)、推理和應(yīng)對(duì)生成式 AI 工作負(fù)載方面，第四代 Tensor Core 可提供高達(dá)上一代 2 倍的 AI 性能。?憑借生成式 AI 助力的最新工具和應(yīng)用，大容量 GPU 顯存可實(shí)現(xiàn) AI 增強(qiáng)的多應(yīng)用工作流。 Ada GPU 架構(gòu)可為這些全新 GPU 帶來(lái)高達(dá)上一代 2 倍的視頻編碼和解碼能力，還可提供對(duì) AV1 編碼和解碼的支持。這些功能與新一代 AI 性能相結(jié)合，可借助AI 增強(qiáng)型視頻編輯應(yīng)用（如 Adobe Premiere 和 DaVinci Resolve）使全新的專業(yè) GPU 成為用于處理高分辨率、多視頻流編輯工作的理想之選。 這些全新 GPU 專為需要使用大型模型和數(shù)據(jù)集的高端創(chuàng)意多應(yīng)用專業(yè)工作流而設(shè)計(jì)，可提供大容量 GDDR6 顯存（RTX 4000 具有 20GB，RTX 4500 具有 24GB，RTX 5000 具有 32GB），且均支持糾錯(cuò)碼，能實(shí)現(xiàn)無(wú)錯(cuò)誤計(jì)算。 與時(shí)俱進(jìn)的 NVIDIA Picasso 3D 藝術(shù)家常常要面臨一項(xiàng)艱巨的任務(wù)，即以藝術(shù)方式將主要素材與道具、材質(zhì)、背景和照明組合在一起，使場(chǎng)景栩栩如生。生成式 AI 技術(shù)可通過生成場(chǎng)景背景等次級(jí)素材來(lái)幫助簡(jiǎn)化此工作流。 在 SIGGRAPH 大會(huì)上，Shutterstock 宣布他們將利用 NVIDIA Picasso 訓(xùn)練一個(gè)生成式 AI 模型，該模型可以創(chuàng)建逼真的 360 度全景 HDRi 環(huán)境貼圖。該模型依托于 Shutterstock 責(zé)任授權(quán)的資源庫(kù)而構(gòu)建。 Shutterstock 使用 NVIDIA Picasso創(chuàng)建 360 HDRi 逼真的環(huán)境地圖 藝術(shù)家以往需要使用昂貴的 360 度全景攝像頭從頭開始創(chuàng)作背景圖并創(chuàng)建環(huán)境貼圖，或者從可能無(wú)法與其 3D 場(chǎng)景精準(zhǔn)匹配的固定選項(xiàng)中進(jìn)行選擇。如今，藝術(shù)家只需提供簡(jiǎn)單的提示或使用他們想要的背景作為參考，Shutterstock 的生成式 AI 功能就可以快速生成擁有 8K 分辨率的 360 度全景自定義 HDRi 環(huán)境貼圖。然后，他們便可使用這些環(huán)境貼圖來(lái)設(shè)置背景和為場(chǎng)景提供環(huán)境光照。這讓他們有更多時(shí)間處理主要 3D 素材，這些素材是觀眾在整個(gè) 3D 場(chǎng)景中關(guān)注的焦點(diǎn)。 Autodesk 還宣布，他們將使用 Picasso 中的基礎(chǔ)模型開發(fā)生成式 AI 內(nèi)容創(chuàng)作服務(wù)，并將其集成至熱門 3D 軟件 Autodesk Maya 中。 使用 Picasso 中的基礎(chǔ)模型開發(fā)的Autodesk Maya 生成式 AI 內(nèi)容創(chuàng)作服務(wù) 8月版Studio驅(qū)動(dòng)現(xiàn)已推出 8 月版 Studio 驅(qū)動(dòng)可支持上述更新，并提供更多精彩內(nèi)容，包括最新版 XSplit Broadcaster，這是一款熱門直播軟件，可讓用戶將內(nèi)容同時(shí)串流傳輸?shù)蕉鄠€(gè)平臺(tái)。 XSplit Broadcaster 4.5 引入了 NVIDIA 硬件編碼器 (NVENC) 的 AV1 支持。GeForce 和 NVIDIA RTX 40 系列 GPU 的用戶現(xiàn)可大幅提升其視頻質(zhì)量，直接以 60 幀率的 4K 高畫質(zhì)在 YouTube Live 上直播。 XSplit Broadcaster 4.5添加了對(duì) YouTube 的 AV1 直播支持 借助 RTX GPU 以 AV1 格式進(jìn)行串流的效率比采用 H.264 格式的效率高 40%，同時(shí)，前者還可以降低直播的帶寬需求，或者縮減高質(zhì)量本地錄制內(nèi)容的文件大小。

H.264 與AV1 的編碼效果對(duì)比：以 8 Mbps 的速率對(duì) 60 幀率的 4K 源文件進(jìn)行編碼

Reallusion iClone Omniverse 連接器的更新包含一些新功能，例如項(xiàng)目的實(shí)時(shí)同步功能，以及針對(duì) OpenUSD 格式的增強(qiáng)型導(dǎo)入功能。這讓藝術(shù)家能夠更快速、更流暢、更高效地使用 iClone 和 Omniverse 開展工作。

精美絕倫的咖啡主題藝術(shù)作品 3D 場(chǎng)景《Natural Coffee》美到令人無(wú)法用言語(yǔ)來(lái)形容，讓人想來(lái)上一杯醇香濃厚的濃縮咖啡。

NVIDIA 藝術(shù)家 Andrew Averkin 已投身創(chuàng)意領(lǐng)域 15 余載，擁有豐富的創(chuàng)作經(jīng)驗(yàn)。通過結(jié)合藝術(shù)與技術(shù)，他將自己生動(dòng)豐富的想象力轉(zhuǎn)化為藝術(shù)作品，這種持續(xù)不斷的創(chuàng)作之旅讓他樂在其中。

作品《Natural Coffee》的背景故事引人入勝。從前，一個(gè)喧囂忙亂的辦公室里有一杯“天然咖啡”，它因其傳奇的力量而聞名?！疤烊豢Х取辟x予工作中的藝術(shù)家意志和勇氣，全面提升工作表現(xiàn)，同時(shí)作為一項(xiàng)額外的小福利，還能結(jié)合音樂給人帶來(lái)神奇的療愈之感。

Averkin 在 Midjourney 中輸入簡(jiǎn)單的文本提示，使其快速生成高質(zhì)量視覺創(chuàng)意圖像。在創(chuàng)意工作流初期，使用 AI 生成的圖像來(lái)集思廣益正逐漸成為整個(gè)行業(yè)的主流做法。

Averkin 不斷重復(fù)此過程來(lái)汲取靈感 對(duì)視覺創(chuàng)意有了基本構(gòu)想后，Averkin 使用從在線商店中獲得的 3D 素材快速構(gòu)建了場(chǎng)景的 3D 草圖，從而加快了整個(gè)創(chuàng)作流程，這種草圖由毫無(wú)細(xì)節(jié)或細(xì)節(jié)粗糙的簡(jiǎn)單 3D 形狀堆砌而成。 接下來(lái)，Averkin 在 Autodesk 3ds Max 中對(duì)各種素材進(jìn)行打磨，從而雕琢出細(xì)節(jié)精美的模型，然后在模型上測(cè)試和應(yīng)用不同的紋理和材質(zhì)。他的 GeForce RTX 4090 GPU 可為系統(tǒng)默認(rèn)使用的 Autodesk Arnold 渲染器解鎖 RTX 加速的 AI 降噪功能，進(jìn)而實(shí)現(xiàn)交互式 3D 建模，這能為場(chǎng)景合成提供巨大幫助。

Averkin 使用 Autodesk 3ds Max 工作

Averkin 表示：“我是奔著 GeForce RTX 顯卡的品質(zhì)、速度和安全性選了它，理由就這么簡(jiǎn)單。”

接下來(lái)，Averkin 通過 Autodesk 3ds Max 連接器將 《Natural Coffee》導(dǎo)出到 NVIDIA Omniverse USD Composer 應(yīng)用中。他解釋道：“在 USD Composer 中，我添加了更多細(xì)節(jié)，使用各類內(nèi)置材質(zhì)進(jìn)行多次調(diào)整，還展開了大量照明布置工作，讓作品看起來(lái)更加逼真?！?/span>

在 Omniverse USD Composer 中進(jìn)行實(shí)時(shí)渲染

用戶在使用 USD Composer 渲染場(chǎng)景中逼真的光線、陰影和紋理等元素時(shí)，可以實(shí)時(shí)查看場(chǎng)景的整體效果，這是該應(yīng)用的一個(gè)最大優(yōu)勢(shì)。這顯著改善了大型 3D 場(chǎng)景的編輯過程，使其變得更快速、更輕松。Averkin 甚至還能添加動(dòng)畫，讓鏡頭處于不斷移動(dòng)的狀態(tài)，從而進(jìn)一步升華場(chǎng)景效果。

最后一步是在 Adobe Photoshop 中對(duì)作品略加修飾。超過 30 種 GPU 加速功能可為 Averkin 提供大量選擇，以便他校正顏色和對(duì)比度，并快速流暢地對(duì)最終圖像進(jìn)行調(diào)整。

Averkin 鼓勵(lì)資深 3D 藝術(shù)家嘗試使用 OpenUSD 框架。他表示：“我在 NVIDIA 的工作和個(gè)人項(xiàng)目中經(jīng)常使用 OpenUSD 框架，這個(gè)框架非常強(qiáng)大，能夠以非破壞性方式為多個(gè)創(chuàng)意應(yīng)用中的工作提供幫助，它的其他出色功能可以使整個(gè)工作流變得更輕松靈活。”

NVIDIA 藝術(shù)家 Andrew Averkin

SIGGRAPH 2023

NVIDIA 精彩發(fā)布

【1】SIGGRAPH 主題演講：NVIDIA 首席執(zhí)行官帶來(lái)生成式 AI 多項(xiàng)創(chuàng)新 【2】SIGGRAPH 2023 | NVIDIA 發(fā)布新一代 GH200 Grace Hopper 超級(jí)芯片平臺(tái) SIGGRAPH 2023 | NVIDIA 發(fā)布支持生成式 AI 與 OpenUSD 的重大 Omniverse 升級(jí) SIGGRAPH 2023 | NVIDIA Omniverse 開啟通往 OpenUSD 廣闊天地的大門 SIGGRAPH 2023 | NVIDIA 與全球數(shù)據(jù)中心系統(tǒng)制造商大力推動(dòng) AI 與工業(yè)數(shù)字化的發(fā)展 SIGGRAPH 2023 | NVIDIA 與全球工作站廠商共同推出用于生成式 AI、LLM 開發(fā)、內(nèi)容創(chuàng)作和數(shù)據(jù)科學(xué)的系統(tǒng) SIGGRAPH 2023 | NVIDIA AI Workbench 助力全球企業(yè)加速采用自定義生成式 AI SIGGRAPH 2023 | NVIDIA 與 Hugging Face 將連接數(shù)百萬(wàn)開發(fā)者與生成式 AI 超級(jí)計(jì)算

更多精彩，仍在繼續(xù)...

敬請(qǐng)持續(xù)關(guān)注

點(diǎn)擊“閱讀原文”，或掃描下方海報(bào)二維碼，觀看 NVIDIA 創(chuàng)始人兼 CEO 黃仁勛在 SIGGRAPH 現(xiàn)場(chǎng)發(fā)表的 NVIDIA 主題演講回放，了解 NVIDIA 的新技術(shù)，包括屢獲殊榮的研究，OpenUSD 開發(fā)，以及最新的 AI 內(nèi)容創(chuàng)作解決方案。