SIGGRAPH 2023 | NVIDIA 發(fā)布支持生成式 AI 與 OpenUSD 的重大 Omniverse 升級

最新平臺更新、Adobe Firefly 的接入、OpenUSD 向 RealityKit 的導(dǎo)入以及 Ada 架構(gòu)系統(tǒng)將共同加速各種具有互操作性的 3D 工作流以及工業(yè)數(shù)字化進(jìn)程。

洛杉磯 — SIGGRAPH — 太平洋時間 2023 年 8 月 8 日 —NVIDIA 發(fā)布 NVIDIA Omniverse 平臺的重要版本更新，為開發(fā)者和工業(yè)企業(yè)提供全新的基礎(chǔ)應(yīng)用和服務(wù)，助力其使用 OpenUSD 框架和生成式 AI 來優(yōu)化并強(qiáng)化其 3D 工作流程。

Omniverse 是一個 OpenUSD 原生軟件平臺，可進(jìn)行跨 3D 工具和應(yīng)用的連接、描述及模擬。此次更新將加快虛擬世界和高級工作流的創(chuàng)建速度，推動工業(yè)數(shù)字化進(jìn)程。Cesium、Convai、Move AI、SideFX Houdini 和 Wonder Dynamics 現(xiàn)已通過 OpenUSD 接入 Omniverse。

此次平臺更新主要升級了 Omniverse Kit（用于開發(fā)原生 OpenUSD 應(yīng)用和擴(kuò)展程序的引擎），以及 NVIDIA Omniverse Audio2Face 基礎(chǔ)應(yīng)用和空間計算功能。

NVIDIA Omniverse 與模擬技術(shù)副總裁 Rev Lebaredian 表示：“工業(yè)企業(yè)正在競相推動工作流的數(shù)字化，這提升了對 OpenUSD 賦能、互聯(lián)、可互操作的 3D 軟件生態(tài)的需求。最新的 Omniverse 更新讓開發(fā)者能夠通過 OpenUSD，利用生成式 AI 來強(qiáng)化自身工具，并讓企業(yè)能夠構(gòu)建更大、更復(fù)雜的世界級模擬，以此作為其工業(yè)應(yīng)用的數(shù)字測試場?！?/span>

重要改進(jìn)

Omniverse Kit 的更新包括：

• 全新模塊化應(yīng)用構(gòu)建：全新 Omniverse Kit Extension Registry 是一個用于訪問、共享和管理 Omniverse 擴(kuò)展程序的中央存儲庫，開發(fā)者可以輕松啟用或關(guān)閉其應(yīng)用中的功能，因此能夠比以往更加輕松地利用 NVIDIA 提供的 600 多個核心 Omniverse 擴(kuò)展程序來構(gòu)建自定義應(yīng)用。

• 全新開發(fā)者模板和資源：全新應(yīng)用和體驗?zāi)０遄寗傞_始使用 OpenUSD 和 Omniverse 的開發(fā)者只需要進(jìn)行極少量的編碼工作就能輕松上手。

• 提升效率和用戶體驗：全新渲染優(yōu)化功能充分利用 NVIDIA RTX GPU 中 NVIDIA Ada Lovelace 架構(gòu)的各項改進(jìn)，并將 DLSS 3 技術(shù)完全集成到 Omniverse RTX 渲染器中。全新 AI 降噪器可實現(xiàn)大型工業(yè)場景的實時 4K 路徑追蹤。

• 由原生 RTX 驅(qū)動的空間集成：全新擴(kuò)展現(xiàn)實（XR）開發(fā)者工具可讓用戶在基于 Omniverse 的應(yīng)用中構(gòu)建原生空間計算選項，使用戶能夠按照自己的想法靈活地體驗 3D 項目和虛擬世界。

這些平臺更新在 Omniverse 基礎(chǔ)應(yīng)用中得到了展現(xiàn)。Omniverse 基礎(chǔ)應(yīng)用是完全可定制的參考應(yīng)用，創(chuàng)作者、企業(yè)和開發(fā)者可以對其進(jìn)行復(fù)制、擴(kuò)展或改進(jìn)。升級的應(yīng)用包括：

• Omniverse USD Composer：讓 3D 用戶能夠組裝基于 OpenUSD 的大型場景。

• Omniverse Audio2Face：提供對只需通過音頻文件即可創(chuàng)建逼真面部動畫和手勢的生成式 AI 應(yīng)用編程接口的訪問?，F(xiàn)在還添加了多語種支持和全新女性基礎(chǔ)模型。

OpenUSD 擴(kuò)展 Omniverse 生態(tài)

NVIDIA 還發(fā)布了一系列面向開發(fā)者和企業(yè)的框架、資源和服務(wù)，以此加速通用場景描述（即OpenUSD）的采用。

此外，NVIDIA 還宣布構(gòu)建了全新的 Omniverse Cloud API，供開發(fā)人員更無縫地實現(xiàn)和部署 OpenUSD 工作流和應(yīng)用程序。例如，ChatUSD 是一個供開發(fā)人員使用的大型語言模型（LLM) copilot 工具，可以回答 USD 知識問題或生成 Python-USD 代碼腳本。

OpenUSD 支持的全新 Omniverse 連接器現(xiàn)已推出，為工業(yè)企業(yè)打破復(fù)雜生產(chǎn)流水線中的數(shù)據(jù)孤島帶來了更多的可能性。

Adobe 與 NVIDIA 宣布計劃將 Adobe Firefly（Adobe 的創(chuàng)意生成式 AI 模型系列）作為 Omniverse 的 API 提供給開發(fā)者和創(chuàng)作者，助力其完善設(shè)計流程。此舉擴(kuò)大了雙方在 Adobe Substance 3D、生成式 AI 和 OpenUSD 項目方面的合作。

Wonder Dynamics 已接入 Omniverse，通過其 AI 平臺 Wonder Studio 提供全新 OpenUSD 導(dǎo)出支持。Wonder Studio AI 平臺可自動對計算機(jī)生成的角色進(jìn)行動畫化、添加照明并合成到實時動作場景中。全新 OpenUSD 導(dǎo)出支持將使藝術(shù)家只需要使用單個攝像機(jī)拍攝的視頻，就能生成并導(dǎo)出完整的 3D 場景。

Luma AI 以 USDZ 格式制作的現(xiàn)實捕捉模型可以隨時導(dǎo)入到 Omniverse 中。虛擬形象公司 Convai 和角色引擎公司 Inworld AI 的工具也接入了 Omniverse。借助 Convai 等 AI 工具，創(chuàng)作者可以在數(shù)字孿生環(huán)境中添加角色，這些角色可以提供環(huán)境和物體的相關(guān)信息，也可以充當(dāng)導(dǎo)游或虛擬機(jī)器人。Move AI 通過 Move One 應(yīng)用實現(xiàn)了單攝像頭動作捕捉，捕捉的圖像可用于生成 3D 角色動畫，然后將其導(dǎo)出到 OpenUSD 并在 Omniverse 中使用。

Omniverse 用戶現(xiàn)在可以構(gòu)建與其他基于 OpenUSD 的空間計算平臺（如 ARKit 和 RealityKit）兼容的內(nèi)容、體驗和應(yīng)用。此外，對 Khronos Group OpenXR 開放標(biāo)準(zhǔn)的全新支持將 Omniverse 的應(yīng)用范圍擴(kuò)展到了 HTC VIVE、Magic Leap 和 Varjo 等制造商生產(chǎn)的更多頭顯。

SideFX Houdini 的用戶現(xiàn)在還可以將 Houdini Digital Assets 直接加載到 Omniverse 視窗中，使基于 Houdini 的互聯(lián)工作流銜接得更加無縫。Cesium 的 Omniverse 擴(kuò)展程序 Cesium for Omniverse 支持 3D Tiles。3D Tiles 是一種在虛擬世界（包括 OpenUSD 支持的虛擬世界）中傳輸大規(guī)模地理空間數(shù)據(jù)集的開放標(biāo)準(zhǔn)。CGI.Backgrounds 現(xiàn)在可在 USD Composer 中使用多種超高清 HDRi 貼圖。Cadence DataCenter Design Software 現(xiàn)可在 Omniverse 上使用，其可幫助用戶在完整的數(shù)字孿生情境中查看計算流體動力學(xué)模擬。借助 Cadence 數(shù)據(jù)中心擴(kuò)展程序，用戶可以在實施前規(guī)劃、測試并驗證設(shè)計和運(yùn)營方面的考慮因素。Blackshark.AI 世界數(shù)字孿生平臺現(xiàn)已接入 Omniverse。

客戶使用 Omniverse 實現(xiàn)數(shù)字化

多家客戶正在使用 Omniverse 來完成從模擬機(jī)器人到訓(xùn)練 AI 模型和改進(jìn)動畫等各種任務(wù)。

波士頓動力人工智能研究所（Boston Dynamics AI Institute）正在使用 Omniverse 模擬機(jī)器人及其交互，以推動新型機(jī)器人和控制系統(tǒng)的設(shè)計工作。汽車和自主系統(tǒng)產(chǎn)業(yè)化領(lǐng)域的領(lǐng)先企業(yè)大陸集團(tuán)正在其移動機(jī)器人業(yè)務(wù)中使用 Omniverse，以大規(guī)模地生成符合物理學(xué)的合成數(shù)據(jù)，用以訓(xùn)練計算機(jī)視覺 AI 模型和執(zhí)行系統(tǒng)集成測試。

沃爾沃汽車已將其數(shù)字孿生轉(zhuǎn)為 OpenUSD 格式，使用 Omniverse 創(chuàng)造出沉浸式可視化效果，幫助客戶在線做出購買決策。

品牌設(shè)計及體驗機(jī)構(gòu) Marks Design 正在使用 Omniverse 和 OpenUSD 來簡化并提高協(xié)作的效率，同時改進(jìn)其動畫、可視化和渲染工作流。

全新 Omniverse 系統(tǒng)與合作伙伴

NVIDIA 正在與全球各地的系統(tǒng)制造商協(xié)作，致力于為數(shù)百萬設(shè)計師、建筑師和工程師提供針對 Omniverse 優(yōu)化配置的 RTX 工作站。這些新系統(tǒng)最多可搭載四顆 NVIDIA RTX 6000 Ada Generation GPU 并搭配 NVIDIA Omniverse Enterprise 軟件，可加速 OpenUSD 世界的構(gòu)建、生成式 AI 賦能的協(xié)同設(shè)計以及其他工業(yè)數(shù)字化應(yīng)用。

Omniverse 用戶還可以充分利用全新 NVIDIA L40S GPU 的性能。這款功能強(qiáng)大的通用數(shù)據(jù)中心 GPU 可加速圖形密集型工作負(fù)載。

供應(yīng)情況

最新 Omniverse 版本現(xiàn)已發(fā)布可免費(fèi)下載的公測版，將于近期通過 Omniverse Enterprise 提供。