SIGGRAPH 2023 | 由 RTX 賦能的空間框架通過 USD 實(shí)現(xiàn)全光線追蹤 XR 流程

開發(fā)擴(kuò)展現(xiàn)實(shí)（XR）應(yīng)用的難度極大。用戶通常會(huì)從一個(gè)模板項(xiàng)目入手，并按照現(xiàn)成的打包模板將應(yīng)用部署到頭顯。這種方法給資產(chǎn)迭代流程帶來了嚴(yán)重的阻礙。XR 體驗(yàn)內(nèi)的資產(chǎn)更新完全取決于開發(fā)者構(gòu)建、打包和部署新的可執(zhí)行程序的速度。

NVIDIA Omniverse 中的全新空間框架通過通用場景描述（即 OpenUSD）和由 NVIDIA RTX 驅(qū)動(dòng)的光線追蹤技術(shù)幫助解決了這些難題。全球首個(gè)全光線追蹤 XR 體驗(yàn)由此誕生，它使用戶能夠查看其場景中的每一個(gè)反射、軟陰影、豐富的光線以及幾何體的動(dòng)態(tài)變化。

現(xiàn)在，用戶可以對包含數(shù)百萬個(gè)多邊形、物理材質(zhì)和精確照明的大規(guī)模、復(fù)雜、全保真設(shè)計(jì)數(shù)據(jù)集進(jìn)行全光線追蹤，來身臨其境地體驗(yàn)數(shù)據(jù)集，而無需耗費(fèi)額外的數(shù)據(jù)準(zhǔn)備時(shí)間。

使用 OpenUSD 實(shí)現(xiàn)沉浸式工作流

OpenUSD 可確保場景編輯不具有破壞性，從而實(shí)現(xiàn)不同工具和生態(tài)之間的無縫交互。Omniverse 可渲染和顯示磁盤上的 USD 數(shù)據(jù)，使用戶能夠以任意節(jié)奏迭代這些數(shù)據(jù)，并實(shí)時(shí)看到更新的資產(chǎn) XR 視圖。

因此，用戶可以沉浸式地體驗(yàn)任意流程環(huán)節(jié)中的應(yīng)用，這大大減少了阻礙，提高了迭代速度。用戶甚至可以將 XR 集成到現(xiàn)有的流程中，并且毫不費(fèi)力地實(shí)施。

該空間框架的主要特點(diǎn)包括：

• 用于添加沉浸式體驗(yàn)和基本 XR 功能的新工具：簡化并提高了設(shè)計(jì)審查和工廠規(guī)劃的工作流效率。

• 將 RTX 光線追蹤和 Omniverse 連接到 SteamVR、OpenXR 和 NVIDIA CloudXR。

• 支持空間計(jì)算平臺(tái)和頭顯：Omniverse 用戶可以構(gòu)建與其他基于 OpenUSD 的空間計(jì)算平臺(tái)（如 ARKit 和 RealityKit）兼容的 USD stage。此外，新增加的對 Khronos Group OpenXR 開放標(biāo)準(zhǔn)的支持將 Omniverse 開發(fā)者的體驗(yàn)擴(kuò)展到 HTC VIVE、Magic Leap 和 Varjo 等制造商生產(chǎn)的更多頭顯。

Magic Leap 產(chǎn)品副總裁 Jade Meskill 表示：“NVIDIA 所發(fā)布的支持 OpenXR 和 Magic Leap 2 的 Omniverse Kit 是企業(yè) AR 領(lǐng)域的一座重要里程碑。企業(yè)用戶現(xiàn)在能夠以前所未有的視覺質(zhì)量，來渲染沉浸式全尺寸數(shù)字孿生，并將其從 Omniverse 傳輸至 Magic Leap 2。

Meskill 還表示，為了滿足企業(yè)應(yīng)用的高要求，在現(xiàn)實(shí)世界中放置基于全保真設(shè)計(jì)數(shù)據(jù)創(chuàng)建的逼真數(shù)字孿生并提供精準(zhǔn)的照明和反射必不可少。“NVIDIA 和 Magic Leap 工程團(tuán)隊(duì)在視覺質(zhì)量方面率先取得了關(guān)鍵性的技術(shù)進(jìn)展，我們十分高興兩家公司建立了牢固的合作關(guān)系?！?/p>

將 XR 集成到現(xiàn)有的 3D 工作流中

Omniverse 應(yīng)用開發(fā)者現(xiàn)在可以輕松地將 XR 集成到 3D 工作流中。Omniverse 中的這個(gè)新空間框架可實(shí)現(xiàn) 3D 場景的實(shí)時(shí)、沉浸式可視化。還可以將傳送、操作、導(dǎo)航等 XR 功能集成到現(xiàn)有流程中。

通過該空間框架，使用者能夠以混合現(xiàn)實(shí)或完全沉浸式的方式，跨設(shè)備查看工作資產(chǎn)。NVIDIA CloudXR 可提供逼真度堪比桌面計(jì)算的無拘束體驗(yàn)。

使用者無需下載整個(gè)應(yīng)用，便可使用特定的擴(kuò)展程序，讓工作流變得更加簡單和模塊化。自動(dòng)用戶界面優(yōu)化功能提升了應(yīng)用的速度和生產(chǎn)力，使播放變得更加流暢。

此外，使用者還可以部署自定義 XR 應(yīng)用并為特定的工作流而設(shè)計(jì)用戶界面，例如協(xié)作產(chǎn)品設(shè)計(jì)評(píng)審、工廠規(guī)劃等。

在頂級(jí)頭顯上提供 RTX 驅(qū)動(dòng)的沉浸式體驗(yàn)

通過 Omniverse Kit 105，可以創(chuàng)建具有極致沉浸感和逼真度的資產(chǎn)，并以全保真度構(gòu)建具有幾何構(gòu)造和材質(zhì)的超逼真應(yīng)用。

例如，Kit 105 可以在業(yè)內(nèi)分辨率最高的混合現(xiàn)實(shí)頭顯 Varjo XR-3 中，驅(qū)動(dòng)達(dá)到視網(wǎng)膜級(jí)分辨率的 Quad View 渲染功能。該渲染器可生成兩個(gè)高分辨率視圖和兩個(gè)低分辨率視圖，然后由設(shè)備合成出無比逼真和沉浸的 VR 體驗(yàn)。

Varjo 軟件合作關(guān)系總監(jiān) Marcus Olsson 表示：“實(shí)時(shí)光線追蹤是 3D 可視化的‘圣杯’。之前，我們因?yàn)閳D形和計(jì)算方面的要求而無法渲染出像這樣逼真的沉浸式場景。通過 NVIDIA Omniverse 和 Varjo XR-3，用戶可以結(jié)合強(qiáng)大的多 GPU 配置和 Varjo 逼真的視覺保真度，在混合現(xiàn)實(shí)環(huán)境中實(shí)現(xiàn)實(shí)時(shí)光線追蹤。

Quad View 的渲染分辨率達(dá)到驚人的 1500 萬像素，將 XR 的視覺保真度提高到一個(gè)新的級(jí)別。如要充分利用達(dá)到視網(wǎng)膜級(jí)分辨率的 Quad View 渲染功能，團(tuán)隊(duì)?wèi)?yīng)使用配備 NVIDIA RTX 6000 Ada 顯卡的多 GPU 配置以在 Varjo XR-3 頭顯上實(shí)現(xiàn)無縫渲染和最優(yōu)性能。

使用 Omniverse 開始構(gòu)建沉浸式體驗(yàn)和應(yīng)用

準(zhǔn)備好開始使用 Omniverse Kit 105 在應(yīng)用中構(gòu)建 XR 并創(chuàng)造沉浸式體驗(yàn)了嗎？該空間框架現(xiàn)在可以在 VR Experience 下的 Omniverse Extension Library 中使用。將該擴(kuò)展程序添加到 Kit 應(yīng)用中，就可以使用 Tablet AR 和 VR 面板。該框架還帶有 Omni.UI，使用戶可以同時(shí)在頭顯和桌面中使用此前所開發(fā)的桌面工具和界面。

USD Composer 提供了一個(gè)在 Omniverse 中測試沉浸式體驗(yàn)的良好平臺(tái)。USD Composer 是 Omniverse 中的一個(gè)參考應(yīng)用，用戶可以在其中輕松打開并制作一個(gè) USD stage。請?jiān)?Omniverse 啟動(dòng)器中安裝 USD Composer，以開始使用。用戶可在 “Window” -> “Rendering” 菜單中找到 “VR” 和 “Tablet AR”。如果正與其他用戶一起工作，可以使用 USD Composer 多用戶工作流開展實(shí)時(shí)、沉浸式的合作。

開始在 Omniverse 中構(gòu)建自己的 XR 體驗(yàn)：https://developer.nvidia.com/omniverse/get-started。

SIGGRAPH 2023

NVIDIA 精彩發(fā)布

【1】SIGGRAPH 主題演講：NVIDIA 首席執(zhí)行官帶來生成式 AI 多項(xiàng)創(chuàng)新 SIGGRAPH 2023 | NVIDIA 發(fā)布新一代 GH200 Grace Hopper 超級(jí)芯片平臺(tái) SIGGRAPH 2023 | NVIDIA 發(fā)布支持生成式 AI 與 OpenUSD 的重大 Omniverse 升級(jí) SIGGRAPH 2023 | NVIDIA Omniverse 開啟通往 OpenUSD 廣闊天地的大門 SIGGRAPH 2023 | NVIDIA 與全球數(shù)據(jù)中心系統(tǒng)制造商大力推動(dòng) AI 與工業(yè)數(shù)字化的發(fā)展 SIGGRAPH 2023 | NVIDIA 與全球工作站廠商共同推出用于生成式 AI、LLM 開發(fā)、內(nèi)容創(chuàng)作和數(shù)據(jù)科學(xué)的系統(tǒng) SIGGRAPH 2023 | NVIDIA AI Workbench 助力全球企業(yè)加速采用自定義生成式 AI SIGGRAPH 2023 | NVIDIA 與 Hugging Face 將連接數(shù)百萬開發(fā)者與生成式 AI 超級(jí)計(jì)算

【9】Shutterstock 通過 NVIDIA Picasso 將生成式 AI 應(yīng)用于 3D 場景

【10】貼圖幫手：NVIDIA Research 展示生成式 AI 如何幫助創(chuàng)建和編輯逼真的材質(zhì)

【11】初創(chuàng)企業(yè)借助 NVIDIA NeMo 撰寫生成式 AI的成功案例

【12】騰勢汽車與 WPP 一同在 NVIDIAOmniverse Cloud 上構(gòu)建并部署汽車配置器

【13】全新專業(yè)顯卡、AI 工具、Omniverse 和 OpenUSD 協(xié)作功能強(qiáng)效助力內(nèi)容創(chuàng)作

【14】NVIDIA 幫助企業(yè)與開發(fā)者構(gòu)建更易擴(kuò)展和自定義的 XR 流式傳輸

【15】NVIDIA 擴(kuò)展 Maxine 視頻編輯功能，展示 3D 虛擬會(huì)議研究成

敬請持續(xù)關(guān)注

點(diǎn)擊“閱讀原文”，或掃描下方海報(bào)二維碼，觀看 NVIDIA 創(chuàng)始人兼 CEO 黃仁勛在 SIGGRAPH 現(xiàn)場發(fā)表的 NVIDIA 主題演講回放，了解 NVIDIA 的新技術(shù)，包括屢獲殊榮的研究，OpenUSD 開發(fā)，以及最新的 AI 內(nèi)容創(chuàng)作解決方案。