在NVIDIA中使用低代碼工作流加速合成數(shù)據(jù)生成

數(shù)據(jù)是 AI 系統(tǒng)的生命線，AI 系統(tǒng)依靠可靠的數(shù)據(jù)集進行學(xué)習(xí)并做出預(yù)測或決策。具體而言，對于感知 AI 模型而言，數(shù)據(jù)需要能夠反映真實環(huán)境以及適用于一系列場景，這一點非常重要。這包括通常難以搜集數(shù)據(jù)的邊緣用例，如街道交通、工廠的裝配生產(chǎn)線等。

借助真實世界的數(shù)據(jù)以及合成數(shù)據(jù)（SDG），AI 和機器學(xué)習(xí)（ML）工程師可以引導(dǎo)和加速計算機視覺模型的訓(xùn)練。SDG 能夠生成大量不同的訓(xùn)練數(shù)據(jù)集，以應(yīng)對視覺檢測、機器人和自動駕駛等領(lǐng)域大量不同用例的需求。

最新更新NVIDIA Omniverse Replicator是NVIDIA Omniverse的核心擴展，是一個基于通用場景描述（OpenUSD）的平臺，開發(fā)人員可以構(gòu)建比以往任何時候都更強大的合成數(shù)據(jù)生成工作流。其新功能亮點包括：

借助基于 YAML 的低代碼配置器，為 AI 開發(fā)者釋放合成數(shù)據(jù)的強大功能。

通過異步渲染擴展整個渲染過程，將傳感器模擬與渲染任務(wù)分解。

借助基于事件的條件觸發(fā)器，在數(shù)據(jù)生成過程中實現(xiàn)更高的靈活性。

借助 Omniverse Replicator，開發(fā)者能夠構(gòu)建用于訓(xùn)練計算機視覺模型的數(shù)據(jù)工廠。此外，Replicator 具有高度可定制性和可擴展性，因此能夠適應(yīng)許多計算機視覺工作流程。

Replicator 已集成到NVIDIA Isaac Sim機器人和NVIDIA DRIVE Sim。在 ROSCon 2023 上，NVIDIA 宣布對 NVIDIA Isaac 機器人平臺進行重大更新，以簡化基于 AI 的高性能機器人應(yīng)用的構(gòu)建和測試。

簡化的定制解決方案

以前 Replicator 擴展程序的限制要求開發(fā)者編寫大量代碼行，以生成用于模型訓(xùn)練的數(shù)據(jù)。不熟悉 3D 內(nèi)容生成的 AI 和 ML 工程師缺乏生成數(shù)據(jù)的有效方法。

現(xiàn)在，開發(fā)者無需為預(yù)先存在的場景編寫大量代碼行，而是可以使用基于 YAML 的描述性文件，使用語法（例如光線、環(huán)境、位置）簡單地描述要更改的參數(shù)。這種方法可以更輕松地將 SDG 參數(shù)作為模型創(chuàng)建和性能沿襲的一部分進行跟蹤，從而為真正以數(shù)據(jù)為中心的模型開發(fā)方法提供支持。

此外，開發(fā)者可以通過使用 YAML 文件和 Replicator 在 Omniverse Farm 上運行 NVIDIA OVX system。用戶可以輕松共享和分發(fā)代碼 recipe，以創(chuàng)建同一文件的新版本，并創(chuàng)建用于數(shù)據(jù)生成的自動化工作流。

視頻 1：學(xué)習(xí)基于 YAML 的簡單工作流程，通過隨機化倉庫中常見物體的位置來生成訓(xùn)練數(shù)據(jù)

使用異步渲染擴展合成數(shù)據(jù)生成

SDG 的世界仿真、傳感器仿真和渲染任務(wù)通常作為緊密集成的同步應(yīng)用程序?qū)嵤?。這限制了在不影響性能的情況下模擬傳感器以不同速率運行的靈活性。

異步渲染在彼此之間異步運行傳感器的模擬和渲染，使用戶能夠更好地控制整個過程。這使得開發(fā)者能夠使用多個 GPU 大規(guī)模渲染合成數(shù)據(jù)，從而提高吞吐量。

借助基于事件的觸發(fā)器，

為 SDG 提供出色的靈活性

在 Replicator 中，觸發(fā)器指定特定節(jié)點（例如 Randomizer 或 Writer）的激活時間。系統(tǒng)支持幀內(nèi)觸發(fā)器在每一幀中激活節(jié)點，以及準時觸發(fā)器，以設(shè)置的時間間隔激活節(jié)點。

最新的 Replicator 版本還引入了條件觸發(fā)器，可根據(jù)特定事件或條件激活節(jié)點。開發(fā)者現(xiàn)在可以通過自己的函數(shù)建立自定義邏輯，從而對 Randomizer 和 Writer 提供更精細的控制。

使用新版 NVIDIA Isaac Sim 的機器人專家可以使用此功能針對特定事件啟動自主移動機器人（AMR）的運動。這為控制 SDG 的生成時間和方式提供了可靠的方法，具體取決于模擬事件。

開始使用 Omniverse Replicator

進行開發(fā)

這些只是 Omniverse Replicator 1.10 中用于提升 SDG 流程的部分新功能。如需了解其他功能（包括材質(zhì)支持、后渲染增強以及 2D 和 3D 散點節(jié)點增強），請參閱 Replicator 文檔。

審核編輯：劉清