全新NVIDIA NIM微服務(wù)將生成式AI引入數(shù)字環(huán)境

生成式物理 AI NIM 微服務(wù)以及 NVIDIA Metropolis 參考工作流旨在協(xié)助創(chuàng)建智能的沉浸式工作環(huán)境。

已有數(shù)以百萬的用戶在借助生成式 AI 進(jìn)行寫作和學(xué)習(xí)?，F(xiàn)在，這項(xiàng)技術(shù)還可以幫助他們更有效地探索物理世界。

NVIDIA 在 SIGGRAPH 上宣布了生成式物理 AI方面的進(jìn)展，包括NVIDIA Metropolis參考工作流和全新的NVIDIA NIM微服務(wù)，前者用于打造交互式視覺 AI 智能體，后者能夠協(xié)助開發(fā)者訓(xùn)練物理機(jī)器，并可讓它們更好地處理復(fù)雜任務(wù)。

具體包括三個(gè)fVDB NIM微服務(wù)，這些微服務(wù)支持 NVIDIA 針對 3D 世界開發(fā)的全新深度學(xué)習(xí)框架，此外還包括能夠與通用場景描述 (也就是 OpenUSD)配合使用的USD Code、USD Search和USD Validate NIM微服務(wù)。

NVIDIA OpenUSD NIM 微服務(wù)能夠與全球首個(gè)用于 OpenUSD 開發(fā)的生成式 AI 模型（同樣由 NVIDIA 開發(fā)）搭配使用，使開發(fā)者能夠?qū)⑸墒?AI copilot 和智能體納入到 USD 工作流程，并拓寬 3D 世界的可能性。

NVIDIA NIM 微服務(wù)

將改變物理 AI 的格局

物理 AI 使用先進(jìn)的仿真和學(xué)習(xí)方法，能夠幫助機(jī)器人和其他工業(yè)自動化設(shè)備更有效地感知、推理和探索周圍環(huán)境。該技術(shù)正在改變著制造、醫(yī)療健康等行業(yè)，并通過能夠更自主、更精確運(yùn)作的機(jī)器人、工廠和倉庫技術(shù)、手術(shù) AI 智能體和汽車推動智能空間的發(fā)展。

NVIDIA 提供廣泛的 NIM 微服務(wù)，這些微服務(wù)是針對特定模型和行業(yè)領(lǐng)域定制的。NVIDIA 面向物理 AI 量身定制的 NIM 微服務(wù)套件支持語音和翻譯、視覺和智能，以及逼真的動畫和行為方面的功能。

借助 NVIDIA NIM，

將視覺 AI 智能體轉(zhuǎn)變?yōu)檫h(yuǎn)見者

視覺 AI 智能體使用計(jì)算機(jī)視覺功能來感知物理世界、與物理世界交互并執(zhí)行推理任務(wù)。

具有高度感知和交互能力的視覺 AI 智能體由一種被稱為視覺語言模型 (VLM)的新型生成式 AI 模型提供支持，這些模型能夠在物理 AI 工作負(fù)載中連通數(shù)字感知和現(xiàn)實(shí)交互，從而可增強(qiáng)決策能力、準(zhǔn)確性、交互性和性能。借助 VLM，開發(fā)者可以打造視覺 AI 智能體，即使在非常復(fù)雜的環(huán)境中，這些智能體也能更有效地處理極具挑戰(zhàn)性的任務(wù)。

由生成式 AI 賦能的視覺 AI 智能體正在迅速部署到醫(yī)院、工廠、倉庫、零售店、機(jī)場、交通路口等場所。

為了幫助物理 AI 開發(fā)者更輕松地打造高性能的自定義視覺 AI 智能體，NVIDIA 提供了一些用于打造物理 AI 的 NIM 微服務(wù)和參考工作流。NVIDIA Metropolis 參考工作流可讓用戶通過簡單的結(jié)構(gòu)化方法來定制、打造和部署視覺 AI 智能體，詳見博客內(nèi)容：

K2K 借助 NVIDIA NIM，

使巴勒莫變得更高效、更安全

意大利巴勒莫的城市交通管理人員部署了采用 NVIDIA NIM 的視覺 AI 智能體，以便獲得有助于他們更好地管理路況的物理數(shù)據(jù)分析結(jié)果。

NVIDIA Metropolis 合作伙伴 K2K 正在主導(dǎo)開展這項(xiàng)工作，將 NVIDIA NIM 微服務(wù)和 VLM 集成到實(shí)時(shí)分析城市交通攝像頭內(nèi)容的 AI 智能體中。市政官員可以用自然語言向智能體提問，并快速獲得準(zhǔn)確的街道活動數(shù)據(jù)分析結(jié)果，以及關(guān)于如何改善城市運(yùn)營的建議，例如調(diào)整交通信號燈時(shí)間。

全球電子行業(yè)領(lǐng)先者 Foxconn 與和碩采用了物理 AI、NIM 微服務(wù)和 Metropolis 參考工作流，以便更高效地設(shè)計(jì)和開展批量制造運(yùn)營。

這些公司正在仿真環(huán)境中建設(shè)虛擬工廠，來節(jié)省大量時(shí)間和成本。他們還會在實(shí)際部署之前在數(shù)字孿生中對其物理 AI（包括 AI 多攝像頭和視覺 AI 智能體）進(jìn)行更全面的測試和優(yōu)化，以便提高工人安全性和運(yùn)營效率。

通過合成數(shù)據(jù)生成

縮小仿真與現(xiàn)實(shí)之間的差距

許多已部署 AI 的企業(yè)現(xiàn)在都采用“仿真優(yōu)先”的方法，來開展涉及現(xiàn)實(shí)世界工業(yè)自動化的生成式物理 AI 項(xiàng)目。

制造公司、工廠物流公司和機(jī)器人公司需要管理復(fù)雜的工作人員互動、先進(jìn)的設(shè)施和昂貴的設(shè)備。NVIDIA 物理 AI 軟件、工具和平臺（包括物理 AI 以及 VLM NIM 微服務(wù)、參考工作流和 fVDB）可以幫助他們簡化高度復(fù)雜的工程，讓他們更輕松地創(chuàng)建準(zhǔn)確模擬現(xiàn)實(shí)世界條件的數(shù)字表示或虛擬環(huán)境。

VLM 能夠生成高度逼真的圖像，因此在各行各業(yè)得到廣泛應(yīng)用。不過，創(chuàng)建準(zhǔn)確的物理 AI 模型需要大量的數(shù)據(jù)，因此訓(xùn)練這些模型可能非常困難。

使用計(jì)算機(jī)仿真從數(shù)字孿生生成的合成數(shù)據(jù)能夠有效替代現(xiàn)實(shí)世界數(shù)據(jù)集。獲取現(xiàn)實(shí)世界數(shù)據(jù)集進(jìn)行模型訓(xùn)練可能成本非常高昂，有時(shí)甚至不可能獲得此類數(shù)據(jù)集，具體取決于用例。

借助 NVIDIA NIM 微服務(wù)和Omniverse Replicator等工具，開發(fā)者能夠構(gòu)建生成式 AI 賦能的合成數(shù)據(jù)管線，加速創(chuàng)建可靠、多樣化的數(shù)據(jù)集來訓(xùn)練物理 AI。這有助于增強(qiáng) VLM 等模型的適應(yīng)能力和性能，使它們能夠更有效地針對各行各業(yè)和用例進(jìn)行泛化。