使用NVIDIA Omniverse ACE構(gòu)建云本地AI驅(qū)動的虛擬形象

云中 AI 驅(qū)動的化身

數(shù)字助理和化身可以有很多不同的形式和形狀，從普通的文本驅(qū)動聊天機(jī)器人到完全動畫的數(shù)字人和可以看到和聽到人的物理機(jī)器人。這些化身將填充虛擬世界，幫助我們創(chuàng)建和構(gòu)建東西，成為品牌大使和客戶服務(wù)代理，幫助您在網(wǎng)站上找到東西，在駕車途中接受訂單，或推薦退休或保險計(jì)劃。

一個實(shí)時交互式 3D 化身可以提供一種自然、迷人的體驗(yàn)，讓人們感覺更舒適?；?a href="http://ttokpm.com/v/tag/150/" target="_blank">人工智能的虛擬助理還可以使用非語言提示，如面部表情和眼神交流，以加強(qiáng)溝通，了解您的請求和意圖。

但大規(guī)模構(gòu)建這些化身應(yīng)用程序需要廣泛的專業(yè)知識，包括計(jì)算機(jī)圖形、 AI 和 DevOps 。當(dāng)前大多數(shù)動畫化身的方法都利用傳統(tǒng)的運(yùn)動捕捉解決方案，這對于實(shí)時應(yīng)用來說是一個挑戰(zhàn)。

尖端的 NVIDIA AI 技術(shù)，如 Omniverse Audio2Face 、 NVIDIA Riva 和 NVIDIA Metropolis ，通過使虛擬形象的運(yùn)動由音頻和視頻驅(qū)動，改變了游戲。將角色動畫直接連接到化身的會話智能，可以更快、更容易地大規(guī)模設(shè)計(jì)和部署交互式化身。

創(chuàng)建化身時，還必須將其集成到應(yīng)用程序中并進(jìn)行部署。這需要強(qiáng)大的 GPU 來驅(qū)動復(fù)雜 3D 角色的渲染和將其帶入現(xiàn)實(shí)生活的 AI 智能。單片解決方案針對特定端點(diǎn)進(jìn)行了優(yōu)化，而云本地解決方案在所有端點(diǎn)（包括移動、 web 和有限的計(jì)算設(shè)備，如增強(qiáng)現(xiàn)實(shí)耳機(jī)）上的可擴(kuò)展性更強(qiáng)。

NVIDIA Omniverse 虛擬化身云引擎（ ACE ）通過交付所有必要的 AI 構(gòu)建塊，大規(guī)模地將智能化身變?yōu)楝F(xiàn)實(shí)，從而幫助解決這些挑戰(zhàn)。

Omniverse ACE 和 AI 微服務(wù)

Omniverse ACE 是一個云本地 AI 模型和微服務(wù)的集合，用于輕松構(gòu)建、定制和部署智能化和參與性化身。這些 AI 微服務(wù)為交互式化身的后端提供動力，使這些虛擬機(jī)器人能夠看到、感知、智能對話，并向用戶提供建議。

Omniverse ACE 使用 Universal Scene Description （USD） 和 NVIDIA Unified Compute Framework （ UCF ），這是一個完全加速的框架，使您能夠?qū)?yōu)化和加速的微服務(wù)結(jié)合到實(shí)時 AI 應(yīng)用程序中。

每個微服務(wù)都有一個有限的域上下文（動畫 AI 、對話 AI 、視覺 AI 、數(shù)據(jù)分析或圖形渲染），可以從 UCF Studio 獨(dú)立管理和部署。

AI 微服務(wù)包括以下內(nèi)容：

動畫 AI： Omniverse Audio2Face 簡化了 3D 角色的動畫，以匹配任何音軌，幫助用戶為游戲、電影或?qū)崟r數(shù)字助理制作角色動畫。

對話 AI： 包括語音 AI 的 NVIDIA Riva SDK 和自然語言處理的 NVIDIA NeMo Megatron 框架。這些工具使您能夠快速構(gòu)建和部署提供高精度、富有表現(xiàn)力的聲音和實(shí)時響應(yīng)的尖端應(yīng)用程序。

視覺 AI： NVIDIA Metropolis 為個人開發(fā)者、高等教育和研究以及企業(yè)提供了從模型開發(fā)到部署的計(jì)算機(jī)視覺工作流。

推薦 AI： NVIDIA Merlin 是一個開源框架，用于大規(guī)模構(gòu)建高性能推薦系統(tǒng)。它包括簡化推薦程序構(gòu)建的庫、方法和工具。

NVIDIA UCF 包括經(jīng)驗(yàn)證的部署就緒微服務(wù)，以加速應(yīng)用程序開發(fā)。從應(yīng)用程序中抽象出每個域，減輕了對低級域和平臺知識的需求?？梢允褂?NVIDIA SDK 創(chuàng)建新的和自定義的微服務(wù)。

注冊以獲得有關(guān) UCF Studio Early Access program 的通知。

沒有用于云部署的代碼設(shè)計(jì)工具

應(yīng)用程序開發(fā)人員將能夠使用 NVIDIA UCF Studio 將所有這些基于 UCF 的微服務(wù)整合在一起，這是一種無代碼應(yīng)用程序構(gòu)建工具，用于創(chuàng)建、管理應(yīng)用程序并將其部署到私有或公共云。

設(shè)計(jì)可視化為微服務(wù)處理管道的組合。使用拖放操作，您可以快速創(chuàng)建和組合這些管道，以構(gòu)建功能強(qiáng)大的應(yīng)用程序，其中包含不同的 AI 模式、圖形和其他處理功能。

圖 2.使用 Omniverse ACE 構(gòu)建的化身 AI 工作流管道示例

內(nèi)置設(shè)計(jì)規(guī)則和驗(yàn)證是 UCF Studio 開發(fā)環(huán)境的一部分，以確保在其中構(gòu)建的應(yīng)用程序在構(gòu)造上是正確的。完成后，應(yīng)用程序可以打包到支持 NVIDIA GPU 的容器中，并使用 Helm 圖表輕松部署到云中。

建造 Violet ， NVIDIA Tokkio 化身

NVIDIA Tokkio 在 GTC 主題演講中展示，代表了使用 Omniverse ACE 開發(fā)虛擬形象的最新進(jìn)展。在 demo 中，黃仁勛介紹了 Violet ，這是一個基于云的交互式客戶服務(wù)化身，完全自主。

Violet 是使用 NVIDIA Tokkio 應(yīng)用程序工作流開發(fā)的，該工作流使交互式化身能夠智能地查看、感知、交談，并提供建議以增強(qiáng)在線和餐廳、商店等地方的客戶服務(wù)。

雖然用戶界面和特定的 AI 微服務(wù)組件將在 UCF Studio 中繼續(xù)完善，但如何創(chuàng)建化身 AI 工作流管道并部署它的核心過程將保持不變。您將能夠快速選擇、拖放和切換微服務(wù)，輕松定制您的頭像。

首先是一個裝備齊全的化身和一些在 Omniverse 中渲染的基本動畫。使用 UCF Studio ，您可以選擇必要的組件使 Violet 角色具有交互性。這個例子包括 Riva 自動語音識別（ ASR ）和文本到語音（ TTS ）功能，使她能夠聽和說， Omniverse Audio2Face 提供必要的動畫。

然后，將 Violet 連接到食品訂購數(shù)據(jù)集，使她能夠處理客戶訂單和查詢。完成后， UCF Studio 會生成一個 Helm 圖表，該圖表可以通過一系列 CLI 命令部署到 Kubernetes 集群上。現(xiàn)在，紫羅蘭化身正在云中運(yùn)行，可以通過基于 web 的應(yīng)用程序或物理食品服務(wù)亭進(jìn)行交互。

接下來，更新她的語言模型，以便她能夠回答與食物訂單無關(guān)的問題。 NVIDIA Tokkio 應(yīng)用程序框架包括使用 NVIDIA NeMo Megatron 構(gòu)建的可定制預(yù)處理自然語言處理（ NLP ）模型。她的語言模型可以通過返回 UCF Studio 并更新推斷設(shè)置來更新，在這種情況下，可以更新為預(yù)先部署的 Megatron 大型語言模型（ LLM ）微服務(wù)。 Violet 已經(jīng)重新部署，現(xiàn)在可以回答更廣泛的開放領(lǐng)域問題。

Omniverse ACE 微服務(wù)還將支持在第三方引擎中呈現(xiàn)的化身。您可以切換出 NVIDIA Tokkio 管道正在驅(qū)動的化身?；氐?UCF Studio ，替換 Omniverse Audio2Face 的當(dāng)前微服務(wù)輸出，以驅(qū)動使用 Epic’s MetaHuman in Unreal Engine 5 創(chuàng)建的虛擬形象 UltraViolet 。

關(guān)于作者

Stephanie Rubenstein 是 NVIDIA 的產(chǎn)品營銷經(jīng)理，負(fù)責(zé)推動整個開發(fā)人員網(wǎng)絡(luò)采用 XR SDK 。她擁有近十年的經(jīng)驗(yàn)，幫助早期初創(chuàng)企業(yè)和 Facebook 等全球公司成功構(gòu)建并推出了跨增強(qiáng)現(xiàn)實(shí)、云計(jì)算和開源的創(chuàng)新產(chǎn)品。

Alex Qi 是英偉達(dá) AI 軟件集團(tuán)的產(chǎn)品經(jīng)理。她的重點(diǎn)是對話 AI 框架（ Riva ）和多媒體流 AI / ML （ Maxine ）的 AI 軟件和應(yīng)用程序。在加入 NVIDIA 之前，她在領(lǐng)導(dǎo)技術(shù)和工程組織中各種角色的具有挑戰(zhàn)性的技術(shù)項(xiàng)目方面擁有豐富的經(jīng)驗(yàn)，如數(shù)據(jù)科學(xué)家、計(jì)算建模和設(shè)計(jì)工程。

審核編輯：郭婷