在 NVIDIA ACE 中使用 AI 動(dòng)畫和語(yǔ)音功能打造逼真的虛擬形象

NVIDIA 近日公布了 NVIDIA Avatar Cloud Engine（ACE）的一系列技術(shù)，增強(qiáng)了 AI 虛擬形象和數(shù)字人的真實(shí)感和可訪問(wèn)性，這些新的動(dòng)畫和語(yǔ)音功能實(shí)現(xiàn)了更自然的對(duì)話和情感表達(dá)。

開發(fā)者現(xiàn)在可以使用新的云 API 在應(yīng)用中輕松實(shí)現(xiàn)和擴(kuò)展智能虛擬形象，包括自動(dòng)語(yǔ)音識(shí)別（ASR）、文本轉(zhuǎn)語(yǔ)音（TTS）、神經(jīng)機(jī)器翻譯（NMT）和 Audio2Face（A2F）。

AI 驅(qū)動(dòng)的情感動(dòng)畫

用戶可使用最新的 ACE AI 動(dòng)畫功能和微服務(wù)（包括新添加的 A2F 情感支持）構(gòu)建更具表現(xiàn)力的數(shù)字人，現(xiàn)在還提供用于身體、頭部和眼球運(yùn)動(dòng)的 Animation Graph 微服務(wù)。

圖 1. NVIDIA ACE 端到端開發(fā)套件

增強(qiáng)的 AI 語(yǔ)音功能

現(xiàn)在支持的語(yǔ)言包括意大利語(yǔ)、西班牙語(yǔ)、德語(yǔ)和普通話，ASR 技術(shù)的整體準(zhǔn)確性也得到了提高，ASR、TTS 和 NMT 的云 API 簡(jiǎn)化了對(duì)最新語(yǔ)音 AI 功能的訪問(wèn)。

無(wú)論用戶是想使用自己的語(yǔ)音將自定義語(yǔ)音應(yīng)用到智能 NPC，還是在視頻會(huì)議通話中隨機(jī)化用戶的語(yǔ)音，新的 Voice Font 微服務(wù)都能讓用戶自定義 TTS 輸出。這項(xiàng)技術(shù)可將說(shuō)話者的獨(dú)特音調(diào)和音量轉(zhuǎn)換為參考音頻，同時(shí)保持相同的節(jié)奏和聲音模式。

新工具和框架

ACE Agent 是一家專業(yè)的對(duì)話管理和系統(tǒng)集成商，它能夠提供更加流暢的端到端體驗(yàn)，并高效地協(xié)調(diào)微服務(wù)之間的連接。開發(fā)者還可以利用與 NVIDIA Omniverse 平臺(tái)的集成，通過(guò) NVIDIA NeMo Guardrails、NVIDIA SteerLM 和 LangChain 來(lái)更好地控制精確且可調(diào)節(jié)的響應(yīng)。

現(xiàn)在，可以更輕松地在用戶選擇的渲染器或編碼環(huán)境中啟動(dòng)和運(yùn)行這些工具。新功能包括：

• 在 Avatar 配置器中支持 Blendshape，以輕松集成 Unreal Engine 等熱門渲染器。

• 面向 Python 用戶的全新 A2F 應(yīng)用程序。

• 一款參考應(yīng)用程序，適用于有興趣為客戶服務(wù)構(gòu)建虛擬助理的開發(fā)者。

總結(jié)

這些新推出的 NVIDIA ACE 功能提高了數(shù)字人體驗(yàn)的質(zhì)量標(biāo)準(zhǔn)。借助簡(jiǎn)化構(gòu)建和部署的增強(qiáng)功能，開發(fā)者現(xiàn)在可以獲得構(gòu)建新一代數(shù)字人應(yīng)用所需的簡(jiǎn)化配置。

想要探索尖端數(shù)字人技術(shù)？點(diǎn)擊“閱讀原文”，申請(qǐng) NVIDIA ACE 搶先體驗(yàn)。

GTC 2024 將于 2024 年 3 月 18 至 21 日在美國(guó)加州圣何塞會(huì)議中心舉行，線上大會(huì)也將同期開放。掃描下方海報(bào)二維碼，立即注冊(cè) GTC 大會(huì)。