使用自然語言語音指令創(chuàng)建 XR 體驗：Project Mellon 應(yīng)用測試

Project Mellon 是一個輕量級的 Python 軟件包，能夠利用強(qiáng)大的語音 AI（NVIDIA Riva）和大型語言模型（LLMs）（NVIDIA NeMo 服務(wù)），簡化沉浸式環(huán)境中的用戶交互。NVIDIA 在 GTC 2023 上宣布，Project Mellon 現(xiàn)已支持開發(fā)者進(jìn)行測試?；诖耍_發(fā)者可開始探索如何創(chuàng)建由自然語言語音指令控制的、解放雙手的擴(kuò)展現(xiàn)實（XR）體驗。

正如 J·R·R·托爾金（J.R.R.Tolkien）在《都林之門（Doors of Durin）》中的謎語—“請說，朋友，而后進(jìn)入”所示，文字可以移山倒海。Project Mellon 背后蘊(yùn)含著一個基本理念，即以更實用有效的方式來利用語音 AI 和 LLM 之力打開虛擬世界的大門，并在其中完成更多的事情。

在 XR 中，用戶界面可能非常復(fù)雜且難以使用，會破壞虛擬、混合和增強(qiáng)現(xiàn)實的本質(zhì)—即沉浸式體驗的自然感。Project Mellon 可賦能多類應(yīng)用程序（無論是 XR 還是平板生態(tài)）開發(fā)者，輕松地將自然語言理解作為以人為本且可解放雙手的新型用戶界面，添加至其開發(fā)的軟件之中。

Project Mellon 平臺包含以下組成部分：

• Project Mellon SDK（軟件開發(fā)套件）

• NVIDIA Riva（ASR 、TTS 、NMT）

• NeMo 服務(wù)（其他 LLM 也可獲取支持）

Project Mellon 1.0 發(fā)布的主要功能包括：

• 輕量且易于集成的 Python 庫

• 保持自然語言理解準(zhǔn)確性的 LLM

• 無需特定指令進(jìn)行訓(xùn)練的零樣本語言模型

• 具有對話和視覺上下文的自然語言指令支持

• 支持詢問有關(guān)指令和情境的問題，并提供自然語言回答

• 用于理解和執(zhí)行指令的簡單 Python API

• 基于 Web 的測試應(yīng)用程序

• 可以在本地或遠(yuǎn)程托管 ASR、TTS、LLM 和神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯（NMT），以實現(xiàn)低延遲響應(yīng)

ESI 集團(tuán)解決方案和技術(shù)專家 Jan Wurster 在 GTC 主題演講—“在虛擬現(xiàn)實中與 AI 協(xié)作：沉浸式數(shù)字助手（會議代碼：[S51355]）”中表示：“我們發(fā)現(xiàn)，通過集成對話式 AI 與 NVIDIA Project Mellon，可以降低使用 XR 展開協(xié)作的技術(shù)門檻，并為 IC.IDO Weave 用戶提供更加人性化的體驗。通過輸入自然語音，我們的虛擬 AI 助手可以幫助團(tuán)隊完成復(fù)核任務(wù)、查詢可用情況或發(fā)現(xiàn)相關(guān)問題，這些功能無需記住特定指令、僅需輸入自然語言就可使用?！?/p>

（2023 年 4 月 10 日前登錄 GTC 官網(wǎng)，即可觀看演講回放，了解其團(tuán)隊如何在動態(tài)、協(xié)作的 XR 環(huán)境中，在使用對話式 AI 的過程中受益）

Project Mellon 現(xiàn)已可供開發(fā)人員使用。觀看 Project Mellon 相關(guān)演示，了解如何利用自然語音指令，驅(qū)動設(shè)計審查、更改實時配置、控制機(jī)器人以及操縱相機(jī)和場景元素。

了解如何啟用 Project Mellon 進(jìn)行開發(fā)

人工智能正在改變?nèi)祟惻c工作及工具進(jìn)行交互的方式。開發(fā)人員可以通過語音 AI 和 Project Mellon，簡化并提升用戶體驗的人性化水平，且不再需要培訓(xùn)用戶操作虛擬現(xiàn)實（VR）中的每一項功能。用戶可以在虛擬現(xiàn)實應(yīng)用程序中，用自己的語言來控制 XR 體驗。

點擊“閱讀原文”，申請試用 Project Mellon。

掃描海報二維碼，即可觀看 NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛 GTC23 主題演講重播！