NVIDIA 賦能中科深智實現(xiàn) NPC 與玩家的千人千面多模態(tài)互動

中科深智成立于 2016 年，是一家專注于端到端生成式 AI 虛擬人技術(shù)的公司，從底層自研的大語言模型、動作和表情生成算法模型以及 3D 自動建模，到 Motionverse 虛擬人業(yè)務(wù)中臺，再到 3D 生成式 AI 產(chǎn)品和應(yīng)用層。中科深智除了為生態(tài)合作伙伴提供 AI 虛擬人 API 外，還開發(fā)了一系列 3D 生成式 AI 產(chǎn)品，包括超寫實虛擬人生成系統(tǒng) Anyhuman、元宇宙電商和虛擬人直播工具百寶箱自動播、AI 快速動畫生成系統(tǒng)自動畫、虛擬人實時交互和應(yīng)答系統(tǒng)云小七等。

傳統(tǒng) NPC 人機交互

生硬且成本高昂

在動作和表情方面，傳統(tǒng) NPC 因為無法獲取用戶的畫面信息和語音信息，也就無法做出實時的反饋，動作和語音的呈現(xiàn)皆靠預設(shè)，所謂的人機交互其實非常的刻板和生硬。

在文字和語音的對話能力方面，大語言模型的出現(xiàn)賦予了 NPC 實時對話的能力。但無論是何種大語言模型的誕生，都經(jīng)歷了數(shù)據(jù)清洗、預訓練、指令微調(diào)、測試、合規(guī)、部署和應(yīng)用接口開發(fā)等環(huán)節(jié)，這些環(huán)節(jié)此前是彼此分散的，而并非一體化的，這也意味著每兩個環(huán)節(jié)之間都需要進行大量的人工處理和匹配部署，這本質(zhì)上是對人力成本和時間成本的浪費，亟需一種更加省時和高效的解決方案。

NVIDIA 賦能游戲 NPC

實現(xiàn)智能化互動

NVIDIA Omniverse 中的 Audio2Face 可以輔助云小七實現(xiàn)音頻輸入的面部輸出，通過預訓練的深度神經(jīng)網(wǎng)絡(luò)、調(diào)整角色網(wǎng)格的 3D 頂點等方式，快速實現(xiàn)表情切換。通過利用 NVIDIA Maxine 對于音頻和視頻通信方面進行優(yōu)化，即使用戶使用普通的麥克風和攝像頭，NPC 也能監(jiān)測到他們的行為并且產(chǎn)生反饋，與玩家實現(xiàn)實時互動。

此外，云小七底層的文字對話能力來自于中科深智今年 5 月推出的自有大語言模型 GenSense 數(shù)智姜尚。數(shù)智姜尚是國內(nèi)商用大模型在輕量化領(lǐng)域內(nèi)的重要嘗試，是針對垂直領(lǐng)域和虛擬人端到端應(yīng)用而專門設(shè)計的大語言模型，可成為虛擬人的“大腦”，為其提供實時互動的能力支撐。數(shù)智姜尚采用了先進的優(yōu)化技術(shù)，輕巧便利且占用資源極少，可為用戶提供流暢的使用體驗。配合 NVIDIA GPU，數(shù)智姜尚能夠以高性能運行并展現(xiàn)出色的表現(xiàn)。其次，數(shù)智姜尚的部署和定制非常簡便，可以輕松集成到現(xiàn)有的企業(yè)工作流中，為用戶提供個性化和智能化的解決方案，同時實現(xiàn)快速的模型訓練和應(yīng)用部署。

NVIDIA NeMo 在數(shù)智姜尚的訓練過程中提供了低門檻、經(jīng)濟、高效的幫助。

首先，NVIDIA NeMo 幫助解決了訓練全流程的問題，包括數(shù)據(jù)清洗、預訓練和指令微調(diào)，以及測試、合規(guī)、部署和應(yīng)用接口開發(fā)等。在此之前，這需要多個架構(gòu)才能完成，因此極大的提高了自有模型的開發(fā)效率。

同時，NVIDIA NeMo 還提供了大量的、可應(yīng)用于多個不同場景的預訓練模型。選擇 NVIDIA 已經(jīng)訓練好的模型，能夠大幅縮短微調(diào)和再訓練的時間，也幫助擴充了中科深智自身大模型數(shù)智姜尚的適應(yīng)性。NeMo 本身的 ASR/TTS 也直接帶來了自然交互工具，無需借助第三方，從而加速了數(shù)智姜尚的開發(fā)和交付。

此外，通過使用 NVIDIA 提供的 NeMo Guardrails 工具，中科深智還高效解決了對話式 AI 合規(guī)性和安全性的風險。通過 NeMo Guardrails 為對話設(shè)置響應(yīng)的范圍和邊界，使數(shù)智姜尚的回答范圍僅限于適當?shù)闹黝}并僅提供必要的信息，能夠限制 AI 只與已確認安全的第三方應(yīng)用程序建立聯(lián)系。

NVIDIA 助力中科深智

加速AI 對話數(shù)字人建設(shè)

中科深智聯(lián)合創(chuàng)始人兼 CTO 宋健說：“中科深智是 NVIDIA 初創(chuàng)加速計劃的高級會員，通過該計劃，一方面中科深智與 NVIDIA 進行了深入的技術(shù)合作，另外一方面也鏈接到大量外部企業(yè)資源，可以快速有效的將產(chǎn)品和需求方進行對接。

大模型驅(qū)動的對話式 AI 和數(shù)字人的結(jié)合引發(fā)了新一輪的商業(yè)增量，也是我們的企業(yè)客戶關(guān)注的重點。對話式數(shù)字人正在不同領(lǐng)域發(fā)揮著越來越大的作用，幫助企業(yè)用戶解決客戶服務(wù)等難題，提高客戶的體驗。然而開發(fā)和運行可落地的語音人工智能服務(wù)仍然是一項復雜而艱巨的任務(wù)，通常需要面臨實時性、可理解性、自然性、低資源、魯棒性等挑戰(zhàn)。在 NVIDIA 初創(chuàng)加速計劃的支持之下，我們深入了解并且成功應(yīng)用了 NVIDIA 各項最新技術(shù)和工具，包括 NVIDIA Nemo，NVIDIA Omniverse 等等，切實幫助我們加速了 AI 對話數(shù)字人的建設(shè)?！?/span>

NVIDIA 初創(chuàng)加速計劃

想獲得 NVIDIA 初創(chuàng)加速生態(tài)助力？掃描下方二維碼，僅需一分鐘填寫意向申請表單，獲得快速聯(lián)系。