元宇宙熱潮迭起,推動(dòng)了虛擬數(shù)字人產(chǎn)業(yè)發(fā)展。當(dāng)前,隨著虛擬人技術(shù)日益成熟,相關(guān)產(chǎn)業(yè)鏈逐漸成型,以及虛擬人的智能化、多元化應(yīng)用不斷完善,數(shù)智人發(fā)展逐漸成為行業(yè)趨勢(shì)。
深圳幻影未來(lái)信息科技有限公司(以下簡(jiǎn)稱(chēng)“幻影未來(lái)”)專(zhuān)注于虛擬人互動(dòng)的內(nèi)容研發(fā),是領(lǐng)先的虛擬人及互動(dòng)方案、AI 數(shù)智人創(chuàng)新提供商。借助 NVIDIA Omniverse Audio2Face 和 NVIDIA RTX GPU,幻影未來(lái)加速虛擬人 Kiko 的語(yǔ)音及表情訓(xùn)練,助力打造高品質(zhì) AI 數(shù)智人。
虛擬人語(yǔ)音互動(dòng)與表情變化仍需優(yōu)化
虛擬現(xiàn)實(shí)技術(shù)的演進(jìn)和虛擬人行業(yè)的逐步發(fā)展,帶動(dòng)直播、電商、娛樂(lè)行業(yè)等逐漸開(kāi)展虛擬人產(chǎn)業(yè)布局?;糜拔磥?lái)從虛擬人直播入手,蓄力將虛擬人 Kiko 打造成虛擬人 IP。由于目前虛擬人主播與觀眾之間的溝通場(chǎng)景仍需豐富,幻影未來(lái)立足技術(shù)背景,著力開(kāi)展虛擬人的技術(shù)升級(jí)。
利用現(xiàn)有技術(shù),虛擬人主播可實(shí)現(xiàn)語(yǔ)音輸入輸出及相應(yīng)動(dòng)畫(huà)展示,但仍缺乏相應(yīng)的互動(dòng)力和表現(xiàn)力,因此,在語(yǔ)音互動(dòng)和表達(dá)的基礎(chǔ)上,驅(qū)動(dòng)虛擬人產(chǎn)生豐富而逼真的表情以提升與用戶(hù)之間的溝通水平、加強(qiáng)虛擬人與用戶(hù)間的情感交流仍是行業(yè)發(fā)展的痛點(diǎn)。
Omniverse Audio2Face + RTX GPU
加速虛擬人訓(xùn)練與升級(jí)
幻影未來(lái)通過(guò) NVIDIA 初創(chuàng)加速計(jì)劃了解到,借助 NVIDIA Omniverse Audio2Face 可以直接將虛擬人語(yǔ)音轉(zhuǎn)換為嘴型和表情動(dòng)畫(huà),其在使用和測(cè)試后,對(duì)輸出的表情 BS 進(jìn)行改造并訓(xùn)練自定義模型,同時(shí)借助 NVIDIA RTX GPU,加速對(duì)虛擬人訓(xùn)練大量數(shù)據(jù)的交換與處理。
Omniverse Audio2Face 是一款由 AI 提供技術(shù)支持的應(yīng)用,僅憑借一個(gè)音頻來(lái)源便能生成面部表情動(dòng)畫(huà)。Audio2Face 可簡(jiǎn)化 3D 角色的動(dòng)畫(huà)制作,與任何配音音軌匹配,在交互式應(yīng)用場(chǎng)景中可以使用該應(yīng)用,也可將其用作傳統(tǒng)的面部動(dòng)畫(huà)創(chuàng)作工具,實(shí)時(shí)運(yùn)行結(jié)果或烘焙結(jié)果都可輕松獲得。借助 Omniverse Audio2Face,幻影未來(lái)只需錄制語(yǔ)音音軌,輸入到該應(yīng)用中,即可生成生動(dòng)的虛擬人面部表情。
虛擬人模型訓(xùn)練包括數(shù)據(jù)采集和清洗、數(shù)據(jù)處理和數(shù)據(jù)訓(xùn)練,訓(xùn)練過(guò)程中數(shù)據(jù)量龐大,對(duì)數(shù)據(jù)處理能力要求較高,幻影未來(lái)借助 RTX GPU,相較于常規(guī)硬件訓(xùn)練方法而言,訓(xùn)練時(shí)間可縮短至 10 分鐘左右,訓(xùn)練速度提高了 99% 以上。
數(shù)智人服務(wù)場(chǎng)景拓寬
元宇宙基礎(chǔ)服務(wù)潛力無(wú)限
NVIDIA Omniverse Audio2Face 與 NVIDIA GPU 加速平臺(tái)賦能幻影未來(lái)實(shí)現(xiàn)虛擬人語(yǔ)音和表情動(dòng)畫(huà)升級(jí),使傳統(tǒng)虛擬人向數(shù)智人的升級(jí)成為了可能?;糜拔磥?lái)的虛擬人表現(xiàn)力解決方案助力豐富數(shù)智人服務(wù)場(chǎng)景,推動(dòng)了元宇宙基礎(chǔ)服務(wù)的豐富和發(fā)展。
幻影未來(lái)創(chuàng)始人兼 CTO 姜龍表示,“未來(lái)元宇宙中的應(yīng)用軟件一定不是以 APP 形式展現(xiàn),也一定不會(huì)是需要通過(guò)點(diǎn)擊操控 UI 的形式出現(xiàn),我相信未來(lái)元宇宙中的所有服務(wù)是以數(shù)智虛擬人形式出現(xiàn),通過(guò)自然交互的方式來(lái)進(jìn)行,這一天不會(huì)太遠(yuǎn)。”
NVIDIA 初創(chuàng)加速計(jì)劃
深圳幻影未來(lái)信息科技有限公司是 NVIDIA 初創(chuàng)加速計(jì)劃 (NVIDIA Inception) 會(huì)員企業(yè)。NVIDIA 初創(chuàng)加速計(jì)劃為免費(fèi)會(huì)員制、旨在培養(yǎng)顛覆行業(yè)格局的優(yōu)秀創(chuàng)業(yè)公司。該計(jì)劃聯(lián)合國(guó)內(nèi)外知名的風(fēng)投機(jī)構(gòu),創(chuàng)業(yè)孵化器,創(chuàng)業(yè)加速器,行業(yè)合作伙伴以及科技創(chuàng)業(yè)媒體等,打造創(chuàng)業(yè)加速生態(tài)系統(tǒng)。能夠提供產(chǎn)品折扣,技術(shù)支持,市場(chǎng)宣傳,融資對(duì)接,業(yè)務(wù)推薦等一系列服務(wù),加速創(chuàng)業(yè)公司的發(fā)展。
-
NVIDIA
+關(guān)注
關(guān)注
14文章
4793瀏覽量
102429 -
AI
+關(guān)注
關(guān)注
87文章
28877瀏覽量
266228 -
虛擬人
+關(guān)注
關(guān)注
1文章
27瀏覽量
7318
原文標(biāo)題:NVIDIA Omniverse Audio2Face 助力幻影未來(lái)打造高品質(zhì) AI 數(shù)智人 Kiko
文章出處:【微信號(hào):NVIDIA-Enterprise,微信公眾號(hào):NVIDIA英偉達(dá)企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論