冬日暖心禮 | Toy Jensen AI 演唱送祝福，虛擬人背后技術(shù)解讀！

今年 11 月，NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛在一次活動(dòng)后偶遇了兩位正在直播的歌手，黃仁勛加入其中，為她們的音樂喝彩。新的一年將至，以 AI 打造的實(shí)時(shí)對話 AI 虛擬化身 Toy Jensen 為大家獻(xiàn)曲并送上暖心的節(jié)日祝福！

創(chuàng)建 Toy Jensen：

NVIDIA Omniverse Avatar Cloud Engine

這段 Toy Jensen 的表演視頻展示了 NVIDIA Omniverse Avatar Cloud Engine （ACE） 平臺的部分核心技術(shù)。Omniverse ACE 是一個(gè)云原生 AI 微服務(wù)和工作流的集合。開發(fā)者可以使用它輕松構(gòu)建、自定義和部署引人入勝的交互式虛擬形象。

目前市場上的虛擬化身開發(fā)工作需要專業(yè)的知識、專業(yè)的設(shè)備以及大量人手。而 Omniverse ACE 則不同，它建立在 NVIDIA 的統(tǒng)一計(jì)算框架 （UCF） 基礎(chǔ)上，可以使用更少的代碼快速創(chuàng)建和配置AI流程。

NVIDIA 技術(shù)項(xiàng)目經(jīng)理 Cyrus Hogg 表示：“這是一項(xiàng)令人驚喜的技術(shù)，而我們能夠做到這一點(diǎn)也非常了不起?！?/span>

Toy Jensen 演唱背后技術(shù)揭秘

為了帶來一場精彩的表演，NVIDIA 的團(tuán)隊(duì)使用最近開發(fā)的語音轉(zhuǎn)換模型，從他們提供的樣本中提取出專業(yè)歌手的聲音并將其變成 Toy Jensen 的聲音。Toy Jensen 原來的聲音是使用數(shù)小時(shí)的真實(shí)錄音訓(xùn)練開發(fā)而成。這次，團(tuán)隊(duì)使用該樣本中的音調(diào)并將其應(yīng)用于 Toy Jensen 的數(shù)字聲音，讓虛擬化身以原歌手相同的音調(diào)和節(jié)奏唱歌。

NVIDIA 的創(chuàng)作團(tuán)隊(duì)甚至和曾與 Michael Bublé 和 David Foster 合作過的作曲家兼制作人 Jochem van der Saag 一起為 Toy Jensen 創(chuàng)作了完美的伴奏曲。

NVIDIA 技術(shù)項(xiàng)目經(jīng)理 Cyrus Hogg 表示：“我們請 van der Saag 作曲，并為我們編排這首歌。這很好地彌補(bǔ)了我們團(tuán)隊(duì)的不足，我們十分高興他能夠加入?！?/span>

雖然將所創(chuàng)建的音樂曲目轉(zhuǎn)換成一個(gè)精致的視頻只用了幾個(gè)小時(shí)，但 Omniverse ACE 技術(shù)背后的團(tuán)隊(duì)花了數(shù)年時(shí)間來開發(fā)和調(diào)整這段表演中所展示的技術(shù)。

Audio2Face 與 Audio2Gesture

實(shí)現(xiàn)真實(shí)的面部表情和身體動(dòng)作

NVIDIA 的創(chuàng)作團(tuán)隊(duì)使用了 Omniverse ACE，Omniverse Audio2Face 和 Audio2Gesture 技術(shù)，僅根據(jù) Toy Jensen 的音頻就為這段動(dòng)畫表演生成了逼真的面部表情和身體動(dòng)作。

ACE 將徹底改變虛擬體驗(yàn)

Toy Jensen 的視頻淋漓盡致地展示了 NVIDIA Omniverse ACE 及其如何被應(yīng)用于各行業(yè)的虛擬活動(dòng)、在線教育和客戶服務(wù)，并且如何被用于為視頻游戲、社交媒體和虛擬現(xiàn)實(shí)體驗(yàn)創(chuàng)造個(gè)性化的虛擬化身。

暖心互動(dòng)贏好禮

您認(rèn)為視頻背后的哪項(xiàng)技術(shù)最令人驚喜？參與下方投票并評論留言，即可參與活動(dòng)！

活動(dòng)截止于 12 月 30 日 早 11點(diǎn)，將抽取 1 位獲贊最高的評論，送出 NVIDIA 定制暖冬衛(wèi)衣一件！