NVIDIA通過Vid2Vid Cameo演示表演捕捉技術(shù)

Derivative、Notch 和 Pixotope 等公司使用 NVIDIA Vid2Vid Cameo 和 3D 人體姿態(tài)估計(jì)工具來實(shí)時(shí)驅(qū)動(dòng)表演。

NVIDIA AI 工具可為各個(gè)級(jí)別的創(chuàng)作者（視覺特效和動(dòng)畫工作室、創(chuàng)意專業(yè)人士，甚至是攝像頭發(fā)燒友）實(shí)現(xiàn)由深度學(xué)習(xí)驅(qū)動(dòng)的表演捕捉技術(shù)。

借助 NVIDIA Vid2Vid Cameo，創(chuàng)作者可以利用 AI 從專業(yè)攝像頭或智能手機(jī)拍攝的標(biāo)準(zhǔn) 2D 視頻中捕捉面部動(dòng)作和表情。這種表演可實(shí)時(shí)用于為虛擬形象、人物或繪畫制作動(dòng)畫。

通過 3D 人體姿態(tài)估計(jì)軟件，創(chuàng)作者可以捕捉散步、跳舞和武術(shù)表演之類的全身動(dòng)作，從而利用 AI 讓虛擬角色栩栩如生。

對(duì)于沒有 3D 經(jīng)驗(yàn)的個(gè)人，這些工具可以助力他們使用智能手機(jī)視頻片段輕松制作創(chuàng)意項(xiàng)目動(dòng)畫。專業(yè)人士可以更進(jìn)一步，結(jié)合使用姿態(tài)估計(jì)和 Vid2Vid Cameo 軟件，將自己的動(dòng)作傳輸?shù)教摂M角色，用于直播或動(dòng)畫項(xiàng)目。

創(chuàng)意工作室可以利用 AI 驅(qū)動(dòng)的表演捕捉技術(shù)進(jìn)行概念設(shè)計(jì)或預(yù)視覺化，從而快速傳達(dá)特定動(dòng)作在數(shù)字角色上的樣子。

NVIDIA 通過 Vid2Vid Cameo 演示表演捕捉技術(shù)

NVIDIA Vid2Vid Cameo 通過 NVIDIA AI Playground 上的演示提供，只需兩個(gè)元素即可生成頭部特寫視頻：可制作動(dòng)畫的虛擬形象或繪畫的靜止圖像，以及原始表演者說話、唱歌或移動(dòng)頭部的視頻片段。

該模型基于生成式對(duì)抗網(wǎng)絡(luò) (GAN) 繪制面部動(dòng)作，以捕捉實(shí)時(shí)運(yùn)動(dòng)，進(jìn)而將該運(yùn)動(dòng)傳輸至虛擬角色。經(jīng)過 18 萬個(gè)視頻的訓(xùn)練，該網(wǎng)絡(luò)學(xué)會(huì)了如何識(shí)別 20 個(gè)關(guān)鍵點(diǎn)以對(duì)面部運(yùn)動(dòng)進(jìn)行建模，即編碼眼睛、嘴、鼻子、眉毛等部位的位置。

這些點(diǎn)從表演者的視頻流中提取，然后應(yīng)用于虛擬形象或數(shù)字角色。在下面的演示中了解其工作原理，該演示將埃德加·愛倫·坡的《十四行詩(shī) – 致科學(xué)》的表演轉(zhuǎn)換為藝術(shù)家 Gary Kelley 創(chuàng)作的一幅作家肖像。

視覺平臺(tái)集成 NVIDIA 的 Vid2Vid Cameo 和姿態(tài)估計(jì)

雖然 Vid2Vid Cameo 可以捕捉詳細(xì)的面部表情，但姿態(tài)估計(jì) AI 可追蹤全身的運(yùn)動(dòng)，這是創(chuàng)作者處理負(fù)責(zé)執(zhí)行復(fù)雜動(dòng)作或在數(shù)字場(chǎng)景中移動(dòng)的虛擬角色時(shí)所需的關(guān)鍵功能。

Pose Tracker 是一個(gè)卷積神經(jīng)網(wǎng)絡(luò)模型，可作為 NVIDIA Omniverse 3D 設(shè)計(jì)協(xié)作和世界模擬平臺(tái)的擴(kuò)展程序。它允許用戶上傳視頻片段或?qū)⒅辈ヒ曨l作為運(yùn)動(dòng)源進(jìn)行串流，以實(shí)時(shí)制作角色動(dòng)畫。創(chuàng)作者可以免費(fèi)下載 NVIDIA Omniverse，并借助分步教程開始使用。

已將 NVIDIA AI 表演捕捉技術(shù)集成到自身產(chǎn)品的公司包括：

Derivative 是基于節(jié)點(diǎn)的實(shí)時(shí)視覺開發(fā)平臺(tái) TouchDesigner 的制造商，已采用 Vid2Vid Cameo，以提供易于使用的面部追蹤。

Notch 是一家為 3D、視覺效果和直播活動(dòng)視覺效果提供實(shí)時(shí)圖形工具的公司，該公司使用 NVIDIA 的人體姿態(tài)估計(jì) AI 來幫助藝術(shù)家簡(jiǎn)化舞臺(tái)設(shè)置。Notch 用戶無需依賴自定義硬件追蹤系統(tǒng)，而是可以使用標(biāo)準(zhǔn)攝像頭設(shè)備實(shí)時(shí)控制 3D 角色動(dòng)畫。

Pixotope 是一家先進(jìn)的虛擬制作公司，使用 NVIDIA AI 助力的實(shí)時(shí)人才追蹤來驅(qū)動(dòng)實(shí)時(shí)制作的交互式元素。在近期的 NVIDIA GTC 大會(huì)上，這家總部位于挪威的公司分享了其工作成果，在屏幕上實(shí)現(xiàn)真實(shí)元素和虛擬元素之間的交互。