NVIDIA 賦能 Cyanpuppets 打造實時 2D 視頻生成 3D 骨骼 AI 轉(zhuǎn)換模型

青色木偶科技 Cyanpuppets致力于 AI 圖像算法技術(shù)和實時渲染平臺工具，是一家以卷積神經(jīng)網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)算法為核心，打造自研 AI 模型架構(gòu)、實現(xiàn)虛擬與現(xiàn)實世界驅(qū)動協(xié)作的 AIGC 技術(shù)公司。其自研 CYAN.AI 平臺結(jié)合 NVIDIA GPU?算力，實現(xiàn)了 2D 視頻生成 3D 動作數(shù)據(jù)，具備三維空間自由人體運動，能夠為全球用戶提供 AI 無穿戴動作捕捉技術(shù)、虛擬社交全身互動技術(shù)、3D 動畫制作工具與三維空間預(yù)演技術(shù)。

數(shù)字化身的低成本實時驅(qū)動

成為一大挑戰(zhàn)

游戲開發(fā)商 Epic Games 的首席執(zhí)行官 Tim Sweeney曾提到，“元宇宙將是一種前所未有的大規(guī)模參與式媒介，所有用戶都可以參與、創(chuàng)造、分享并從中獲利，而用戶的虛擬數(shù)字化身（Avatar）可以自由地在不同平臺之間穿梭”。隨著 AI 算力和計算機圖形渲染技術(shù)的蓬勃發(fā)展，人類對于自由地在不同數(shù)字平臺中穿梭，并隨時進入虛擬世界的數(shù)字化身 Avatar 提出了更高的要求：如何輕便快捷地讓數(shù)字化身真實地表達人類的動作意愿與情感，并將人類的動作實時遷移至虛擬化身上，成為關(guān)鍵性挑戰(zhàn)之一，細分為以下幾個具體的問題：

• 復(fù)雜的技術(shù)流程

  從面部表情、手指動作到肢體動作，每個模塊往往由不同的技術(shù)方案構(gòu)成，數(shù)據(jù)的同步性與流程的一體化構(gòu)建面臨巨大的技術(shù)投入和人力成本挑戰(zhàn)。

• 高昂的捕捉成本

  體驗與成本不可兼得，市面上效果較為一般的半身視覺動捕無法滿足 Avatar 的技術(shù)要求，而較為精準的光學(xué)捕捉與慣性捕捉，動輒數(shù)十萬的投入又使得 Avatar 成本居高不下。較高的成本讓普通民眾無法參與數(shù)字內(nèi)容體系的建設(shè)，也無法享受技術(shù)時代帶來的新體驗。

• 割裂的數(shù)字孤島

  虛擬化身的骨骼標準難以統(tǒng)一，不同的制作軟件、綁定系統(tǒng)和圖形渲染引擎會形成割裂的多個數(shù)字孤島，因此不僅每次虛擬化身穿梭到不同平臺帶來的資產(chǎn)遷移成本很高，而且難以形成一個整體性的虛擬化身世界。

• 糟糕的捕捉體驗

  身上穿戴著復(fù)雜且繁重的動作捕捉傳感器，使得數(shù)字化身的使用體檢較為糟糕，長時間穿戴帶來的不適感與疲憊感也讓元宇宙成為了難以進入的宇宙。

NVIDIA GPU 助力 Cyanpuppets

打造 AI 驅(qū)動模型賦能Avatar發(fā)展

基于以上問題，Cyanpuppets 選擇了 NVIDIA 平臺多個產(chǎn)品提供支持，在多張NVIDIA GeForce RTX3080Ti的算力支持下，參考主流 AI 框架 TensorFlow、PyTorch、Caffe 等，對 COCO、ORGBD 等數(shù)據(jù)集進行長期訓(xùn)練。硬件終端上采用 ?GeForce RTX 3060?/3070/3080等系列硬件給軟件系統(tǒng)帶來了穩(wěn)定性保障和流暢體驗感。同時，使用Deep Learning Super Sampling（DLSS）這項 AI 深度學(xué)習(xí)技術(shù)，為用戶提供極致的畫面渲染效果。

在NVIDIA GPU賦能下，CYAN.AI 以 CNN 和 DNN 為底層核心訓(xùn)練了近萬小時的數(shù)據(jù)集，在同步的 2D 視頻流中提取人體動作的關(guān)鍵特征做人體姿態(tài)識別，追蹤人體超過 208 個關(guān)鍵點，結(jié)合動力學(xué)、生物力學(xué)生成人體運動的建模算法，一體化完成面部、表情與肢體共 208 點無穿戴、無標記的高精度捕捉。

CYAN.AI 構(gòu)建了一個全新的骨骼系統(tǒng)，通過合成數(shù)據(jù)算法對主流的 Unreal Skeleton Asset、Daz、CC、Unity avatar 和 metahuman 的模型骨骼系統(tǒng)進行匹配映射，讓虛擬化身的全身驅(qū)動不再是一個個割裂的數(shù)字孤島。

在硬件優(yōu)化環(huán)節(jié)，通過對 NVIDIA GPU 算力進行分布式的算力調(diào)配，僅需成本數(shù)百元的 RGB 攝像頭就能獲取視頻流，進行插值異構(gòu)即可實現(xiàn)更低延遲的數(shù)據(jù)信息吞吐與數(shù)據(jù)畫面合成。

結(jié)合 NVIDIA GPU 算力支持，算法模型以低至 0.1s 的延遲實現(xiàn)了超低延時的視覺動作捕捉，同時輔助動捕特征平滑算法、圖像識別多目協(xié)同算法、空間檢測、定位算法和重定向算法等多種算法，即使在復(fù)雜、狹小且充滿干擾物的使用環(huán)境中，CYAN.AI 依然可以穩(wěn)定、高效、高精度地動作捕捉遷移。

“AIGC 行業(yè)是當前最受關(guān)注的人工智能領(lǐng)域之一，算力與算法帶來的生產(chǎn)力提升，讓每個個體都切實感受到新時代的來臨。傳統(tǒng)的行業(yè)紛紛擁抱 AI 生成科技進行產(chǎn)業(yè)升級，從文字生成圖片，圖片生成視頻再到視頻生成 3D，這是一個長久進化的趨勢，Cyanpuppets 正處于 2D 生成 3D 的關(guān)鍵環(huán)節(jié)。NVIDIA 提供的 GPU 解決方案，解決了深度學(xué)習(xí)和機器學(xué)習(xí)的技術(shù)難題，使得我們可以持續(xù)不斷地創(chuàng)新算法模型，拓寬應(yīng)用場景，并通過 CYAN.AI 平臺為全球不同行業(yè)、不同場景的用戶搭建虛擬現(xiàn)實協(xié)作的橋梁、虛擬化身的實時驅(qū)動方案。” 青色木偶科技 Cyanpuppets CEO 李宗興表示。

NVIDIA 初創(chuàng)加速計劃

青色木偶科技 Cyanpuppets是 NVIDIA 初創(chuàng)加速計劃 (NVIDIA Inception) 會員企業(yè)。NVIDIA 初創(chuàng)加速計劃為免費會員制，旨在培養(yǎng)顛覆行業(yè)格局的優(yōu)秀創(chuàng)業(yè)公司。該計劃聯(lián)合國內(nèi)外知名的風(fēng)投機構(gòu)，創(chuàng)業(yè)孵化器，創(chuàng)業(yè)加速器，行業(yè)合作伙伴以及科技創(chuàng)業(yè)媒體等，打造創(chuàng)業(yè)加速生態(tài)系統(tǒng)。能夠提供產(chǎn)品折扣，技術(shù)支持，市場宣傳，融資對接，業(yè)務(wù)推薦等一系列服務(wù)，加速創(chuàng)業(yè)公司的發(fā)展。

想獲得 NVIDIA 初創(chuàng)加速生態(tài)助力？掃描下方二維碼，僅需一分鐘填寫意向申請表單，獲得快速聯(lián)系。