深度解析音視頻AIGC工具應(yīng)用介紹

大家好，今天有幸再次來到LVS的講臺(tái)給大家做分享。今天主要分享國外比較出名的音視頻工具及理論依據(jù)，以及一些視頻AIGC相關(guān)最新論文的情況，還有我對(duì)行業(yè)情況的思考。

我是王聞?dòng)睿F(xiàn)任PPIO邊緣云聯(lián)合創(chuàng)始人和CTO。從業(yè)音視頻行業(yè)多年、之前PPTV網(wǎng)絡(luò)電視創(chuàng)業(yè)團(tuán)隊(duì)成員，也是架構(gòu)師?，F(xiàn)在在做PPIO邊緣云，是以提供算力為核心的服務(wù)，主要服務(wù)音視頻傳輸，轉(zhuǎn)碼，云端渲染和AIGC等業(yè)務(wù)。下面這張圖片是我用AIGC做的照片。

-01-

發(fā)生了什么

首先，2023年發(fā)生了什么事？

這張圖摘自《2023中國網(wǎng)絡(luò)視聽發(fā)展研究報(bào)告》。可以明顯看到，整個(gè)音視頻行業(yè)的使用量已經(jīng)達(dá)到了增長緩慢的極限。比起22年底，21年底用戶人數(shù)只增加了一個(gè)百分點(diǎn)。22年產(chǎn)業(yè)的市場(chǎng)規(guī)模的增長速度也只有4.4個(gè)百分點(diǎn)。整個(gè)音視頻行業(yè)遇到了瓶頸，開始進(jìn)入一個(gè)很緩慢的時(shí)代。

這是我們音視頻行業(yè)的從業(yè)者面臨著“卷”的根源，大家都在相互競(jìng)爭。我們?cè)趺礃觿?chuàng)新才能從這種“卷”中出來？

過去一年，世界發(fā)生了什么？請(qǐng)看下圖，這是ChatGPT，它達(dá)到一個(gè)億的用戶只用了兩天的時(shí)間，超過了歷史上所有的APP，甚至包括Tiktok，Instagram，Snapchat，F(xiàn)acebook等。

再看下圖，Stable Diffusion成為歷史上增速最快的項(xiàng)目。和它對(duì)標(biāo)的項(xiàng)目是比特幣、以太坊、kafka、spark等知名項(xiàng)目。而且，Stable Diffusion基本上是垂直的線，一天時(shí)間就達(dá)到了幾萬關(guān)注。

這就是這次的十倍變化要素，AI的魅力。

這里回溯一下AI的發(fā)展過程：①在20世紀(jì)50年代，就有了基于規(guī)則的少量數(shù)據(jù)處理；后來80年代，基于統(tǒng)計(jì)學(xué)發(fā)展出了機(jī)器學(xué)習(xí)；②21世紀(jì)后，伴隨顯卡的性能提升，神經(jīng)網(wǎng)絡(luò)，深度學(xué)習(xí)逐步得到應(yīng)用；③特別是2014-2017年，神經(jīng)網(wǎng)絡(luò)得到一系列的發(fā)展，包括CNN卷積神經(jīng)網(wǎng)絡(luò)RNN、循環(huán)神經(jīng)網(wǎng)絡(luò)、VAE、GAN生成對(duì)抗網(wǎng)絡(luò)等，AI在很多領(lǐng)域有了落地的應(yīng)用。④直到2017年，Transfarmer的偉大發(fā)明，帶領(lǐng)我們進(jìn)入了今天大語言模型的時(shí)代。⑤后來在2020年，Diffusion的發(fā)明，非常驚艷的生成圖片效果，點(diǎn)燃了AIGC繪畫的的浪潮。

那么視頻在什么時(shí)代呢？我的看法是視頻可能離走過這個(gè)鴻溝還有一定距離，這是在我分析過國外的APP后得出的想法。

接下來我給大家分享4款A(yù)IGC的應(yīng)用。

-02-

音視頻應(yīng)用AIGC在萌芽

第一款應(yīng)用是D-ID，它的核心是實(shí)現(xiàn)面部的動(dòng)畫。

這是對(duì)他們公司做的分析，包括融資和創(chuàng)始人的經(jīng)歷。國外音視頻的創(chuàng)業(yè)者并不都是名校畢業(yè)生。中國人只要再努力一下，是很容易超越國外的產(chǎn)品的。

關(guān)于技術(shù)的實(shí)現(xiàn)，在他們CEO的一篇演講中有提到如何將聲音和嘴型進(jìn)行對(duì)齊的內(nèi)容，還提到了一種音頻驅(qū)動(dòng)人臉的全神經(jīng)輻射的技術(shù)。

它的本質(zhì)是把一個(gè)圖像從2D生成3D的建模過程，但是文章中沒有提到具體是怎么做的，我們根據(jù)AD-NeRF進(jìn)行相關(guān)的假設(shè)。

AD-NeRF這篇資料講述了音頻驅(qū)動(dòng)人臉的技術(shù)原理。AD-NeRF是一種由語音信號(hào)直接生成說話人視頻的算法，僅需要目標(biāo)人物幾分鐘的說話視頻，該方法即可實(shí)現(xiàn)對(duì)該人物超級(jí)逼真的形象復(fù)刻和語音驅(qū)動(dòng)。首先利用人臉解析方法將整個(gè)訓(xùn)練畫面分為三部分，分別是背景、頭部和軀干。其次，通過頭部的前景和背景的后景去訓(xùn)練頭部部分模型。然后，通過頭部部分隱函數(shù)生產(chǎn)的圖像和背景作為后景，再把軀干作為前景，去訓(xùn)練軀干部分的模型。

同時(shí)，聲音部分也作為AD-NeRF模型的一個(gè)新的特征輸入，通過DeepSpeech的方法，將聲音轉(zhuǎn)化成29維的特征數(shù)據(jù)，輸入到AD-NeRF模型當(dāng)中。

在生成圖像的時(shí)候，通過對(duì)頭部模型和軀干模型輸入相同的特征，其中包括音頻特征和姿態(tài)特征，來完成AD-NeRF模型的推理。在最終立體渲染圖像的過程當(dāng)中，首先采用頭部模型積累像素的采樣密度和RGB值，把渲染好的頭部圖像貼到靜態(tài)背景上，然后軀干模型通過預(yù)測(cè)軀干區(qū)域的前景像素來填充缺失的軀干部分。通過以上的方法，AD-NeRF實(shí)現(xiàn)了音頻驅(qū)動(dòng)人臉當(dāng)中頭部與上身運(yùn)動(dòng)一致，并讓產(chǎn)生動(dòng)作與表情非常自然。

第二個(gè)分享的是Wonder Studio AI。它的兩位創(chuàng)始人不是計(jì)算機(jī)工程師，一個(gè)是藝術(shù)家，一個(gè)是《頭號(hào)玩家》的演員。它是在電影中或視頻中，把一個(gè)真實(shí)的人換成另一個(gè)真實(shí)的人或數(shù)字人。

這個(gè)項(xiàng)目的融資不多，但做的東西非常驚艷。兩位創(chuàng)始人都是電影制片人，還有一些顧問共同實(shí)現(xiàn)這個(gè)體系。有兩篇文章提到他們項(xiàng)目的實(shí)現(xiàn)方法，一篇是他們的官方文章，另一篇是國內(nèi)一位博主對(duì)他們進(jìn)行的分析。

要做到視頻內(nèi)CG角色的實(shí)時(shí)替換，首先利用Opnepose等人體姿態(tài)估計(jì)算法對(duì)人物的3D姿態(tài)進(jìn)行捕捉，并將其與建模好的CG模型進(jìn)行綁定。其次，由于選定人物與CG模型在視頻中所占的空間環(huán)境不同，因此需要對(duì)選定人物的輪廓進(jìn)行精準(zhǔn)識(shí)別，并經(jīng)過一定的處理讓選定人物仿佛在原視頻中沒有出現(xiàn)過一般，這里需要采用人物擦除算法。

目前，由清華團(tuán)隊(duì)提出的Inpaint Anything能夠輕松實(shí)現(xiàn)這一需求。該算法基于Meta開源語義分割算法Segment Anything Model（SAM）對(duì)目標(biāo)人物輪廓進(jìn)行精準(zhǔn)識(shí)別，生成Mask，再利用圖像生成算法LaMa或stable Diffusion能夠?qū)崿F(xiàn)對(duì)Mask的圖像內(nèi)容進(jìn)行自定義填充。 但Wonder Studio官方?jīng)]有提到他們的方案具體是怎么實(shí)現(xiàn)的，以上是我就這個(gè)技術(shù)本身做的想法。

第三個(gè)工具是AIGC的官方應(yīng)用，叫做Runway，它的定位是新一代的藝術(shù)，也是一個(gè)2c的產(chǎn)品。它提供了一個(gè)平臺(tái)，可以對(duì)視頻進(jìn)行風(fēng)格編輯，還有一系列的工具。它分為兩代：Gen1和Gen2。Gen1只能視頻轉(zhuǎn)化成視頻，視頻加上文字最后轉(zhuǎn)化為視頻。

這家公司的融資背景非常深厚，在過去幾年緊跟AIGC的浪潮及爆發(fā)性場(chǎng)景的應(yīng)用。值得注意的是，它的三位創(chuàng)始人員都是藝術(shù)家。而我們國內(nèi)創(chuàng)業(yè)或公司創(chuàng)新的人都是工程師或者學(xué)術(shù)方面的人員。這家公司都是藝術(shù)家創(chuàng)業(yè)，可見他們更注重做出來的東西的感受。這也體現(xiàn)了東西方文化上的差異。

已有的研究中表明CLIP的圖像embedding對(duì)圖像內(nèi)容在圖像中的位置和形態(tài)不敏感，而更關(guān)注內(nèi)容本身，因此它是與深度這一結(jié)構(gòu)信息較為“正交”的，使得Gen-1可以將圖像解耦為彼此干擾較小的結(jié)構(gòu)信息和內(nèi)容信息。

Gen-1和Stable Diffusion路徑很像，把中間的豎線去掉，基本上就是Stable Diffusion的架構(gòu)。它把一個(gè)原始的視頻形成畫面，圖像的深度圖作為結(jié)構(gòu)信息、CLIP編碼器的圖像embedding作為內(nèi)容信息，在隱空間進(jìn)行擴(kuò)散模型的訓(xùn)練。生成的時(shí)候也是把輸入的文本通過CLIP方式轉(zhuǎn)化回去，最后再進(jìn)行干預(yù)，就能呈現(xiàn)視頻的結(jié)果。不同的是，它還運(yùn)用了圖片的模式轉(zhuǎn)化，即MiDaS，把圖片生成一個(gè)框架，再干預(yù)這個(gè)環(huán)節(jié)。大概的技術(shù)原理是用文本干預(yù)視頻的過程，從而得出最后的效果。

https://arxiv.org/abs/2302.03011這篇論文是他們的官方論文。這個(gè)應(yīng)用思路其實(shí)比較簡單，如果大家要做也不會(huì)很困難。

第四個(gè)工具是Rewind。這個(gè)工具特別厲害，很遺憾的是它只能在蘋果電腦上使用。它把大家日常工作的內(nèi)容全部錄下來，整理后再通過GTP進(jìn)行對(duì)接。這個(gè)工具嚴(yán)格來說不是完整的視頻應(yīng)用，但它是個(gè)類視頻應(yīng)用，我是它的重度用戶?？梢酝ㄟ^回拉里面的進(jìn)度條得知自己今天做的任何事，里面的文本也是可以摘出來的。

這個(gè)公司很有意思，Altman投了2輪，種子輪和天使輪，另外還拿到了很多知名的投資。

這個(gè)工具很有創(chuàng)意，它和音視頻技術(shù)關(guān)系不大。核心點(diǎn)是調(diào)用了蘋果的M1和M2芯片的接口，對(duì)顯示的內(nèi)容做OCR，再把OCR后的內(nèi)容用文本方式存起來，

另外，官方宣稱它用了H.264技術(shù)進(jìn)行壓縮，來同時(shí)把視頻錄制了下來。（但是這里我是持懷疑的，能把視頻大小壓縮到70倍，但我覺得H.264的技術(shù)還有些挑戰(zhàn)）

最后，再把OCR的文本通過向量工程的方式和Chatgpt對(duì)接，從而具備了智能能力。當(dāng)你問它（Rewind）你做了什么，它通過向量工程向Chatgpt調(diào)API來完成這一過程，所以它基本可以幫你總結(jié)出你每天都做了什么，你之前遇到了什么問題。它能夠?qū)δ愕娜粘９ぷ鬟M(jìn)行歸類，這是我用這個(gè)工具的原因。

其實(shí)AIGC視頻工具還有很多，我這里講的4個(gè)是比較典型的使用場(chǎng)景。

-03-

視頻生成研究最新趨勢(shì)

另外談?wù)勎覍?duì)視頻生成技術(shù)的學(xué)習(xí)和研究。

生成的本質(zhì)是什么？我認(rèn)為生成的本質(zhì)是高維空間建立映射，不論是文字、圖片，還是視頻、音頻，最終都會(huì)轉(zhuǎn)化為數(shù)學(xué)問題，并在高維空間中建立起映射。而人腦正是因?yàn)槟軌蚪⑵疬@種高維的映射，才能形成一定的智能。

前面也提到的，CLIP是非常關(guān)鍵的技術(shù)，是StableDiffusion的子模型，打通了文本和圖像的映射關(guān)系。CLIP的原理是對(duì)文本和圖片分別通過Text Encoder和Image Encoder輸出對(duì)應(yīng)的特征，然后在這些輸出的文字特征和圖片特征上進(jìn)行對(duì)比學(xué)習(xí)，再將它進(jìn)行映射。

為了訓(xùn)練CLIP，OpenAI從互聯(lián)網(wǎng)收集了共4個(gè)億的文本-圖像對(duì)，論文稱之為WIT(Web Image Text）。WIT質(zhì)量很高，而且清理得非常好，其規(guī)模相當(dāng)于JFT-300M，這也是CLIP如此強(qiáng)大的原因之一。

這是谷歌的一篇論文，講的是視頻的Diffusion Model，它可以理解為是StabDiffusion的變種，它在StableDiffusion的每個(gè)過程中都引入了一個(gè)時(shí)間維度t，以實(shí)現(xiàn)時(shí)間注意力機(jī)制，使得它生成的畫面之間有一定的聯(lián)系。

為了使擴(kuò)散模型適用于視頻生成任務(wù)，這篇論文提出了3D UNet，該架構(gòu)使用到了space-only 3D卷積和時(shí)空分離注意力。具體來說，該架構(gòu)將原UNet中的2D卷積替換成了space-only 3D卷積（space-only 3D convolution）。隨后的空間注意塊仍然保留，但只針對(duì)空間維度進(jìn)行注意力操作，也就是把時(shí)間維度flatten為batch維度。在每個(gè)空間注意塊之后，新插入一個(gè)時(shí)間注意塊（temporal attention block），該時(shí)間注意塊在第一個(gè)維度即時(shí)間維度上執(zhí)行注意力，并將空間維度flatten為batch維度。論文在每個(gè)時(shí)間注意力塊中使用相對(duì)位置嵌入（relative position embeddings），以便讓網(wǎng)絡(luò)能夠不依賴具體的視頻幀時(shí)間也能夠區(qū)分視頻幀的順序。這種先進(jìn)行空間注意力，再進(jìn)行時(shí)間注意力的方式，就是時(shí)空分離注意力。

這種時(shí)空分離注意力的UNet可以應(yīng)用在可變序列長度上，這種時(shí)空分離注意力的方式有一個(gè)好處是可以對(duì)視頻和圖片生成進(jìn)行聯(lián)合建模訓(xùn)練。就是說可以在每個(gè)視頻的最后一幀后面添加隨機(jī)的多張圖片，然后通過掩碼的方式來將視頻以及各圖片進(jìn)行隔離，從而讓視頻和圖片生成能夠聯(lián)合訓(xùn)練起來。

但是這個(gè)機(jī)制其實(shí)比較弱，只能生成一些非常簡單的畫面。

近期有兩篇論文值得一提，一個(gè)是Diffusion over Diffusion，這篇論文的定位是關(guān)于生成長視頻的思考。Diffusion over Diffusion主要解決的問題是長視頻之間前后關(guān)聯(lián)的問題。之前的視頻基本都是自回歸的架構(gòu)，生成得比較慢，因?yàn)樗谴械摹?/p>