關(guān)于AI文本生成動畫模型的論文

近日，迪士尼研究所和羅格斯大學(xué)的科學(xué)家共同發(fā)表了關(guān)于AI文本生成動畫模型的論文。

研究人員表示，這種算法只要在輸入的文本中描述某些活動即可，不需要注釋數(shù)據(jù)和進(jìn)行大量訓(xùn)練就能產(chǎn)生動畫。

這篇論文中，研究人員進(jìn)一步提出了端到端模型，這種模型可以創(chuàng)建一個粗略的故事版和電影劇本的視頻，用來描繪電影劇本中的文字。此外，這個系統(tǒng)還可用于生成訓(xùn)練端到端神經(jīng)系統(tǒng)的訓(xùn)練數(shù)據(jù)。

迪士尼羅格斯大學(xué)關(guān)于AI文本生成動畫模型的論文

迪士尼一直十分關(guān)注AI領(lǐng)域的進(jìn)展，多年來一直嘗試將AI技術(shù)融入自己的各項產(chǎn)業(yè)當(dāng)中，也曾多次與大學(xué)或其他研究機構(gòu)合作，開發(fā)了一系列訓(xùn)練模型。這次，迪士尼又將文本轉(zhuǎn)換視頻的技術(shù)進(jìn)一步加強，使模型自動生成動畫。

一、更復(fù)雜的文本如何轉(zhuǎn)換成動畫？

迪士尼的文字轉(zhuǎn)換為動畫AI系統(tǒng)圖解

將文本轉(zhuǎn)換為動畫并不是一項簡單的任務(wù)，大多數(shù)將文本轉(zhuǎn)換為視頻的工具不能處理復(fù)雜句子，因為輸入的句子和輸出的動畫都沒有固定的結(jié)構(gòu)。為了克服這種問題，兩位論文作者共同構(gòu)建了一個包含多個組件模塊的神經(jīng)網(wǎng)絡(luò)。

這個網(wǎng)絡(luò)由幾個部分組成: 一個可以自動將文本與劇本場景描述隔離開的腳本解析模塊、一個自然語言處理模塊（使用一套語言規(guī)則簡化復(fù)雜句子，并從簡化句子中提取信息，轉(zhuǎn)化為預(yù)定義的動作表示），以及一個將所述表示轉(zhuǎn)換為動畫序列的生成模型。

迪士尼AI系統(tǒng)的文本簡化階段

簡化后的方法能更容易的提取腳本中的關(guān)鍵信息，新研發(fā)的系統(tǒng)能夠自主地將復(fù)雜句子拆分，并組裝成更簡單的句子，對其進(jìn)行遞歸處理，直到不可能進(jìn)一步簡化。

接下來，系統(tǒng)將“協(xié)調(diào)”句法關(guān)系相同、功能相同的句子。最后，詞匯簡化器將簡化后句子中的動作，與預(yù)定義庫中的52個動畫匹配（通過同義詞詞典擴展到92個）。

然后，在一個名為Cardinal的管道中將動作輸入，并在一個流行的視頻游戲引擎Unreal中創(chuàng)建預(yù)可視化。利用預(yù)定義的動畫庫、預(yù)加載的對象以及可用于創(chuàng)建角色的模型，最終，這個系統(tǒng)可以生成一個3D動畫視頻。

為了訓(xùn)練這個系統(tǒng)，研究人員從IMSDb、SimplyScripts和ScriptORama5等可自由獲取資源的電影劇本數(shù)據(jù)庫中，搜集了超過1000個劇本，從中選取了996個，編寫了場景描述語料庫。這個語料庫由525,708個描述組成，包含1,402,864個句子，其中920,817個（超過40%）至少有一個動作動詞。

二、動畫合理性達(dá)68%，研究人員將進(jìn)一步優(yōu)化系統(tǒng)

在一項定性測試中，22名參與者以5分制標(biāo)準(zhǔn)，來評估系統(tǒng)生成的20個動畫（例如，如果所顯示的視頻對文本來說是合理的動畫，則視頻中描繪了多少文本信息，以及視頻中有多少信息存在于文本中），68%的參與者認(rèn)為系統(tǒng)通過輸入劇本生成了“合理”的動畫。

研究人員認(rèn)為，除了系統(tǒng)本身的局限性之外，生成動畫的“不合理”成分也與文本中關(guān)于行動的模糊性有關(guān)。他們承認(rèn)這個系統(tǒng)并不完美，它的動作和對象列表并不是詳盡無遺的。有時候，詞匯簡化不能將動詞（如“watch”）映射到相似的動畫（“l(fā)ook”）中，或者只能為原句中有很多主語的動詞創(chuàng)建幾個簡化的句子。

內(nèi)部評價和外部評價顯示了該系統(tǒng)性能的合理性。研究人員計劃在今后的工作中，重點關(guān)注如何能使系統(tǒng)更充分的利用文本中描述的話語信息，來解決文本中關(guān)于行動模糊性的問題。

三、迪士尼的AI研究歷程

從技術(shù)的角度來看，迪士尼似乎很重視在AI方面的研究，也有過諸多嘗試。

2017年8月，迪士尼與蘇黎世聯(lián)邦理工學(xué)院合作，開發(fā)了將畫面與聲音連接起來的機器學(xué)習(xí)系統(tǒng)，這種系統(tǒng)可以將語音與畫面結(jié)合起來，使視頻內(nèi)容看起來更加連貫。

研究人員將一系列含有雜音和背景音不純的視頻輸入系統(tǒng)，用來訓(xùn)練模型。訓(xùn)練后的系統(tǒng)能夠把畫面信息和聲音信息做出關(guān)聯(lián)。比如，隨著關(guān)門的動作進(jìn)行，人們會“想象”特定的關(guān)門聲音。本質(zhì)上，其實是人們把關(guān)門相關(guān)的視覺信息跟聲音信息做了連接。

這項研究想要做的，就是培養(yǎng)AI系統(tǒng)的這種關(guān)聯(lián)性，他們訓(xùn)練的AI系統(tǒng)成功的將關(guān)門、杯子碰撞和汽車在馬路上行駛畫面于聲音進(jìn)行了配對。這也將幫助視頻剪輯師更好地工作。

迪士尼發(fā)布AR形象與實際物體互動圖片

2018年1月，迪士尼的研究人員發(fā)布了一項可以使動畫AR角色與實際的物體互動的黑科技。

比如，當(dāng)一個3D卡通角色映射在家里的客廳地板上時，這個虛擬的形象會跳過臺階或繞開障礙物行走，甚至當(dāng)寵物狗沖過來的時候還可能一下把它撞到。

這項研究做到了AR體驗與現(xiàn)實的互動，給動畫帶來了更多樂趣。說不定以后我們自己也可以和動畫里的人物進(jìn)行互動了。

2018年9月，迪士尼AI研究中心還嘗試了讓機器人完成像超級英雄一樣的特技動作。迪士尼的特技實驗包括訓(xùn)練機器人的神經(jīng)網(wǎng)絡(luò)來控制機器人，以此完成上天入地、爬行、劃船等動作，人類能做的它可以，人類不能做的，它也可以。

四、文本轉(zhuǎn)換視頻技術(shù)早已應(yīng)用

其實，從文本片段創(chuàng)建原始剪輯的AI并不是最新的研究發(fā)現(xiàn)。

2016年4月，***創(chuàng)企GliaCloud就利用AI技術(shù)，將文本信息的主要內(nèi)容以視頻的形式展示了出來。這家AI視頻制作公司在2015年，由全球48位Google云技術(shù)專家之一David Chen和在廣告領(lǐng)域有著20年業(yè)務(wù)拓展經(jīng)歷的Dominique Tu在***共同創(chuàng)建。GliaStudio對指定文本的內(nèi)容進(jìn)行分析和總結(jié)之后，根據(jù)所提取的內(nèi)容從自有資料庫或是公共資源中尋找相關(guān)的照片、視頻片段甚至畫外音來生成影片。

去年，也有研究人員詳細(xì)介紹了一個利用神經(jīng)網(wǎng)絡(luò)模仿生物神經(jīng)元的系統(tǒng)，這種系統(tǒng)能夠生成32幀長、6464像素的視頻。研究人員表示，這種系統(tǒng)生成視頻分兩個階段進(jìn)行，第一階段使用文本創(chuàng)建視頻的要點，一般是背景顏色和對象布局的模糊圖像。第二階段同時考慮到要點和文本的其他內(nèi)容，然后要點與文本內(nèi)容結(jié)合，生成一段視頻。

比如，將“在草地上打高爾夫球”這句話，生成一個人們在草地上打高爾夫球的視頻。

從自然語言文本自動生成動畫在很多領(lǐng)域都有應(yīng)用，比如電影腳本編寫、教學(xué)視頻和公共安全等內(nèi)容。

這些AI算法系統(tǒng)，可以為內(nèi)容創(chuàng)作者提供更快的迭代、原型設(shè)計和概念驗證，有助于提高劇本編寫效率。

結(jié)語：AI生成動畫或有更廣闊的市場

研究人員表示，迪士尼進(jìn)行AI自動生成動畫的研究不是為了取代編劇和藝術(shù)家的工作，而是為了提高繁瑣工作程序的效率。

雖然目前研究結(jié)果還不完善，生成動畫的系統(tǒng)還不能百分之百將文本內(nèi)容轉(zhuǎn)換成動畫，但是這項研究對于文本轉(zhuǎn)換視頻技術(shù)也是一次有意義的嘗試。

迪士尼動畫在全世界都有十分廣泛的影響，塑造了一個又一個經(jīng)典的動畫形象。如今，他們在AI自動生成動畫方面的研究也很可能影響整個動畫電影制作市場，AI生成的方式也許將成為未來動畫電影制作的新方向。