AI視頻創(chuàng)作一條龍！達(dá)摩院“尋光”平臺(tái)炸場(chǎng)WAIC，突破可控編輯難題

卡奧斯智能交互引擎是卡奧斯基于海爾近40年工業(yè)生產(chǎn)經(jīng)驗(yàn)積累和卡奧斯7年工業(yè)互聯(lián)網(wǎng)平臺(tái)建設(shè)的最佳實(shí)踐，基于大語言模型和RAG技術(shù)，集合海量工業(yè)領(lǐng)域生態(tài)資源方優(yōu)質(zhì)產(chǎn)品和知識(shí)服務(wù)，旨在通過智能搜索、連續(xù)交互，實(shí)時(shí)生成個(gè)性化的內(nèi)容和智能化產(chǎn)品推薦，為用戶提供快速、可靠的交互式搜索服務(wù)，首創(chuàng)了聚焦工業(yè)領(lǐng)域的智能交互引擎。

詳情戳：卡奧斯智能交互引擎

AIGC時(shí)代，視頻創(chuàng)作這事兒真的不一樣了。

就像這樣，輕輕一圈，選定目標(biāo)立刻變身單獨(dú)圖層，再絲滑嵌入不同的背景視頻，場(chǎng)景變換so easy~

想要調(diào)整一下鏡頭角度，交給AI，同樣能一鍵完成：

還能一鍵消除、修改目標(biāo)：

后期再也不用加班加到手抽筋（doge）。

劃！重！點(diǎn)！這還不是實(shí)驗(yàn)室里的單一技術(shù)demo，而是馬上就要開放內(nèi)測(cè)，讓創(chuàng)作者們直接可以用起來的一站式AI視頻創(chuàng)作平臺(tái)——“尋光”。

就是說，傳統(tǒng)上分散在不同制作流程中的劇本創(chuàng)作、分鏡圖設(shè)計(jì)、視頻素材編輯等步驟，現(xiàn)在都可以在AI加持下，在同一個(gè)平臺(tái)上流暢完成。

這就是阿里達(dá)摩院在上海世界人工智能大會(huì)上帶來的最新驚喜。

演示一出，現(xiàn)場(chǎng)的觀眾都坐不住了。

而達(dá)摩院官方，也透露出了AI視頻領(lǐng)域新成果背后更大的“野心”：

不對(duì)標(biāo)Sora，而是走自己的路，希望更快讓AI生產(chǎn)力匹配人類想象力。

“尋夢(mèng)光影間”

所謂尋光，意指“尋夢(mèng)光影間”：

即通過人工智能技術(shù)，提供全新的視頻創(chuàng)作模式。

與Sora等今年備受關(guān)注的AI視頻生成模型不同，尋光關(guān)注到的，是“Sora之后，視頻工作流的變革”。

達(dá)摩院認(rèn)為，Sora等AI視頻生成模型給足了人們對(duì)視頻生產(chǎn)方式徹底變革的想象力，但一方面，AI視頻內(nèi)容的可控編輯，包括對(duì)復(fù)雜劇情的理解、生成對(duì)象的一致性等，仍然是當(dāng)前算法所面臨的一大挑戰(zhàn)。

另一方面，業(yè)界尚沒有統(tǒng)一的AI視頻編輯平臺(tái)，能讓創(chuàng)作者們一站式體驗(yàn)到AI加持的視頻創(chuàng)作全流程。

舉個(gè)例子，OpenAI創(chuàng)始成員Andrej Karpathy最近也玩上了AI視頻，整出了個(gè)AI版《傲慢與偏見》。

在這個(gè)短片的制作過程中，他用到的工具包括Claude、Ideogram、Luma、ElevenLabs、VEED……而他本人也抱怨說：

老實(shí)說這個(gè)工作流非?；靵y，工具與工具之間存在大量的復(fù)制粘貼，3個(gè)片段的簡(jiǎn)單小視頻就花了我大約1個(gè)小時(shí)的時(shí)間。
這里面存在一個(gè)巨大的機(jī)會(huì)。誰正在打造100%的AI原生視頻制作平臺(tái)？

達(dá)摩院打造尋光，定位為PUGC一站式AI視頻創(chuàng)作平臺(tái)，目標(biāo)正是針對(duì)以上問題，用AI能力重塑傳統(tǒng)視頻制作的全流程。

具體來說，尋光可以輔助用戶創(chuàng)作劇本、分鏡圖等，支持對(duì)生成及上傳素材進(jìn)行豐富的AI編輯，包括人物控制、場(chǎng)景控制、運(yùn)鏡控制、目標(biāo)新增/消除/修改等10多種功能。

并且在交互方面，主打“讓視頻編輯像操作PPT一樣簡(jiǎn)單”。

以分鏡設(shè)計(jì)環(huán)節(jié)為例，上傳到尋光的原始視頻素材，會(huì)由算法切分成多個(gè)分鏡頭。

在創(chuàng)作空間里，用戶可以方便地查看到每一個(gè)分鏡頭，并用簡(jiǎn)單的拖拽操作對(duì)其進(jìn)行調(diào)整。

在新建的空白分鏡中，除了添加已有素材，尋光平臺(tái)還支持用戶調(diào)用多種多模態(tài)生成模型，生產(chǎn)新的內(nèi)容。

而在編輯功能方面，尋光強(qiáng)調(diào)的是精細(xì)化的編輯和控制：在AI加持下，依據(jù)用戶意圖，在語義層面而不是像素層面實(shí)現(xiàn)編輯；同時(shí)，視頻里的人體、人臉、前景、背景等任意局部目標(biāo)，都可以進(jìn)行精細(xì)化的編輯和修改。

在現(xiàn)場(chǎng)，達(dá)摩院視覺技術(shù)實(shí)驗(yàn)室高級(jí)算法專家陳威華著重提到了基于視頻圖層的編輯能力。

以前景圖層功能為例，用戶通過文本輸入，即可生成符合描述的、具有透明背景的視頻，并且一鍵就能將其融合到其他背景視頻當(dāng)中。

尋光也支持圖層拆解功能，用戶在視頻第一幀選擇想要提取的物體，算法就會(huì)自動(dòng)跟蹤，把整段視頻中對(duì)應(yīng)的目標(biāo)拆解出來，形成獨(dú)立的帶透明背景的視頻圖層。

飄動(dòng)的頭發(fā)也扣得很精細(xì)的那種：

另外，在對(duì)視頻全局元素的編輯方面，風(fēng)格遷移上，尋光平臺(tái)提供了20+不同風(fēng)格。

運(yùn)鏡控制上，左右平移、上下平移、推進(jìn)拉遠(yuǎn)、左右環(huán)繞等都能支持。

在對(duì)視頻局部元素的編輯方面，除了目標(biāo)消除，尋光平臺(tái)還能實(shí)現(xiàn)人臉的精準(zhǔn)控制：

△

視頻取自國(guó)風(fēng)武俠動(dòng)漫《少年白馬醉春風(fēng)》第三集

輕輕一拉實(shí)現(xiàn)運(yùn)動(dòng)控制：

審核編輯 黃宇