“大語言模型為 AI 產(chǎn)業(yè)帶來新的生機,然而語言模型的應(yīng)用場景有限。要全面打開生成式 AI 的想象力,還是要依托多模態(tài)大模型?!?a target="_blank">IDC 中國研究總監(jiān)盧言霞近日表示。Sora在文生視頻領(lǐng)域真正邁出了第一步,真正做到生成式 AI 驅(qū)動生成短視頻。接下來也將刺激其他科技巨頭加快在該領(lǐng)域的技術(shù)攻關(guān)力度以及產(chǎn)品發(fā)布速度。
哪些公司有潛力快速推出類似產(chǎn)品呢?根據(jù)盧言霞的判斷,幾個最有潛力的群體包括,在大模型以及 AI 領(lǐng)域投入最為領(lǐng)先的科技巨頭,如 BAT、科大訊飛等;在計算機視覺領(lǐng)域擁有深厚積累的公司,比如商湯、??狄活惖墓?;以及短視頻類公司;更可大膽想象,也或許會培訓出多模態(tài)大模型的全新創(chuàng)企。
多模態(tài)大模型將率先在短視頻、廣告、互娛、影視、媒體等領(lǐng)域采用,輔助人類員工生成視頻,既可以提高生產(chǎn)速度又可以提高生產(chǎn)數(shù)量,還可以創(chuàng)造全新的視覺感受,能夠幫助企業(yè)真正實現(xiàn)降本增效、提升用戶體驗。
根據(jù)預(yù)測,未來 5 年,生成式 AI 生成的文本類文件、圖像類文件、視頻類文件、軟件代碼類文件數(shù)量將會越來越平均。而這其中,與圖像文件相關(guān)的數(shù)據(jù)量可能是文本文件的 100 倍,視頻文件是圖像文件的 10 倍。整體來看,由于 GenAI 的采用和使用日益增多,近期和遠期所創(chuàng)建數(shù)據(jù)的增長速度都將快于近幾年。
盧言霞指出,多模態(tài)大模型行業(yè)發(fā)展的挑戰(zhàn)在于:
? 高質(zhì)量數(shù)據(jù)的稀缺:圖像、視頻類數(shù)據(jù)掌握在少數(shù)公司手中。這些數(shù)據(jù)也需要標注,甚至重新采集,才能用于大模型的訓練。
? 多模態(tài)大模型對算力的消耗更高,算力的可獲取性以及成本將是挑戰(zhàn)之一。
? 頂尖的大模型研發(fā)人才,也是行業(yè)發(fā)展的稀缺資源。
此外,多模態(tài)大模型將帶來更嚴峻的安全方面的挑戰(zhàn)。一方面多模態(tài)大模型將讀取更多的圖像、視頻類數(shù)據(jù),這些圖像視頻數(shù)據(jù)是否合規(guī)是否安全,需要得到保障;另一方面,生成的視頻與真實世界之間的差異,是否會影響到人身安全、社會穩(wěn)定、企業(yè)安全等,也需要注意。
當前 Sora 生成的是1分鐘的視頻,對于行業(yè)已經(jīng)是重大突破,何時能生成2分鐘、5分鐘以上的視頻還未知,無論如何多模態(tài)大模型的應(yīng)用都將是顛覆性的。
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。
舉報投訴
相關(guān)推薦
大模型在不同行業(yè)領(lǐng)域的應(yīng)用前景;7月19日, “依圖科技多模態(tài)大模型伙伴CTO精研班”在杭州圓滿舉辦,讓更多的伙伴們深度體驗了依圖多
發(fā)表于 07-23 15:16
?295次閱讀
電子發(fā)燒友網(wǎng)報道(文/梁浩斌)今年春節(jié)期間,OpenAI的AI文字生成視頻模型Sora驚艷全世界,極高的視頻生成效果、長達60秒的視頻生成長度,讓過去Pika Labs推出的Pika 1.0、去年
發(fā)表于 06-17 09:07
?3044次閱讀
Sora短期不會向公眾開放 還處于反饋獲取階段 據(jù)外媒報道Sora核心團隊在一次采訪中透露,Sora短期不會向公眾開放,
發(fā)表于 03-14 14:55
?551次閱讀
。 Sora是一種擴散模型,具備從噪聲中生成完整視頻的能力,它生成的視頻一開始看起來像靜態(tài)噪音,通過多個步驟逐漸去除噪聲后,視頻也從最初的隨機像素轉(zhuǎn)化為清晰的圖像場景 ,其能夠
發(fā)表于 02-22 16:52
?2914次閱讀
sora模型的上市公司目前沒有相關(guān)官方的報道,因此無法給出準確的回答。 Sora能夠獲取現(xiàn)有視頻并對其進行擴展或填充缺失的幀,這一功能在視頻編輯、電影特效等領(lǐng)域具有應(yīng)用前景,可以幫助用
發(fā)表于 02-22 16:46
?980次閱讀
美國當?shù)貢r間2024年2月15日 ,OpenAI正式發(fā)布文生視頻模型Sora ,并發(fā)布了48個文生視頻案例和技術(shù)報告 ,正式入局視頻生成領(lǐng)域 。Sora能夠根據(jù)提示詞生成60s的連貫視頻,“碾壓”了
發(fā)表于 02-22 16:42
?1044次閱讀
有推出“中文版sora” 有字節(jié)跳動相關(guān)人士透露Boximator是視頻生成領(lǐng)域控制對象運動的技術(shù)方法研究項目,Boximator確實可以通過文本精準控制生成視頻中人物或物體的動作;但是目前還不能作為一個完善的產(chǎn)品直接落地。 但是雖然說Boximator
發(fā)表于 02-21 17:29
?736次閱讀
奧特曼發(fā)布王炸模型Sora OpenAI首個文生視頻模型Sora正式亮相 2月16日凌晨OpenAI的首個文生視頻模型
發(fā)表于 02-18 17:41
?863次閱讀
全球人工智能領(lǐng)域的佼佼者OpenAI近日發(fā)布了一款名為Sora的短視頻生成模型,該模型能夠根據(jù)文字指令即時生成高質(zhì)量短視頻,引起了業(yè)界的廣泛關(guān)注。
發(fā)表于 02-18 10:16
?1192次閱讀
ByteDance Research 基于開源的多模態(tài)語言視覺大模型 OpenFlamingo 開發(fā)了開源、易用的 RoboFlamingo 機器人操作模型,只用單機就可以訓練。
發(fā)表于 01-19 11:43
?289次閱讀
多模態(tài)大語言模型(MLLM) 最近引起了廣泛的關(guān)注,其將 LLM 的推理能力與圖像、視頻和音頻數(shù)據(jù)相結(jié)合,通過多模態(tài)對齊使它們能夠更高效地執(zhí)行各種任務(wù),包括圖像分類、將文本與相應(yīng)的視頻
發(fā)表于 12-28 11:45
?411次閱讀
前段時間Google推出Gemini多模態(tài)大模型,展示了不凡的對話能力和多模態(tài)能力,其表現(xiàn)究竟如何呢?
發(fā)表于 12-28 11:19
?1011次閱讀
我們知道,預(yù)訓練LLM已經(jīng)取得了諸多驚人的成就, 然而其明顯的劣勢是不支持其他模態(tài)(包括圖像、語音、視頻模態(tài))的輸入和輸出,那么如何在預(yù)訓練LLM的基礎(chǔ)上引入跨模態(tài)的信息,讓其變得更強大、更通用呢?本節(jié)將介紹“大
發(fā)表于 12-13 13:55
?1351次閱讀
不同于單模態(tài)模型編輯,多模態(tài)模型編輯需要考慮更多的模態(tài)信息。文章出發(fā)點依然從單
發(fā)表于 11-09 14:53
?399次閱讀
深度學習的大模型時代已經(jīng)來臨,越來越多的大規(guī)模預(yù)訓練模型在文本、視覺和多模態(tài)領(lǐng)域展示出杰出的生成和推理能力。然而大模型巨大的參數(shù)量有兩個明顯
發(fā)表于 11-08 16:20
?557次閱讀
評論