智能影像技術(shù)加速產(chǎn)業(yè)數(shù)字化變革

近日，F(xiàn)orrester咨詢公司對中國計算機視覺及智能影像市場進行了調(diào)查，訪問了包括研究機構(gòu)、科研院校、投資機構(gòu)以及部分互聯(lián)網(wǎng)企業(yè)，視頻行業(yè)企業(yè)，針對以視頻行業(yè)為代表的文娛產(chǎn)業(yè)中人工智能的應(yīng)用趨勢、面臨的挑戰(zhàn)進行了分析，并提出相應(yīng)的戰(zhàn)略建議。網(wǎng)易智能節(jié)選整理如下：

近年來，在互聯(lián)網(wǎng)、大數(shù)據(jù)、超級計算、傳感網(wǎng)、腦科學(xué)等新理論、新技術(shù)以及經(jīng)濟社會發(fā)展強烈需求的共同驅(qū)動下，人工智能呈現(xiàn)出飛躍式的進步，進入新的發(fā)展階段。無論是企業(yè)還是政府在人工智能方面的關(guān)注和投入，都在不同層面推動著人工智能技術(shù)和應(yīng)用的蓬勃發(fā)展。各種創(chuàng)新的AI應(yīng)用逐步開始進入社會生活的各個場景。

同時，我們也看到，新興科技正在推動新一輪全球產(chǎn)業(yè)變革，而人工智能毫無疑問成為了釋放產(chǎn)業(yè)變革潛能的重要力量。作為人工智能技術(shù)的重要分支，計算機視覺技術(shù)在算法、數(shù)據(jù)及算力的加持下，更是得到了飛速的發(fā)展，已經(jīng)具備大規(guī)模應(yīng)用的可行性。特別是在文娛產(chǎn)業(yè)得到了廣泛應(yīng)用的智能影像技術(shù)已經(jīng)成為行業(yè)變革的核心驅(qū)動力，將進一步催生新應(yīng)用、新產(chǎn)品、新產(chǎn)業(yè)、新業(yè)態(tài)、新模式的出現(xiàn)，推動智能影像產(chǎn)業(yè)生態(tài)的繁榮。

01

調(diào)查結(jié)果摘要

人工智能為影像分析技術(shù)帶來變革。人工智能在影像行業(yè)的綜合應(yīng)用，特別是通過對動態(tài)視覺內(nèi)容的理解和重構(gòu)，是計算機視覺技術(shù)及計算機動畫技術(shù)的交叉和融合，給智能影像產(chǎn)業(yè)帶來了充滿想象力的廣闊舞臺和空間。

智能影像技術(shù)為產(chǎn)業(yè)變革帶來強勁動力。過去幾年文娛產(chǎn)業(yè)經(jīng)歷了快速的發(fā)展，以內(nèi)容制作方、視頻平臺方為代表行業(yè)參與者正面臨著諸多的挑戰(zhàn)，各方仍在行業(yè)變局中摸索前行，期望不斷通過運用新興技術(shù)和應(yīng)用的創(chuàng)新提升自身的核心競爭力。智能影像技術(shù)在行業(yè)的應(yīng)用日漸深入，成為新一輪行業(yè)變革的核心驅(qū)動力。

把握數(shù)字化轉(zhuǎn)型新契機，智能影像技術(shù)加速業(yè)務(wù)變革。智能影像技術(shù)不僅成為文娛產(chǎn)業(yè)商業(yè)價值變現(xiàn)的核心引擎，也在逐漸進入更多的內(nèi)容原創(chuàng)領(lǐng)域，通過自動化影像加工、生產(chǎn)技術(shù)為產(chǎn)業(yè)升級提供動力。而且，智能影像技術(shù)也通過全面賦能推動應(yīng)用在教育、零售等更多領(lǐng)域落地，成為行業(yè)價值創(chuàng)新的基石。

深耕行業(yè)場景，聚焦價值創(chuàng)造，拓展行業(yè)生態(tài)。智能影像技術(shù)企業(yè)需要聚焦行業(yè)實踐、商業(yè)價值閉環(huán)，以及開放性平臺技術(shù)，推動智能影像行業(yè)的協(xié)同發(fā)展和生態(tài)的進一步繁榮。

02

智能影像技術(shù)的發(fā)展歷程

2006年以來，隨著深度學(xué)習(xí)技術(shù)的進展，人工智能再次獲得了廣泛關(guān)注。特別在圖像領(lǐng)域，深度學(xué)習(xí)帶來的突破性效果在很多領(lǐng)域已經(jīng)超過人類水平，各種類型的神經(jīng)網(wǎng)絡(luò)不斷涌現(xiàn)，伴隨著計算力的提升以及海量數(shù)據(jù)的積累，人工智能為廣闊的圖像分析領(lǐng)域帶來深刻變革。資本市場對與計算機視覺的熱度空前高漲。

根據(jù)Forrester統(tǒng)計，全球在計算機視覺領(lǐng)域的投資持續(xù)增長，截止到2018年11月末投資較2017年增長113%，在過去的五年中復(fù)合增長率高達135%，在本次訪談?wù){(diào)研中了解到，未來五年內(nèi)全球計算機視覺軟件及服務(wù)市場規(guī)模將超過200億美金。

影像相關(guān)的市場規(guī)模相當(dāng)可觀，人工智能技術(shù)的賦能將會催生更多商業(yè)場景，進一步推動整體市場繁榮。在眾多細分領(lǐng)域中，智能影像生產(chǎn)技術(shù)直接從源頭上提高了視頻影像的生產(chǎn)能力。除了與影像源頭密切相關(guān)的文娛產(chǎn)業(yè)，智能影像還將賦能廣告營銷、教育、游戲、零售乃至制造等相關(guān)行業(yè)。

影像生產(chǎn)技術(shù)以計算機視覺（Computer Vision） 與計算機圖形學(xué)為基礎(chǔ)。計算機視覺誕生于上世紀(jì)六十年代，是指能夠賦予機器自然視覺能力的學(xué)科，關(guān)注圖像的識別和分割。在初步興起的二十年時間里，“識別”領(lǐng)域進展有限，而分割領(lǐng)域取得了一定的進展。進入本世紀(jì)，隨著互聯(lián)網(wǎng)的不斷發(fā)展，圖片的來源日趨豐富，各類圖像數(shù)據(jù)庫開始出現(xiàn)，標(biāo)注數(shù)據(jù)進一步促進計算機視覺的發(fā)展。

在深度學(xué)習(xí)廣泛應(yīng)用之前，視覺算法一般分為：特征感知、圖像預(yù)處理、特征提取、特征篩選、推理與識別。手工設(shè)計特征需要對相關(guān)領(lǐng)域具有足夠的積累和經(jīng)驗，對于提取的特征還需要進行大量調(diào)試工作。不同的特征對應(yīng)的后端機器學(xué)習(xí)算法也有所不同。二者組合起來，通用性差而且需要投入大量工程性工作，進展緩慢且效果不佳，與人類水平有很大差距，遲遲難以大規(guī)模商用，對于圖像之外的多模態(tài)感知識別更是困難重重。

計算機圖形學(xué)（Computer Graphics）是指在計算機上用專門的軟件和硬件用來表現(xiàn)和控制圖像數(shù)據(jù)，它同樣誕生于上世紀(jì)六十年代。自誕生之初開始即開始踴躍發(fā)展，分形理論、曲面造型技術(shù)、光柵圖形學(xué)算法、光照模型、光線追蹤算法、輻射度算法等技術(shù)手段陸續(xù)被提出。80年代中期，皮克斯使用SGI計算機創(chuàng)作了第一段完全用計算機生成的短片。1995年首部計算機生成的動畫影片《玩具總動員》全球上映，1996年最早的全三維游戲《雷神之錘》發(fā)售。

一些事實標(biāo)準(zhǔn)的出現(xiàn)，如SGI公司開發(fā)的OpenGL開放式三維圖形標(biāo)準(zhǔn)，微軟公司的標(biāo)準(zhǔn)接口DirectX，Adobe公司的Postscript等，進一步加速了影像生產(chǎn)的產(chǎn)業(yè)化進程。但是，影像生產(chǎn)中大量人工仍然不可避免，具體到面向大眾的個性化影像生產(chǎn)而言，重復(fù)性的人力勞動已經(jīng)嚴(yán)重制約了產(chǎn)能，亟需智能化、自動化的影像生產(chǎn)技術(shù)推動產(chǎn)業(yè)的升級。

03

智能影像生產(chǎn)技術(shù)的發(fā)展現(xiàn)狀

Forrester對人工智能技術(shù)進行分類研究時采用了Sense、Act、Think的框架。類比來看，在感知（Sense）層面，人工智能技術(shù)為靜態(tài)圖片識別乃至多模態(tài)影像識別帶來了突破；在思考（Think）層面，基于多模態(tài)識別結(jié)合商業(yè)需求可以形成深入的影像智能化理解。以感知、思考為基礎(chǔ)，在行動（Act）層面，人工智能技術(shù)為自動化影像生產(chǎn)帶來了強勁動力。為此，我們將智能影像生產(chǎn)技術(shù)分為兩部分：影像智能化理解(Sense和Think)和影像自動化生成（Act）。

傳統(tǒng)的計算機視覺技術(shù)大量聚焦在特征生成和選擇。端到端深度學(xué)習(xí)帶來了自動特征學(xué)習(xí)能力，從而極大促進了計算機視覺的發(fā)展。深度學(xué)習(xí)所需的大量訓(xùn)練數(shù)據(jù)以及運算能力在當(dāng)下也得到了良好的供應(yīng)。對于“識別”這種人類無需思考即可在極短時間內(nèi)作出判斷的任務(wù)目前是人工智能最擅長的領(lǐng)域。從包括圖像、語音、文字的多模態(tài)識別，人工智能對于影 像感知和理解能力不斷提升，推動了智能影像產(chǎn)業(yè)的快速發(fā)展。

此外，各種神經(jīng)網(wǎng)絡(luò)的組合為靜態(tài)圖像識別提供了有力武器。憑借著AlexNet在ILSVRC競賽的一戰(zhàn)成名，卷積神經(jīng)網(wǎng)絡(luò)（CNN）因其良好的泛化能力以及優(yōu)秀的實際效果已經(jīng)替代了眾多傳統(tǒng)計算機視覺算法，成為當(dāng)前圖像識別領(lǐng)域的主流。

在此基礎(chǔ)上，ResNet、Inception、Xception、DenseNet、ShuffleNet等多種改良結(jié)構(gòu)也不斷涌現(xiàn)，推動了識別效果的進一步提高，在大規(guī)模人臉與人體識別、物體檢測與追蹤、3D視覺等領(lǐng)域都獲得了廣泛應(yīng)用，已經(jīng)達到了可以廣泛實際落地的程度，甚至有的受訪者表示這類任務(wù)的性能一定程度上已經(jīng)達到飽和。

圖像、語音、文本等多模態(tài)識別進一步豐富了影像識別能力。深度學(xué)習(xí)不僅賦能了計算機視覺領(lǐng)域，還為語音識別、文本分析領(lǐng)域帶來突破。循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）及其變種LSTM在這些領(lǐng)域取得令人矚目的進展而成為主流。以此為基礎(chǔ)，各種增強技術(shù)如雙向LSTM、Attention model等也開始得以廣泛應(yīng)用。深度學(xué)習(xí)的理論基礎(chǔ)在“去黑盒化”的 道路上已經(jīng)取得進展，各種技術(shù)的組合為也不斷刷新著各類任務(wù)的效果新高。多模態(tài)識別已成為計算機視覺和AI最令人激動的領(lǐng)域之一，現(xiàn)有感知能力甚至已經(jīng)超出商業(yè)變現(xiàn)的步伐。尋找應(yīng)用場景、促進技術(shù)落地的難度開始大于技術(shù)本身。

影像語義理解增加了商業(yè)模式的可能性。通過視頻結(jié)構(gòu)化分析、目標(biāo)檢測跟蹤、動作態(tài)勢感知、人物識別以及情感分析等多模態(tài)感知技術(shù)，人類已經(jīng)可以從動態(tài)影像中獲取淺層信息。但是要做到商業(yè)模式變現(xiàn)，仍需進一步從語義的層面深入理解影像內(nèi)容。

在這一領(lǐng)域，需要有大量的行業(yè)積累，例如對綜藝類視頻節(jié)目中人物、物體等的識別標(biāo)注，需要專業(yè)的經(jīng)驗，基于編劇、布景、拍攝等角度，對視頻進行結(jié)構(gòu)化建模進行分析和學(xué)習(xí)，把特征空間提升到語義空間。在此基礎(chǔ)上對影像數(shù)據(jù)生成語義標(biāo)簽、業(yè)務(wù)分類乃至文字描述以供后續(xù)業(yè)務(wù)場景使用。常識的建立可以極大提升機器性能，既有經(jīng)驗與多種深度網(wǎng)絡(luò)的融合將會形成企業(yè)差異化的競爭優(yōu)勢。

04

智能影像行業(yè)案例

Netflix：總部位于美國加州的Netflix成立于1997年，是一家在線影片服務(wù)提供商。Netflix以投入優(yōu)質(zhì)內(nèi)容吸引用戶，通過用戶加入會員付費觀看內(nèi)容獲取收入。但近年來面臨新增用戶增長放緩以及內(nèi)容成本急劇攀升的壓力，Netflix 2018Q2新增了447萬國際用戶和67萬美國用戶，低于Q1的500萬和120萬。隨著用戶對內(nèi)容的要求越來越高，在線視頻平臺圍繞優(yōu)質(zhì)內(nèi)容進行競爭，內(nèi)容正成為流量入口，Netflix也不例外，投入大量資源自己制作的內(nèi)容，代表作包括《紙牌屋》，《怪奇物語》等。用戶對視頻形態(tài)也發(fā)生了變化，隨著用戶的觀看視頻的時間碎片化，短視頻、倍速觀看、跨屏看等等的個性化和自主化趨勢對體驗提出了更高挑戰(zhàn)。

在這個挑戰(zhàn)下，Netflix在繼續(xù)加大對原創(chuàng)內(nèi)容投入的同時，積極嘗試并希望通過機器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)、計算機視覺等新興AI技術(shù)， 保持行業(yè)優(yōu)勢，優(yōu)化內(nèi)部運營。

Netflix嘗試將人工智能應(yīng)用在核心系統(tǒng)上，帶來的直接效果就是付費用戶超過1億，推薦引擎提高3到4倍的點擊率。同時，通過對視頻及客戶觀影數(shù)據(jù)的分析，避免購買低收益的視頻內(nèi)容，累計已經(jīng)實現(xiàn)了超過十億美元的內(nèi)容成本的節(jié)省。

影譜科技（Moviebook）：他們通過整合視頻類渠道，覆蓋了各硬件終端與計算機芯片、貫穿可視化場景，其智能影像生產(chǎn)技術(shù)具有批量自動化處理、子像素級分析、智能疊加和無痕展示等特征。

在人工智能業(yè)務(wù)領(lǐng)域，Moviebook通過Vedio AI制作引擎，實現(xiàn)影像內(nèi)容生產(chǎn)制作的“從視頻中捕獲動作”Motion Capture from Video System（MCVS）框架。MCVS無需預(yù)先進行動作捕捉合成的高度結(jié)構(gòu)化數(shù)據(jù)，就可以讓機器直接模仿大量已存視頻片段來學(xué)習(xí)高難度技能，允許數(shù)據(jù)為驅(qū)動的模仿以生成無監(jiān)督學(xué)習(xí)視頻內(nèi)容。

該系統(tǒng)MCVS每天可以處理日常視頻網(wǎng)絡(luò)上的數(shù)百萬端視頻圖像，提取關(guān)鍵幀，進行自動結(jié)構(gòu)化，為下游任務(wù)提供大量數(shù)字化資源，如視頻搜索、原生視頻內(nèi)容營銷、視頻內(nèi)容創(chuàng)作、視頻識別、游戲生產(chǎn)、在線教育等。

迪士尼：迪士尼研究院的一項內(nèi)部研究,正在改變影片和VR的創(chuàng)作。過去,拍攝影片或開發(fā)一款VR游戲/內(nèi)容,都需要先有劇本描述人物及場景等，但文字難以直觀地描述復(fù)雜場景，這一步驟將耗費大量時間。為了在編寫故事的過程中協(xié)助編劇，迪士尼開發(fā)了一個系統(tǒng),可以從自然語言故事中提取信息，并允許以故事為中心以及以人物為中心的推理。這些推理功能通過直觀的查詢系統(tǒng)向創(chuàng)作人員開放，允許腳本編寫者向系統(tǒng)詢問有關(guān)故事和角色信息的問題,并形成可視化的動畫或簡單視頻的展示，導(dǎo)演更直觀地了解角色將如何在場景中進行表演,以及腳本的變化會怎樣影響場景。

這項技術(shù)將應(yīng)用在電影的創(chuàng)作和拍攝中，通過初步自動生成簡單動畫，進行現(xiàn)場整合及語音錄制，然后戴上ⅤR頭顯直接在虛擬場景中進行預(yù)覽，提供“親臨”影片故事場景的體驗,制作人員還可移動預(yù)覽場景中的虛擬人物角色的位置。這項技術(shù)將與迪士尼的數(shù)字影像、人工智能以及特效技術(shù)整合用于電影的創(chuàng)作制作以及后期過程。