極鏈科技Video++張奕: 人工智能在消費級視頻分析中的應(yīng)用

2018年極光開發(fā)者大會于11月17日在深圳召開，極鏈科技Video++AI實驗室負責人張奕博士受邀參加17日下午的人工智能論壇，分享人工智能在消費級視頻分析中的應(yīng)用。同時與重量級嘉賓為大家分享行業(yè)前沿動態(tài)和技術(shù)干貨，共同探討近年來的行業(yè)趨勢，共同構(gòu)建良好的開發(fā)者生態(tài)。

入局消費級視頻

近幾年，大數(shù)據(jù)、AI技術(shù)和機器學(xué)習(xí)等相關(guān)技術(shù)的快速發(fā)展，證明了互聯(lián)網(wǎng)對各行各業(yè)的影響力在不斷的增強和擴大。大數(shù)據(jù)與人工智能的結(jié)合不斷的驅(qū)動著時代的發(fā)展，也在不斷的提升各行各業(yè)的效能。

中國擁有數(shù)量最龐大的互聯(lián)網(wǎng)網(wǎng)民，互聯(lián)網(wǎng)網(wǎng)民每天花在上網(wǎng)上面的時間，絕大多數(shù)被觀看視頻所占據(jù)，據(jù)統(tǒng)計，當前中國互聯(lián)網(wǎng)網(wǎng)民每天觀看視頻上花的時間已經(jīng)達到了兩個小時。這么多的用戶觀看時間時間，用戶就需要得到一個更好的用戶體驗。受眾觀看視頻的過程中，能夠體現(xiàn)出互動性，可以根據(jù)觀看的感受反饋互動，不同的觀眾觀看同一視頻的情況下，可以進行互相之間的交流，這就需要有一個比較好的互動工具提供給普通的視頻觀眾，讓他們觀看視頻過程中能夠進行互動操作，極鏈科技Video++就是在這樣的大環(huán)境下誕生。

2014年于上海創(chuàng)立的極鏈科技Video++是一家致力于視頻AI商業(yè)應(yīng)用的公司，將人工智能與直播短視頻相結(jié)合，給視頻用戶一種不同的體驗，為直播視頻行業(yè)帶來了新的商業(yè)模式。形成了以視頻AI廣告、視頻電商、互動娛樂的業(yè)務(wù)矩陣。旗下業(yè)務(wù)為視頻AI廣告、視頻電商和互動娛樂，與優(yōu)酷、愛奇藝、芒果、抖音、斗魚、熊貓等占國內(nèi)65%的流量平臺合作，月服務(wù)UV4.2億用戶，在AI+文娛領(lǐng)域已實現(xiàn)大批量商用。

消費級視頻與工業(yè)級視頻

會上張奕博士首先為我們簡單的介紹了工業(yè)級視頻消費級視頻的區(qū)別，消費級視頻區(qū)別于工業(yè)級視頻是利用固定設(shè)備在固定條件、固定場景下拍攝的視頻，例如安防視頻，但是很顯然，消費級視頻相對于工業(yè)級視頻更加復(fù)雜。消費級視頻的第一個特點就是數(shù)據(jù)量大。隨著互聯(lián)網(wǎng)的發(fā)展壯大，很多產(chǎn)品的數(shù)據(jù)都是通過互聯(lián)網(wǎng)和云端進行傳輸和存儲。與此同時這也給人工智能算法處理提出了更高的要求。算法運行時必須考慮到計算的速度，且要在合理的時間里對大量的數(shù)據(jù)進行分析和處理。

其二就是消費級視頻的類別多樣，如電影、綜藝、體育、短視頻等。這些子類的消費級視頻的內(nèi)容形式之間又存在著很大的差異，所以也給不同子類的通用算法提出了巨大的挑戰(zhàn)。

其三，消費級視頻場景復(fù)雜，從工業(yè)級視頻的條件里就可以看出，場景非常的單一，而消費級視頻則來源多樣，后期還有很多加工，從而場景更加復(fù)雜，如場景內(nèi)的特效、切換、淡入淡出和字幕，澤瀉都會對整體或局部產(chǎn)生模糊。以上因素都會對人工智能分析視頻內(nèi)容產(chǎn)生一定程度的干擾，這就對人工智能算法提出了更高的要求，以減少這些因素帶來的干擾。

深度學(xué)習(xí)技術(shù)給消費級視頻帶來的希望

從深度學(xué)習(xí)技術(shù)出發(fā)，張奕博士認為人工智能在消費級視頻領(lǐng)域巨有巨大的商業(yè)價值，但是要實現(xiàn)以上的應(yīng)用設(shè)計，還必須依賴于技術(shù)的發(fā)展。在深度學(xué)習(xí)技術(shù)應(yīng)用之前，人工智能識別技術(shù)也在不斷發(fā)展，但在實際應(yīng)用中，算法準確率與產(chǎn)品商業(yè)化要求之間還存在較大的差距，深度學(xué)習(xí)技術(shù)的出現(xiàn)，極大的提升了算法的準確率，拉低了其與產(chǎn)品商業(yè)化要求的差距，使得人們看到了人工智能技術(shù)近年來在消費級視頻等相關(guān)領(lǐng)域應(yīng)用的希望。

如何構(gòu)建深度學(xué)習(xí)的消費視頻分析系統(tǒng)

基于以上，張奕博士還以Video++在消費級視頻運用人工智能相關(guān)的實例和心得為大家講述如何構(gòu)建基于深度學(xué)習(xí)的消費級視頻分析系統(tǒng)。首先是深度學(xué)習(xí)，樣本的選擇、識別和標注，模型的設(shè)計以及訓(xùn)練測量。其次是計算機視覺和圖像處理，這里設(shè)計消費級視頻領(lǐng)域，所以必須借助這一算法對視頻進行必要的預(yù)處理，從而為深度學(xué)習(xí)做儲備，這其中就包括目標檢測、跟蹤和圖像變換。

而視頻識別過程中的技術(shù)難點也是存在的，張奕博士解釋到，基于視頻內(nèi)容的識別和圖片的識別是有較大區(qū)別，由于視頻的辨識環(huán)境問題，辨識目標的遮擋情況、屏幕占比、運動狀態(tài)都會使視頻識別的難度增大，而Video++獨創(chuàng)的全序列采樣識別，在數(shù)據(jù)收集和標注上積累了大量的數(shù)據(jù)，數(shù)據(jù)的收集由專業(yè)的團隊進行離線的數(shù)據(jù)收集和標注，作為初始模型的訓(xùn)練數(shù)據(jù)，或是由離線收集的訓(xùn)練數(shù)據(jù)得到初始模型，然后在線上測試得到反饋數(shù)據(jù)，從中挑選錯分的樣本，再經(jīng)過人工的標注后，將其加入訓(xùn)練數(shù)據(jù)集里，對模型進行持續(xù)的訓(xùn)練和分析。以此可以看出在不久的將來，待標注的數(shù)據(jù)將成為一項技術(shù)壁壘，因為它直接決定了訓(xùn)練模型得到的數(shù)據(jù)的準確率。在準確率與抓取率上都具有創(chuàng)新性的提升。

極鏈科技Video++將AI+文娛產(chǎn)業(yè)的商業(yè)化逐步加強，在運用AI技術(shù)賦能視頻的過程中，不斷讓視頻變得更有趣、更有價值，通過對視頻數(shù)據(jù)進行結(jié)構(gòu)化處理，實現(xiàn)人臉、場景、物體、品牌等內(nèi)容的動態(tài)追蹤識別，進而將視頻解構(gòu)成為更有價值的場景活動單元，以此應(yīng)用到如廣告、電商、互動娛樂等各種商業(yè)化場景中去。

本次極光開發(fā)者大會，集結(jié)眾多人工智能領(lǐng)域的專家學(xué)者，分享最新最前沿的技術(shù)。吸引來自各行各業(yè)的人工智能愛好者與行業(yè)精英近千人到場參與。張奕博士在本場人工智能論壇，除了為我們分享最前沿的人工智能與消費級視頻結(jié)構(gòu)化數(shù)據(jù)的商用實踐，還與所有參會者共同討論怎樣高效訓(xùn)練數(shù)據(jù)、如何進行常規(guī)數(shù)據(jù)操作和如何獲取“高效”的數(shù)據(jù)等熱點問題。

目前，人工智能的確非常火爆，但是通過本次極光開發(fā)者大會的交流分享，我們看到，人工智能與消費級視頻領(lǐng)域還存在一些短板和瓶頸，但技術(shù)的發(fā)展是永無止境的，我們相信未來AI+文娛的產(chǎn)業(yè)一定會更加成熟。