計算機視覺研究中的新探索

日前，由中國計算機學(xué)會（CCF）、雷鋒網(wǎng)、香港中文大學(xué)（深圳）聯(lián)合舉辦的2018 全球人工智能與機器人峰會（CCF-GAIR）在深圳成功舉辦，來自學(xué)術(shù)界、工業(yè)界及投資界的眾多大牛，從產(chǎn)學(xué)研多個維度深度分享了AI技術(shù)的前沿研究動態(tài)和技術(shù)落地方向。

商湯科技聯(lián)合創(chuàng)始人、香港中文大學(xué)-商湯科技聯(lián)合實驗室主任林達華教授，在此次活動上發(fā)表了題為“計算機視覺研究中的新探索”的演講，闡述了計算機視覺未來3~5年的研究方向。

林達華教授表示：以前我們要讓機器識別動物，需要人工標注很多動物，標注成本非常高。而人類小時候?qū)W習(xí)動物往往是看《動物世界》去學(xué)的，這個方式促使我們想到一個方法，能不能通過看《動物世界》把所有的動物找到。這里面有一個天然的聯(lián)系，紀錄片上有字幕，字幕上有文字，可以把它和視覺上的場景連接在一起，我們設(shè)計了框架，把它的信息幾何方面的聯(lián)系，以及視覺跟文本之間的聯(lián)系建立起來，最后我們得到了一個這樣的結(jié)果：我們在沒有任何人工干預(yù)的情況下獲得幾十種動物非常精確的識別，沒有任何標注。

以下為林達華教授演講實錄：

今天非常榮幸能夠在這里分享港中文-商湯聯(lián)合實驗室過去幾年的工作。今天，我的演講和前面幾位可能會有點不一樣，剛才幾位演講者在商業(yè)領(lǐng)域做了精彩的分享，相信大家都獲益良多。首先說明一下我并沒有直接地去參與商湯在商業(yè)領(lǐng)域的運作，所以大家如果要關(guān)心商湯什么時候上市，這個問題我是回答不了的。但是我能夠告訴給大家的是，商湯公司不是一天建成的，它今天的成功也不僅僅是三年半的努力，它是建立在它背后這個實驗室18年如一日的原創(chuàng)技術(shù)積累。我們今天在這個實驗室所做的事情，它影響的不是商湯今天拿什么東西出去賺取利潤，而是商湯要做一個偉大的科技公司，在未來的3年、5年、10年要向什么地方走。

準確率不是唯一的方向 目前人工智能還處于粗放型發(fā)展階段

在過去的8年時間中，計算機視覺可以說是取得了一個突破性的進展，最重要的在技術(shù)上的進展應(yīng)該是深度學(xué)習(xí)的引入。在這個領(lǐng)域有一個非常高級別的比賽叫做ImageNet。在2012年之前，這個錯誤率都是比較高的，2012年以后由于深度學(xué)習(xí)的引入，經(jīng)歷了4年的黃金時期。在這4年的黃金期里面，ImageNet的錯誤率從16%下降到了接近3%。

在這里我想問的一個問題是，深度學(xué)習(xí)確實在這幾年的黃金時期取得了突破性的進展，但是不是說我們到了現(xiàn)在這個水平，計算機視覺的研究已經(jīng)終結(jié)了呢？從現(xiàn)在這個水平再往前看3年、5年、10年的時間，我們未來的研究方向應(yīng)該做什么？這是我們整個實驗室，也包括商湯一直在思考的問題。

事實上如果要回答這個問題，我們可以看到，人工智能在過去幾年的成功，它不是偶然的，也并不僅僅只是算法發(fā)展的結(jié)果，它是很多的因素歷史性地交匯在一起，促成了這波人工智能浪潮。

第一個是數(shù)據(jù)，我們的海量數(shù)據(jù)、運用場景數(shù)據(jù)的積累，以及GPU的發(fā)展，計算能力大幅度的躍升，在這個基礎(chǔ)上，算法的進展才帶來了今天人工智能的成功和在眾多應(yīng)用場景的落地。所以我在這里希望向大家傳遞的信息是，雖然大家看到人工智能的很多成功的故事，看到了算法方面的巨大進展，但是人工智能不是一個魔術(shù)，從某種意義上它就是在龐大的數(shù)據(jù)量、在巨大的計算能力支撐下的性能進步。

這其實從某種意義上是一種非常粗放型的發(fā)展，大家都去追逐一個正確率，追求性能的目標。最近幾年中國的公司在國際上所有比賽的榜單上都排到了前三名，但是這是以巨大的工程力量和資源投入為代價的，這種發(fā)展模式是不是可以持續(xù)？這是我們需要思考的問題?；仡櫳疃葘W(xué)習(xí)或者人工智能在過去幾年的發(fā)展，我覺得有很多的事情，我們還有很長的路需要走。

效率、成本、質(zhì)量 人工智能發(fā)展有多方面不同含義

在這里分享幾個方向的思考，第一，是學(xué)習(xí)的效率，是不是充分地把我們的計算資源使用起來。第二，我們面對巨大的數(shù)據(jù)成本，或者標注成本，如何解決這個困境。最后，就是說我們雖然在榜單上拿到了99.9%的準確率，但是這樣訓(xùn)練出來的模型是不是真正滿足我們的生活或者社會生產(chǎn)的需要？這些都是我們要把人工智能落地，推向更快、更好發(fā)展需要解決的問題。

首先我們講第一個方面，效率。

我剛才說過，我們現(xiàn)在基本上是用粗放型的方法發(fā)展，就靠堆積數(shù)據(jù)、堆積計算資源，去獲得很高的性能，是資源的競爭，而不是效率的競賽。但是我們未來要怎么發(fā)展，就需要進一步回顧我們現(xiàn)在的模型和技術(shù)的模式，看看還有沒有優(yōu)化的空間。優(yōu)化的原理非常簡單，就是把好鋼用在刀刃上。

舉一個具體的例子，我們在幾年前就開始進入了視頻領(lǐng)域，視頻是一個非常需要效率的地方，視頻的數(shù)據(jù)量非常龐大，一秒鐘的視頻就是24幀，一分鐘的視頻就差不多是1500幀，基本上相當(dāng)于一個中型的數(shù)據(jù)。利用傳統(tǒng)的處理圖像集的方式去處理視頻顯然是不合適的。

在2013、2014年的時候大部分的視頻分析方法采取的是比較簡單的方式，每一幀都拿出來跑一個卷積網(wǎng)絡(luò)，最后把它集成綜合到一起進行判斷。雖然說過去幾年計算資源發(fā)展非?？欤荊PU的顯存還是有限的，如果每一層都放到CNN去跑，GPU顯存只能容納10幀到20幀左右，一秒鐘的視頻就把GPU充滿了，是沒辦法對長時間的視頻進行分析的，這是一種非常低效的模式。

我們知道視頻相鄰幀之間是非常相似的，這一幀跑一次，下一幀再跑一次，大量的計算浪費掉。我們看到了這個重復(fù)計算的低效，我們把這個采樣方法重新進行了改變，改用了稀疏采樣，無論多長的視頻進來，我都劃分成等長的段落，每一段只取一幀或幾幀出來，這樣我就能對視頻有一個完整的時間范圍覆蓋，自然分析出來的結(jié)果也會有比較高的可靠性和準確性。憑借這個網(wǎng)絡(luò)，我們拿到2016年ActivityNet的冠軍，現(xiàn)在很多實際中使用的長視頻分析架構(gòu)，都已經(jīng)采用了這種稀疏采樣的想法。

在這之后我們進一步拓展我們的研究領(lǐng)域，不僅僅是做這個視頻理解，我們還進一步做在視頻里面的物體的檢測。這也帶來一個新的困難，之前做分類識別，我們可以分段，每一段拿出來會獲得一個大體上的理解。但是物體檢測沒辦法這么做，每一幀都需要把物體的位置輸出出來，在時間上是不能稀疏的。這一頁slide顯示了我們在2016年ImageNet比賽視頻物體檢測項目取得冠軍的網(wǎng)絡(luò)，具體細節(jié)我不說了，基本上就是把每一幀的特征拿出來，判斷它的類型是什么，對物體框的位置做出調(diào)整，然后把它串起來。這里面需要每一幀都要處理，當(dāng)時最厲害的GPU每秒鐘只能處理幾幀，需要大量的GPU才能把這個網(wǎng)絡(luò)訓(xùn)練出來。

我們希望把這樣一個技術(shù)用在實際場景，希望得到一個實時性的物體檢測的框架，要是我們每一幀都是按剛才的方法處理，需要140毫秒，是完全沒有辦法做到實時，但是如果稀疏地去采，比如說每20幀采一次，中間的幀怎么辦呢？

大家可能想到用插值的方法把它插出來，但是我們發(fā)現(xiàn)這個方法對準確度影響很大，隔10幀采一次，中間的準確度差距很大。在新提出的方法里，我們利用幀與幀之間相互的關(guān)系，通過一個代價小得多的網(wǎng)絡(luò)模塊，只需要花5毫秒，在幀與幀之間傳遞信息，就能很好地保持了檢測精度。這樣我們重新改變了做視頻分析的路徑之后，整體的代價就得到了大幅度的下降。這里面沒有什么新鮮的東西，網(wǎng)絡(luò)都是那些網(wǎng)絡(luò)，只是說我們重新去規(guī)劃了視頻分析的計算路徑，重新設(shè)計了整個框架。

大家可以看看結(jié)果。上面是7毫秒逐幀處理的，我們2016年比賽就是用的這個網(wǎng)絡(luò)，后面我們經(jīng)過改進之后，超過62幀每秒，而且它的結(jié)果更加可靠、更加平滑，因為它使用了多幀之間的關(guān)聯(lián)。

7fps

62fps + More Reliable

同樣我們商湯在做自動駕駛，需要對駕駛過程中的場景自動地進行理解和語義分割，這也是一個非常成熟的領(lǐng)域。但大家的關(guān)注點一直沒到點子上，大家關(guān)注的是分割的準確率，像素級的準確率，這是沒有意義的。我們真正在做自動駕駛，關(guān)心的是人在你車前的時候，你有多快的速度判斷出有個人在那里，然后做出一個非常緊急的處理。所以在自動駕駛的場景，判斷的效率、判斷的速度是非常重要的。之前的方法處理每一幀要100多毫秒，如果真有一個人出現(xiàn)在車前面，一個緊急情況發(fā)生在前面的話，是來不及做出反應(yīng)的。

利用剛才所說的方法，我們重新改造了一個模型，充分地使用了幀與幀之間的聯(lián)系，我們可以把每一幀處理的效能從600毫秒降低到60毫秒，大幅度地提高了這個技術(shù)對于突發(fā)情景響應(yīng)的速度。這里面其實也是使用了剛才類似的方法，技術(shù)細節(jié)就不說了。

其次，我們講第二個方面，成本。

剛才是說效率上我們怎么可以提高，接下來是數(shù)據(jù)成本。我們經(jīng)常開玩笑說，人工智能是先有人工再有智能，有多少人工就有多少智能。所以今天我們有人工智能的繁榮，我們不應(yīng)該忘記在背后有成千上萬像這樣的人在背后默默地奉獻，這就是我們數(shù)據(jù)的標注員。一些大的公司，有上萬人的標注團隊，這對人工智能發(fā)展來說也是一個巨大的成本。

怎么樣把這個成本降低下來？這也是我們每天都在思考的事情。既然有很多東西我們沒辦法用人去標注的話，我們是不是可以換一個思路，從數(shù)據(jù)、場景里面去尋求本身就蘊涵的一些標注信息？

這是我們?nèi)ツ甑囊粋€工作，也是發(fā)表在CVPR上，這里面我們嘗試一種全新的方式去學(xué)習(xí)，我們圖片的標注成本非常高，每張圖片不僅要標注出來，還要把框框出來，以前我們要識別動物，要人工標很多動物，但是以前我們小時候?qū)W習(xí)動物，不是說老師給我一個圖片，給我一個有框的東西去學(xué)的，我們是看《動物世界》去學(xué)的，這個方式就促使我們想到一個方法，我們能不能看《動物世界》，把所有的動物找到。這里面有一個天然的聯(lián)系，紀錄片上有字幕，字幕上有文字，可以把它和視覺上的場景連接在一起，是不是可以自動學(xué)出來，為了這一點，我們設(shè)計了框架，把它的信息幾何方面的聯(lián)系，以及視覺跟文本之間的聯(lián)系建立起來，最后我們得到了一個這樣的結(jié)果。

這是我們在沒有任何人工干預(yù)的情況下獲得的幾十種動物的非常精確的識別，沒有任何的標注，就是看《動物世界》，看《國家地理》雜志。

除此之外，我們現(xiàn)在做人臉識別，有大量的人臉數(shù)據(jù)要標注，這里面有一些天然的數(shù)據(jù)就是我們的家庭相冊里面有很多人，這些相冊雖然沒有標注，但是里面蘊涵了很多信息。這是經(jīng)典電影《泰坦尼克》的一個鏡頭，如果大家只是看人臉很難看出這上面兩個人是誰，但是我們往下走可以看到右邊是Rose，但是左邊這個穿西裝的還是看不清楚是誰，這時候如果我們把這個電影背后的場景識別出來，你會發(fā)現(xiàn)Jack和Rose經(jīng)常出現(xiàn)在同一個場景里，這時候基于這種社交互動的信息，我們可以自動判斷這個穿黑衣服的男生可能是Jack。我們通過人臉不經(jīng)過標注的情況下，就提供了大量的有意義的數(shù)據(jù)。在這項新工作中，我們還有效地利用了時間上的關(guān)聯(lián)，一個人從街道這邊走到那邊，人臉的樣子會發(fā)生很大的變化，我們還是可以判斷是同一個人。

最后，是關(guān)于質(zhì)量。

我們說人工智能，它其實最終目的是要為我們的生活帶來便利，提高我們生活的質(zhì)量。但是我們最近幾年人工智能的發(fā)展好像走入了誤區(qū)，認為人工智能的質(zhì)量跟準確率是掛鉤的，但其實我們覺得人工智能是有多個方面不同的含義，不僅僅是質(zhì)量，它的質(zhì)量其實是多個方面、多個層次的。

給大家看幾個例子，這是最近幾年特別火的一個研究領(lǐng)域，就是給一張照片看圖說話，讓計算機自動生成一個描述，這是用我們最新的方法得到的結(jié)果，大家可以看一下。

大家可以看到三張不同的圖放出來，我們用最好的這種模型，它會說同一句話，而且這句話在標準的測試上分數(shù)都非常高，是沒有任何問題的，但我們放在一起看的時候發(fā)現(xiàn)人不是這樣說話的，我們描述一張圖片的時候，即使同一張圖片，不同的人都會說不同的東西。這就是我們在追求識別的時候忽略掉的另外的品質(zhì)，包括它的自然性和它的特性。

為了解決這個問題，我們在去年另外一個工作上提出了一個新的方法，它不再把這個內(nèi)容看成一個翻譯問題，它把它看成一個從概率分布中采樣的問題，它承認多樣性，每個人看到一張圖片會說不同的話，我們希望把這個采樣過程學(xué)習(xí)出來。關(guān)于這個模型具體的細節(jié)，大家可以看相關(guān)的論文。這里可以看到這個結(jié)果，同樣的三張圖，我們可以看到它出來了三句更加生動的，能夠很好地描述這個圖里特征的語句。

最后我們把這個工作再往前推進了一下，我們既然能夠生成一句話，我們也就能生成一段動作。這是我們最近做的，我們在想，我們既然能夠生成很生動的一句話，我們是不是能生成一個很生動的舞蹈。第一步我們先生成一些簡單的動作，大家在這里看到的所有這些都是計算機自己生成出來的，不是我們寫個程序把它描述出來的。這個更精彩一點，也是純計算機自動生成。

對剛才的分享，我再總結(jié)一下，在過去幾年，我們看到人工智能也好，深度學(xué)習(xí)也好，有一個非常突飛猛進的發(fā)展，這種發(fā)展是體現(xiàn)在標準數(shù)據(jù)集上準確率的提升，體現(xiàn)在很多商用場景的落地。但是我們回過頭來看這一段發(fā)展的歷程，我們可以看到其實我們在朝著GDP、準確率高歌猛進的過程中，其實遺忘了很多東西，我們的效率是不是足夠高，我們是不是在透支數(shù)據(jù)標注的成本，我們訓(xùn)練出來的模型是不是真正能夠滿足現(xiàn)實生活中對品質(zhì)的要求，從這些角度來看，我覺得我們也剛剛在起步。雖然我們實驗室還有世界上其它很多實驗室的探索取得了一些重要的進展，但是我們還僅僅是處在一個起步的階段，在我們的前面還有很長的路要走，希望跟大家共勉。