深度學(xué)習(xí)在圖像識(shí)別方面所面臨的挑戰(zhàn)以及具有未來價(jià)值的研究方向

編者按：自1998年成立以來，微軟亞洲研究院一直致力于推動(dòng)計(jì)算機(jī)科學(xué)領(lǐng)域的前沿技術(shù)發(fā)展。在建院20周年之際，我們特別邀請(qǐng)微軟亞洲研究院不同領(lǐng)域的專家共同撰寫“預(yù)見未來”系列文章，以各自領(lǐng)域的前瞻視角，從機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺、系統(tǒng)架構(gòu)、圖形學(xué)、自然語言處理等多個(gè)方向出發(fā)，試圖描繪一幅未來科技藍(lán)圖。

在計(jì)算機(jī)視覺領(lǐng)域，圖像識(shí)別這幾年的發(fā)展突飛猛進(jìn)，但在進(jìn)一步廣泛應(yīng)用之前，仍然有很多挑戰(zhàn)需要我們?nèi)ソ鉀Q。本文中，微軟亞洲研究院視覺計(jì)算組的研究員們?yōu)槲覀兪崂砟壳?a href="http://www.ttokpm.com/v/tag/448/" target="_blank">深度學(xué)習(xí)在圖像識(shí)別方面所面臨的挑戰(zhàn)以及具有未來價(jià)值的研究方向。

識(shí)別圖像對(duì)人類來說是件極容易的事情，但是對(duì)機(jī)器而言，這也經(jīng)歷了漫長歲月。

在計(jì)算機(jī)視覺領(lǐng)域，圖像識(shí)別這幾年的發(fā)展突飛猛進(jìn)。例如，在PASCAL VOC物體檢測(cè)基準(zhǔn)測(cè)試中，檢測(cè)器的性能從平均準(zhǔn)確率30%飆升到了今天的超過90%。對(duì)于圖像分類，在極具挑戰(zhàn)性的ImageNet數(shù)據(jù)集上，目前先進(jìn)算法的表現(xiàn)甚至超過了人類。

圖像識(shí)別技術(shù)的高價(jià)值應(yīng)用就發(fā)生在你我身邊，例如視頻監(jiān)控、自動(dòng)駕駛和智能醫(yī)療等，而這些圖像識(shí)別最新進(jìn)展的背后推動(dòng)力是深度學(xué)習(xí)。深度學(xué)習(xí)的成功主要得益于三個(gè)方面：大規(guī)模數(shù)據(jù)集的產(chǎn)生、強(qiáng)有力的模型的發(fā)展以及可用的大量計(jì)算資源。對(duì)于各種各樣的圖像識(shí)別任務(wù)，精心設(shè)計(jì)的深度神經(jīng)網(wǎng)絡(luò)已經(jīng)遠(yuǎn)遠(yuǎn)超越了以前那些基于人工設(shè)計(jì)的圖像特征的方法。

盡管到目前為止深度學(xué)習(xí)在圖像識(shí)別方面已經(jīng)取得了巨大成功，但在它進(jìn)一步廣泛應(yīng)用之前，仍然有很多挑戰(zhàn)需要我們?nèi)ッ鎸?duì)。與此同時(shí)，我們也看到了很多具有未來價(jià)值的研究方向。

挑戰(zhàn)一：如何提高模型的泛化能力

圖像識(shí)別技術(shù)在可以被廣泛應(yīng)用之前，一個(gè)重要的挑戰(zhàn)是，怎樣才能知道一個(gè)模型對(duì)未曾出現(xiàn)過的場(chǎng)景仍然具有很好的泛化能力。

在目前的實(shí)踐中，數(shù)據(jù)集被隨機(jī)劃分為訓(xùn)練集和測(cè)試集，模型也相應(yīng)地在這個(gè)數(shù)據(jù)集上被訓(xùn)練和評(píng)估。需要注意的是，在這種做法中，測(cè)試集擁有和訓(xùn)練集一樣的數(shù)據(jù)分布，因?yàn)樗鼈兌际菑木哂邢嗨茍?chǎng)景內(nèi)容和成像條件的數(shù)據(jù)中采樣得到的。

然而，在實(shí)際應(yīng)用中，測(cè)試圖像或許會(huì)來自不同于訓(xùn)練時(shí)的數(shù)據(jù)分布。這些未曾出現(xiàn)過的數(shù)據(jù)可能會(huì)在視角、大小尺度、場(chǎng)景配置、相機(jī)屬性等方面與訓(xùn)練數(shù)據(jù)不同。

一項(xiàng)研究表明，數(shù)據(jù)分布上的這種差異會(huì)導(dǎo)致各種深度網(wǎng)絡(luò)模型的準(zhǔn)確率產(chǎn)生明顯的下降 。當(dāng)前模型對(duì)數(shù)據(jù)分布自然變化的敏感性可能成為自動(dòng)駕駛等關(guān)鍵應(yīng)用的一個(gè)嚴(yán)重問題。

挑戰(zhàn)二：如何利用小規(guī)模和超大規(guī)模數(shù)據(jù)

我們需要面對(duì)的另一個(gè)重要的挑戰(zhàn)是如何更好地利用小規(guī)模訓(xùn)練數(shù)據(jù)。雖然深度學(xué)習(xí)通過利用大量標(biāo)注數(shù)據(jù)在各種任務(wù)中都取得了巨大的成功，但現(xiàn)有的技術(shù)通常會(huì)因?yàn)橹挥泻苌俚臉?biāo)記實(shí)例可用而在小數(shù)據(jù)情景中崩潰。這個(gè)情景通常被稱為“少樣本學(xué)習(xí)（few-shot learning）”，并需要在實(shí)際應(yīng)用中仔細(xì)考慮。例如，一個(gè)家庭機(jī)器人被期望可以完成這樣的任務(wù)：向它展示一個(gè)新物體，且只展示一次，之后它便可以識(shí)別這個(gè)物體。一個(gè)人可以很自然地完成這個(gè)任務(wù)，即使這個(gè)物體之后又被操作過了，例如一個(gè)毛毯被折疊起來了。如何賦予神經(jīng)網(wǎng)絡(luò)像人類這樣的泛化能力是一個(gè)開放的研究問題。

另一個(gè)極端是如何利用超大規(guī)模數(shù)據(jù)有效地提高識(shí)別算法的性能。對(duì)于像自動(dòng)駕駛這樣的關(guān)鍵應(yīng)用，圖像識(shí)別的出錯(cuò)成本非常高。因此，研究者們創(chuàng)造出了非常龐大的數(shù)據(jù)集，這些數(shù)據(jù)集包含了數(shù)以億計(jì)的帶有豐富標(biāo)注的圖像，并且他們希望通過利用這些數(shù)據(jù)使模型的準(zhǔn)確度得到顯著提高。

然而，目前的算法并不能很好地利用這種超大規(guī)模數(shù)據(jù) 。在包含了3億張標(biāo)注圖片的JFT數(shù)據(jù)集上，各種深度網(wǎng)絡(luò)的性能隨著訓(xùn)練數(shù)據(jù)量的增加，僅僅呈現(xiàn)出對(duì)數(shù)級(jí)的提高（圖一）。在大規(guī)模數(shù)據(jù)的情況下，繼續(xù)增加訓(xùn)練數(shù)據(jù)帶來的收益會(huì)變得越來越不明顯，這是一個(gè)有待解決的重要問題。

圖一目標(biāo)檢測(cè)在JFT-300M數(shù)據(jù)集上的性能隨訓(xùn)練樣例的增多呈對(duì)數(shù)倍的提高。x軸是對(duì)數(shù)尺度下的數(shù)據(jù)大小。y軸是目標(biāo)檢測(cè)的性能。左圖使用COCO minival測(cè)試集上的mAP@[0.5,0.95] 指標(biāo)，右圖使用PASCAL VOC 2007測(cè)試集上的mAP@0.5指標(biāo) 。紅藍(lán)兩條曲線分別代表兩種不同的模型。

挑戰(zhàn)三：全面的場(chǎng)景理解

除了這些與訓(xùn)練數(shù)據(jù)和泛化能力相關(guān)的問題外，還有一個(gè)重要的研究課題是全面的場(chǎng)景理解。除了識(shí)別和定位場(chǎng)景中的物體之外，人類還可以推斷物體和物體之間的關(guān)系、部分到整體的層次、物體的屬性和三維場(chǎng)景布局。

獲得對(duì)場(chǎng)景的更廣泛的理解將會(huì)幫助例如機(jī)器人交互這樣的應(yīng)用，因?yàn)檫@些應(yīng)用通常需要物體標(biāo)識(shí)和位置以外的信息。這個(gè)任務(wù)不僅涉及到對(duì)場(chǎng)景的感知，而且還需要對(duì)現(xiàn)實(shí)世界的認(rèn)知理解。要實(shí)現(xiàn)這一目標(biāo)，我們還有很長的路要走。全面的場(chǎng)景理解的一個(gè)例子為全景分割，見圖二。

圖二 (a)原圖；(b)語義分割：識(shí)別天空、草地、道路等沒有固定形狀的不可數(shù)材質(zhì)(stuff)，標(biāo)記方法通常是給每個(gè)像素加上標(biāo)簽 ；(c)實(shí)例分割：分割人、動(dòng)物或工具等可數(shù)且獨(dú)立的物體實(shí)例(object instance)，通常用包圍盒或分割掩碼標(biāo)記目標(biāo)；(d)全景分割：生成統(tǒng)一的、全局的分割圖像，既識(shí)別材質(zhì)，也識(shí)別物體。

挑戰(zhàn)四：自動(dòng)化網(wǎng)絡(luò)設(shè)計(jì)

最后一個(gè)值得一提的挑戰(zhàn)是使網(wǎng)絡(luò)設(shè)計(jì)自動(dòng)化。近年來，圖像識(shí)別這一領(lǐng)域的重心從設(shè)計(jì)更好的特征轉(zhuǎn)向了設(shè)計(jì)更新的網(wǎng)絡(luò)架構(gòu)。然而，設(shè)計(jì)網(wǎng)絡(luò)架構(gòu)是一個(gè)冗長乏味的過程，它需要處理大量的超參數(shù)和設(shè)計(jì)選擇。調(diào)優(yōu)這些元素需要有經(jīng)驗(yàn)的工程師花費(fèi)大量的時(shí)間和精力。

更重要的是，一個(gè)任務(wù)的最優(yōu)架構(gòu)和另一個(gè)任務(wù)的最優(yōu)架構(gòu)可能是完全不同的。盡管我們對(duì)自動(dòng)神經(jīng)架構(gòu)搜索的研究已經(jīng)開始了，但它們?nèi)匀惶幱谠缙陔A段并且僅適用于圖像分類任務(wù)。當(dāng)前方法的搜索空間非常狹窄，因?yàn)樗鼈儗ふ业氖乾F(xiàn)有網(wǎng)絡(luò)模塊的局部最優(yōu)組合（例如深度可分離卷積和恒等連接），并且無法發(fā)現(xiàn)新的模塊。目前還不清楚這些現(xiàn)有的方法是否足以勝任更復(fù)雜的任務(wù)。

圖三 神經(jīng)架構(gòu)搜索算法的抽象圖解。搜索策略首先從事先定義好的搜索空間中選擇一個(gè)架構(gòu)A，這個(gè)構(gòu)架接著被評(píng)估策略進(jìn)行評(píng)估，并將評(píng)估的A的性能傳遞給搜索策略 。

盡管在圖像識(shí)別領(lǐng)域存在上述諸多挑戰(zhàn)，但我們?nèi)匀幌嘈派疃葘W(xué)習(xí)在圖像識(shí)別領(lǐng)域的巨大潛力。解決這些問題的機(jī)會(huì)比比皆是，下面我們看看這其中的幾個(gè)研究方向：

方向一：整合常識(shí)

圖像識(shí)別領(lǐng)域有一個(gè)重要的研究方向是將常識(shí)融入到深度學(xué)習(xí)中。目前，深度學(xué)習(xí)主要作為一種純粹的數(shù)據(jù)驅(qū)動(dòng)技術(shù)被使用。在深度學(xué)習(xí)中，神經(jīng)網(wǎng)絡(luò)利用訓(xùn)練集中的標(biāo)注樣本學(xué)習(xí)一個(gè)非線性函數(shù)，之后在測(cè)試時(shí)則將這個(gè)學(xué)習(xí)到的函數(shù)作用到圖片像素上。訓(xùn)練集之外的信息則一點(diǎn)也沒有被用到。

相比之下，人類識(shí)別物體不僅基于已經(jīng)看到的樣本，還基于他們有關(guān)真實(shí)世界的常識(shí)。人們能夠?qū)λ麄兯吹降臇|西進(jìn)行推理，以避免不合邏輯的識(shí)別結(jié)果。此外，當(dāng)遇到新的或超出預(yù)期的東西時(shí)，人類可以迅速調(diào)整他們的知識(shí)來解釋這次的新經(jīng)歷。如何在深度網(wǎng)絡(luò)中獲取、表示常識(shí)以及利用常識(shí)進(jìn)行推理是一個(gè)挑戰(zhàn)。

方向二：幾何推理

聯(lián)合執(zhí)行圖像識(shí)別和幾何推理則是另一個(gè)有潛力的方向。圖像識(shí)別的主要模型只考慮了二維外觀，而人類可以感知三維場(chǎng)景布局以及推斷其內(nèi)在的語義類別。三維布局不僅可以從雙目視覺中獲得，還可以從二維輸入的幾何推理中得到，就像人們看照片時(shí)所做的那樣。聯(lián)合圖像識(shí)別和幾何推理為雙方都提供了好處。

從幾何推理中確定的三維布局可以幫助在看不見的視角、變形和外觀的情況下引導(dǎo)識(shí)別。它還可以消除不合理的語義布局，并幫助識(shí)別由其三維形狀或功能定義的類別。例如，沙發(fā)中存在著巨大的類內(nèi)外觀差異。然而，它們擁有共同的屬性，可以幫助識(shí)別它們。比如它們都有一個(gè)水平面用來坐，一個(gè)背面用于支撐。另一方面，識(shí)別出來的語義可以規(guī)范化幾何推理的解空間。例如，如果一只狗在一個(gè)場(chǎng)景中被識(shí)別，它相應(yīng)的三維結(jié)構(gòu)應(yīng)該符合狗的三維形狀模型。

圖四 從視頻的兩個(gè)不同視角的幀重建出復(fù)雜動(dòng)態(tài)場(chǎng)景的點(diǎn)云

方向三：對(duì)關(guān)系建模

關(guān)系建模也有很大的研究潛力。想要全面理解一個(gè)場(chǎng)景，對(duì)場(chǎng)景中存在的目標(biāo)實(shí)體之間的關(guān)系和相互作用的建模非常重要（圖四）?？紤]兩張圖片，每個(gè)圖片都包含一個(gè)人和一匹馬。如果一張展示的是騎著馬的人，另一張展示的是踩著人的馬，顯然這兩張圖片表達(dá)了完全不同的意思。此外，通過關(guān)系建模提取的底層場(chǎng)景結(jié)構(gòu)可以幫助補(bǔ)償當(dāng)前深度學(xué)習(xí)方法因數(shù)據(jù)有限而出現(xiàn)的模糊不確定等問題。盡管人們已經(jīng)在努力解決關(guān)系建模這個(gè)問題，但這項(xiàng)研究仍然是初步的，并且還有很大的探索空間。

圖五 目標(biāo)檢測(cè)中的關(guān)系網(wǎng)絡(luò)。表示物體的外表特征，表示物體的幾何特征

方向四：學(xué)習(xí)如何學(xué)習(xí)

這里還有一個(gè)值得一提的方向是元學(xué)習(xí)，它的目標(biāo)是學(xué)習(xí)學(xué)習(xí)過程。這個(gè)課題最近引起了相當(dāng)多的關(guān)注，而且神經(jīng)架構(gòu)搜索也可以被認(rèn)為是它的一種應(yīng)用。

然而，由于目前對(duì)學(xué)習(xí)過程建模的機(jī)制、表示和算法還比較初級(jí)，元學(xué)習(xí)的研究仍處于早期階段。以神經(jīng)架構(gòu)搜索為例，它只局限于現(xiàn)有網(wǎng)絡(luò)模塊的簡(jiǎn)單組合。元學(xué)習(xí)者無法捕捉到創(chuàng)作新網(wǎng)絡(luò)模塊所需的微妙的直覺和敏銳的洞察力。隨著元學(xué)習(xí)的進(jìn)步，自動(dòng)架構(gòu)設(shè)計(jì)的潛力可能會(huì)被完全釋放出來，進(jìn)而得到遠(yuǎn)超手工設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)。

圖六 元學(xué)習(xí)近期的進(jìn)展。自左至右分別為元學(xué)習(xí)的超參數(shù)優(yōu)化 、神經(jīng)架構(gòu)搜索 、少樣本圖像分類 。

這是一個(gè)激動(dòng)人心的從事圖像識(shí)別的時(shí)代，一個(gè)充滿了推動(dòng)領(lǐng)域發(fā)展、影響未來應(yīng)用的機(jī)會(huì)時(shí)代。我們熱切盼望即將到來的進(jìn)步，并期待這些新技術(shù)以深刻而神奇的方式改變我們的生活。

責(zé)任編輯：lq