人類和 DNN 的目標(biāo)識(shí)別穩(wěn)健性比較

深度神經(jīng)網(wǎng)絡(luò)在很多任務(wù)上都已取得了媲美乃至超越人類的表現(xiàn)，但其泛化能力仍遠(yuǎn)不及人類。德國蒂賓根大學(xué)等多所機(jī)構(gòu)近期的一篇論文對(duì)人類和 DNN 的目標(biāo)識(shí)別穩(wěn)健性進(jìn)行了行為比較，并得到了一些有趣的見解。機(jī)器之心對(duì)該論文進(jìn)行了編譯介紹。

摘要

我們通過 12 種不同類型的圖像劣化（image degradation）方法，比較了人類與當(dāng)前的卷積式深度神經(jīng)網(wǎng)絡(luò)（DNN）在目標(biāo)識(shí)別上的穩(wěn)健性。首先，對(duì)比三種著名的 DNN（ResNet-152、VGG-19、GoogLeNet），我們發(fā)現(xiàn)不管對(duì)圖像進(jìn)行怎樣的操作，幾乎所有情況下人類視覺系統(tǒng)都更為穩(wěn)健。我們還觀察到，當(dāng)信號(hào)越來越弱時(shí)，人類和 DNN 之間的分類誤差模式之間的差異會(huì)逐漸增大。其次，我們的研究表明直接在畸變圖像上訓(xùn)練的 DNN 在其所訓(xùn)練的同種畸變類型上的表現(xiàn)總是優(yōu)于人類，但在其它畸變類型上測試時(shí)，DNN 卻表現(xiàn)出了非常差的泛化能力。比如，在椒鹽噪聲上訓(xùn)練的模型并不能穩(wěn)健地應(yīng)對(duì)均勻白噪聲，反之亦然。因此，訓(xùn)練和測試之間噪聲分布的變化是深度學(xué)習(xí)視覺系統(tǒng)所面臨的一大關(guān)鍵難題，這一難題可通過終身機(jī)器學(xué)習(xí)方法而系統(tǒng)地解決。我們的新數(shù)據(jù)集包含 8.3 萬個(gè)精心度量的人類心理物理學(xué)試驗(yàn)，能根據(jù)人類視覺系統(tǒng)設(shè)置的圖像劣化提供對(duì)終身穩(wěn)健性的有用參考。

圖 1：在（有可能畸變的）ImageNet 圖像上從頭開始訓(xùn)練的 ResNet-50 的分類表現(xiàn)。（a）在標(biāo)準(zhǔn)的彩色圖像上訓(xùn)練后的模型在彩色圖像上的測試表現(xiàn)接近完美（優(yōu)于人類觀察者）。（b）類似地，在添加了均勻噪聲的圖像上訓(xùn)練和測試的模型也優(yōu)于人類。（c）顯著的泛化問題：在添加了椒鹽噪聲的圖像上訓(xùn)練的模型在具有均勻噪聲的圖像上進(jìn)行測試時(shí)，表現(xiàn)時(shí)好時(shí)壞——即使這兩種噪聲類型在人眼看來并沒有太大的區(qū)別。

1 引言

1.1 作為人類目標(biāo)識(shí)別模型的深度神經(jīng)網(wǎng)絡(luò)

人類在日常生活中進(jìn)行的視覺識(shí)別速度很快，似乎也毫不費(fèi)力，而且很大程度無關(guān)視角和物體的方向 [Biederman (1987)]。在單次注視過程中完成的主要由中心凹進(jìn)行的快速識(shí)別被稱為“核心目標(biāo)識(shí)別（core object recognition）”[DiCarlo et al. (2012)]。比如，在查看“標(biāo)準(zhǔn)的”圖像時(shí)，我們能夠在不到 200 毫秒的單次注視內(nèi)可靠地辨別出視野中心的目標(biāo)。[DiCarlo et al. (2012); Potter (1976); Thorpe et al. (1996)]。由于目標(biāo)識(shí)別速度很快，所以研究者常認(rèn)為核心目標(biāo)識(shí)別主要是通過前饋處理實(shí)現(xiàn)的，盡管反饋連接在靈長類大腦中無處不在。靈長類大腦中的目標(biāo)識(shí)別據(jù)信是通過腹側(cè)視覺通路實(shí)現(xiàn)的，這是一個(gè)由區(qū)域 V1-V2-V4-IT 組成的分層結(jié)構(gòu)，來自視網(wǎng)膜的信息會(huì)首先傳遞至 V1 的皮層 [Goodale and Milner (1992)]。

就在幾年前，動(dòng)物視覺系統(tǒng)還是已知的唯一能夠進(jìn)行種類廣泛的視覺目標(biāo)識(shí)別的視覺系統(tǒng)。但這種情況已然改變，在數(shù)百萬張有標(biāo)注圖像上訓(xùn)練之后的腦啟發(fā)式深度神經(jīng)網(wǎng)絡(luò)已經(jīng)在自然場景圖像中的物體分類上達(dá)到了人類水平 [Krizhevsky et al. (2012)]。DNN 現(xiàn)在可用于各種類型的任務(wù)，并且創(chuàng)造了新的當(dāng)前最佳，甚至在一些幾年前還被認(rèn)為需要數(shù)十年時(shí)間才能通過算法解決的任務(wù)上取得了超越人類的表現(xiàn) [He et al. (2015); Silver et al. (2016)]。因?yàn)?DNN 和人類能達(dá)到相近的準(zhǔn)確度，所以已有一些工作開始研究 DNN 和人類視覺的相似和不同之處。一方面，由于大腦本身的復(fù)雜性和神經(jīng)元的多樣性，所以 DNN 的網(wǎng)絡(luò)單元得到了很大的簡化 [Douglas and Martin (1991)]。另一方面，一個(gè)模型的能力往往并不取決于對(duì)原有系統(tǒng)的復(fù)現(xiàn)，而在于模型取得原系統(tǒng)的重要方面并將其從實(shí)現(xiàn)的細(xì)節(jié)中抽象出來的能力 [如 Box (1976); Kriegeskorte (2015)]。

人類視覺系統(tǒng)最顯著的性質(zhì)之一是穩(wěn)健的泛化能力。即使輸入分布發(fā)生很大的變化（比如不同的光照條件和天氣類型），人類視覺系統(tǒng)也能輕松應(yīng)對(duì)。比如，即使在一個(gè)物體前面有雨滴或雪花，人類對(duì)物體的識(shí)別也基本不會(huì)出錯(cuò)。盡管人類在一生中肯定會(huì)遇到很多這樣的變化情況（對(duì)于 DNN，即是我們所說的“訓(xùn)練時(shí)間”），但似乎人類的泛化方式非常普適，并不局限于之前看過的同種分布。否則我們將無法理解存在某些全新之處的場景，之前未見過的噪聲也會(huì)讓我們束手無策。即使一個(gè)人的頭上還從未被撒過彩片碎紙，但他仍然可以毫無壓力地辨認(rèn)出花車巡游中的目標(biāo)。很自然，這樣通用穩(wěn)健的機(jī)制并不只是動(dòng)物視覺系統(tǒng)所需的，要讓人工視覺系統(tǒng)具備超出其訓(xùn)練時(shí)間所用分布的“眼界”，從而處理各種各樣的視覺任務(wù)，也將需要類似的機(jī)制。用于自動(dòng)駕駛的深度學(xué)習(xí)可能就是其中一個(gè)突出案例：即使系統(tǒng)在訓(xùn)練時(shí)間從沒見過彩片碎紙雨，在花車巡游時(shí)也需要有穩(wěn)健的分類表現(xiàn)。因此，從機(jī)器學(xué)習(xí)角度看，因?yàn)榻K身機(jī)器學(xué)習(xí)所需的泛化能力并不依賴于在測試時(shí)間使用獨(dú)立同分布（i.i.d.）樣本的標(biāo)準(zhǔn)假設(shè)，所以對(duì)一般噪聲的穩(wěn)健性可用作終身機(jī)器學(xué)習(xí)的高度相關(guān)的案例 [Chen and Liu (2016)]。

1.2 泛化能力比較