- 人類和 DNN 的目標(biāo)識別穩(wěn)健性比較

DNN 的泛化效果一般很好：首先，DNN 能夠在訓(xùn)練分布上學(xué)習(xí)到足夠一般的特征，能在獨立同分布的測試分布上得到很高的準(zhǔn)確度；盡管 DNN 也有足夠的能力完全記憶訓(xùn)練數(shù)據(jù) [Zhang et al. (2016)]，。有很多研究致力于理解這一現(xiàn)象 [如 Kawaguchi et al. (2017); Neyshabur et al. (2017); Shwartz-Ziv and Tishby (2017)]。其次，在一個任務(wù)上學(xué)習(xí)到特征往往只會遷移到有所相關(guān)的任務(wù)上，比如從分類任務(wù)遷移到顯著性預(yù)測任務(wù) [Kümmerer et al. (2016)]、情緒識別任務(wù) [Ng et al. (2015)]、醫(yī)學(xué)成像任務(wù) [Greenspan et al. (2016)] 以及其它很多遷移學(xué)習(xí)任務(wù) [Donahue et al. (2014)]。但是，在用于新任務(wù)之前，遷移學(xué)習(xí)仍然需要大量訓(xùn)練。這里，我們采用第三種設(shè)定：終身機器學(xué)習(xí)角度的泛化 [Thrun (1996)]。即當(dāng)一個視覺學(xué)習(xí)系統(tǒng)在學(xué)習(xí)過處理一種特定類型的圖像劣化后，在處理新類型的圖像劣化時效果如何？作為一種目標(biāo)識別穩(wěn)健性的度量方法，我們可以測試分類器或視覺系統(tǒng)能夠忍受輸入分布的變化達到一定程度的能力，即在一定程度上不同于訓(xùn)練分布的測試分布上評估時的識別表現(xiàn)是否夠好（即在接近真實的情況下測試，而非在獨立同分布上測試）。使用這種方法，我們可以衡量 DNN 和人類觀察者應(yīng)對由參數(shù)化圖像處理所造成的原始圖像逐漸畸變的能力。

首先，我們將評估在 ImageNet 上訓(xùn)練的表現(xiàn)最好的 DNN，即 GoogLeNet [Szegedy et al. (2015)]、 VGG-19 [Simonyan and Zisserman (2015)] 和 ResNet-152 [He et al. (2016)]，并會在 12 種不同的圖像畸變上比較這些 DNN 與人類的表現(xiàn)，看各自在之前未見過的畸變上的泛化能力如何。圖 2 展示了這些畸變類型，包含加性噪聲或相位噪聲等。

在第二組實驗中，我們會直接在畸變圖像上訓(xùn)練網(wǎng)絡(luò)，看它們在一般意義上處理有噪聲輸入的效果究竟如何，以及在畸變圖像上進行多少訓(xùn)練就能以數(shù)據(jù)增強的形式助力對其它畸變形式的處理。研究者已對人類在目標(biāo)識別任務(wù)上的行為進行了很多心理物理學(xué)研究，這些任務(wù)包括在不同顏色（灰度和彩色）或?qū)Ρ榷纫约疤砑恿瞬煌康目梢娫肼暤膱D像上測量準(zhǔn)確度。研究表明，這種方法確實有助于對人類視覺系統(tǒng)的探索，能揭示出有關(guān)其中內(nèi)部計算和機制的信息 [Nachmias and Sansbury (1974); Pelli and Farell (1999); Wichmann (1999); Henning et al. (2002); Carandini and Heeger (2012); Carandini et al. (1997); Delorme et al. (2000)]。因此，類似的實驗也許同樣能讓我們了解 DNN 的工作方式，尤其是還能通過與人類行為的高質(zhì)量測量結(jié)果來進行比較。

特別需要指出，我們實驗中的人類數(shù)據(jù)是從受控的實驗環(huán)境中獲得的（而沒有使用 Amazon Mechanical Turk 等服務(wù)，因為這些服務(wù)無法讓我們充分地控制展示時間、顯示器校準(zhǔn)、視角和參與者在實驗中的注意力）。我們精心測量得到的行為數(shù)據(jù)集共包含 12 個實驗的 82880 次心理物理學(xué)試驗，這些數(shù)據(jù)以及相關(guān)材料和代碼都已公開：https://github.com/rgeirhos/generalisation-humans-DNNs

2 方法

這一節(jié)將報告所用的范式、流程、圖像處理方法、觀察者和 DNN 的核心元素；這里的信息足以讓讀者了解相關(guān)實驗和結(jié)果。更深入的解讀請參閱補充材料，其中有更詳細的細節(jié)，可幫助研究者重現(xiàn)我們的實驗。

2.1 范式、流程和 16-class-ImageNet

為了本研究，我們開發(fā)了一種實驗范式，旨在使用一種強制選擇的圖像分類任務(wù)來盡可能公平地比較人類觀察者和 DNN。實現(xiàn)公平的心理物理學(xué)比較面臨著一些難題：首先，很多表現(xiàn)優(yōu)良的 DNN 是在 ILSRVR 2012 數(shù)據(jù)庫 [Russakovsky et al. (2015)] 上訓(xùn)練的，這個數(shù)據(jù)庫有 1000 種細粒度的類別（比如，超過 100 種狗）。如果讓人類說出這些目標(biāo)的名稱，他們基本上很自然地會使用大類的名稱（比如會說這是“狗”，而不是說是“德國牧羊犬”）。因此，我們使用 WordNet 的層次結(jié)構(gòu) [Miller (1995)] 開發(fā)了一種映射方法，將 16 種大類類別（比如狗、車或椅子）映射到了它們對應(yīng)的 ImageNet 類別。我們將這個數(shù)據(jù)集稱為 16-class-ImageNet，因為它將 ImageNet 的一個子集分組成了 16 個大類，即：飛機、兩輪車、船舶、小車、椅子、狗、鍵盤、烤箱、熊、鳥、瓶子、貓、鐘表、象、刀具、卡車）。然后，在每次試驗中都會有一張圖像顯示在計算機屏幕上，觀察者必須通過點擊這 16 個類別中的 1 個來選出正確的類別。對于預(yù)訓(xùn)練的 DNN，則是計算映射到特定大類的所有 softmax 值的總和。然后，具有最高總和的大類被用作該網(wǎng)絡(luò)的最終決定。