通過訓練大型卷積網(wǎng)絡，可以預測數(shù)十億社交媒體圖像的hashtag

為了解決視覺模型依賴有監(jiān)督預訓練、難以遷移的問題，F(xiàn)acebook何愷明等多名研究者發(fā)表了一項獨特的遷移學習研究，無需數(shù)據(jù)清洗和手工標記數(shù)據(jù)，通過訓練大型卷積網(wǎng)絡可以預測數(shù)十億社交媒體圖像的hashtag，在圖像分類和目標檢測任務上都得到了迄今最高的精度。

用于各種任務的最先進的視覺感知模型都依賴于有監(jiān)督的預訓練。ImageNet分類實際上是這些模型的預訓練任務。然而，ImageNet現(xiàn)在已有近十年的歷史，并且按現(xiàn)代標準而言，它的規(guī)模相當“小”。

即便如此，對于要用多個數(shù)量級更大的數(shù)據(jù)集進行預訓練的行為，我們所知甚少。原因很明顯：這些數(shù)據(jù)集很難收集，也很難注釋。

為了解決這個問題，來自Facebook的包括何愷明在內(nèi)的多名研究者發(fā)表了一項獨特的遷移學習研究，通過訓練大型卷積網(wǎng)絡，可以預測數(shù)十億社交媒體圖像的hashtag。

這一研究再次引起熱議，吳恩達也在推特上盛贊：

“當你在前所未有的35億張（真的很大！）有標記圖像上訓練，然后遷移到新的任務，神經(jīng)網(wǎng)絡的預訓練能不斷改進。在我看來，我們還遠遠沒有接近預訓練/遷移學習的極限?！?/p>

該研究的實驗表明，對大規(guī)模 hashtag 預測進行訓練可以得到很好的結(jié)果。研究展示了幾項在圖像分類和目標檢測任務上的改進，并報告了迄今為止最高的ImageNet-1k single-crop，top-1 精度：85.4％（top-5 精度是97.6％）。大量實驗還提供了關(guān)于大規(guī)模預訓練和遷移學習效果之間關(guān)系的新的經(jīng)驗數(shù)據(jù)。

無需數(shù)據(jù)清洗和人工標記，得到優(yōu)異遷移性能

幾乎所有最先進的視覺感知算法都依賴于同一個方案：（1）在一個大型、手動注釋的圖像分類數(shù)據(jù)集上預訓練卷積網(wǎng)絡；（2）在一個較小的、特定于任務的數(shù)據(jù)集上微調(diào)網(wǎng)絡。這個方案已經(jīng)廣泛使用多年，并在許多任務上取得了令人印象深刻的改進，包括物體檢測、語義分割、人體姿勢估計、視頻識別、單目深度估計等。事實上，它是如此有效，以至于現(xiàn)在不使用有監(jiān)督的預訓練被認為是蠻干。

ImageNet數(shù)據(jù)集實際上是一個預訓練數(shù)據(jù)集。雖然有研究分析了各種ImageNet預訓練因素對遷移學習的影響，或使用與ImageNet規(guī)模一致的其他數(shù)據(jù)集，但對于在大幾個數(shù)量級的數(shù)據(jù)集上進行預訓練的了解相對較少。

原因有很多：這樣大的數(shù)據(jù)集很少，因為構(gòu)建新的數(shù)據(jù)集需要大量人力，并且需要大量的計算資源來進行實驗。然而，鑒于預訓練的核心作用，擴展在這一領(lǐng)域的科學了解非常重要。

本文試圖通過研究一個未被探索的數(shù)據(jù)體系來解決這個復雜的問題：數(shù)十億張帶有社交媒體“標簽”（hashtags）的真實圖片。這個數(shù)據(jù)源的優(yōu)點是：它很大，并且在不斷增長，以及從注釋角度來說它是“免費”的，因為不需要手動標記。但是，這個數(shù)據(jù)源也有潛在的缺點：hashtag可能噪音太多而不能用作有效的監(jiān)督信號，并且圖像分布可能存在偏差，從而損害遷移學習。因此，在這些數(shù)據(jù)上進行訓練不一定能產(chǎn)生良好的遷移學習結(jié)果。

本研究的主要結(jié)果是，在沒有人工數(shù)據(jù)集管理或復雜的數(shù)據(jù)清洗的情況下，使用數(shù)千個不同的hashtag作為標簽，在數(shù)十億Instagram圖像上訓練的模型表現(xiàn)出了優(yōu)異的遷移學習性能。例如，我們觀察到在圖像分類和物體檢測任務上相比state-of-the-art的技術(shù)有所改進，我們在ImageNet-1k圖像分類數(shù)據(jù)集 single-crop，top-1的準確率為85.4%，相比此前最優(yōu)的79.8%要高；在COCO物體檢測數(shù)據(jù)集獲得45.2% AP，高于此前最優(yōu)的43.7%。

但是，我們的主要目標是提供關(guān)于這個先前未被探索的體系的新實驗數(shù)據(jù)。為此，我們進行了大量實驗，揭示出一些有趣的趨勢。例如，我們發(fā)現(xiàn)“hashtag engineering”（即收集以特定hashtag子集標記的圖像）是改善遷移學習結(jié)果的一個有前景的新方向。在大規(guī)模hashtag數(shù)據(jù)上訓練對label noise意外的robust，所學的特征允許簡單的線性分類器實現(xiàn)最優(yōu)的ImageNet-1k top-1 準確率，即83.6％，沒有任何微調(diào)（微調(diào)的情況下達到84.2％）。

擴大有監(jiān)督預訓練

在實驗中，我們訓練了標準的卷積網(wǎng)絡架構(gòu)來預測多達35億張Instagram公開圖像的hashtag。

Instagram 數(shù)據(jù)集

表1：用于圖像分類任務的數(shù)據(jù)集

ImageNet 數(shù)據(jù)集

除了標準IN-1k數(shù)據(jù)集之外，我們還嘗試了完整ImageNet 2011版本的更大子集，包含14.2M圖像和22k標簽。我們構(gòu)建包含5k和9k標簽的訓練集和驗證集。在所有情況下，每個類都使用50張圖像進行驗證。

模型

我們使用具有分組卷積層的殘差網(wǎng)絡ResNeXt[15]，實驗使用ResNeXt-101 32×Cd，它有101層，32組，組寬為C。

實驗和結(jié)果

在實驗中，我們預訓練了卷積網(wǎng)絡來進行標簽預測，然后將這些網(wǎng)絡遷移到各種任務中。

圖像分類實驗

我們通過三個分類目標任務（ImageNet [30]， CUB2011 [21]， Places365[14]）的分類精度來評估Instagram預處理。我們對224×224中心裁剪的圖像進行推理，并研究（1） hashtag詞匯量大小,（2）訓練集大小,（3） hashtag 目標中的噪聲的數(shù)量，以及（4） hashtag的采樣策略對結(jié)果的影響。

1、Instagram hashtag集對準確度的影響如何？

圖1顯示，對hashtag預測進行預訓練可以顯著提高目標任務的準確性：在標準的IN-1k基準測試集中，一個在約1B、具有1.5k標簽的Instagram圖像集上預訓練的網(wǎng)絡，最高精度達到84.2％——與僅使用IN-1k訓練的相同模型架構(gòu)相比，提高了4.6％；與使用優(yōu)化網(wǎng)絡架構(gòu)的先前技術(shù)相比，提高了1.5％。

圖1：用 IG-1B 數(shù)據(jù)集訓練ResNeXt-101 的分類精度，包含不同詞匯量大小的hashtag（紫色條）?；疑珬l表示基線模型。

Instagram預訓練得到的性能改進因ImageNet任務而異。在CUB2011和Places365目標任務中，使用最大 hashtag 集訓練的源模型可能表現(xiàn)最佳，因為17k hashtags跨越了更多對象、場景和細粒度類別。這些模式非常直觀，表明源標簽集和目標標簽集之間的對齊是一個重要因素。

我們還使用具有17k hashtags（深紫色條）的更大的3.5B圖像集，結(jié)果如圖1所示。它在所有目標任務中都表現(xiàn)最佳。雖然IN-1M-1k模型在val-IN-1k上獲得了87.5％的rectified top-1 精度，但我們的IG-3.5B-17k預訓練模型精度達到了90.4％。

2、預訓練圖像集大小對準確度的影響如何？

圖2：在IN- {1k，5k，9k}和CUB2011的分類精度。橫軸表示源任務的訓練圖像數(shù)量。

圖2顯示了ImageNet驗證集的分類精度（y軸），它是Instagram訓練圖像數(shù)量（x軸）的函數(shù)，數(shù)量范圍從3.5M到3.5B。該圖顯示了預訓練的模型的結(jié)果，用于預測具有三種不同容量（由不同顏色表示）的ResNeXt-101模型的1.5k標簽（虛線）或17k標簽（實線）。

3、hashtag標簽的噪聲對模型精度有什么影響？

圖3：在IG-1B-17k上預訓練的ResNeXt-101 32×16d的分類精度

圖3的結(jié)果表明，網(wǎng)絡對標簽噪聲具有顯著的彈性：p = 10％的噪聲水平導致分類精度損失小于1％，而標簽噪聲p = 25％，精度降低約2％。這些結(jié)果表明，如果在數(shù)十億圖像上訓練網(wǎng)絡，標簽噪聲可能問題不大。

4、預訓練數(shù)據(jù)的采樣如何影響準確性？

圖4：ResInXt-101 32×4d的分類精度，在IG-1B-17k上預訓練，在val-IN- {1k，5k，9k}上用三種不同的標簽采樣策略：自然采樣，均勻采樣和平方根采樣。

結(jié)果表明重新采樣標簽分布對于獲得良好的ImageNet圖像分類結(jié)果非常重要：使用均勻采樣或平方根采樣可以提高5到6％的準確度，無論ImageNet類的數(shù)量是多少。該圖還表明，隨著目標類數(shù)量的增長，更大的hashtag詞匯量可以提高準確度。

探索監(jiān)督預訓練的極限

我們試圖探索監(jiān)督預訓練（supervised pretraining）的極限。除了在ImageNet-1k基準任務（85.4％single-crop， top-1 精度; 97.6％single-crop， top-5 精度）和其他幾項視覺任務上產(chǎn)生最先進的結(jié)果，我們的研究還得到四個重要的觀察：

1、我們的結(jié)果表明，雖然增加預訓練數(shù)據(jù)集的大小是值得的，但為源任務選擇標簽空間以匹配目標任務的標簽空間至少同等重要。我們發(fā)現(xiàn)，在設計用于匹配ImageNet-1k數(shù)據(jù)集中類的標簽詞匯表上訓練的網(wǎng)絡優(yōu)于那些訓練了兩倍數(shù)量的圖像、而沒有仔細選擇hashtag標簽的網(wǎng)絡（圖2左上）。

這一發(fā)現(xiàn)為“l(fā)abel-space engineering”方法的設計鋪平了道路，該方法旨在為特定目標任務選擇最佳的（弱監(jiān)督）標簽集。這種標簽空間工程可能比進一步增加訓練模型的數(shù)據(jù)規(guī)模更有成效。

2、與先前的工作[16,17]一致，我們觀察到在訓練數(shù)十億圖像時，當前的網(wǎng)絡架構(gòu)是欠擬合（underfitting）的。雖然這種underfitting的確導致對hashtag的噪聲具有很高的魯棒性，但我們的結(jié)果表明，通過進一步提高網(wǎng)絡容量可以提高目標任務準確性。例如，通過增加現(xiàn)有架構(gòu)的層數(shù)和每層的過濾器數(shù)量，或者通過專家混合（使用跨GPU的模型并行化），可以增加容量。

3、實驗結(jié)果還強調(diào)了在基準測試任務中更多地考慮視覺多樣性的重要性。結(jié)果表明，如果在具有更大視覺變化的任務上評估這些特征，則視覺特征質(zhì)量的差異變得更加明顯。 例如，我們發(fā)現(xiàn)使用兩個不同詞匯表預訓練的模型之間的準確度差異隨著目標類數(shù)量的增加而增加。 我們相信對更多ImageNet類進行評估有助于更全面地評估視覺識別模型。

4、將模型轉(zhuǎn)換為目標檢測、實例分割和關(guān)鍵點檢測任務的結(jié)果表明，大規(guī)模標簽預測的訓練可以改善分類，同時可能會損害定位（localization）的性能。這為改進大規(guī)模、弱監(jiān)督的預訓練任務，以更好地適應目標任務（如檢測、姿態(tài)估計等）的定位需求開辟了新的方向。

最后，我們反思了一個值得注意的事實，即hashtag prediction的訓練根本不需要額外的手動注釋或數(shù)據(jù)清理。我們認為，與傳統(tǒng)的人工設計和注釋數(shù)據(jù)集的方法相比，我們的研究表明了自然數(shù)據(jù)或“wild”數(shù)據(jù)的潛力。