Google AI最新研究用無監(jiān)督數(shù)據(jù)增強推進半監(jiān)督學習，取得令人矚目的成果

Google AI最新研究用無監(jiān)督數(shù)據(jù)增強推進半監(jiān)督學習，取得令人矚目的成果。該方法超越了所有現(xiàn)有的半監(jiān)督學習方法，并實現(xiàn)了僅使用極少量標記樣本即可達到使用大量標記樣本訓練集的精度。

深度學習之所以能夠成功的關(guān)鍵因素，是算法的進步，以及并行處理硬件（GPU / TPU）以及大型標記數(shù)據(jù)集（如ImageNet）。

然而，當標記數(shù)據(jù)稀缺時，深度學習就像缺了一條腿。在這種情況下，需要應用數(shù)據(jù)增強方法，例如對句子進行釋義或?qū)D像進行旋轉(zhuǎn)，以有效地增加標記的訓練數(shù)據(jù)的量。

如今，在諸如自然語言處理（NLP），視覺和語音等各種領(lǐng)域的數(shù)據(jù)增強方法的設計上，已經(jīng)取得了重大進展。不幸的是，數(shù)據(jù)增加通常僅限于監(jiān)督學習，需要標簽從原始示例轉(zhuǎn)移到增強示例。

上圖：基于文本（頂部）或基于圖像（底部）訓練數(shù)據(jù)的示例增強操作。

在谷歌最近“用于一致性訓練的無監(jiān)督數(shù)據(jù)增強（UDA）”的研究中，證明還可以對未標記數(shù)據(jù)執(zhí)行數(shù)據(jù)增強，以顯著改善半監(jiān)督學習（SSL）。

谷歌的結(jié)果促進了半監(jiān)督學習的復興，而且還發(fā)現(xiàn)3點有趣的現(xiàn)象：（1）SSL可以匹配甚至優(yōu)于使用數(shù)量級更多標記數(shù)據(jù)的純監(jiān)督學習。（2）SSL在文本和視覺兩個領(lǐng)域都能很好地工作。（3）SSL能夠與遷移學習很好地結(jié)合。

此外谷歌還開放了代碼在GitHub。

GitHub地址：

https://github.com/google-research/uda

無監(jiān)督數(shù)據(jù)擴充

無監(jiān)督數(shù)據(jù)增強同時使用標記數(shù)據(jù)和未標記數(shù)據(jù)。在標記數(shù)據(jù)方面，它使用監(jiān)督學習的標準方法來計算損失函數(shù)以訓練模型，如下圖的左側(cè)部分所示。

而對于未標記的數(shù)據(jù)，則應用一致性訓練來強制預測未標記的示例和增強的未標記示例是否相似，如下圖的右側(cè)部分所示。

這里，相同的模型被同時應用于未標記的示例和增強的對應物，以產(chǎn)生兩個模型預測，從中計算一致性損失（即，兩個預測分布之間的距離）。

然后，UDA通過聯(lián)合優(yōu)化標記數(shù)據(jù)的監(jiān)督損失和未標記數(shù)據(jù)的無監(jiān)督一致性損失，來計算最終損失。

通過最小化一致性損失，UDA允許標簽信息從標記的示例平滑地傳播到未標記的示例。

直覺上，人們可以將UDA視為隱含的迭代過程：該模型依賴于少量標記的示例，來對一些未標記的示例進行正確的預測，從中通過一致性損失，并將標簽信息傳播到增強的對應物。隨著時間的推移，越來越多未標記的示例終將被正確預測，這反映了模型的改進的泛化。

谷歌對各種其他類型的噪聲進行一致性訓練測試（例如高斯噪聲、對抗性噪聲等）后，在各種各樣的噪聲上實現(xiàn)了最先進的性能。

UDA根據(jù)任務應用不同的現(xiàn)有增強方法，包括反向翻譯、自動增強和TF-IDF單詞替換。

新的NLP和計算機視覺的基準

UDA在低數(shù)據(jù)體系中出乎意料地有效。只用20個標記示例，UDA通過50000個未標記的示例，在IMDb情緒分析任務中實現(xiàn)了4.20的錯誤率。

該結(jié)果優(yōu)于先前使用25000個標記示例訓練的最先進模型（錯誤率為4.32）。在大數(shù)據(jù)制度中，通過完整的訓練集，UDA也提供了強大的收益。

IMDb的基準，是一種情緒分析任務。UDA在不同培訓規(guī)模的監(jiān)督學習中超越了最先進的成果，如下圖。

在CIFAR-10半監(jiān)督學習基準測試中，UDA的表現(xiàn)同樣優(yōu)于所有現(xiàn)有的SSL方法，如VAT、ICT和MixMatch。

在4k示例情況下，UDA實現(xiàn)了5.27的錯誤率，與使用50k示例的完全監(jiān)督模型的性能相匹配。

此外，通過更先進的PyramidNet+ShakeDro架構(gòu)p，UDA實現(xiàn)了2.7的新的最新錯誤率，與之前的最佳半監(jiān)督結(jié)果相比，錯誤率降低了45％以上。

在SVHN上，UDA僅使用250個標記示例，就實現(xiàn)了2.85的錯誤率，與使用70k標記示例訓練的完全監(jiān)督模型的性能相匹配。

CIFAR-10的SSL基準測試，圖像分類任務。UDA超越了所有現(xiàn)有的半監(jiān)督學習方法，所有這些方法都使用Wide-ResNet-28-2架構(gòu)。在4000個示例中，UDA將完全監(jiān)督設置的性能與50000個示例相匹配。

在具有10％標記示例的ImageNet上，UDA將TOP 1精度從55.1％提高到68.7％。

在具有完全標記集和1.3M額外未標記示例的高數(shù)據(jù)體系中，UDA繼續(xù)為前1精度提供78.3％至79.0％的增益。