如何解決數(shù)據(jù)稀疏而對(duì)深度學(xué)習(xí)的影響問(wèn)題？詳細(xì)方法概述

深度學(xué)習(xí)，有太多令人驚嘆的能力！從12年的圖像識(shí)別開(kāi)始，深度學(xué)習(xí)的一個(gè)個(gè)突破，讓人們一次又一次的刷新對(duì)它的認(rèn)知。然而，應(yīng)用深度學(xué)習(xí)，一直有一個(gè)巨大的前提：大量標(biāo)注數(shù)據(jù)。但是難道數(shù)據(jù)少，就享受不到深度學(xué)習(xí)帶來(lái)的紅利了么？近日來(lái)自卡內(nèi)基梅隆大學(xué)、亞馬遜研究院、加州理工學(xué)院的研究員，在人工智能頂級(jí)會(huì)議 UAI 上闡述了多種方法，嘗試緩解甚至解決數(shù)據(jù)稀疏對(duì)深度學(xué)習(xí)的影響。

主要方法

為了解決深度學(xué)習(xí)數(shù)據(jù)少，和數(shù)據(jù)稀疏， 目前業(yè)界的主流方法有一下5種：

數(shù)據(jù)增廣

半監(jiān)督學(xué)習(xí)

遷移學(xué)習(xí)

領(lǐng)域自適應(yīng)

主動(dòng)學(xué)習(xí)

下面，我們對(duì)這5種方式進(jìn)行一個(gè)簡(jiǎn)單的介紹，詳細(xì)的介紹.

數(shù)據(jù)增廣

數(shù)據(jù)增廣，主要是想，對(duì)現(xiàn)有的數(shù)據(jù)，添加噪聲等各種其他變換，從而產(chǎn)生一些有意義的數(shù)據(jù)，是的數(shù)據(jù)集增加，從而解決數(shù)據(jù)稀疏的問(wèn)題，提升模型性能。 特別的，如圖所示，Zachary Lipton 介紹了近期他的一個(gè)工作：利用 GAN來(lái)做圖像數(shù)據(jù)增廣。

半監(jiān)督學(xué)習(xí)

半監(jiān)督學(xué)習(xí)的情形是指：我們擁有少量的標(biāo)注樣本（圖中橘色部分）以及大量的未標(biāo)注樣本（圖中藍(lán)色部分）。

半監(jiān)督學(xué)習(xí)，一般的思路是：在全部數(shù)據(jù)上去學(xué)習(xí)數(shù)據(jù)表示，在有標(biāo)簽的樣本上去學(xué)習(xí)模型，用所有數(shù)據(jù)去加正則。

遷移學(xué)習(xí)

遷移學(xué)習(xí)，主要是想，在一個(gè)擁有大量樣本的數(shù)據(jù)(圖中藍(lán)色部分)上去學(xué)習(xí)模型，在改動(dòng)較少的情況下，將學(xué)習(xí)到的模型遷移到類(lèi)似的目標(biāo)數(shù)據(jù)(圖中橘色部分)和任務(wù)上。

領(lǐng)域自適應(yīng)

領(lǐng)域自適應(yīng)，主要是想，在已有的標(biāo)注數(shù)據(jù)p(x,y)上學(xué)習(xí)模型, 然后嘗試在另一個(gè)分布上q(x，y)上去做應(yīng)用。

主動(dòng)學(xué)習(xí)

主動(dòng)學(xué)習(xí)，維護(hù)了兩個(gè)部分：學(xué)習(xí)引擎和選擇引擎。學(xué)習(xí)引擎維護(hù)一個(gè)基準(zhǔn)分類(lèi)器，并使用監(jiān)督學(xué)習(xí)算法對(duì)系統(tǒng)提供的已標(biāo)注樣例進(jìn)行學(xué)習(xí)從而使該分類(lèi)器的性能提高，而選擇引擎負(fù)責(zé)運(yùn)行樣例選擇算法選擇一個(gè)未標(biāo)注的樣例并將其交由人類(lèi)專(zhuān)家進(jìn)行標(biāo)注，再將標(biāo)注后的樣例加入到已標(biāo)注樣例集中。學(xué)習(xí)引擎和選擇引擎交替工作，經(jīng)過(guò)多次循環(huán)，基準(zhǔn)分類(lèi)器的性能逐漸提高，當(dāng)滿(mǎn)足預(yù)設(shè)條件時(shí)，過(guò)程終止。