小樣本學(xué)習(xí)領(lǐng)域的未來(lái)發(fā)展方向

什么是小樣本學(xué)習(xí)？它與弱監(jiān)督學(xué)習(xí)等問(wèn)題有何差異？其核心問(wèn)題是什么？來(lái)自港科大和第四范式的這篇綜述論文提供了解答。

數(shù)據(jù)是機(jī)器學(xué)習(xí)領(lǐng)域的重要資源，在數(shù)據(jù)缺少的情況下如何訓(xùn)練模型呢？小樣本學(xué)習(xí)是其中一個(gè)解決方案。來(lái)自香港科技大學(xué)和第四范式的研究人員綜述了該領(lǐng)域的研究發(fā)展，并提出了未來(lái)的研究方向。 這篇綜述論文已被 ACM Computing Surveys 接收，作者還建立了 GitHub repo，用于更新該領(lǐng)域的發(fā)展。

論文地址：https://arxiv.org/pdf/1904.05046.pdf

GitHub 地址：https://github.com/tata1661/FewShotPapers

機(jī)器學(xué)習(xí)在數(shù)據(jù)密集型應(yīng)用中取得了很大成功，但在面臨小數(shù)據(jù)集的情況下往往捉襟見(jiàn)肘。近期出現(xiàn)的小樣本學(xué)習(xí)（Few-Shot Learning，F(xiàn)SL）方法旨在解決該問(wèn)題。FSL 利用先驗(yàn)知識(shí)，能夠快速泛化至僅包含少量具備監(jiān)督信息的樣本的新任務(wù)中。 這篇論文對(duì) FSL 方法進(jìn)行了綜述。首先，該論文給出了 FSL 的正式定義，并厘清了它與相關(guān)機(jī)器學(xué)習(xí)問(wèn)題（弱監(jiān)督學(xué)習(xí)、不平衡學(xué)習(xí)、遷移學(xué)習(xí)和元學(xué)習(xí)）的關(guān)聯(lián)和差異。然后指出 FSL 的核心問(wèn)題，即經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化方法不可靠。 基于各個(gè)方法利用先驗(yàn)知識(shí)處理核心問(wèn)題的方式，該研究將 FSL 方法分為三大類(lèi)：

數(shù)據(jù)：利用先驗(yàn)知識(shí)增強(qiáng)監(jiān)督信號(hào)；

模型：利用先驗(yàn)知識(shí)縮小假設(shè)空間的大??；

算法：利用先驗(yàn)知識(shí)更改給定假設(shè)空間中對(duì)最優(yōu)假設(shè)的搜索。

最后，這篇文章提出了 FSL 的未來(lái)研究方向：FSL 問(wèn)題設(shè)置、技術(shù)、應(yīng)用和理論。 論文概覽 該綜述論文所覆蓋的主題見(jiàn)下圖：

我們選取介紹了該綜述論文中的部分內(nèi)容，詳情參見(jiàn)原論文。 什么是小樣本學(xué)習(xí)？ FSL 是機(jī)器學(xué)習(xí)的子領(lǐng)域。 我們先來(lái)看機(jī)器學(xué)習(xí)的定義： 計(jì)算機(jī)程序基于與任務(wù) T 相關(guān)的經(jīng)驗(yàn) E 學(xué)習(xí)，并得到性能改進(jìn)（性能度量指標(biāo)為 P）。

基于此，該研究將 FSL 定義為： 小樣本學(xué)習(xí)是一類(lèi)機(jī)器學(xué)習(xí)問(wèn)題，其經(jīng)驗(yàn) E 中僅包含有限數(shù)量的監(jiān)督信息。

下圖對(duì)比了具備充足訓(xùn)練樣本和少量訓(xùn)練樣本的學(xué)習(xí)算法：

FSL 方法分類(lèi) 根據(jù)先驗(yàn)知識(shí)的利用方式，F(xiàn)SL 方法可分為三類(lèi)：

FSL 方法解決少樣本問(wèn)題的不同角度。 基于此，該研究將現(xiàn)有的 FSL 方法納入此框架，得到如下分類(lèi)體系：

數(shù)據(jù) 此類(lèi) FSL 方法利用先驗(yàn)知識(shí)增強(qiáng)數(shù)據(jù) D_train，從而擴(kuò)充監(jiān)督信息，利用充足數(shù)據(jù)來(lái)實(shí)現(xiàn)可靠的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化。

如上圖所示，根據(jù)增強(qiáng)數(shù)據(jù)的來(lái)源，這類(lèi) FSL 方法可分為以下三個(gè)類(lèi)別：

模型 基于所用先驗(yàn)知識(shí)的類(lèi)型，這類(lèi)方法可分為如下四個(gè)類(lèi)別：

算法 根據(jù)先驗(yàn)知識(shí)對(duì)搜索策略的影響，此類(lèi)方法可分為三個(gè)類(lèi)別：

文章最后從問(wèn)題設(shè)置、技術(shù)、應(yīng)用和理論四個(gè)層面探討了小樣本學(xué)習(xí)領(lǐng)域的未來(lái)發(fā)展方向。
責(zé)任編輯：彭菁