深度主動學(xué)習(xí)的相關(guān)工作全面概述

Abstract 主動學(xué)習(xí)試圖通過標(biāo)記最少量的樣本使得模型的性能收益最大化。而深度學(xué)習(xí)則對數(shù)據(jù)比較貪婪，需要大量的數(shù)據(jù)供給來優(yōu)化海量的參數(shù)，從而使得模型學(xué)會如何提取高質(zhì)量的特征。近年來，由于互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，使得我們處在一個信息洪流的時代，我們擁有海量的未標(biāo)記數(shù)據(jù)。借此，深度學(xué)習(xí)引起了研究人員的強烈興趣，并且得到了快速的發(fā)展。

和深度學(xué)習(xí)相比，研究人員對于主動學(xué)習(xí)的研究興趣相對較低。這主要是由于在深度學(xué)習(xí)興起之前，傳統(tǒng)的機器學(xué)習(xí)所需要的標(biāo)注樣本相對較少。因此，早期的主動學(xué)習(xí)很難體現(xiàn)出應(yīng)有的價值。盡管深度學(xué)習(xí)已經(jīng)在各個領(lǐng)域取得了突破性進展，但是這絕大部分的成功都要歸功于現(xiàn)有的大量標(biāo)注數(shù)據(jù)集的公開。然而，大量高質(zhì)量的標(biāo)注數(shù)據(jù)集的獲取需要消耗大量的人力，在一些需要很高專業(yè)知識的領(lǐng)域這是不被允許的，尤其是在語音識別、信息提取、醫(yī)學(xué)圖像等領(lǐng)域。因此，主動學(xué)習(xí)逐漸受到了應(yīng)有的重視。 一種很自然的想法是能否使用主動學(xué)習(xí)來減少樣本標(biāo)注的成本，同時保留深度學(xué)習(xí)強大的學(xué)習(xí)能力。因此，深度主動學(xué)習(xí)出現(xiàn)了。盡管相關(guān)的研究已經(jīng)相當(dāng)?shù)呢S富，但是缺乏一個對深度主動學(xué)習(xí)全面的survey。本文正是要填補這項空白，我們?yōu)楝F(xiàn)有的工作提供了一個形式上統(tǒng)一的分類方法，并進行一個全面系統(tǒng)的概述。此外，我們還從應(yīng)用的角度對DAL的發(fā)展進行了分析和總結(jié)。最后，我們對DAL中存在的困惑、問題進行了討論，并給出了一些DAL可能的發(fā)展方向。

Introduction 在機器學(xué)習(xí)社區(qū)中深度學(xué)習(xí)和主動學(xué)習(xí)都有著重要的應(yīng)用。他們憑借著各自優(yōu)異的特性吸引了大量研究人員的興趣。具體來說，DL已經(jīng)在各種具有挑戰(zhàn)性的任務(wù)上取得了前所未有的突破，但這很大程度上歸功于海量標(biāo)注數(shù)據(jù)集的公開。因此，DL在一些需要豐富知識的專業(yè)領(lǐng)域受限于高昂的樣本標(biāo)注代價。另一方面，從理論上講，有效的AL算法可以實現(xiàn)在標(biāo)注工作效率方面的指數(shù)級加速。這種巨大的標(biāo)注代價節(jié)省潛力令人著迷。此外，經(jīng)典的AL算法也存在難以處理高維數(shù)據(jù)的困境。

因此，這種明顯互補的優(yōu)勢使得DL與AL的結(jié)合DAL被研究人員給予厚望。深度主動學(xué)習(xí)已經(jīng)被廣泛的應(yīng)用在了各個領(lǐng)域，例如圖像識別，目標(biāo)檢測等。盡管相關(guān)的工作已經(jīng)相當(dāng)?shù)呢S富，但是深度主動學(xué)習(xí)仍然缺乏一個統(tǒng)一的分類框架。為了填補這項空白，在本文中我們將對現(xiàn)有的深度主動學(xué)習(xí)的相關(guān)工作做一個全面的概述，并提供一個形式化的分類方法。接下來，我們將首先簡要的回顧深度學(xué)習(xí)與主動學(xué)習(xí)在各自領(lǐng)域中的發(fā)展現(xiàn)狀。然后，在Section 3中進一步給出DL與AL結(jié)合必要性和所面臨的挑戰(zhàn)。

（a）基于池的主動學(xué)習(xí)周期：使用查詢策略在無標(biāo)記池中查詢樣本交給 oracle 進行標(biāo)注，然后將查詢的樣本添加到標(biāo)記訓(xùn)練數(shù)據(jù)集中并訓(xùn)練，接著使用新學(xué)習(xí)的知識進行下一輪查詢。重復(fù)這個過程，直到標(biāo)注預(yù)算被耗盡或者達(dá)到預(yù)先設(shè)定的終止條件。

（b）一個常見的深度學(xué)習(xí) model：卷積神經(jīng)網(wǎng)絡(luò)

（c）深度主動學(xué)習(xí)的典型例子： 深度學(xué)習(xí) model 的參數(shù)θ在初始化標(biāo)簽訓(xùn)練集上進行初始化或者預(yù)訓(xùn)練，無標(biāo)記池的樣本通過深度學(xué)習(xí) model 提取特征。然后基于相應(yīng)的查詢策略挑選樣本，并在 oracle 中查詢標(biāo)簽，形成新的標(biāo)簽訓(xùn)練集，接著在上訓(xùn)練深度學(xué)習(xí) model，同時更新。重復(fù)這個過程，直到標(biāo)注預(yù)算被耗盡或者達(dá)到預(yù)先設(shè)定的終止條件。

Deep Learning 深度學(xué)習(xí)試圖通過模擬人類大腦的結(jié)構(gòu)來構(gòu)建相應(yīng)的model。1943年，A提出的McCulloch-Pitts （MCP） model被認(rèn)為是現(xiàn)代深度學(xué)習(xí)的開端。隨后，1986年B將反向傳播引入到神經(jīng)網(wǎng)絡(luò)的優(yōu)化中，這為深度學(xué)習(xí)后來的蓬勃發(fā)展奠定了基礎(chǔ)。同年，遞歸神經(jīng)網(wǎng)絡(luò)被提出。1990年，LeNet網(wǎng)絡(luò)出現(xiàn)，它是最早使用深度神經(jīng)網(wǎng)絡(luò)（DNN）的工作之一。然而，早期的這些開創(chuàng)性工作受限于當(dāng)時的計算資源并未得到應(yīng)有的廣泛的重視與應(yīng)用。2006年，深度信念網(wǎng)絡(luò)（DBNs）被提出，并以此探究了比以往更深的網(wǎng)絡(luò)，這促使將神經(jīng)網(wǎng)絡(luò)被命名為深度學(xué)習(xí)。

在2012年，在ImageNet大賽上，深度學(xué)習(xí)模型AlexNet一舉奪冠。它使用ReLU激活函數(shù)有效的抑制了梯度消失的問題，同時使用多GPU極大的提高了模型的訓(xùn)練速度。隨后，深度學(xué)習(xí)開始在各個大賽中斬獲冠軍并且在各種任務(wù)中不斷刷新著記錄。從自動化的角度來看，深度學(xué)習(xí)的出現(xiàn)使得原本機器學(xué)習(xí)中特征的手動設(shè)計轉(zhuǎn)變?yōu)樽詣犹崛?。正是由于深度學(xué)習(xí)強大的自動特征提取能力才使得它在眾多的領(lǐng)域表現(xiàn)出前所未有的優(yōu)勢。深度學(xué)習(xí)經(jīng)過數(shù)十年的發(fā)展，相關(guān)的研究工作已經(jīng)相當(dāng)?shù)呢S富。在Fig.1a，我們顯示了一個標(biāo)準(zhǔn)的深度學(xué)習(xí)模型示例：卷積神經(jīng)網(wǎng)絡(luò)。以此為基礎(chǔ)類似的卷積神經(jīng)網(wǎng)絡(luò)被應(yīng)用于各種圖像處理任務(wù)。此外被廣泛應(yīng)用的還有循環(huán)神經(jīng)網(wǎng)絡(luò)、生產(chǎn)對抗性網(wǎng)絡(luò)等。從2017年開始，深度學(xué)習(xí)從最初的特征提取自動化逐漸轉(zhuǎn)變?yōu)槟Ｐ图軜?gòu)設(shè)計的自動化。但是，這還需要很長的一段路要走。

得益于現(xiàn)有的大量標(biāo)注數(shù)據(jù)集的公開， 近年來，深度學(xué)習(xí)在機器翻譯，語音識別，圖像分類等各個領(lǐng)域中都取得了突破性進展。然而，這是以大量人工標(biāo)注數(shù)據(jù)集為代價的，并且深度學(xué)習(xí)對數(shù)據(jù)有著很強的貪婪屬性。在現(xiàn)實世界中，大量未標(biāo)注的數(shù)據(jù)集的獲取是相對較為簡單的，但是數(shù)據(jù)集的人工標(biāo)注面臨著高昂的代價。尤其是那些需要很高專業(yè)知識的領(lǐng)域，例如對COVID-19患者的肺部病變圖像的標(biāo)注以及描述工作就需要經(jīng)驗豐富的臨床醫(yī)生才能完成，顯然要求他們完成大量醫(yī)學(xué)圖像標(biāo)注工作是不可能的。類似的領(lǐng)域還包括語音識別、信息提取，衛(wèi)星遙感等領(lǐng)域。因此，我們急需一種方法可以在注釋少量樣本的情況下使得模型獲得最大的性能增益。

Active Learning 主動學(xué)習(xí)正是這樣一種方法，它試圖從未標(biāo)記數(shù)據(jù)集中選擇最有用的樣本交給 oracle進行標(biāo)注，從而在保持性能的情況下盡可能降低標(biāo)注成本。主動學(xué)習(xí)從應(yīng)用場景上來可以劃分為membership query synthesis，stream-based selective sampling和pool-based active learning. Membership query synthesis是指學(xué)習(xí)者可以請求查詢輸入空間中任何未標(biāo)記樣本的標(biāo)簽，包括學(xué)習(xí)者生成的樣本。而stream-based selective sampling和pool-based的區(qū)別主要在于前者是對數(shù)據(jù)流中的每個樣本獨立作出判斷是否需要查詢未標(biāo)記樣本的標(biāo)簽，而后者則可以基于對整個數(shù)據(jù)集的評估和排名來選擇最佳查詢樣本。相比之下，pool-based的場景似乎在論文應(yīng)用中更加常見，但很顯然stream-based selective sampling的應(yīng)用場景則更適合于要求時效性的小型的移動終端設(shè)備。在fig.1（a）中，我們展示了基于池的主動學(xué)習(xí)周期的框架圖。初始狀態(tài)下，我們可以從未標(biāo)記池中隨機挑選一個或多個樣本并交給oracle查詢標(biāo)簽得到標(biāo)注數(shù)據(jù)集，然后在上以監(jiān)督學(xué)習(xí)的方式訓(xùn)練model。接著，利用新知識選擇下一個要查詢的樣本，并將新查詢的樣本添加到中并訓(xùn)練。重復(fù)這個過程，直到標(biāo)注預(yù)算被耗盡或者達(dá)到預(yù)先設(shè)定的終止條件。

與深度學(xué)習(xí)通過使用手工或者自動的方法千方百計的設(shè)計具有高性能特征提取能力的模型不同。主動學(xué)習(xí)則從數(shù)據(jù)集入手，主要通過設(shè)計精妙的查詢規(guī)則從未標(biāo)記的數(shù)據(jù)集中選擇最佳的樣本并查詢其標(biāo)簽，試圖盡可能的降低標(biāo)注代價。因此，查詢規(guī)則的設(shè)計對主動學(xué)習(xí)的性能是至關(guān)重要的。相關(guān)的研究也相當(dāng)?shù)呢S富，例如，在給定的一組未標(biāo)記數(shù)據(jù)集中，主要的查詢策略有基于不確定性的方法，基于多樣性的方法和預(yù)期的模型更改。除此之外，還有很多的工作研究了混合查詢策略，同時考慮查詢樣本的不確定性和多樣性，并試圖在這兩種策略中找到平衡點。因為單獨的基于不確定性的采樣往往會造成采樣偏差：即當(dāng)前選擇的樣本在未標(biāo)記數(shù)據(jù)集的分布中不具有代表性。

另一方面，僅考慮多樣性策略則可能會導(dǎo)致標(biāo)記成本增加：即可能有相當(dāng)一部分信息量較低的樣本會被選擇。更多經(jīng)典的查詢策略可以在A中進行查詢。雖然AL相關(guān)的研究已經(jīng)相當(dāng)豐富，但AL仍然面臨著向高維數(shù)據(jù)（例如，圖像、文本、視頻等）拓展的難題，因此大多數(shù)主動學(xué)習(xí)的工作都主要集中在低維問題上。此外，AL往往基于事先提取好的特征來查詢高價值的樣本，其本身并不具有特征提取的能力。

The necessity and challenge of combining DL and AL DL在高維數(shù)據(jù)處理以及自動特征提取方面有著強大的學(xué)習(xí)能力，AL在有效降低標(biāo)注成本方面也有著巨大的潛力。因此，一種顯而易見的想法是將DL與AL進行結(jié)合，這將極大的拓展它們的應(yīng)用潛力。DAL正是考慮結(jié)合二者優(yōu)勢互補的特性而被提出的，相關(guān)的研究也被研究人員寄予厚望。盡管AL關(guān)于查詢策略的研究已經(jīng)相當(dāng)豐富，但是想要直接將這種策略應(yīng)用到深度學(xué)習(xí)中仍然是相當(dāng)困難的。這主要是由于：

標(biāo)簽樣本的數(shù)據(jù)不足。主動學(xué)習(xí)往往只依賴于少量的標(biāo)記樣本數(shù)據(jù)就可以實現(xiàn)學(xué)習(xí)和更新模型，而 DL 往往對數(shù)據(jù)有很強的貪婪性，經(jīng)典 AL 方法所提供的標(biāo)記訓(xùn)練樣本不足以支持傳統(tǒng) DL 的訓(xùn)練。此外，在主動學(xué)習(xí)中常用的 one by one 樣本查詢方式在深度學(xué)習(xí)中也是不適用的。

模型不確定性問題?；诓淮_定性的查詢策略是主動學(xué)習(xí)的一個重要方向。在分類任務(wù)當(dāng)中，盡管深度學(xué)習(xí)可以使用 softmax layer 來獲得標(biāo)簽上的概率分布，然而事實表明它們過于自信。最終輸出的 softmax 分?jǐn)?shù)作為置信度度量方法是不可靠的，這種方法的性能甚至?xí)入S機采樣的效果更差。

處理管道不一致。AL 和 DL 的處理管道是不一致的。大多數(shù) AL 算法主要關(guān)注于分類器的訓(xùn)練，各種查詢策略的很大程度上都是基于固定的特征表示。而在 DL 中，特征學(xué)習(xí)和分類器的訓(xùn)練是共同優(yōu)化的。僅在 AL 框架中對 DL 模型進行微調(diào)或者將它們視作兩個獨立的問題可能會引起分歧問題。

針對第一個問題，研究者考慮使用生成網(wǎng)絡(luò)來進行數(shù)據(jù)增強或者為高置信度樣本分配偽標(biāo)簽等方式來擴充標(biāo)記訓(xùn)練集。也有研究者考慮在跨AL周期上同時使用標(biāo)記數(shù)據(jù)和未標(biāo)記數(shù)據(jù)集進行監(jiān)督訓(xùn)練與半監(jiān)督訓(xùn)練的結(jié)合。此外，基于啟發(fā)式的AL查詢策略已經(jīng)被證明在應(yīng)用于CNN時是無效的。

因此，針對經(jīng)典AL中one-by-one的查詢策略，許多研究者聚焦于batch樣本的查詢策略的改進， 在批量的樣本中同時考慮樣本的信息量以及多樣性。 為了解決深度學(xué)習(xí)對模型不確定性的忽視，一些研究者借助貝葉斯深度學(xué)習(xí)來處理主動學(xué)習(xí)語境下高維但查詢數(shù)量較少的mini-batch樣本，從而有效的緩解了DL模型對輸出結(jié)果過于自信的問題。 對于處理管道不一致的問題，研究者考慮修改AL和DL的結(jié)合框架，使提出的DAL模型盡可能通用，方便可以拓展到各個應(yīng)用領(lǐng)域。這對DAL的推廣有著重要的意義。例如，A將主動學(xué)習(xí)的思想嵌入深度學(xué)習(xí)提出了一個與任務(wù)無關(guān)的架構(gòu)設(shè)計。 我們將在下一節(jié)中集中對deep active learning中使用到的各種策略進行詳細(xì)的討論和總結(jié)。

Deep Active Learning 在本節(jié)中，我們將對DAL的相關(guān)工作進行全面系統(tǒng)的概述。Fig.1c顯示了一個典型的深度主動學(xué)習(xí)的模型架構(gòu)示例。深度主動學(xué)習(xí)的典型例子： 深度學(xué)習(xí)model的參數(shù)在初始化標(biāo)簽訓(xùn)練集上進行初始化或者預(yù)訓(xùn)練，無標(biāo)記池的樣本通過深度學(xué)習(xí)model提取特征。然后基于相應(yīng)的查詢策略挑選樣本，并在oracle中查詢標(biāo)簽，形成新的標(biāo)簽訓(xùn)練集，接著在上訓(xùn)練深度學(xué)習(xí)model，同時更新。 重復(fù)這個過程，直到標(biāo)注預(yù)算被耗盡或者達(dá)到預(yù)先設(shè)定的終止條件。從Fig.1c中的DAL框架示例中我們可以粗略的將DAL的框架分成兩大部分：在未標(biāo)注數(shù)據(jù)集上的主動學(xué)習(xí)查詢策略以及deep learning model的訓(xùn)練方法。為此，我們將在接下來的3.1和3.2中分別對他們進行討論和總結(jié)。最后，我們將在3.3中討論deep active learning 在模型的泛化通用性上所做的努力。

Query Policy Optimization in DAL 在基于池的方法中，我們定義為有個樣本的未標(biāo)記數(shù)據(jù)集，其中，為樣本空間，為標(biāo)簽空間（最初是未知的），為一個潛在的分布，其中。為有個樣本的當(dāng)前標(biāo)記訓(xùn)練集。在DAL的標(biāo)準(zhǔn)監(jiān)督環(huán)境下的，我們的主要目標(biāo)是設(shè)計一個查詢策略，，使用深度模型，監(jiān)督環(huán)境下的DAL的優(yōu)化問題可以被表述為 其中為給定的損失方程，并且期待。我們的目標(biāo)是在保證一定精度的前提下，使得盡可能的小。因此，在DAL中查詢策略對標(biāo)注代價的減少是至關(guān)重要的。

Batch Mode Deep Active Learning （BMDAL）

DAL與經(jīng)典AL的主要區(qū)別在于DAL采用的是基于batch的樣本查詢方式。在傳統(tǒng)的AL中大部分算法采用 one by one 的方式進行查詢，這導(dǎo)致學(xué)習(xí)模型被頻繁訓(xùn)練，而訓(xùn)練數(shù)據(jù)卻幾乎沒有變化。這種查詢方式得到的訓(xùn)練集在DL模型的訓(xùn)練中不僅低效且極易引起過擬合。 因此，BMDAL的研究是必要的。在BMDAL的語境中，在每一個獲取步驟，我們依據(jù)所使用的獲取函數(shù)以及在上訓(xùn)練過的深度模型對候選的未標(biāo)記數(shù)據(jù)樣本的batch進行評分， 從而選擇一批新的數(shù)據(jù)樣本$mathcal{B}^={x_1^，x_2^，。..，x_b^}$，這個問題可以被表述為： 一個天真的想法是基于one-by-one的策略，連續(xù)查詢一個批次的樣本。例如，A采用批量獲取的方法，選擇查詢BALD獲取分?jǐn)?shù)最高的前個樣本。顯然，這種方法是不可行的，因為這極有可能選擇一組信息豐富但卻相似的樣本。類似的樣本為模型提供的信息基本上是相同的，這不僅浪費標(biāo)注資源，模型也很難真正學(xué)到有用的信息。因此，BMDAL的核心在于查詢一組信息豐富且多樣的樣本。Fig.2展示了這種想法的一個示意圖。 基于batch查詢策略構(gòu)成了AL與DL相結(jié)合的基礎(chǔ)，相關(guān)的研究也非常的豐富。我們將在下面幾個小節(jié)中對BMDAL上的查詢策略進行詳細(xì)的概述與討論。

Uncertainty and hybrid query strategy 由于基于不確定性的方法形式簡單且較低的計算復(fù)雜度，它是AL中是非常受歡迎的一種查詢策略。這種查詢策略主要用在一些淺層的模型（如，SVM或KNN）當(dāng)中，這主要是由于這種模型的不確定性可以通過傳統(tǒng)的不確定性采樣方法（Margin Sampling， Least Confidence and Entropy ）進行準(zhǔn)確測量。 有很多DAL方法直接采用了這種基于不確定性的采樣策略，但是，正如3.1.1所分析的那樣這很容易導(dǎo)致批查詢樣本的多樣性不足（沒有充分利用數(shù)據(jù)分布的相關(guān)知識），進而導(dǎo)致DL模型訓(xùn)練性能低下甚至失效。一種可行的策略是在一個批查詢中采用混合查詢策略，以顯式或者隱式的方式同時考慮樣本的信息量、多樣性或者表示形式。

早期的Batch Mode Active Learning （BMAL）算法性能往往過于依賴樣本之間相似性的度量。此外，這些算法往往僅善于利用（學(xué)習(xí)者傾向于僅關(guān)注當(dāng)前決策邊界附近的樣本，對應(yīng)于高信息量的查詢策略），導(dǎo)致查詢到的批量樣本集中的樣本無法代表特征空間的真實數(shù)據(jù)分布（批量樣本集的多樣性不足）?；谶@個觀察，A使用深度神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)樣本的特征表示，并顯式的計算樣本之間的相似性。同時平衡利用和探索（在模型訓(xùn)練初期學(xué)習(xí)者采用隨機采樣的策略來進行探索）進程，從而更為準(zhǔn)確的測量樣本之間的相似度。 另一方面， DBAL通過將信息量以權(quán)重的方式添加到K-means的優(yōu)化目標(biāo)中，深入研究了在mini-batch的樣本查詢設(shè)置下同時考慮樣本信息量與多樣性的混合查詢策略。DBAL可以方便的完成從廣義線性模型到DL的拓展，不僅增加了DBAL的可拓展性且增加了小批量主動查詢樣本的多樣性。

這種混合查詢策略是相當(dāng)流行的，例如，WI-DL 主要考慮深度信念網(wǎng)絡(luò)（DBN）的兩個階段，在無監(jiān)督特征學(xué)習(xí)階段主要考慮數(shù)據(jù)的代表性，而在監(jiān)督微調(diào)階段來兼顧數(shù)據(jù)的不確定性，然后將兩個指標(biāo)進行整合，最后使用提出的weighted incremental dictionary learning （WI-DL）算法進行優(yōu)化。 盡管上述改進已經(jīng)取得了不錯的性能，但是仍然存在一個待解的隱患。事實上，基于多樣性的策略并非對于任何數(shù)據(jù)集都是合適的。數(shù)據(jù)集的類別內(nèi)容越豐富批處理的大小越大，基于多樣性的方法效果就越好。反之，使用基于不確定性的查詢策略表現(xiàn)效果則相對更好。這些特性取決于數(shù)據(jù)集的統(tǒng)計特性，而在BMAL中數(shù)據(jù)往往是不熟悉的且可能是無組織的。因此，無法知道具體哪種AL查詢策略更加合適?；诖?，Batch Active learning by Diverse Gradient Embeddings （BADGE）對在幻覺梯度空間中表示時不同且大小的點組進行采樣，從而在一個批次中同時考慮模型的預(yù)測不確定性和樣本的多樣性。

最重要的是，BADGE可以實現(xiàn)在預(yù)測不確定性和樣本多樣性之間的自動平衡，而不需要手動的超參數(shù)調(diào)整。不同于BADGE以一種隱式的方式來考慮這種混合查詢策略，Wasserstein Adversarial Active Learning （WAAL） 提出了一種在不確定性和多樣性之間顯式的折中的混合查詢策略。此外，WAAL通過采用Wasserstein距離，將AL中的交互過程建模為分布匹配，并從中得出損失，進而將WAAL分解為兩個階段：DNN參數(shù)優(yōu)化與查詢批次選擇。 TA-VAAL（2020）也探索這種混合查詢策略的平衡。TA-VAAL認(rèn)為基于不確定性的方法沒有很好的利用整體的數(shù)據(jù)分布，而基于數(shù)據(jù)分布的方法往往忽視了任務(wù)中的結(jié)構(gòu)。因此，TA-VAAL提出將損失預(yù)測模塊和RankCGAN概念整合到變分對抗主動學(xué)習(xí)（VAAL）中，以便同時考慮數(shù)據(jù)分布和模型的不確定性。TA-VAAL在各種平衡和不平衡的基準(zhǔn)數(shù)據(jù)集上都取得了很好的性能。TA-VAAL與VAAL的結(jié)構(gòu)圖被展示在fig6. 實際上，盡管混合查詢策略表現(xiàn)出更為優(yōu)異的性能。但相比之下由于基于不確定性的AL查詢策略與DL的softmax層的輸出結(jié)合更為方便，因此，基于不確定性的查詢策略仍然被廣泛使用。

Deep Bayesian Active Learning （DBAL）

正如2.3中的DL與AL相結(jié)合的挑戰(zhàn)分析所述，基于不確定性的采集功能是許多經(jīng)典的AL算法一個重要研究方向，而傳統(tǒng)的DL方法很少代表這種模型不確定性。

為此，Deep Bayesian Active Learning 出現(xiàn)了。在給定的輸入集合和屬于 類的輸出，概率神經(jīng)網(wǎng)絡(luò)模型可以被定義為。是在參數(shù)空間 （通常是高斯）上的先驗 ，并且似然通常由給出。我們的目標(biāo)是獲得在 上的后驗分布： 對于給定的新的數(shù)據(jù)點， 通過以下方式進行預(yù)測： DBAL將貝葉斯卷積神經(jīng)網(wǎng)絡(luò)同AL方法進行結(jié)合，使BALD適應(yīng)了深度學(xué)習(xí)環(huán)境，從而為高維數(shù)據(jù)開發(fā)了一個新的AL框架。它正是采用上述方法首先對CNN權(quán)重將進行了高斯先驗建模，然后使用變分推斷來獲得網(wǎng)絡(luò)預(yù)測的后驗分布。此外，在實踐當(dāng)中，研究人員往往也使用一種功能強大成本低廉的Monte隨機正則化技術(shù)來獲得后驗樣本，并在真實數(shù)據(jù)集上有著很好的表現(xiàn)。并且，這種正則化技術(shù)已被證明等價于變分推理。

但是，A core-set approach 指出DBAL由于需要批量采樣的存在，并不適合大型數(shù)據(jù)集。需要指出的是，DBAL為了獲得更好的置信度估計允許在測試時使用dropout，但在Discriminative Active Learning的分析認(rèn)為該方法的性能與使用神經(jīng)網(wǎng)絡(luò)的softmax分?jǐn)?shù)作為不確定性采樣的性能相似。這需要引起警惕。 此外，A指出基于不確定性的DBAL方法可能會受到對抗性示例的愚弄，一個微小的擾動可能會導(dǎo)致不可接受的性能損失。DEBAL認(rèn)為在變分推斷方法中的模式崩潰現(xiàn)象導(dǎo)致了DBAL方法的過度自信的預(yù)測。為此，DEBAL通過將集成方法的表達(dá)能力與MC-dropout相結(jié)合在沒有交易代表性的情況下獲得更好的不確定性。

另一方面，BatchBALD則選擇拓展BALD到批量查詢，不再計算單個樣本與模型參數(shù)之間的互信息，而是重新計算了批量樣本與模型參數(shù)之間的互信息來共同對批量的樣本進行評分。因此BatchBALD可以更為準(zhǔn)確的評估共同互信息。 受到有關(guān)貝葉斯核心集最新研究的啟發(fā)，ACS-FW重新構(gòu)建了批處理結(jié)構(gòu)，以優(yōu)化對整個數(shù)據(jù)集引起的對數(shù)后驗的稀疏子集近似。ACS-FW通過使用這種相似性，同時使用Frank-Wolfe算法大規(guī)模啟用有效的貝葉斯AL，并且使用隨機投影使得ACS-FW得到了進一步的推廣。ACS-FW和其他查詢策略相比查詢的樣本在整個數(shù)據(jù)流行上擁有更好的覆蓋。 DPEs則引入了一種可拓展的深度概率集合技術(shù)，它使用正則化的集合來逼近深度BNN，并在一系列大規(guī)模的視覺AL實驗來評估DPEs的分類效果。

ActiveLink也是受到貝葉斯深度學(xué)習(xí)最新進展的啟發(fā)。它對現(xiàn)有的神經(jīng)鏈接預(yù)測因子采取貝葉斯的觀點，通過利用知識圖的基礎(chǔ)結(jié)構(gòu)拓展了不確定性采樣的方法，從而實現(xiàn)了一個新穎的深度主動學(xué)習(xí)方法。并且ActiveLink注意到盡管AL可以采樣高效的樣本，但在AL的過程中每次迭代都需要從頭開始重新訓(xùn)練模型，這對DL模型的訓(xùn)練是不可接受的。一個直接的解決方案是使用新選擇的數(shù)據(jù)增量地訓(xùn)練模型，或者將它與現(xiàn)有的訓(xùn)練數(shù)據(jù)［29］結(jié)合起來。但這會導(dǎo)致模型要么偏向少量新選擇的數(shù)據(jù)，要么偏向于過程早期選擇的數(shù)據(jù)。為了解決這種偏差問題，ActiveLink采用了一種基于元學(xué)習(xí)的有原則的無偏差增量訓(xùn)練方法。

即，在每次AL迭代中，ActiveLink使用新選擇的樣本更新模型參數(shù)，并通過基于前一次迭代中選擇的樣本對模型進行泛化來逼近模型的未來預(yù)測的元目標(biāo)。這使得ActiveLink可以在新選擇的數(shù)據(jù)和之前選擇的數(shù)據(jù)的重要性之間取得平衡，從而實現(xiàn)對模型參數(shù)的無偏估計。 除了上述DBAL工作外，由于BNN較少的參數(shù)量以及與傳統(tǒng)AL相似的不確定性采樣策略，使得DBAL的研究相當(dāng)?shù)膹V泛，相關(guān)的DBAL工作還有很多。

Density-based Methods 基于密度的方法主要是指從集合（核心集）的角度來考察樣本的選擇。核心集的構(gòu)建正是這樣一種具有代表性的查詢策略。這種想法主要受到核心集數(shù)據(jù)集壓縮思想的啟發(fā)，試圖使用核心集來代表整個原始數(shù)據(jù)集的特征空間的分布，從而降低AL的標(biāo)注成本。Farthest First Active Learning （FF-Active） 正是基于這種想法使用表示層上神經(jīng)激活空間中的最遠(yuǎn)優(yōu)先遍歷從池中查詢連續(xù)點。值得一提的是，F(xiàn)F-Active與Exploration-P 類似在AL的早期階段使用隨機查詢的方法增強AL的探索能力，從而避免AL陷入batch樣本多樣性不足的陷阱。

類似的為了解決批量查詢中的采樣偏差問題，增加批量查詢樣本的多樣性。Core-set approach 嘗試采用構(gòu)建核心子集的方法來解決此問題。并進一步通過解決K中心問題來構(gòu)建核心子集，使得在已選的核心集上學(xué)習(xí)的模型與其余數(shù)據(jù)相比更有競爭力。但由于Core-set approach需要在未標(biāo)記的數(shù)據(jù)集上構(gòu)建一個較大的距離矩陣，因此這個搜索過程在計算上相當(dāng)?shù)陌嘿F。并且這種劣勢在大規(guī)模的未標(biāo)記數(shù)據(jù)集上將變得更加明顯。

cite{Du2019BuildinganActivePalmprintRecognitionSystem}將DAL應(yīng)用于高維且復(fù)雜的掌紋識別數(shù)據(jù)上。與核心集的思想類似，將AL視為一個二分類任務(wù)，期待標(biāo)注樣本集與未標(biāo)注樣本集擁有相同的數(shù)據(jù)分布并使得二者難以區(qū)分，即試圖找到與原始數(shù)據(jù)集具有相同分布的核心標(biāo)記子集。具體來說，由于啟發(fā)式的生成模型模擬數(shù)據(jù)分布難以訓(xùn)練且不適合掌紋這種高維復(fù)雜的數(shù)據(jù)。因此作者考慮判斷樣本是否能被高度肯定的區(qū)分來自于未標(biāo)注數(shù)據(jù)集還是標(biāo)注數(shù)據(jù)集。那些可以被明確區(qū)分的樣本明顯與核心標(biāo)注子集的數(shù)據(jù)分布有著顯著的差異，這些樣本將被的添加到標(biāo)注數(shù)據(jù)集中，進行下一輪的訓(xùn)練。

先前的基于核心集的方法往往只是嘗試查詢的數(shù)據(jù)點盡可能的覆蓋所有點的數(shù)據(jù)流行而沒有考慮密度，導(dǎo)致查詢到的數(shù)據(jù)點過度代表來自流行稀疏區(qū)域的樣本點。與類似cite{Du2019BuildinganActivePalmprintRecognitionSystem} ，Discriminative Active Learning （DAL） 也將主動學(xué)習(xí)是一個二元分類任務(wù)，試圖使查詢的標(biāo)記數(shù)據(jù)集與未標(biāo)記數(shù)據(jù)集無法區(qū)分。DAL突出的是它可以按照密度成比例的從未標(biāo)記數(shù)據(jù)集中進行采樣，而不會偏向位于稀疏流行域的樣本點。并且DAL提出的方法并不局限于分類任務(wù)在概念上易于轉(zhuǎn)移到其他新的任務(wù)上。 除了相應(yīng)的查詢策略外，一些研究者也考慮了批量查詢大小對查詢性能的影響，例如，cite{BatchBALD2019，Zhdanov2019Diverseminibatch，Ash2019DeepBatchActive，Pinsler2019Bayesian}主要研究了較小批量下查詢策略的優(yōu)化，而cite{Chitta2019Training}建議擴大AL的查詢規(guī)模進行大規(guī)模采樣（一次采樣10k或500k）。并通過集成了數(shù)百個模型并重用中間檢查點方式用較小的計算代價高效的實現(xiàn)了在大規(guī)模標(biāo)記數(shù)據(jù)集上的訓(xùn)練數(shù)據(jù)分布式搜索。cite{Chitta2019Training}也證明了使用整個數(shù)據(jù)集進行訓(xùn)練的性能并不是性能的上限，基于子集的AL可能有更好的性能。

基于密度的方法主要從數(shù)據(jù)分布的角度來考慮核心子集的選擇，相關(guān)的研究方法相對較少，它為樣本的查詢提供了一種新的可能。

Other methods 還有一些研究不像以上查詢方法那樣如此集中，我們將它們總結(jié)在下面。 A將啟發(fā)式的AL算法重新定義為強化學(xué)習(xí)問題，通過明確的選擇策略來引入一個新的描述。 與先前的大多數(shù)基于不確定性的方法不同，DFAL cite{Ducoffe2018Adversarial} 認(rèn)為這些方法容易受到對抗性示例的愚弄，因此DFAL將重點放在決策邊界附近示例的研究。并主動利用這些對抗性示例在輸入空間分布上提供的信息來近似它們到?jīng)Q策邊界的距離，這種對抗性查詢策略可以有效提高訓(xùn)練CNN的收斂速度。

另一方面，AL旨在利用數(shù)據(jù)的相對重要性標(biāo)注盡可能少的的數(shù)據(jù)高效的訓(xùn)練一個性能符合要求的模型。因此，數(shù)據(jù)集本身的屬性對DAL的性能也有著重要的影響。為此，GA研究了常見數(shù)據(jù)集中圖像數(shù)據(jù)的相對重要性，提出了一種通用的數(shù)據(jù)分析工具，可以幫助我們更好的了解數(shù)據(jù)集中訓(xùn)練示例的多樣性。GA發(fā)現(xiàn)并非所有的數(shù)據(jù)集都可以在一個小的子樣本集上完成訓(xùn)練，因為一些數(shù)據(jù)集中的樣本重要性的相對差異幾乎可以被忽略。因此，在AL中盲目的使用較小的子數(shù)據(jù)集也是不可取的。

cite{Beluch2018PowerEnsemblesActive}發(fā)現(xiàn)與MC-dropout和基于密度的方法相比，基于集合的AL可以在獲取過程中有效的抵消數(shù)據(jù)集中的類別不平衡，導(dǎo)致更多的校準(zhǔn)預(yù)測不確定性，從而獲得更好的性能。 一些研究者也注意到在傳統(tǒng)的AL工作流程中往往將獲取函數(shù)視為固定的已知的先驗，而這種獲取函數(shù)是否合適，只有等標(biāo)記預(yù)算被消耗殆盡才能進行觀察。這導(dǎo)致無法對獲取函數(shù)進行靈活快速的調(diào)優(yōu)。因此使用強化學(xué)習(xí)對獲取函數(shù)進行動態(tài)調(diào)優(yōu)或許是一個不錯的選擇。 RAL提出選擇將BNN作為獲取函數(shù)的學(xué)習(xí)預(yù)測器。然后，BNN預(yù)測器提供的所有概率信息會被合并從而得到一個全面的概率分布，接著概率分布被送到一個BNN概率策略網(wǎng)絡(luò)，該網(wǎng)絡(luò)在每個標(biāo)記回合中基于oracle的反饋進行強化學(xué)習(xí)。這種反饋會對采集函數(shù)進行微調(diào)從而不斷改善獲取函數(shù)的質(zhì)量。在Fig4中展示了傳統(tǒng)AL與RAL的管道對比。

標(biāo)準(zhǔn)的AL，RAL and DRAL的管道對比。（a）標(biāo)準(zhǔn)的AL管道通常由三個部分組成。Oracle提供一組標(biāo)記數(shù)據(jù)，預(yù)測器（此處為BNN）用來學(xué)習(xí)這些數(shù)據(jù)，并為指南提供了可預(yù)測的不確定性，該指南通常是固定的，硬編碼的獲取函數(shù)，它為Oracle挑選下一個樣本從而重新開始循環(huán)。

（b）RAL用策略BNN代替固定獲取函數(shù)，該策略BNN以概率狀態(tài)進行學(xué)習(xí)，并從oracle獲得反饋，以強化學(xué)習(xí)的方式學(xué)習(xí)如何選擇下一個最優(yōu)的樣本點（紅色的新部分）。因此，RAL可以更加靈活地調(diào)整獲取函數(shù)以適應(yīng)現(xiàn)有的數(shù)據(jù)集。（c）DRAL為person Re-ID任務(wù)設(shè)計了一個深度強化主動學(xué)習(xí)框架。對于每個查詢錨點（探針），代理（增強型主動學(xué)習(xí)者）將在主動學(xué)習(xí)過程中從圖庫池中選擇實例交給oracle以獲得帶有二進制反饋（正/負(fù)）的人工注釋。狀態(tài)評估所有實例之間的相似關(guān)系，根據(jù)oracle的反饋計算獎勵從而調(diào)整代理的查詢。

DRAL采用了類似的想法，為person Re-ID任務(wù)設(shè)計了一個深度強化主動學(xué)習(xí)框架。DRAL使用強化學(xué)習(xí)的思想對獲取函數(shù)進行動態(tài)的調(diào)整，從而獲得高質(zhì)量的查詢樣本。 另一方面，Active-iNAS注意到先前的大多數(shù)DAL方法都假定已經(jīng)為當(dāng)前的任務(wù)設(shè)計合適的DL模型，從而主要集中在研究如何設(shè)計有效的查詢機制上。而事實上已有的DL模型對當(dāng)前的DAL任務(wù)并不一定是最優(yōu)的。為此Active-iNAS對這一假設(shè)發(fā)起挑戰(zhàn)，在進行主動學(xué)習(xí)的同時使用神經(jīng)架構(gòu)搜索技術(shù)（NAS）動態(tài)地搜索有效的模型架構(gòu)。

還有一些工作致力于為DAL提供一個方便性能對比的平臺。cite{Munjal2020Towards}對DAL方法的魯棒性和可復(fù)現(xiàn)性進行了詳細(xì)的探討和研究，并給出了許多有用的建議。 總的來說，這些查詢策略并非相互獨立，而是相互聯(lián)系的?；贐atch的BMDAL為AL查詢的樣本在DL模型上的更新訓(xùn)練提供了基礎(chǔ)。盡管DAL中的查詢策略豐富且復(fù)雜，但它們大都是為了在BMDAL中兼顧查詢批次的多樣性與不確定性。而先前基于不確定性的方法往往忽視batch中的多樣性，因此，這些方法大致可以被歸為兩類。它們要么在輸入或?qū)W習(xí)表示空間中設(shè)計明確鼓勵批次多樣性的機制，要么直接測量整個批次的互信息（MI）。

Insufficient Data in DAL AL往往只需要少量的標(biāo)記樣本數(shù)據(jù)就可以實現(xiàn)學(xué)習(xí)和更新模型，而DL需要大量的標(biāo)記數(shù)據(jù)才能進行有效的訓(xùn)練。因此，AL與DL的結(jié)合需要盡可能多的利用無需耗費過多人力資源的數(shù)據(jù)策略來實現(xiàn)對DAL 的模型訓(xùn)練。先前的大多數(shù)DAL方法往往只在通過查詢策略所采樣的標(biāo)記樣本集上進行訓(xùn)練。而忽視了已有的未標(biāo)記數(shù)據(jù)集的存在，并且相應(yīng)的一些數(shù)據(jù)擴充和訓(xùn)練策略也沒有得到充分的利用。這些策略有助于改善在DAL訓(xùn)練中標(biāo)簽數(shù)據(jù)不足的問題，且不會增加額外的人工標(biāo)注代價。因此，這些策略的研究也是相當(dāng)有意義的。 例如，CEAL（2017）除了使用通過查詢策略采樣的標(biāo)記數(shù)據(jù)集外，還通過為具有高的模型預(yù)測置信度的樣本分配偽標(biāo)簽的方式豐富訓(xùn)練集。使用擴充過的訓(xùn)練集一同訓(xùn)練DL模型。這種策略被展示在Fig.CEAL。

另一種非常流行的策略是在標(biāo)記數(shù)據(jù)集和未標(biāo)記數(shù)據(jù)集上進行無監(jiān)督訓(xùn)練并結(jié)合其他策略來訓(xùn)練整個網(wǎng)絡(luò)結(jié)構(gòu)。 例如，WI-DL（2017）注意到對DBN進行完全訓(xùn)練需要大量的訓(xùn)練樣本，將DBN應(yīng)用于AL語境下有限的訓(xùn)練集上是不切實際的。于是為了提高DBN的訓(xùn)練效率，WI-DL采用在所有數(shù)據(jù)集上進行無監(jiān)督特征學(xué)習(xí)與在標(biāo)記數(shù)據(jù)集上進行有監(jiān)督微調(diào)相結(jié)合的方式來訓(xùn)練DBN。

與此同時，也有研究者考慮借助生成對抗網(wǎng)絡(luò)（GAN）來進行數(shù)據(jù)增強。例如，GAAL（2017）首次將生成對抗網(wǎng)絡(luò)（GAN）引入到了AL的查詢方法中。GAAL旨在希望使用生成學(xué)習(xí)生成比原始數(shù)據(jù)集中擁有更多信息量的樣本。 然而，隨意的數(shù)據(jù)增強并不能保證生成的樣本比原始數(shù)據(jù)擁有更多的信息量，這反而會浪費計算資源。因此，BGADL（2019）拓展了GAAL的想法，提出了一種貝葉斯生成式主動深度學(xué)習(xí)的方法。具體的，BGADL結(jié)合了Generative Adversarial Active Learning ，Bayesian data augmentation （Tran et al.， 2017）， auxiliary-classifier generative adversarial networks （ACGAN） （Odena et al.， 2017） and variational autoencoder （VAE） （Kingma & Welling， 2013）方法，旨在生成屬于不同類別的分歧區(qū)域樣本 。GAAL與BGADL的結(jié)構(gòu)對比被展示在fig.GAAL_BGADL。

GAAL與BGADL的結(jié)構(gòu)對比圖。更多細(xì)節(jié)可以查看BGADL。

隨后，VAAL（2019），ARAL（2019）借鑒了先前的方法不僅使用標(biāo)記數(shù)據(jù)集與未標(biāo)記數(shù)據(jù)集一同訓(xùn)練網(wǎng)絡(luò)，而且將生成對抗學(xué)習(xí)引入到了網(wǎng)絡(luò)架構(gòu)中進行數(shù)據(jù)增強，以便進一步的提升網(wǎng)絡(luò)的學(xué)習(xí)能力。

VAAL與TA-VAAL的結(jié)構(gòu)對比圖。

VAAL，ARAL和TA-VAAL的結(jié)構(gòu)對比。1）VAAL使用標(biāo)記數(shù)據(jù)和未標(biāo)記數(shù)據(jù)采用半監(jiān)督的方式來學(xué)習(xí)數(shù)據(jù)的潛在的表示空間，根據(jù)潛在空間選擇信息量最大的未標(biāo)記數(shù)據(jù)進行標(biāo)注。2）TA-VAAL拓展了VAAL，將損失預(yù)測模塊和RankCGAN整合到變分對抗主動學(xué)習(xí)（VAAL）中，以便同時考慮數(shù)據(jù)分布和模型不確定性。3）ARAL也拓展了VAAL，ARAL不僅使用了真實數(shù)據(jù)集（由標(biāo)注數(shù)據(jù)集和未標(biāo)注數(shù)據(jù)集組成）和還使用了生成數(shù)據(jù)集來共同訓(xùn)練網(wǎng)絡(luò)。整個網(wǎng)絡(luò)由編碼器、生成器、鑒別器、分類器和采樣器構(gòu)成，模型的所有部分被共同訓(xùn)練。更多的細(xì)節(jié)可以查看ARAL。

具體的，VAAL注意到基于不確定性的batch查詢策略除了容易導(dǎo)致樣本多樣性不足的問題，實際上還非常容易受到異常值的干擾。此外，對于高維數(shù)據(jù)基于密度的方法容易受到p-范數(shù)的限制，導(dǎo)致計算的距離過于集中。為此，VAAL提出使用對抗學(xué)習(xí)表示的方法來區(qū)分標(biāo)記數(shù)據(jù)與未標(biāo)記數(shù)據(jù)的潛在空間的編碼特征，從而削弱異常值的干擾。并且VAAL使用標(biāo)記數(shù)據(jù)和未標(biāo)記數(shù)據(jù)以半監(jiān)督的方式來共同訓(xùn)練 variational autoencoder （VAE） 試圖欺騙對抗網(wǎng)絡(luò)預(yù)測所有的數(shù)據(jù)點均來自標(biāo)記池，以此來解決距離集中的問題。

VAAL在大規(guī)模的數(shù)據(jù)集上可以學(xué)習(xí)有效的低維潛在表示，并通過共同學(xué)習(xí)表示形式和不確定性提供了一種有效的主動學(xué)習(xí)采樣方法。 接著，ARAL拓展了VAAL，旨在使用盡可能少的人工標(biāo)注樣本但充分利用已有的或生成的數(shù)據(jù)信息來提升模型的學(xué)習(xí)能力。除了使用標(biāo)記數(shù)據(jù)集與未標(biāo)記數(shù)據(jù)集，ARAL還使用了深度生產(chǎn)網(wǎng)絡(luò)生產(chǎn)的樣本來共同訓(xùn)練整個模型。ARAL由VAAL與對抗表示學(xué)習(xí)兩部分組成，通過VAAL學(xué)習(xí)標(biāo)記和未標(biāo)記數(shù)據(jù)潛在的特征表示空間，并據(jù)此選擇信息量最大的未標(biāo)記樣本，同時使用真實數(shù)據(jù)與生成數(shù)據(jù)通過對抗表示學(xué)習(xí)來增強模型的學(xué)習(xí)能力。

類似的TA-VAAL也拓展了VAAL，TA-VAAL將來自VAAL的全局?jǐn)?shù)據(jù)結(jié)構(gòu)和來自學(xué)習(xí)損失的局部任務(wù)相關(guān)信息用于樣本的查詢。我們將ARAL，VAAL和TA-VAAL的框架展示在Fig6. 與ARAL和VAAL利用標(biāo)記數(shù)據(jù)集與未標(biāo)記數(shù)據(jù)集進行對抗表示學(xué)習(xí)不同，SSAL嘗試了一種新的訓(xùn)練方式。SSAL跨AL周期的使用無監(jiān)督、監(jiān)督和半監(jiān)督學(xué)習(xí)的方式，在盡可能不增加標(biāo)注成本的情況下充分利用已有的信息進行訓(xùn)練。具體來說，在主動學(xué)習(xí)開始前，首先利用標(biāo)記數(shù)據(jù)和未標(biāo)記數(shù)據(jù)進行無監(jiān)督預(yù)訓(xùn)練，在每個AL學(xué)習(xí)周期首先在標(biāo)記數(shù)據(jù)集上進行監(jiān)督訓(xùn)練，然后在所有數(shù)據(jù)集上進行半監(jiān)督訓(xùn)練。這在訓(xùn)練方法上是一種新的嘗試，并且作者發(fā)現(xiàn)與采樣策略之間的差異相比，這種模型訓(xùn)練方式在性能提升上有著令人驚訝的提升。 正如上面說分析的那樣，這種在訓(xùn)練方式和數(shù)據(jù)利用技巧上的探索也是非常有必要的，它在性能上的增益甚至可能超過改變查詢策略所代來的性能增益。這實際上是在不增加標(biāo)注代價的情況下對已有數(shù)據(jù)信息的充分利用，有助于緩解AL查詢樣本數(shù)量不足以支撐DL模型更新的問題。

通用框架DAL 如2.3中所述的，由于AL和DL在處理管道上的不一致，僅在AL框架中對DL模型進行微調(diào)或者簡單的組合AL與DL將它們視為兩個分割獨立的問題可能會引起分歧。例如，A 首先將DL模型在兩個不同類型的會話數(shù)據(jù)集上進行離線的監(jiān)督訓(xùn)練以使骨干網(wǎng)絡(luò)擁有基本的對話能力，然后啟用在線AL階段與人類用戶進行互動，根據(jù)用戶的反饋來以一種開放式的方法來改進模型。

AL-DL為有DBNs的DL模型提出了一個主動標(biāo)記方法。ADN為情感分類提出了一種主動深度網(wǎng)絡(luò)架構(gòu)。［23］為CAPTCHA的識別提出了一種使用CNN進行的主動學(xué)習(xí)算法 。然而，上述方法往往首先在標(biāo)記數(shù)據(jù)集上對深度模型進行常規(guī)的監(jiān)督訓(xùn)練，然后基于深度模型的輸出進行主動采樣。類似的相關(guān)工作還有很多，這種將AL和深度模型的訓(xùn)練視為兩個獨立問題的割裂化處理方式增加了兩個問題產(chǎn)生分歧的可能。盡管這種方法在當(dāng)時也取得了一定的成功，但一個將DL和AL兩個任務(wù)緊密結(jié)合的通用框架對DAL的性能提升與推廣都有著至關(guān)重要的作用。

CEAL將來自未標(biāo)注數(shù)據(jù)集中的樣本逐步送入到初始化后的CNN，由CNN分類器輸出兩種類別的樣本：少量不確定性的樣本和大量高預(yù)測置信度樣本。通過orcal為少量不確定性樣本進行標(biāo)注，同時使用CNN分類器為大量的高預(yù)測置信度樣本自動分配偽標(biāo)簽。然后，使用這兩種類型的樣本對CNN進行微調(diào)，并重復(fù)這個更新過程。

CEALcite{Wang2017CostEffectiveActive}是第一個結(jié)合AL與DL解決深度圖像分類問題的工作之一。CEAL將深度卷積神經(jīng)網(wǎng)絡(luò)合并到AL中，提出了一個新穎的DAL框架。它通過將來自未標(biāo)注數(shù)據(jù)集中的樣本逐步送入CNN，由CNN分類器輸出兩種類別的樣本：少量不確定性的樣本和大量高預(yù)測置信度樣本。通過orcal為少量不確定性樣本進行標(biāo)注，同時使用CNN分類器為大量的高預(yù)測置信度樣本自動分配偽標(biāo)簽。然后，使用這兩種類型的樣本對CNN進行微調(diào)，并重復(fù)這個更新過程。

在Fig2中，我們展示了CEAL的總體框架圖。類似的，HDAL也采用了類似的框架用于人臉識別任務(wù)中，它將AL與深度CNN模型進行結(jié)合從而一體化的同時考慮特征學(xué)習(xí)和AL查詢模型的訓(xùn)練。 此外，F(xiàn)ig1（c）中展示了一個非常常見的DAL任務(wù)的通用框架，相關(guān)的工作包括cite{Yang2017Suggestive， Du2019BuildinganActivePalmprintRecognitionSystem，He2019Towards， Zhao2020Deeply， Lv2020Deep}等。具體的來講，cite{Yang2017Suggestive}提出使用全卷積網(wǎng)絡(luò)和AL進行結(jié)合的框架來解決使用少量標(biāo)注進行醫(yī)學(xué)圖像分割的問題。它首先將FCN在少量的標(biāo)注數(shù)據(jù)集上進行訓(xùn)練，然后將未標(biāo)注數(shù)據(jù)集中的樣本通過FCN進行特征提取，并使用這些特征來對未標(biāo)注樣本進行不確定性和相似度估計。這種類似于2.1.2中的策略有助于選擇具有高度不確定性和多樣化的樣本被添加到標(biāo)注數(shù)據(jù)集中，從而開始下一階段的訓(xùn)練。 cite{Du2019BuildinganActivePalmprintRecognitionSystem}為掌紋識別任務(wù)提出了一個類似的DAL框架。不同的是，受到域適應(yīng)的啟發(fā)，cite{Du2019BuildinganActivePalmprintRecognitionSystem}將AL視為一個二分類任務(wù)，期待標(biāo)注樣本集與未標(biāo)注樣本集擁有相同的數(shù)據(jù)分布并使得二者難以區(qū)分，這樣就可以直接在少量的標(biāo)注數(shù)據(jù)集上進行監(jiān)督訓(xùn)練了，從而減輕標(biāo)注負(fù)擔(dān)。

cite{Lv2020Deep}為缺陷檢測提出了一個DAL框架。它根據(jù)檢測模型輸出的特征進行不確定性抽樣以產(chǎn)生用于注釋的候選樣本列表。為了進一步兼顧采樣樣本中缺陷類別的多樣性，cite{Lv2020Deep}設(shè)計了平均邊距的方法來控制每個缺陷類別的采樣比例。以采樣訓(xùn)練和選擇樣本的迭代模式來有效的訓(xùn)練檢測模型。 不同于以上方法往往只利用DL模型的最后輸出的作為樣本不確定性或多樣性的判別依據(jù)（Active Palmprint Recognitioncite{Du2019BuildinganActivePalmprintRecognitionSystem}使用了第一個全連接層的輸出），cite{He2019Towards，Yoo2019LearningLossActive，Zhao2020Deeply}他們還使用了DL模型的中間隱藏層的輸出。正如Section 3.1.3和Section 2.3中所分析的那樣，由于深度模型與淺層模型之間學(xué)習(xí)范式的差異導(dǎo)致了傳統(tǒng)的基于不確定性的查詢策略無法直接應(yīng)用于DL模型。

此外，與淺層模型不同，深層模型可以被視為由特征提取階段與任務(wù)學(xué)習(xí)階段兩部分組成。而僅僅使用DL模型最后一層的輸出作為樣本預(yù)測不確定性的評估依據(jù)是不準(zhǔn)確的。因為DL模型的不確定性實際上是由特征提取和任務(wù)學(xué)習(xí)兩個階段的不確定性共同組成。這種思想的示意圖被展示在Fig.4。

以常見的CNN為例，展示了傳統(tǒng)不確定性測量方法與綜合兩個階段（即，特征提取階段與任務(wù)學(xué)習(xí)階段）信息的不確定性測量方法的對比。

為此，AL-MV cite{He2019Towards}將來自CNN中間不同隱藏層的特征視為多視圖數(shù)據(jù)，同時考慮兩個階段的不確定性，并設(shè)計了AL-MV算法來實現(xiàn)對各層的不確定性進行自適應(yīng)加權(quán)，從而更加準(zhǔn)確的測量樣本的不確定性。 LLAL也是用了類似的想法，LLAF設(shè)計了一個損耗預(yù)測模塊的小型參數(shù)模塊附加到目標(biāo)網(wǎng)絡(luò)，使用目標(biāo)網(wǎng)絡(luò)的多個隱藏層的輸出作為損耗預(yù)測模塊的輸入。

通過學(xué)習(xí)損耗預(yù)測模塊來預(yù)測未標(biāo)記數(shù)據(jù)集的目標(biāo)損耗，并以top-k的策略選擇查詢樣本。LLAL以較小的參數(shù)代價實現(xiàn)了與任務(wù)無關(guān)的AL框架設(shè)計，并在多種主流的視覺任務(wù)（即，圖像分類、目標(biāo)檢測和人體姿態(tài)估計）上都取得了有競爭力的性能表現(xiàn)。 類似的cite{Zhao2020Deeply}采用了相似的策略實現(xiàn)了一個手指骨骼分割任務(wù)的DAL框架。cite{Zhao2020Deeply}將Deeply Supervised U-Net作為分割網(wǎng)絡(luò)，然后將多級分割隱藏層的輸出以及最后一層的輸出作為AL的輸入，綜合這些輸入信息作為樣本信息量大小的評估依據(jù)。我們以LLAL為例在Fig6中展示這種想法的總體網(wǎng)絡(luò)結(jié)構(gòu)。

LLAL的總體框架圖。黑色的線表示訓(xùn)練模型參數(shù)的階段，優(yōu)化由目標(biāo)損失和損失預(yù)測損失構(gòu)成的總體損失。紅色的線表示AL的樣本查詢階段。將DL模型的多個隱藏層的輸出作為loss預(yù)測模塊的輸入，根據(jù)預(yù)測損失挑選top-K個未標(biāo)記數(shù)據(jù)點通過oracle賦予標(biāo)簽。

通用框架的研究對DAL的發(fā)展和推廣是非常有益處的，這種任務(wù)無關(guān)的框架可以更加方便的被移植到其他領(lǐng)域。當(dāng)前的DL與AL之間融合還主要集中在DL主要負(fù)責(zé)特征提取，AL主要負(fù)責(zé)樣本查詢，因此更加深度緊密的融合有助于DAL取得更加優(yōu)異的性能，當(dāng)然這還需要研究人員更多的探索和努力。

DAL 的各種應(yīng)用 如今，DAL已經(jīng)被應(yīng)用包括但不限于視覺數(shù)據(jù)處理（例如目標(biāo)檢測，語義分割等），NLP（例如情感分析，問答等），語音和音頻處理 ，社交網(wǎng)絡(luò)分析，醫(yī)學(xué)圖像處理，野生動物保護，工業(yè)機器人和災(zāi)害分析等領(lǐng)域。本節(jié)我們從應(yīng)用的角度對DAL的相關(guān)工作進行一個系統(tǒng)詳盡的概述。

Visual Data Processing 如同DL在計算機視覺領(lǐng)域被廣泛應(yīng)用一樣，DAL的提出第一個被期待發(fā)揮潛力的領(lǐng)域就是計算機視覺。本節(jié)我們主要討論DAL在視覺數(shù)據(jù)處理領(lǐng)域的研究。

圖像分類與識別

與DL的研究類似，在DAL中圖像的分類與識別是其他視覺任務(wù)研究的一個基礎(chǔ)。如何在傳統(tǒng)AL并不擅長的高維數(shù)據(jù)上高效的查詢樣本，并在盡可能小的標(biāo)注代價下獲得滿足要求的性能是DAL在圖像視覺任務(wù)領(lǐng)域所面臨的一個重要的問題。

為了解決這個問題，CEAL為具有高置信度的樣本分配偽標(biāo)簽，并將其添加到使用基于不確定性的AL方法查詢到的高度不確定性的樣本集中，使用擴充后的訓(xùn)練集一起訓(xùn)練DAL模型圖像分類器。 cite{Ranganathan2017Deep}首次將AL的準(zhǔn)則集成到深度信念網(wǎng)絡(luò)中，并對各種單模態(tài)和多模態(tài)的真實數(shù)據(jù)集上的分類任務(wù)進行了廣泛的研究。 WI-DL使用DAL的方法在高光譜圖像（HSI）數(shù)據(jù)集上同時考慮最大化代表性和不確定性兩個選擇標(biāo)準(zhǔn)來進行遙感分類。 類似的cite{Lin2018Active，Deng2019Active}也研究了高光譜圖像的分類問題。cite{Lin2018Active}引入AL來初始化HSI，稍后進行轉(zhuǎn)移學(xué)習(xí)，同時建議對源和目標(biāo)HSI數(shù)據(jù)構(gòu)造和連接更高級別的特征來進一步克服跨域差異問題。cite{Deng2019Active}提出了一個統(tǒng)一的深度網(wǎng)絡(luò)并結(jié)合主動轉(zhuǎn)移學(xué)習(xí)，僅使用了較少的標(biāo)簽訓(xùn)練數(shù)據(jù)對HSI分類進行了良好的訓(xùn)練。

此外，醫(yī)學(xué)圖像分析也是一類重要的應(yīng)用。例如， cite{Folmsbee2018Active}探索使用AL代替隨機學(xué)習(xí)來訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)進行組織分類任務(wù)。 cite{Budd2019Survey}在醫(yī)學(xué)圖像分析領(lǐng)域?qū)ο嚓P(guān)的DAL方法進行了全面的回顧。 出于相似的原因，由于醫(yī)學(xué)圖像的標(biāo)注需要很強的專業(yè)性知識，而訓(xùn)練有素的專家的時間通常很昂貴且非常的稀缺。此外，DL已經(jīng)在各種圖像特征任務(wù)上取得了令人印象深刻的表現(xiàn)，因此，集中于結(jié)合DL與AL將DAL應(yīng)用于醫(yī)學(xué)圖像分析領(lǐng)域的工作仍然還有很多。

DAL方法也被用來進行浮游生物的分類任務(wù)cite{Bochinski2018Deep}，細(xì)胞的自動計數(shù)cite{Alahmari2019Automatic}。 除此之外，DAL在我們的日常的生活場景中也有著廣泛的應(yīng)用。例如，cite{Stark2015Captcha}提出了一種使用CNN進行驗證碼識別的AL算法。它可以利用免費獲取標(biāo)記數(shù)據(jù)的能力，來避免人為干預(yù)，在使用較少標(biāo)記數(shù)據(jù)的情況化極大的提升識別精度。 HDAL cite{Li2017Face}結(jié)合深度卷積神經(jīng)網(wǎng)絡(luò)優(yōu)秀的特征提取能力與AL標(biāo)記代價的節(jié)約為人臉識別任務(wù)設(shè)計了一個啟發(fā)式的深度主動學(xué)習(xí)框架。

Object Detection and Semantic Segmentation

目標(biāo)檢測和語義分割在自動駕駛、醫(yī)學(xué)圖像處理、野生動物保護等各個領(lǐng)域都有著重要的應(yīng)用價值。然而，這些領(lǐng)域都同樣受限于較高的樣本標(biāo)注代價，DAL較小的標(biāo)注代價有望加速相應(yīng)DL模型的在一些標(biāo)注較為困難現(xiàn)實領(lǐng)域的應(yīng)用。 例如，cite{Roy2018Deep}為目標(biāo)檢測設(shè)計了一個DAL框架，它將目標(biāo)檢測中使用的分層架構(gòu)作為“委員會查詢”的范例來選擇要查詢的圖像集，同時引入了與A類似的勘探/開采權(quán)衡策略。 DAL也被廣泛應(yīng)用于自然生物領(lǐng)域和工業(yè)應(yīng)用中，例如，cite{Norouzzadeh2019deep}利用深度神經(jīng)網(wǎng)絡(luò)來快速，可轉(zhuǎn)移，自動地提取信息，同時結(jié)合轉(zhuǎn)移學(xué)習(xí)和AL為相機陷阱圖像中的物種識別和計數(shù)設(shè)計了一個DAL框架。

cite{Feng2019Deep}為自動駕駛的深層對象檢測提出了一個DAL框架來訓(xùn)練LiDAR 3D目標(biāo)檢測器。 cite{Kellenberger2019Half}使用無人機（UAV）獲取圖像進行野生動物的檢測。為了能到夠重復(fù)使用這種動物檢測器，cite{Kellenberger2019Half}使用AL并引入轉(zhuǎn)移抽樣（TS）來找到源和目標(biāo)數(shù)據(jù)集之間的對應(yīng)區(qū)域，以便實現(xiàn)向目標(biāo)域數(shù)據(jù)的轉(zhuǎn)移。 cite{Lv2020Deep}為真實工業(yè)的缺陷檢測提出了一個非常常見的DAL框架，并提出了一種不確定性抽樣的方法來生成候選標(biāo)注類別。它使用平均裕度法來設(shè)置每個缺陷類別的抽樣尺度，在使用較少標(biāo)注數(shù)據(jù)的情況下就能獲得了所需的性能。

此外，DAL在醫(yī)學(xué)圖像分割上也有著重要的應(yīng)用。例如，cite{Gaur2016Membrane}為醫(yī)學(xué)圖像分割提出了一種基于AL的轉(zhuǎn)移學(xué)習(xí)機制，使得該方法可以在有限的標(biāo)記數(shù)據(jù)集上有效的提高圖像的分割性能。 cite{Yang2017Suggestive}將完全卷積網(wǎng)絡(luò)（FCN）與AL相結(jié)合為生物圖像分割提出了一種DAL框架。它利用FCN提供的不確定性和相似性信息給出了最大集合覆蓋問題的一個拓展，通過指出最有效的標(biāo)注區(qū)域來顯著減少標(biāo)注工作量。

DASL cite{Wang2018Deepa}為肺結(jié)節(jié)分割任務(wù)提出了基于深層區(qū)域的網(wǎng)絡(luò)結(jié)節(jié)R-CNN來為實例生成分割掩碼，同時結(jié)合AL和自定步長學(xué)習(xí)（SPL）提出了一種新的深度主動自定步長（DASL）策略來減少標(biāo)注工作量。 cite{Wang2019Nodule}為三維胸部CT圖像中的肺結(jié)節(jié)檢測與分割提出了一個基于區(qū)域的網(wǎng)絡(luò)Nodule-plus Region-based CNN。Nodule-plus Region-based CNN將AL和自定進度學(xué)習(xí)（SPL）策略相結(jié)合，提出了一種新的深度自定步長主動學(xué)習(xí)（DSAL）策略從而減小了注釋工作量且有效的利用了未標(biāo)注數(shù)據(jù)。 cite{Zhao2020Deeply}為手指骨骼分割任務(wù)提出了一種新的深度監(jiān)督主動學(xué)習(xí)方法，該方法可以以一種迭代和增量學(xué)習(xí)的方式進行微調(diào)，并且使用了中間隱藏層的輸出作為AL樣本挑選的依據(jù)。與完整的額標(biāo)注相比，cite{Zhao2020Deeply}僅使用了較少的樣本就獲得了與之相當(dāng)?shù)姆指罱Y(jié)果。

Video processing

相對于圖像，視頻任務(wù)除了要處理空間特征，還需要處理時間特征，因此視頻任務(wù)的標(biāo)注工作代價更昂貴，引入AL的期待也更為迫切。DAL在該領(lǐng)域也有著更加廣闊的應(yīng)用場景。 例如，cite{Hussein2016Deep}提出使用模仿學(xué)習(xí)的方法執(zhí)行導(dǎo)航任務(wù)。教師在第一人稱視角下的可視化環(huán)境和所采取的動作被作為訓(xùn)練集。通過訓(xùn)練，希望學(xué)生能夠根據(jù)所處的環(huán)境預(yù)測執(zhí)行相應(yīng)的動作。當(dāng)執(zhí)行任務(wù)時，學(xué)生使用深度卷積神經(jīng)網(wǎng)絡(luò)進行特征提取，學(xué)習(xí)模仿策略，并使用AL的方法選擇信心不足的樣本添加到訓(xùn)練集中，來更新行動策略。cite{Hussein2016Deep}使用了較少的樣本顯著改善了初始策略。

DeActive cite{Hossain2018DeActive}提出了一種DAL的活動識別模型，DeActive與用于活動識別的傳統(tǒng)DL模型相比需要更少的標(biāo)注樣本，消耗更少的資源，且具有高的識別精度。 cite{Wang2018Deep}通過將AL集成到DL框架中來最大限度的降低基于視頻的person-Re-ID數(shù)據(jù)集的標(biāo)注代價。類似的，cite{Liu2019Deep}為person Re-ID任務(wù)提出一種深度強化主動學(xué)習(xí)方法，以過oracle的反饋來指導(dǎo)代理（強化學(xué)習(xí)過程中的模型）進行下一步的不確定性樣本的選擇，通過交替細(xì)化的強化學(xué)習(xí)策略來不斷優(yōu)化代理的選擇機制。 cite{Aghdam2019Active}為視頻和靜態(tài)圖像的行人目標(biāo)檢測提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的主動檢測目標(biāo)檢測器的方法。

Natural Language Processing NLP一直以來都是一個非常具有挑戰(zhàn)性的任務(wù)。NLP旨在使計算機理解復(fù)雜的人類語言，幫助人類處理各種與自然語言相關(guān)的任務(wù)。數(shù)據(jù)標(biāo)簽不足也是NLP任務(wù)所面臨的一個關(guān)鍵性的挑戰(zhàn)。下面我們介紹一些NLP領(lǐng)域最著名的DAL方法。

Sentiment Analysis

Active Deep Networks for Semi-Supervised Sentiment Classification | 2015 它是NLP中的一個 典型任務(wù)，旨在使得計算機理解一段自然語言描述，并對其中的涵義信息進行提取分析。 相關(guān)的應(yīng)用場景非常的豐富，包括但不限于情感分類、新聞鑒別、命名實體識別（NER）等。

更為具體的，例如，cite{Zhou2010Active}使用Restricted Boltzmann Machines （RBM） 構(gòu)造了一個主動深度網(wǎng)絡(luò)（ADN），并在標(biāo)記數(shù)據(jù)集與無標(biāo)記數(shù)據(jù)集上進行無監(jiān)督訓(xùn)練。ADN使用大量的未標(biāo)記數(shù)據(jù)集提升模型的泛化能力，并在半監(jiān)督學(xué)習(xí)框架中使用AL，將標(biāo)記數(shù)據(jù)的選擇與分類器統(tǒng)一在了一個半監(jiān)督分類框架中，在情感分類任務(wù)上獲得了有競爭力的結(jié)果。 cite{Bhattacharjee2017Active}在只有有限數(shù)量的注釋樣本的情況下為新聞準(zhǔn)確性檢測任務(wù)（即識別新聞中的誤導(dǎo)和虛假信息）提出了一個人機協(xié)同學(xué)習(xí)系統(tǒng)。該系統(tǒng)是基于AL的深度模型，使用了比完全監(jiān)督學(xué)習(xí)少1-2個數(shù)量級的注釋樣本，大大加快了模型的收斂速度，且在檢測性能上實現(xiàn)了驚人的25%的平均性能增益。

cite{Shen2017DeepActiveLearning，Shardlow2019text}使用DL與AL進行結(jié)合研究了在較小訓(xùn)練集的情況下如何提高命名實體識別（NER）的技術(shù)水平。 cite{Priya2019Identifying}使用來自受災(zāi)地區(qū)的相關(guān)推文來提取信息以便進行地震期間基礎(chǔ)設(shè)施損壞的識別，為此，cite{Priya2019Identifying｝將基于RNN和GRU的模型與AL相結(jié)合，使用基于AL的方法預(yù)訓(xùn)練模型來檢索來自不同地區(qū)基礎(chǔ)設(shè)施損壞的推文，從而顯著減少手動標(biāo)注的工作量。 實體解析（ER）是跨數(shù)據(jù)庫識別具有不同表示形式相同真實實體的任務(wù)，是知識庫創(chuàng)建和文本挖掘的關(guān)鍵步驟。cite{Kasai2019Low}為ER開發(fā)了一個基于DL的方法，它結(jié)合了轉(zhuǎn)移學(xué)習(xí)和AL設(shè)計了一個體系結(jié)構(gòu)，它允許學(xué)習(xí)一個從高資源環(huán)境到低資源環(huán)境的可移植模型。

數(shù)據(jù)集

問答、摘要

問答系統(tǒng)、自動摘要也是NLP中常見的處理任務(wù)。DL已經(jīng)在這些領(lǐng)域取得了令人印象深刻的結(jié)果。然而，這些應(yīng)用的性能仍然依賴于海量的標(biāo)記數(shù)據(jù)集，AL有望為這個挑戰(zhàn)帶來新的希望。 自動問答系統(tǒng)在工業(yè)界有著非常廣泛的應(yīng)用，DAL在該領(lǐng)域也有著重要的研究價值。例如，cite{Asghar2016Deep}使用在線的AL策略結(jié)合DL模型，通過與真實用戶進行交互，在每一輪對話中以一種增量的方式從用戶的反饋中進行學(xué)習(xí)來實現(xiàn)開放式的對話。 cite{Jedoui2019Deep}發(fā)現(xiàn)為特定任務(wù)（例如，分類）設(shè)計的AL策略往往只有一個正確答案，這些基于不確定性的測量往往根據(jù)模型的輸出計算。而許多現(xiàn)實世界的視覺任務(wù)往往有多個正確答案，導(dǎo)致不確定性測量被高估，有時的表現(xiàn)甚至比隨機抽樣基線更差。為此，cite{Jedoui2019Deep}在可視化問題答案生成（VQA）中提出估計模型內(nèi)部隱含空間中的不確定性，而不是模型輸出空間中的不確定性，從而克服了語言的釋義性質(zhì)。 自動摘要旨在從大文本中提取有用的最為重要的信息。cite{Maldonado2019Active}為識別大型腦電波圖（EEG）報告中的概念和關(guān)系提出了一種新穎的主動學(xué)習(xí)策略神經(jīng)網(wǎng)絡(luò)（ALPNN），可以幫助人類從大量的EEG報告中提取可用的臨床知識。

在語音和音頻領(lǐng)域的標(biāo)簽注釋成本也相對較高。cite{Abdelwahab2019Active}發(fā)現(xiàn)在由少量演講者收集的數(shù)千個錄音所構(gòu)成的語料庫上訓(xùn)練的模型無法推廣到新的域。因此cite{Abdelwahab2019Active}研究了利用AL在標(biāo)記資源有限的情況下訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)進行語音情感識別任務(wù)實用方案。 其他應(yīng)用 深度主動學(xué)習(xí)的出現(xiàn)是令人興奮的，有望在保持性能的情況下，成數(shù)量級的減少標(biāo)注代價。為此，DAL也被廣泛的應(yīng)用于其他領(lǐng)域。 這些應(yīng)用包括但不限于基因表達(dá)、機器人、可穿戴設(shè)備數(shù)據(jù)分析、社交網(wǎng)絡(luò)和心電信號分析等。 更為具體的，例如，MLFS cite{Ibrahim2014Multi} 將DL和AL進行結(jié)合為基于表達(dá)譜的選擇基因/miRNA提出了一個新穎的多層次特征選擇方法。MLFS還考慮了miRNA與基因之間的生物學(xué)關(guān)系，將該方法應(yīng)用于miRNA的拓展任務(wù)上。 真實世界的機器人的故障風(fēng)險是昂貴的。

為此，cite{Andersson2017Deep}提出了一種風(fēng)險感知重采樣技術(shù)。將AL與現(xiàn)有的求解器和DL一起使用來對機器人的運行軌跡進行優(yōu)化以便有效應(yīng)對移動障礙物場景下的碰撞問題，并在真正的納米四軸飛行器上驗證了該DAL方法的有效性。 cite{Zhou2019Active}為機器人控制算法逆動力學(xué)模型提出了一個主動軌跡生成框架，這允許cite{Zhou2019Active}系統(tǒng)地設(shè)計用于訓(xùn)練DNN逆動力學(xué)模塊的信息軌跡。 cite{Hossain2019Active， Gudur2019Activeharnet}利用可穿戴設(shè)備或移動終端上的傳感器來收集用戶的運動信息，來進行人類活動識別。cite{Hossain2019Active}提出了一種有上下文感知注釋器選擇的活動識別DAL框架。ActiveHARNet cite{Gudur2019Activeharnet}提出了一種資源高效的深度集成模型ActiveHARNet，它支持設(shè)備上的增量學(xué)習(xí)和推理，使用BNN中的近似來表示模型的不確定性能力，并在兩個公開數(shù)據(jù)集上證明了ActiveHARNet部署和增量學(xué)習(xí)的可行性。 DALAUP cite{Cheng2019Deep}為社交網(wǎng)絡(luò)中的錨點用戶預(yù)測設(shè)計一個DAL框架來減少錨點用戶的標(biāo)注成本，同時提高預(yù)測準(zhǔn)確性。

DAL也被應(yīng)用于心電信號的分類。例如， cite{Rahhal2016Deep} 提出了一種基于深度學(xué)習(xí)的心電信號主動分類方法。cite{Hanbay2019Deep} 提出了一種使用特征值和DL基于AL的ECG分類方法。通過使用AL方法來有效的減少醫(yī)學(xué)專家標(biāo)記ECG信號的代價。 總的來說，DAL目前的應(yīng)用主要集中在視覺圖像處理任務(wù)中，對NLP和其他領(lǐng)域也有著相對零散的應(yīng)用。和DL與AL相比，DAL目前仍然處于研究的初級階段，相應(yīng)經(jīng)典作品還相對較少，但仍然有著和DL一樣廣闊的應(yīng)用場景和實用價值。

討論與未來方向 Towards Robust and Reproducible Active Learning Using Neural Networks，對DAL的工作提出了大量的建議。 DAL結(jié)合了DL和AL的共同優(yōu)勢，不僅繼承了DL善于處理高維圖像數(shù)據(jù)和自動特征提取的能力，而且繼承了AL有效降低標(biāo)注代價的潛力。因此，DAL尤其是在標(biāo)簽需要很高專業(yè)知識難以獲得領(lǐng)域有著令人著迷的潛力。

最近的大多數(shù)工作顯示DAL已經(jīng)在許多常見的任務(wù)上獲得了成功。DAL憑借降低標(biāo)注代價以及繼承DL強大的特征提取能力引了大量研究人員的興趣，正如cite{Munjal2020Towards}所發(fā)現(xiàn)的那樣，在不同的研究中關(guān)于隨機采樣基線（RSB）的報告結(jié)果有著很大不同。例如，在相同設(shè)置下，使用CIFAR 10的20%的標(biāo)簽數(shù)據(jù)，cite{Yoo2019LearningLossActive}所報告的RSB性能比cite{Tran2019BayesianGenerativeActive}高13%。其次，同一DAL方法在不同的研究中報告的結(jié)果可能有所不同。例如，使用CIFAR 100的40%的標(biāo)簽數(shù)據(jù)和VGG16作為提取網(wǎng)絡(luò)，cite{Sener2018ActiveLearningConvolutional}和cite{sinha2019variational}的報告結(jié)果相差8%。此外，最新的DAL研究也存在彼此不一致的情況。例如，cite{Sener2018ActiveLearningConvolutional}和cite{Ducoffe2018Adversarial}指出基于多樣性的方法一直優(yōu)于基于不確定性的方法，而基于不確定性的方法比RSB更差。但是，cite{Yoo2019LearningLossActive}的最新研究表明并非如此。

與AL有策略的選擇高價值的樣本相比，RSB已經(jīng)被是一個強有力的基線。以上問題說明，我們首先急需為DAL的工作設(shè)計一個通用的性能評估平臺，并確定一個統(tǒng)一的高性能的RSB。其次，不同的DAL的方法的可復(fù)現(xiàn)性也是一個重要的問題，高度可復(fù)現(xiàn)的DAL方法有助于對不同DAL進行性能評估，應(yīng)在一致的設(shè)置下使用通用的評估平臺進行實驗，并共享實驗設(shè)置快照。別外，相同實驗條件下的不同初始化的多次重復(fù)性實驗是被要求的，這可以有效避免因?qū)嶒炘O(shè)置問題所引起的誤導(dǎo)性結(jié)論。那些互相不一致的研究需要引起研究人員足夠的重視，以便弄清其中原理。另一方面，充足的消融實驗和轉(zhuǎn)移實驗也是必須的，前者可以讓我們更容易看清是哪些改進帶來了性能增益，后者可以確保我們的AL選擇策略的確可以對數(shù)據(jù)集無差別的選擇高質(zhì)量樣本。 目前的DAL方法的研究方向主要集中在AL選擇策略的改進，訓(xùn)練方法的優(yōu)化以及任務(wù)無關(guān)的模型改進。

正如Section2所分析的那樣，AL選擇策略的改進目前主要集中在以顯式或者隱式的方式將基于不確定性和多樣性的查詢策略考慮在內(nèi)。并且混合型的選擇策略越來越受到研究人員的青睞。 訓(xùn)練方法的優(yōu)化主要集中在對未標(biāo)記數(shù)據(jù)集，標(biāo)記數(shù)據(jù)集或者使用GAN等方法擴充數(shù)據(jù)，然后跨AL周期的進行無監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)、監(jiān)督學(xué)習(xí)的混合型訓(xùn)練方法。這種訓(xùn)練方法甚至表現(xiàn)出比選擇策略改進更有前途的性能提升，實際上這彌補了DL模型需要大量標(biāo)注訓(xùn)練樣本而AL選擇標(biāo)注樣本的數(shù)量有限的問題。此外，對無標(biāo)記數(shù)據(jù)集或者生成數(shù)據(jù)集的使用也有利于充分利用已有的信息，而并不增加額外的標(biāo)注代價。此外，增量訓(xùn)練的方式也是一個重要的研究方向，在每次循環(huán)中從頭開始訓(xùn)練深度模型在計算資源上是不可接受的。而簡單的增量訓(xùn)練又會導(dǎo)致模型參數(shù)的偏差問題，但是在資源節(jié)省上的巨大誘惑是相當(dāng)吸引人的。然而，相關(guān)的研究仍然是相當(dāng)匱乏的，但這仍然是一個非常有前景的研究方向。

任務(wù)無關(guān)也是一個重要的研究方向，這有助于使得DAL的模型可以更加直接廣泛的被推廣到其他任務(wù)。然而相關(guān)的研究還是不足的，并且相應(yīng)的DAL方法往往只關(guān)注了基于不確定性的選擇方法。由于DL自身更加容易與基于不確定性的AL選擇策略相融合，因此我們相信在與任務(wù)無關(guān)的研究方向上未來基于不確定性的方法還將繼續(xù)占據(jù)主導(dǎo)地位。另一方面，明確顯式的將基于多樣性的選擇策略考慮在內(nèi)或許也是一個不錯的選擇，當(dāng)然，這也面臨著很大的挑戰(zhàn)。 此外，需要指出的是一味的追求在更小的子集上訓(xùn)練模型的想法是不可取的，因為在一些內(nèi)容豐富類別多樣擁有海量樣本的數(shù)據(jù)集中樣本重要性的相對差異幾乎可以被忽略。 顯然上述的這些改進方向之間并不沖突，因此一種混合的改進策略是未來一個重要的發(fā)展方向。 總的來說，DAL的研究在標(biāo)注代價和應(yīng)用場景上都有著巨大的實際應(yīng)用價值，但當(dāng)前的DAL的研究仍然處于初級階段，未來還有很長一段路要走。

Performance Comparison 在本節(jié)，我們將對DAL相關(guān)算法的性能做一個全面系統(tǒng)的評估與討論。

Deep Active Learning： Unified and Principled Method for Query and Training

Rethinking deep active learning： Using unlabeled data at model training

Training Data Distribution Search with Ensemble Active Learning

TOWARDS BETTER UNCERTAINTY SAMPLING： ACTIVE LEARNING WITH MULTIPLE

Bayesian Generative Active Deep Learning

原文標(biāo)題：2020深度主動學(xué)習(xí)綜述

文章出處：【微信公眾號：新機器視覺】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯：haq