MUS-CDB：遙感目標(biāo)檢測中的主動標(biāo)注的具有類分布平衡的混合不確定性采樣

引言：

現(xiàn)有的遙感目標(biāo)檢測模型通常依賴于大量的標(biāo)記訓(xùn)練數(shù)據(jù)，然而由于遙感場景中物體密度較高，因此手工標(biāo)注所需的時間和金錢成本非常昂貴。主動學(xué)習(xí)通過有選擇地查詢信息豐富和代表性的未標(biāo)記樣本，有效降低了數(shù)據(jù)標(biāo)注成本。然而，現(xiàn)有的主動學(xué)習(xí)方法主要適用于類別平衡設(shè)置和基于圖像查詢的通用物體檢測任務(wù)，而在遙感目標(biāo)檢測場景中，由于存在長尾類分布和密集小物體，這些方法并不太適用。如圖1所示，相較于通用場景下的物體分布，航空遙感圖像中的目標(biāo)通常呈現(xiàn)較小、模糊的特點，并且在復(fù)雜背景中密集分布。

在本文中，我們提出了一種新穎的遙感目標(biāo)檢測主動學(xué)習(xí)方法，旨在有效降低成本。具體而言，在物體采樣中考慮了對象級和圖像級的信息性，以避免冗余和短視的查詢。此外，還結(jié)合了一個易于使用的類平衡準(zhǔn)則，以支持少數(shù)類對象，緩解模型訓(xùn)練中的長尾類分布問題。我們進一步設(shè)計了一個訓(xùn)練損失，來挖掘未標(biāo)記圖像區(qū)域中的潛在知識。

方法：

使用主動學(xué)習(xí)進行遙感目標(biāo)檢測旨在通過從大型未標(biāo)記數(shù)據(jù)集中選擇信息量豐富的樣本來降低標(biāo)注成本，從而訓(xùn)練一個性能良好的檢測器。該問題由三組數(shù)據(jù)定義：用于初始化模型的小型完全標(biāo)記集，用于數(shù)據(jù)選擇的大型未標(biāo)記集，以及通過主動學(xué)習(xí)方法采樣的部分標(biāo)記集。為了使用最小的標(biāo)記成本來訓(xùn)練一個性能良好的檢測器，我們使用采樣函數(shù)從中選擇信息最豐富的樣本進行標(biāo)注，標(biāo)注后的圖片加入。我們設(shè)計了兩個模塊來進行經(jīng)濟高效的采樣：混合不確定性采樣模塊（MUS）和類別分布平衡采樣（CDB）。方法的整體框架如圖2所示。

混合不確定性采樣：

現(xiàn)有的基于對象的采樣方法主要考慮預(yù)測框本身的信息，即類別不確定性或回歸不確定性，但忽視了圖像的空間信息和語義結(jié)構(gòu)。為了解決這個問題，我們提出考慮圖像和對象的不確定性，即結(jié)合全局和局部信息以進行更全面的數(shù)據(jù)評估。

關(guān)于圖像不確定性，如果一張圖像中有許多預(yù)測對象具有較高的不確定性，那么應(yīng)該優(yōu)先選擇該圖像進行采樣。為此，我們評估并聚合模型預(yù)測的不確定性值以表示整個圖像的不確定性值。具體而言，對于給定的圖像 ，圖像不確定性 的表達式如下所示：

其中， 表示集合中元素的數(shù)量， 是分?jǐn)?shù)閾值。圖像不確定性值 是通過計算圖像中邊界框的平均置信度得到的。只有置信度大于閾值 的邊界框被用于計算平均置信度。當(dāng)圖像中存在許多置信度較低的預(yù)測邊界框時， 值會較高。這是因為圖像中包含了難以區(qū)分的對象，導(dǎo)致預(yù)測結(jié)果不一致且置信度較低。因此，具有較高 值的圖像更有可能包含罕見模式的有用信息，也就更適合進行選擇。

關(guān)于對象不確定性，為了在查詢中考慮對象級別的信息，我們使用熵來評估每個預(yù)測邊界框的不確定性。具體而言，對象不確定性 的計算如下所示：

其中 是圖像中第 個邊界框在類別上的預(yù)測概率。

接下來，我們將圖像不確定性 和對象不確定性 結(jié)合起來，得到最終的對象信息分?jǐn)?shù) 。

類別分布平衡采樣：

遙感數(shù)據(jù)存在類別不平衡的問題，其中罕見類別對模型性能產(chǎn)生嚴(yán)重?fù)p害。為了解決這個問題，我們提出了一種在主動查詢過程中強調(diào)低頻類別的采樣方法。具體而言，我們首先統(tǒng)計標(biāo)記數(shù)據(jù)集中的類別分布情況，然后確定標(biāo)記數(shù)據(jù)集中的罕見類別。設(shè)表示類別對應(yīng)的對象數(shù)量，其中。我們的目標(biāo)是在采樣階段通過對每個類別施加與成反比的偏好，來更多地查詢罕見的類別對象。采樣偏好的計算方式如下：

首先，根據(jù)ak值，我們計算標(biāo)記集中每個類別的分布概率。然后，我們?nèi)∑涞箶?shù)得到類別權(quán)重βk，用于采樣過程中的權(quán)重調(diào)整。接下來，我們使用Softmax函數(shù)計算采樣期間預(yù)期的類別分布。通過這種方式，我們能夠為不同的類別設(shè)定偏好，并在選擇階段有選擇性地查詢罕見類別對象，以提高模型的性能和準(zhǔn)確性。

處理部分標(biāo)記圖像：

為了應(yīng)對模型訓(xùn)練過程中存在一些數(shù)據(jù)集完全標(biāo)記，而另一些圖像數(shù)據(jù)集僅部分標(biāo)記的情況，我們采用了不同的訓(xùn)練損失函數(shù)來處理這兩個集合。對于完全標(biāo)記的數(shù)據(jù)集，我們沿用了檢測器的默認(rèn)訓(xùn)練損失函數(shù)；而對于部分標(biāo)記的數(shù)據(jù)集，我們則采用了自定義的損失函數(shù)，以有效地挖掘圖像中未標(biāo)記區(qū)域的潛在知識。

具體來說，部分標(biāo)記的圖像在模型訓(xùn)練時會給分類損失中的負(fù)樣本損失引入噪聲，因為圖像中的某些對象可能沒有被標(biāo)記并被視為負(fù)樣本。為了解決這個問題，我們提出了一種自適應(yīng)權(quán)重?fù)p失函數(shù)，用來處理分類損失中的負(fù)樣本損失。該方法基于每個負(fù)樣本的預(yù)測背景分?jǐn)?shù)來調(diào)整其對應(yīng)的分類損失權(quán)重。這種方法可以有效地抑制模型對于具有低背景分?jǐn)?shù)的負(fù)樣本（通常是前景對象）的分類損失。定義如下：

?包含分類損失（前兩項）和框回歸損失（最后一項）。其中，i和j是一個小批量中圖像和區(qū)域提案的索引，W代表著參與訓(xùn)練的區(qū)域提案數(shù)。 和 是指示函數(shù)，用于表示圖像是否是部分標(biāo)記或完全標(biāo)記。用于表示區(qū)域提案是否是正樣本（即包含對象）。為了實現(xiàn)穩(wěn)健的學(xué)習(xí)，引入了參數(shù)來降低背景對象的分類損失權(quán)重。

實驗：

1、與其他主動學(xué)習(xí)方法比較

我們在四個遙感檢測器（包括兩個單階段遙感檢測器：KLD和SASM，以及兩個雙階段遙感檢測器：ReDet和Oriented R-CNN）以及兩個數(shù)據(jù)集（DOTA-v1.0和DOTA-v2.0）上進行了性能比較。我們使用mAP作為比較指標(biāo)。實驗結(jié)果如表I所示。通過在多個檢測器上進行的實驗證明了所提出的MUS-CDB方法的有效性和通用性。該方法可以輕松地集成到各種目標(biāo)檢測框架中，并有助于提高不同應(yīng)用中的目標(biāo)檢測模型性能。

熵采樣僅在采樣過程中考慮目標(biāo)級別的信息，而混合不確定性采樣則綜合考慮目標(biāo)級別和圖像級別的信息。為了驗證混合采樣的有效性，我們進行了兩種采樣方法的性能比較。

2、消融實驗

為了證明我們提出的兩個采樣模塊的有效性，我們進行了如下的消融實驗。可以看到不確定性采樣（MUS）和類別分布平衡采樣（DUS）兩個模塊都可以有效提升模型性能。兩者結(jié)合的二階段采樣可以更好的平衡采樣結(jié)果的多樣性和代表性。

我們還做消融實驗證明了自適應(yīng)損失函數(shù)的有效性。（1）代表使用默認(rèn)的損失函數(shù)，（2）代表使用提出的改進損失。

結(jié)論：

在本文中，我們提出了一種名為MUS-CDB的基于對象的主動學(xué)習(xí)方法，旨在減輕遙感目標(biāo)檢測數(shù)據(jù)注釋所帶來的巨大負(fù)擔(dān)。我們在采樣過程中設(shè)計了一種基于圖像和對象的混合不確定性采樣模塊，以選擇信息最豐富的實例進行標(biāo)注?？紤]到遙感圖像數(shù)據(jù)集中的長尾問題，我們在采樣過程中引入了類別偏好的策略，以促進所選對象的多樣性。此外，我們還提出了一種針對部分標(biāo)記數(shù)據(jù)的有效訓(xùn)練方法，以充分利用主動查詢所獲取的知識。