間隔校準(zhǔn)算法Margin Calibration來了！

長尾視覺識別任務(wù)對神經(jīng)網(wǎng)絡(luò)如何處理頭部（常見）和尾部（罕見）類之間的不平衡預(yù)測提出了巨大挑戰(zhàn)。模型傾向于將尾部類分類為頭部類。雖然現(xiàn)有的研究側(cè)重于數(shù)據(jù)重采樣和損失函數(shù)工程，但在本文中，我們采用了不同的視角：分類間隔。我們研究了間隔（margin）和預(yù)測分?jǐn)?shù)（logit）之間的關(guān)系，并憑經(jīng)驗觀察到「未校準(zhǔn)的邊距和預(yù)測分?jǐn)?shù)呈正相關(guān)」。我們提出了一種「簡單而有效的邊距校準(zhǔn)方法 (Margin Calibration，MARC) 來校準(zhǔn)邊距以獲得更平衡的預(yù)測分?jǐn)?shù)」，從而提升分類性能。我們通過對常見長尾基準(zhǔn)（包括 CIFAR-LT、ImageNet-LT、Places-LT 和 iNaturalist-LT）的廣泛實驗來驗證MARC。實驗結(jié)果表明，我們的MARC方法在這些基準(zhǔn)上取得了良好的結(jié)果。此外，「只需三行代碼」就能實現(xiàn)MARC。我們希望這種簡單的方法能夠激發(fā)人們重新思考長尾視覺識別中未校準(zhǔn)的邊距與預(yù)測分?jǐn)?shù)之間的關(guān)系。

文章已被機器學(xué)習(xí)會議ACML 2022錄用,由東京工業(yè)大學(xué)、微軟STCA、南京大學(xué)、及微軟亞洲研究院共同完成，第一作者為東京工業(yè)大學(xué)王一棟同學(xué)。

論文：https://arxiv.org/abs/2112.07225

間隔與預(yù)測分?jǐn)?shù)的關(guān)系

在本文中，我們研究了「間隔(Margin)」和「預(yù)測分?jǐn)?shù) (logits)」之間的關(guān)系，這是主導(dǎo)長尾績效的關(guān)鍵因素。

如下圖所示，我們憑經(jīng)驗發(fā)現(xiàn)邊距和預(yù)測分?jǐn)?shù)與每個類的基數(shù)相關(guān)（一個類的基數(shù)即該類別擁有數(shù)據(jù)的數(shù)量）。具體來說，在校準(zhǔn)之前，頭類往往比尾類具有更大的邊距和預(yù)測分?jǐn)?shù)。因此，需要校準(zhǔn)這種不平衡的邊距以獲得平衡的預(yù)測分?jǐn)?shù)去避免未校準(zhǔn)的邊距對分類性能產(chǎn)生負(fù)面影響。

間隔校準(zhǔn)方法MARC: Margin Calibration

我們提出一個簡單的間隔校準(zhǔn)方法「MARC (margin calibration)」來解決長尾問題。

具體而言，我們訓(xùn)練了一個簡單的特定于類別的邊距校準(zhǔn)模型，其中原始邊距固定， 和 是可學(xué)習(xí)參數(shù)：

的推理公式如下，最終是由預(yù)測分?jǐn)?shù)（logit=）除以線性分類器（Linear Classifier Head）的權(quán)重（Weight）的模（）取得,其中為線性分類器的偏差（bias）：

因此，校準(zhǔn)后的預(yù)測分?jǐn)?shù)為

其中是固定的原始預(yù)測分?jǐn)?shù)。

此外，我們還對不同類進(jìn)行加權(quán)操作，最終通過訓(xùn)練 和 來獲得更平衡的預(yù)測分?jǐn)?shù)。

核心算法：僅需三行代碼

MARC可以被分類為決策邊界（間隔）調(diào)整算法，其與之前的一些同類算法如Decouple (ICLR'20, 評論區(qū)提到的)和DisAlign等的區(qū)別如下：

MARC的核心算法如下圖所示，核心部分如紅框所示。「僅需三行代碼」即可實現(xiàn)MARC：

實驗

分類結(jié)果

實驗表格如下。我們在眾多被廣泛使用的長尾分類圖像數(shù)據(jù)集中進(jìn)行了對比。從實驗結(jié)果可以看出MARC相比于其他方法取得了良好的性能，并且MARC十分容易實現(xiàn)。

復(fù)雜度

下圖是MARC和另一個決策邊界調(diào)整算法Dis-Align的對比試驗，可以發(fā)現(xiàn)MARC取得了更平衡的邊距和預(yù)測分?jǐn)?shù)。

總結(jié)

本文研究了長尾視覺識別問題。具體來說，我們發(fā)現(xiàn)頭類往往比尾類具有更大的邊距和預(yù)測分?jǐn)?shù)。受此發(fā)現(xiàn)的啟發(fā)，我們提出了一個只有 2K（K是類別數(shù)）可學(xué)習(xí)參數(shù)的邊距校準(zhǔn)函數(shù)，以獲得長尾視覺識別中的平衡預(yù)測分?jǐn)?shù)。盡管我們的方法實現(xiàn)起來非常簡單，但大量實驗表明，與以前的方法相比，MARC在不改變模型表示的情況下取得了有利的結(jié)果。我們希望我們對預(yù)測分?jǐn)?shù)和邊距的研究能夠為模型表示和邊距校準(zhǔn)的聯(lián)合優(yōu)化提供經(jīng)驗。未來，我們的目標(biāo)是發(fā)展一個統(tǒng)一的理論來更好地支持我們的算法設(shè)計，并將該算法應(yīng)用于更多的長尾應(yīng)用。

Reference

[1] 本文所介紹的論文：Wang et al. Margin calibration for long-tailed visual recognition. Asian Conference on Machine Learning (ACML) 2022.

審核編輯 ：李倩