一種提高網(wǎng)絡(luò)泛化能力的概率方法

1. 論文信息

題目：Uncertainty Modeling for Out-of-Distribution Generalization

作者：Xiaotong Li, Yongxing Dai, Yixiao Ge, Jun Liu, Ying Shan, Ling-Yu Duan

論文鏈接：https://arxiv.org/abs/2202.03958v1

代碼鏈接：https://github.com/lixiaotong97/DSU

2. 引言

Deep neural networks 在Computer Vision領(lǐng)域取得了非常大的成功，但嚴(yán)重依賴(lài)于訓(xùn)練和測(cè)試的domain遵循 identical distribution的假設(shè)。然而，這一假設(shè)在許多實(shí)際應(yīng)用中并不成立。例如，當(dāng)將在晴天訓(xùn)練的分割模型用于雨天和霧天環(huán)境時(shí)，或用在照片上訓(xùn)練的模型識(shí)別藝術(shù)繪畫(huà)時(shí)，在這種非分布部署場(chǎng)景中常?？梢杂^察到不可避免的性能下降。

因此，以提高網(wǎng)絡(luò)在各種不可見(jiàn)測(cè)試域上的魯棒性為目標(biāo)的領(lǐng)域泛化問(wèn)題就顯得十分重要。本文就主要聚焦，如何在分布發(fā)生偏移變化的時(shí)候，讓模型仍能比較好的work。

之前的許多工作都已經(jīng)闡述了，特征數(shù)據(jù)其實(shí)算是可以比較好的建模訓(xùn)練數(shù)據(jù)中抽象出來(lái)的特征。domain的feature主要是指對(duì)單個(gè)領(lǐng)域更具體但與任務(wù)目標(biāo)相關(guān)性較小的信息，如物體識(shí)別中的照片風(fēng)格和捕獲環(huán)境信息。因此，具有不同數(shù)據(jù)分布的域通常具有不一致的特征統(tǒng)計(jì)。所以我們只需要根據(jù) Empirical Risk Minimization的原則來(lái)最小化訓(xùn)練集損失誤差就可以了。

但是其實(shí)這些之前的方法都會(huì)有一個(gè)缺陷，就是這些方法在測(cè)試階段中沒(méi)有明確考慮潛在的domain偏移引起的不確定統(tǒng)計(jì)差異。因此可能帶來(lái)模型無(wú)法處理一部分的out-of-distribution數(shù)據(jù)，而在訓(xùn)練集中提供的OOD樣本數(shù)過(guò)擬合。所以，在訓(xùn)練階段引入一定的uncertain statistics對(duì)于模型泛化性能的提升是非常關(guān)鍵，且有必要的。

概括來(lái)講，本文的核心idea就是：將特征的統(tǒng)計(jì)數(shù)據(jù)進(jìn)行分析計(jì)算，把它建模成一個(gè)不確定的分布，在分布中特征統(tǒng)計(jì)量的根據(jù)這種uncertain進(jìn)行不同的采樣，從而生成各種不同的風(fēng)格的圖像，來(lái)提升模型在不同目標(biāo)域的泛化性。我們提出的方法簡(jiǎn)單而有效地緩解了domain shift引起的性能下降，并且可以很容易地集成到現(xiàn)有的網(wǎng)絡(luò)中，而不帶來(lái)額外的模型參數(shù)或loss的約束。在廣泛的視覺(jué)任務(wù)上的綜合實(shí)驗(yàn)證明了該方法的優(yōu)越性，充分的實(shí)驗(yàn)表明在特征統(tǒng)計(jì)中引入uncertainty可以很好地提高模型對(duì)域偏移的泛化能力。

3. 方法

首先，是對(duì)一個(gè)mini-batch中的特征進(jìn)行建模：

在非分布場(chǎng)景下，由于域特征不同，特征統(tǒng)計(jì)量往往與訓(xùn)練域不一致，不適合于非線(xiàn)性層和歸一化層等深度學(xué)習(xí)模塊，降低了模型的泛化能力。然而，大多數(shù)深度學(xué)習(xí)方法只將特征統(tǒng)計(jì)量視為從特征中測(cè)量出的確定性值，而沒(méi)有明確考慮到潛在的不確定統(tǒng)計(jì)差異。

由于模型固有的易受這種差異的影響，學(xué)習(xí)到的表示的泛化能力受到了限制。盡管之前一些利用特征統(tǒng)計(jì)來(lái)解決領(lǐng)域泛化問(wèn)題取得了成功，但它們通常采用成對(duì)樣本的線(xiàn)性操作(即交換和插值)來(lái)生成新的特征統(tǒng)計(jì)量，這限制了合成變化的多樣性。

具體而言，它們的變異方向由所選參考樣本決定，這種內(nèi)部操作限制了它們的變化強(qiáng)度。因此，這些方法在處理現(xiàn)實(shí)世界中不同的、不確定的domain shift時(shí)是效果有限的。對(duì)于具有uncertainty的特征統(tǒng)計(jì)偏移方向的任意的test domain，如何正確建模domain的shift就是解決域泛化問(wèn)題的重要任務(wù)。

這篇文章提出的方法是在建模 Domain Shifts with Uncertainty (DSU)。通過(guò)對(duì)目標(biāo)域的不確定性進(jìn)行建模，來(lái)解決域泛化性能有限的問(wèn)題。假設(shè)特征統(tǒng)計(jì)量都服從多元高斯分布，然后計(jì)算他們的方差，把這種方差定義為不確定性：

我們得到了每個(gè)銅套的不確定性后，在原有的分布上加一定的高斯噪聲，利用重參數(shù)來(lái)建模統(tǒng)計(jì)量：

通過(guò)利用給定的高斯分布，隨機(jī)采樣可以生成不同方向和強(qiáng)度組合的新特征統(tǒng)計(jì)信息。然后就是利用經(jīng)典的

以上操作可以作為一個(gè)靈活的模塊集成在網(wǎng)絡(luò)的各個(gè)位置。注意，該模塊只在模型訓(xùn)練期間工作，可以在測(cè)試時(shí)可以不適用。為了權(quán)衡這個(gè)模塊的強(qiáng)度，論文還設(shè)置了一個(gè)超參數(shù)p，表示使用這個(gè)模塊的概率，具體的算法細(xì)節(jié)描述在附錄中可以更好地參考。利用該方法，經(jīng)過(guò)不確定特征統(tǒng)計(jì)量訓(xùn)練的模型對(duì)潛在的統(tǒng)計(jì)量偏移具有更好的魯棒性，從而獲得更好的泛化能力。

4. 實(shí)驗(yàn)

本文提出的方法其實(shí)是和內(nèi)容無(wú)關(guān)的，所以為了說(shuō)明方法的有效性和遷移性，作者在圖像分類(lèi)、語(yǔ)義分割、實(shí)例檢索和 robustness to corruptions 等任務(wù)上都做了實(shí)驗(yàn)。

首先是Multi-domain classification的PACS數(shù)據(jù)集結(jié)果，包含了畫(huà)作、卡通、照片和素描四種風(fēng)格的圖像。使用標(biāo)準(zhǔn)的leave-one-domain-out 的protocal，在三種風(fēng)格上訓(xùn)練，在剩下一種風(fēng)格上測(cè)試。

然后是在分割數(shù)據(jù)集上的表現(xiàn)：

可視化效果也非常不錯(cuò)：

更多的消融實(shí)驗(yàn)可以參考原文。

然后作者又利用PACS數(shù)據(jù)集，把a(bǔ)rt painting作為未知目標(biāo)域，其他三種風(fēng)格作為源域。作者backbone的中間特征，測(cè)量并可視化特征統(tǒng)計(jì)量的分布?？梢钥吹紻SU可以帶來(lái)更少的domain shift：

5. 結(jié)論

本文提出了一種提高網(wǎng)絡(luò)泛化能力的概率方法，通過(guò)在訓(xùn)練過(guò)程中綜合特征統(tǒng)計(jì)量對(duì)領(lǐng)域偏移的不確定性進(jìn)行建模。每個(gè)特征統(tǒng)計(jì)量假設(shè)遵循一個(gè)多變量高斯分布，以建模不同的domain shift。由于生成的特征統(tǒng)計(jì)量具有不同的分布的uncertainty，該模型對(duì)不同的domain shift具有更好的魯棒性。實(shí)驗(yàn)結(jié)果證明了該方法在提高網(wǎng)絡(luò)泛化能力方面的有效性。

審核編輯：劉清