實(shí)現(xiàn)強(qiáng)監(jiān)督和弱監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)的協(xié)同增強(qiáng)學(xué)習(xí)

訓(xùn)練一個(gè)高準(zhǔn)確率的檢測(cè)模型需要大量精細(xì)標(biāo)注的圖片數(shù)據(jù)，其成本很高。本文提出了一種弱監(jiān)督協(xié)同學(xué)習(xí)框架，僅使用粗略標(biāo)簽的圖片訓(xùn)練目標(biāo)檢測(cè)模型，測(cè)試結(jié)果顯示其定位精確率和檢測(cè)準(zhǔn)確率均顯著優(yōu)于目前最先進(jìn)的方法。

目標(biāo)檢測(cè)是機(jī)器視覺(jué)的基本問(wèn)題，在視頻監(jiān)控、無(wú)人駕駛等場(chǎng)景都有廣泛應(yīng)用。隨著深度學(xué)習(xí)的興起，近年來(lái)涌現(xiàn)了大量?jī)?yōu)秀的目標(biāo)檢測(cè)模型。然而，訓(xùn)練一個(gè)高準(zhǔn)確率的檢測(cè)模型需要大量的以包圍框形式精細(xì)標(biāo)注的圖片數(shù)據(jù)作為模型監(jiān)督條件，需要花費(fèi)大量的人力物力。

同時(shí)，我們可以從互聯(lián)網(wǎng)輕松獲取海量粗標(biāo)注的圖片，如利用Flickr的標(biāo)簽。因此，研究如何在弱監(jiān)督條件下，即僅提供粗略圖片類(lèi)別標(biāo)注，訓(xùn)練目標(biāo)檢測(cè)模型，具有重要的意義。已有學(xué)者探索了基于多示例學(xué)習(xí)構(gòu)建弱監(jiān)督條件下的目標(biāo)檢測(cè)模型學(xué)習(xí)方法，但是模型的精確度仍然難以令人滿意。

論文：Collaborative Learning for Weakly Supervised Object Detection

論文鏈接：https://arxiv.org/abs/1802.03531

本論文提出了一種弱監(jiān)督協(xié)同學(xué)習(xí)（WSCL）的框架，將弱監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)和強(qiáng)監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)連接成為一個(gè)整體網(wǎng)絡(luò)，通過(guò)一致性損失約束強(qiáng)監(jiān)督和弱監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)具有相似的預(yù)測(cè)結(jié)果，通過(guò)強(qiáng)監(jiān)督和弱監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)間部分特征共享保證兩個(gè)網(wǎng)絡(luò)在感知水平上的一致性，從而實(shí)現(xiàn)強(qiáng)監(jiān)督和弱監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)的協(xié)同增強(qiáng)學(xué)習(xí)。弱監(jiān)督協(xié)同學(xué)習(xí)框架結(jié)構(gòu)如下圖所示：

弱監(jiān)督協(xié)同學(xué)習(xí)框架（以目標(biāo)檢測(cè)為例）

基于上述弱監(jiān)督協(xié)同學(xué)習(xí)框架，論文設(shè)計(jì)了一個(gè)端到端的弱監(jiān)督協(xié)同檢測(cè)網(wǎng)絡(luò)（WSCDN），弱監(jiān)督和強(qiáng)監(jiān)督的檢測(cè)模塊分別采用了目前最優(yōu)秀WSDDN和RCNN網(wǎng)絡(luò)結(jié)構(gòu)。其網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示。

弱監(jiān)督協(xié)同目標(biāo)檢測(cè)學(xué)習(xí)模型

在每次學(xué)習(xí)迭代中，整個(gè)目標(biāo)檢測(cè)網(wǎng)絡(luò)只將圖像級(jí)標(biāo)簽作為弱監(jiān)督，并且通過(guò)預(yù)測(cè)一致性損失并行優(yōu)化強(qiáng)監(jiān)督和弱監(jiān)督檢測(cè)網(wǎng)絡(luò)。

下圖是WSCDN訓(xùn)練時(shí)，強(qiáng)監(jiān)督和弱監(jiān)督檢測(cè)網(wǎng)絡(luò)準(zhǔn)確率的變化曲線。

可以看出，在訓(xùn)練的初始階段，弱監(jiān)督檢測(cè)網(wǎng)絡(luò)準(zhǔn)確率高于強(qiáng)監(jiān)督檢測(cè)網(wǎng)絡(luò)。隨著協(xié)同訓(xùn)練輪次的增多，兩者的準(zhǔn)確率均逐漸上升，但強(qiáng)監(jiān)督檢測(cè)網(wǎng)絡(luò)提升的速度更快，并很快超越弱監(jiān)督檢測(cè)網(wǎng)絡(luò)。在整個(gè)訓(xùn)練過(guò)程中，兩類(lèi)檢測(cè)網(wǎng)絡(luò)相互協(xié)同，達(dá)到了共同提高的效果。

我們比較了弱監(jiān)督協(xié)同檢測(cè)網(wǎng)絡(luò)與其他相關(guān)弱監(jiān)督檢測(cè)方法在PASCAL VOC 2007測(cè)試圖片上的效果（見(jiàn)下圖）。其中，IW是單獨(dú)訓(xùn)練得到的弱監(jiān)督檢測(cè)模型，CSS是分開(kāi)迭代訓(xùn)練得到的強(qiáng)監(jiān)督檢測(cè)模型，CLW和CLS分別是通過(guò)弱監(jiān)督協(xié)同檢測(cè)網(wǎng)絡(luò)得到的強(qiáng)監(jiān)督和弱監(jiān)督檢測(cè)網(wǎng)絡(luò)?？梢钥闯觯覀兊膹?qiáng)監(jiān)督檢測(cè)網(wǎng)絡(luò)明顯優(yōu)于其他檢測(cè)器網(wǎng)絡(luò)，表現(xiàn)在可以得到更全面和更緊湊的包圍框預(yù)測(cè)。

我們用PASCAL VOC 2007和PASCAL VOC 2012數(shù)據(jù)集進(jìn)行了測(cè)試。結(jié)果表明，弱監(jiān)督協(xié)同檢測(cè)網(wǎng)絡(luò)的定位精確率以及檢測(cè)準(zhǔn)確率均顯著優(yōu)于目前最先進(jìn)的方法。

弱監(jiān)督協(xié)同檢測(cè)網(wǎng)絡(luò)與其他目前最先進(jìn)的方法在PASCAL VOC 2007 測(cè)試數(shù)據(jù)集上檢測(cè)精確度的比較(AP) (%)

弱監(jiān)督協(xié)同檢測(cè)網(wǎng)絡(luò)與其他目前最先進(jìn)的方法在PASCAL VOC 2007 trainval set 上定位精確度的比較(CorLoc) (%)

弱監(jiān)督協(xié)同檢測(cè)網(wǎng)絡(luò)與其他目前最先進(jìn)的方法在PASCAL VOC 2012 測(cè)試數(shù)據(jù)集上檢測(cè)精確度的比較(AP) (%)

弱監(jiān)督協(xié)同檢測(cè)網(wǎng)絡(luò)與其他目前最先進(jìn)的方法在PASCAL VOC 2012 trainval set 上定位精確度的比較(CorLoc) (%)