深度學(xué)習(xí)部分監(jiān)督的實例分割環(huán)境

實例分割的任務(wù)是將圖像中的像素分組為單個事物的實例，并用類標(biāo)簽（可計數(shù)的對象，如人、動物、汽車等，并為每個對象分配獨(dú)特的標(biāo)識符，如 car_1 和 car_2）來標(biāo)識這些事物。實例分割作為一項核心的計算機(jī)視覺任務(wù)，對許多下游應(yīng)用至關(guān)重要，如自動駕駛汽車、機(jī)器人、醫(yī)學(xué)成像和照片編輯。

近年來，深度學(xué)習(xí) （Deep learning） 在使用 Mask R-CNN 之類的架構(gòu)解決實例分割問題方面取得了重大進(jìn)展。然而，這些方法依賴于收集大型的標(biāo)簽實例分割數(shù)據(jù)集。但不同于收集邊界框標(biāo)簽的方法，如 Extreme clicking，可以實現(xiàn)每個實例 7 秒的收集速度，收集實例分割標(biāo)簽（稱為“掩碼”）時，每個實例用時可能需要高達(dá) 80 秒，該方式較高的成本，拉高了這項研究的門檻。另一個相關(guān)任務(wù)——泛型分割，甚至需要更多的標(biāo)簽數(shù)據(jù)。

Mask R-CNN

https://arxiv.org/abs/1703.06870

Extreme clicking

https://arxiv.org/abs/1708.02750

高達(dá) 80 秒

https://arxiv.org/abs/1405.0312

部分監(jiān)督的實例分割環(huán)境（即只用實例分割掩碼給一小部分類加標(biāo)簽，其余大部分類只用邊界框來加標(biāo)簽）這一方法有可能減少對人工創(chuàng)建的掩碼標(biāo)簽的依賴，從而大大降低開發(fā)實例分割模型的門檻。不過，這種部分監(jiān)督的方法也需要更強(qiáng)的模型泛化形式來處理訓(xùn)練時沒有遇到過的新類別，例如，只用動物掩碼進(jìn)行訓(xùn)練，然后讓模型針對建筑物或植物產(chǎn)生準(zhǔn)確的實例分割。此外，還有簡單的方法，例如訓(xùn)練一個與類無關(guān)的 Mask R-CNN，同時忽略任何沒有掩碼標(biāo)簽的實例的掩碼損失 （Loss function），但這些方法效果并不好。例如，在典型的 “VOC/Non-VOC” 基準(zhǔn)中，Mask R-CNN 針對 COCO 中 20 個類的子集（稱為“已見類”）進(jìn)行掩碼訓(xùn)練，并在其余 60 個類（稱為“未見類”）上進(jìn)行測試，一個帶有 Resnet-50 主干的典型 Mask R-CNN 在未見類上的 掩碼 mAP（即平均精度，數(shù)值越高越好）只能達(dá)到約 18%，而在全監(jiān)督時，在同一集合上的掩碼 mAP 則高出很多，超過了 34%。

部分監(jiān)督的實例分割環(huán)境

https://arxiv.org/abs/1711.10370

在即將發(fā)布于 ICCV 2021 的“掩碼頭部架構(gòu)對新類別分割的驚人影響 （The surprising impact of mask-head architecture on novel class segmentation）”一文中，我們確定了 Mask R-CNN 在新類別上表現(xiàn)不佳的主要原因，并提出了兩個易于實施的修復(fù)方法（訓(xùn)練協(xié)議修復(fù)；掩碼頭部架構(gòu)修復(fù)），這兩種方法協(xié)同作用，可以縮小與全監(jiān)督性能之間的差距。

掩碼頭部架構(gòu)對新類別分割的驚人影響

https://arxiv.org/abs/2104.00613

我們證明了這種方法普遍適用于裁剪-分割模型，即 Mask R-CNN 或類似 Mask R-CNN 的架構(gòu)：計算整個圖像的特征表征，然后將每個實例的裁剪傳遞給第二階段的掩碼預(yù)測網(wǎng)絡(luò)（也稱為掩碼頭部網(wǎng)絡(luò)）。對發(fā)現(xiàn)結(jié)果進(jìn)行整合，我們提出了基于 Mask R-CNN 的模型，該模型的掩碼 mAP 遠(yuǎn)高于目前最先進(jìn)的模型，提升了 4.7%，且無需更復(fù)雜的輔助損失函數(shù)、離線訓(xùn)練的先驗因素或先前研究中提出的權(quán)重轉(zhuǎn)移函數(shù)。我們還開放了該模型兩個版本的代碼庫，分別稱為 Deep-MAC 和 Deep-MARC，并發(fā)布了一個 colab，從而以互動方式生成掩碼，如下面的視頻演示所示。

Deep-MAC

https://github.com/tensorflow/models/blob/master/research/object_detection/g3doc/deepmac.md

Deep-MARC

https://github.com/tensorflow/models/tree/master/official/vision/beta/projects/deepmac_maskrcnn

colab

https://github.com/tensorflow/models/blob/master/research/object_detection/colab_tutorials/deepmac_colab.ipynb

模型 DeepMAC 的演示版，即使是訓(xùn)練時未見過的類，該模型也可以學(xué)習(xí)預(yù)測準(zhǔn)確的掩碼，以及給定用戶所指定的邊框。親自在 colab 中試試吧。圖片來源：Chris Briggs、維基百科和 Europeana

部分監(jiān)督環(huán)境中裁剪方法的影響

裁剪是裁剪-分割模型的一個重要步驟，通過裁剪特征圖以及對應(yīng)每個實例的邊界框的實際掩碼來訓(xùn)練 Mask R-CNN。將這些裁剪過的特征傳遞給另一個神經(jīng)網(wǎng)絡(luò)（稱為掩碼頭部網(wǎng)絡(luò)），該網(wǎng)絡(luò)計算出最終的掩碼預(yù)測，然后將其與掩碼損失函數(shù)中的實際裁剪進(jìn)行比較。裁剪有兩種選擇：（1） 直接對實例的實際邊界框進(jìn)行裁剪， （2） 對模型預(yù)測的邊界框（稱為建議）進(jìn)行裁剪。在測試時始終通過建議來執(zhí)行裁剪，因為要假設(shè)實際邊界框不可用。

“對實際邊界框的裁剪”對比“訓(xùn)練過程中對模型預(yù)測的建議裁剪”。標(biāo)準(zhǔn) Mask R-CNN 實現(xiàn)使用上述兩種類型的裁剪，但我們已經(jīng)證明，只對實際邊界框進(jìn)行裁剪在新類別上表現(xiàn)出顯著的性能優(yōu)勢

我們考慮了一個類似于 Mask R-CNN 的一般架構(gòu)系列，與典型的 Mask R-CNN 訓(xùn)練環(huán)境相比，存在一個微小但關(guān)鍵的區(qū)別：我們在訓(xùn)練時使用實際邊界框（而不是建議邊界框）裁剪

典型的 Mask R-CNN 實現(xiàn)將兩種類型的裁剪都傳遞給掩碼頭部。然而，在傳統(tǒng)的觀點中，這個選擇是一個不重要的實施細(xì)節(jié)，因為它在全監(jiān)督環(huán)境中不會對性能產(chǎn)生顯著影響。相反，對于部分監(jiān)督環(huán)境，我們發(fā)現(xiàn)裁剪方法起著重要的作用，雖然在訓(xùn)練過程中，只對實際邊界框進(jìn)行裁剪不會使全監(jiān)督環(huán)境下的結(jié)果發(fā)生明顯變化，但在部分監(jiān)督環(huán)境中卻有著驚人的顯著積極影響，在未見類上的表現(xiàn)明顯改善。

利用建議和實際邊界框（默認(rèn)設(shè)置）或只用實際邊界框進(jìn)行訓(xùn)練時，Mask R-CNN 在未見類上的性能。只用實際邊界框訓(xùn)練掩碼頭部時，在未見類上的性能有明顯的提升，mAP 超過 9%。我們報告了 ResNet-101-FPN 主干加持下的性能

ResNet-101-FPN

https://arxiv.org/pdf/1703.06870.pdf

解鎖掩碼頭部的完全泛化潛力

更令人驚訝的是，上述方法引發(fā)了一個新現(xiàn)象：在訓(xùn)練過程中啟用實際裁剪， Mask R-CNN 的掩碼頭部對模型的泛化能力（泛化至未見類）起著異常重要的作用。舉個例子，我們在下圖中比較了幾個模型，對象為停車計時器、手機(jī)和披薩（訓(xùn)練期間未見過的類）。每個模型都已啟用實際邊界框裁剪，但使用的開箱即用掩碼頭部架構(gòu)不同。

使用四種不同的掩碼頭部架構(gòu)對未見類進(jìn)行掩碼預(yù)測（從左到右分別是：ResNet-4、ResNet-12、ResNet-20、Hourglass-20，其中數(shù)字是指神經(jīng)網(wǎng)絡(luò)的層數(shù)）盡管從未見過“停車計時器”、“披薩”或“手機(jī)”類中的掩碼，但最右的掩碼頭部架構(gòu)可以正確分割這些類。我們展示的掩碼頭部架構(gòu)在掩碼預(yù)測方面的性能從左到右依次遞增。此外，這種差異只有在未見類上進(jìn)行評估時才比較明顯，如果在已見類上進(jìn)行評估，所有四個架構(gòu)會表現(xiàn)出類似的性能

ResNet-4

https://arxiv.org/abs/1512.03385

ResNet-12

https://arxiv.org/abs/1512.03385

ResNet-20

https://arxiv.org/abs/1512.03385

Hourglass-20

https://arxiv.org/abs/1603.0693

特別需要注意的是，在全監(jiān)督環(huán)境中，掩碼頭部架構(gòu)之間在這些方面的差異并不明顯。順便說一下，這可能解釋了為什么先前的實例分割研究幾乎只使用淺層（即低層數(shù)）掩碼頭部，因為增加復(fù)雜性無法帶來任何優(yōu)勢。下面我們比較了三種不同的掩碼頭部架構(gòu)在已見與未見類上的掩碼 mAP。所有這三種模型在已見類的集合上展現(xiàn)了同樣優(yōu)越的性能，但應(yīng)用于未見類時，深沙漏型掩碼頭部脫穎而出。我們發(fā)現(xiàn)，在所嘗試的架構(gòu)中，沙漏型掩碼頭部效果是最好的，并且在使用 50 層以上的沙漏型掩碼頭部時獲得了最佳結(jié)果。

ResNet-4、Hourglass-10 和 Hourglass-52 掩碼頭部架構(gòu)在已見類和未見類上的性能。盡管在已見類上的性能幾乎沒有變化，但在未見類上的性能卻有很大差別

沙漏型

https://arxiv.org/abs/1603.06937

最后，我們證明這一發(fā)現(xiàn)具有普遍性，適用于各種主干（如 ResNet、SpineNet 和 Hourglass）和檢測器架構(gòu)，包括基于錨和無錨的檢測器，甚至在根本沒有檢測器的情況下也適用。

基于錨

https://arxiv.org/abs/1506.01497

無錨的檢測器

https://arxiv.org/abs/1904.07850

總結(jié)

為了得出最完善的結(jié)果，我們整合了上述發(fā)現(xiàn)：我們在高分辨率圖像 （1280x1280） 上利用 SpineNet 主干訓(xùn)練了一個啟用實際邊界框裁剪且?guī)в猩?Hourglass-52 掩碼頭部的 Mask R-CNN 模型。我們稱此模型為 Deep-MARC （Deep Mask heads Above R-CNN）。在不使用任何離線訓(xùn)練或其他手動先驗因素的情況下，Deep-MARC 超過了之前最先進(jìn)的模型，掩碼 mAP 提高了 4.5%（絕對值）以上。為證明這種方法的普遍性，我們還訓(xùn)練了基于 CenterNet（而非基于 Mask R-CNN）的模型（稱為 Deep-MAC），該模型同樣展現(xiàn)出強(qiáng)大的性能，也超越了之前最先進(jìn)的水平。

結(jié)論

我們開發(fā)的實例分割模型能夠泛化到不屬于訓(xùn)練集的類。這其中要強(qiáng)調(diào)兩個關(guān)鍵因素的作用，這兩個因素可以應(yīng)用于任何裁剪-分割模型（如 Mask R-CNN）：（1） 訓(xùn)練過程中的實際邊界框裁剪， （2） 強(qiáng)大的掩碼頭部架構(gòu)。雖然這兩個因素對訓(xùn)練期間有掩碼的類影響不大，但在訓(xùn)練期間沒有掩碼的新類別上，采用這兩個因素會帶來明顯的改善。此外，這兩個因素足以在部分監(jiān)督的 COCO 基準(zhǔn)上實現(xiàn)最先進(jìn)的性能。最后，我們的研究結(jié)果具有普遍性，也可能對相關(guān)的任務(wù)產(chǎn)生影響，如全景分割和姿勢預(yù)測。

責(zé)任編輯：haq