一種自監(jiān)督同變注意力機(jī)制，利用自監(jiān)督方法來(lái)彌補(bǔ)監(jiān)督信號(hào)差異

編者按：近日，計(jì)算機(jī)視覺(jué)頂會(huì) CVPR 2020 接收論文結(jié)果揭曉，從 6656 篇有效投稿中錄取了 1470 篇論文，錄取率約為 22%。中科院VIPL實(shí)驗(yàn)室共七篇論文錄取，內(nèi)容涉及弱監(jiān)督語(yǔ)義分割、活體檢測(cè)、手勢(shì)識(shí)別、視覺(jué)問(wèn)答、行人搜索、無(wú)監(jiān)督領(lǐng)域自適應(yīng)方法等方面，本文將予以詳細(xì)介紹。

01

1. Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation (Yude Wang, Jie Zhang, Meina Kan, Shiguang Shan, Xilin Chen)

基于類別標(biāo)簽的弱監(jiān)督語(yǔ)義分割作為一個(gè)具有挑戰(zhàn)性的問(wèn)題在近年來(lái)得到了深入的研究，而類別響應(yīng)圖（class activation map，簡(jiǎn)稱CAM）始終是這一領(lǐng)域的基礎(chǔ)方法。但是由于強(qiáng)監(jiān)督與弱監(jiān)督信號(hào)之間存在差異，由類別標(biāo)簽生成的CAM無(wú)法很好地貼合物體邊界。

本文提出了一種自監(jiān)督同變注意力機(jī)制（self-supervised equivariant attention mechanism，簡(jiǎn)稱SEAM），利用自監(jiān)督方法來(lái)彌補(bǔ)監(jiān)督信號(hào)差異。在強(qiáng)監(jiān)督語(yǔ)義分割的數(shù)據(jù)增廣階段，像素層級(jí)標(biāo)注和輸入圖像需經(jīng)過(guò)相同的仿射變換，自此這種同變性約束被隱式地包含，而這種約束在只有類別標(biāo)簽的CAM的訓(xùn)練過(guò)程中是缺失的。因此，我們利用經(jīng)過(guò)不同仿射變換的圖片得到的類別響應(yīng)圖本應(yīng)滿足的同變性來(lái)為網(wǎng)絡(luò)訓(xùn)練提供自監(jiān)督信號(hào)。除此之外，我們提出像素相關(guān)模塊（pixel correlation module，簡(jiǎn)稱PCM），通過(guò)發(fā)掘圖像表觀信息，利用相似像素的特征來(lái)修正當(dāng)前像素的預(yù)測(cè)結(jié)果，從而增強(qiáng)CAM預(yù)測(cè)結(jié)果的一致性。我們的方法在PASCAL VOC 2012數(shù)據(jù)集上進(jìn)行了充分的實(shí)驗(yàn)，驗(yàn)證了算法的有效性，并取得當(dāng)前最好性能。

02

2. Single-Side Domain Generalization for Face Anti-Spoofing (Yunpei Jia, Jie Zhang, Shiguang Shan, Xilin Chen)

由于不同數(shù)據(jù)集之間存在差異，很多活體檢測(cè)方法進(jìn)行跨數(shù)據(jù)集測(cè)試時(shí)性能下降明顯?，F(xiàn)有的一些方法借用領(lǐng)域泛化的思想，利用多個(gè)已有的源域數(shù)據(jù)去訓(xùn)練模型，以得到一個(gè)領(lǐng)域不變的特征空間，從而在未知的目標(biāo)域中進(jìn)行測(cè)試時(shí)能利用學(xué)習(xí)到的通用判別特征，去提升模型的泛化性能。但是，由于不同數(shù)據(jù)集之間，攻擊樣本相對(duì)于正常樣本存在更大的差異（比如說(shuō)攻擊方式的不同，攻擊樣本之間采集的環(huán)境差異），努力讓這些攻擊樣本去學(xué)習(xí)一個(gè)領(lǐng)域不變的特征空間是比較困難的，通常會(huì)得到一個(gè)次優(yōu)解，如下圖左邊所示。因此，針對(duì)這一個(gè)問(wèn)題，我們提出來(lái)一個(gè)端到端的單邊領(lǐng)域泛化框架，以進(jìn)一步提升模型的性能。

其中主要思想在于，對(duì)于不同數(shù)據(jù)集中的正常樣本，我們?nèi)W(xué)習(xí)一個(gè)領(lǐng)域不變的特征空間；但是對(duì)于不同數(shù)據(jù)集中的攻擊樣本，我們?nèi)W(xué)習(xí)一個(gè)具有分辨性的特征空間，使相同數(shù)據(jù)集中的攻擊樣本盡可能接近，而不同數(shù)據(jù)集中的攻擊樣本盡可能遠(yuǎn)離。最終效果會(huì)使攻擊樣本在特征空間中張成更大的區(qū)域，而正常樣本僅僅處在一個(gè)緊湊的區(qū)域中，從而能夠?qū)W習(xí)到一個(gè)對(duì)于正常樣本包圍更緊致的分類器，以達(dá)到在未知的目標(biāo)域上更好的性能，如下圖右邊所示。

具體來(lái)說(shuō)，我們引用一個(gè)域判別器，利用一種單邊的對(duì)抗學(xué)習(xí)，讓特征提取器僅僅對(duì)于正常樣本提取更具有泛化性能的特征。并且，我們提出一個(gè)不均衡的三元組損失函數(shù)，讓不同數(shù)據(jù)集之間的正常樣本盡可能接近而攻擊樣本盡可能遠(yuǎn)離，以使得攻擊樣本在特征空間中張成一個(gè)更大的范圍。同時(shí)，我們還引入了特征和參數(shù)歸一化的思想，進(jìn)一步地提升模型的性能。大量實(shí)驗(yàn)表明，我們提出的方法是有效的，并且在四個(gè)公開(kāi)數(shù)據(jù)庫(kù)上均達(dá)到了最優(yōu)的性能。

03

3. Cross-domain Face Presentation Attack Detection via Multi-domain Disentangled Representation Learning (Guoqing Wang, Hu Han, Shiguang Shan, Xilin Chen)

目前，人臉呈現(xiàn)攻擊檢測(cè)(Presentation Attack Detection, 簡(jiǎn)稱PAD)成為人臉識(shí)別系統(tǒng)中一個(gè)亟待解決的問(wèn)題。傳統(tǒng)的方法通常認(rèn)為測(cè)試集和訓(xùn)練集來(lái)自于同一個(gè)域，結(jié)果表明這些方法并不能很好的推廣到未知場(chǎng)景中，因?yàn)閷W(xué)到的特征表示可能會(huì)對(duì)訓(xùn)練集中的身份、光照等信息產(chǎn)生過(guò)擬合。

為此，本文針對(duì)跨域人臉呈現(xiàn)攻擊檢測(cè)提出一種高效的特征解耦方法。我們的方法包含特征解耦模塊(DR-Net)和多域?qū)W習(xí)模塊(MD-Net)。DR-Net通過(guò)生成模型學(xué)習(xí)了一對(duì)特征編碼器，可以解耦得到PAD相關(guān)的特征和身份信息相關(guān)的特征。MD-Net利用來(lái)自于不同域中解耦得到的特征進(jìn)一步學(xué)習(xí)和解耦，得到與域無(wú)關(guān)的解耦特征。在當(dāng)前公開(kāi)的幾個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)驗(yàn)證了所提方法的有效性。

04

4. An Efficient PointLSTM Network for Point Clouds based Gesture Recognition (Yuecong Min, Yanxiao Zhang, Xiujuan Chai, Xilin Chen)

現(xiàn)有的手勢(shì)識(shí)別方法往往采用視頻或骨架點(diǎn)序列作為輸入，但手部在整張圖片中所占比例較小，基于視頻的方法往往受限于計(jì)算量并且更容易過(guò)擬合，而基于骨架點(diǎn)的方法依賴于獲取的手部骨架點(diǎn)的精度。

本文提出了一個(gè)基于點(diǎn)云序列的長(zhǎng)短期記憶模塊 (PointLSTM)，可以直接從手部點(diǎn)云序列中捕獲手型特征和手部運(yùn)動(dòng)軌跡。該模塊為點(diǎn)云序列中的每一個(gè)點(diǎn)保留了獨(dú)立的狀態(tài)，在更新當(dāng)前點(diǎn)的狀態(tài)時(shí)，通過(guò)一個(gè)權(quán)值共享的LSTM融合時(shí)空相鄰點(diǎn)的狀態(tài)和當(dāng)前點(diǎn)的特征，可以在保留點(diǎn)云空間結(jié)構(gòu)的同時(shí)提取長(zhǎng)時(shí)序的空間和時(shí)序信息。此外，本文還提出了一個(gè)幀內(nèi)狀態(tài)共享的模塊（PointLSTM-PSS）用于簡(jiǎn)化計(jì)算量和分析性能提升來(lái)源。我們?cè)趦蓚€(gè)手勢(shì)識(shí)別數(shù)據(jù)集 (NVGesture和SHREC’17) 和一個(gè)動(dòng)作識(shí)別數(shù)據(jù)集 (MSR Action3D) 上驗(yàn)證了方法的有效性和泛化能力，提出的模型在4096個(gè)點(diǎn)（32幀，每幀采樣128點(diǎn)）的規(guī)模下，優(yōu)于目前最好的基于手部骨架點(diǎn)序列的手勢(shì)識(shí)別方法和基于點(diǎn)云序列的動(dòng)作識(shí)別方法。

05

5. Multi-Modal Graph Neural Network for Joint Reasoning on Vision and Scene Text (Difei Gao, Ke li, Ruiping Wang, Shiguang Shan, Xilin Chen)

場(chǎng)景圖像中的文字通常會(huì)包含豐富的信息，比如，飯店的名字，產(chǎn)品的信息，等等。能夠理解這些場(chǎng)景文字，并回答與此相關(guān)的自然語(yǔ)言問(wèn)題（即，場(chǎng)景文字問(wèn)答任務(wù)，Text VQA）的智能體也將會(huì)有非常廣泛的應(yīng)用前景。然而，對(duì)于當(dāng)前的模型，場(chǎng)景文字問(wèn)答任務(wù)仍十分具有挑戰(zhàn)。其關(guān)鍵的難點(diǎn)之一就是真實(shí)場(chǎng)景當(dāng)中會(huì)出現(xiàn)大量的不常見(jiàn)的，多義的或有歧義的單詞，比如，產(chǎn)品的標(biāo)簽，球隊(duì)的名稱等等。要想讓模型理解這些單詞的含義，僅僅訴諸于詞表有限的預(yù)訓(xùn)練單詞嵌入表示（word embedding）是遠(yuǎn)遠(yuǎn)不夠的。一個(gè)理想的模型應(yīng)該能夠根據(jù)場(chǎng)景中周圍豐富的多模態(tài)的信息推測(cè)出這些單詞的信息，比如，瓶子上顯著的單詞很有可能就是它的牌子。

根據(jù)這樣的思路，我們提出了一種新的視覺(jué)問(wèn)答模型，多模態(tài)圖神經(jīng)網(wǎng)絡(luò)（Multi-Modal Graph Neural Network，MM-GNN），它可以捕獲圖片當(dāng)中各種模態(tài)的信息來(lái)推理出未知單詞的含義。具體來(lái)說(shuō)，如下圖所示，我們的模型首先用三個(gè)不同模態(tài)的子圖來(lái)分別表示圖像中物體的視覺(jué)信息，文本的語(yǔ)言信息，以及數(shù)字型文本的數(shù)值信息。然后，我們引入三種圖網(wǎng)絡(luò)聚合器（aggregator），它們引導(dǎo)不同模態(tài)的消息從一個(gè)圖傳遞到另一個(gè)圖中，從而利用各個(gè)模態(tài)的上下文信息完善多模態(tài)圖中各個(gè)節(jié)點(diǎn)的特征表示。這些更新后的節(jié)點(diǎn)特征進(jìn)而幫助后續(xù)的問(wèn)答模塊。我們?cè)诮谔岢龅腡ext VQA和Scene Text VQA問(wèn)答數(shù)據(jù)庫(kù)上進(jìn)行了實(shí)驗(yàn)，取得了state-of-the-art的性能，并驗(yàn)證了方法的有效性。

06

6. TCTS: A Task-Consistent Two-stage Framework for Person Search (Cheng Wang,Bingpeng Ma,Hong Chang, Shiguang Shan, Xilin Chen)

當(dāng)前最先進(jìn)的行人搜索方法將行人搜索分為檢測(cè)和再識(shí)別兩個(gè)階段，但他們大多忽略了這兩個(gè)階段之間的一致性問(wèn)題。一般的行人檢測(cè)器對(duì) query 目標(biāo)沒(méi)有特別的關(guān)注；再識(shí)別模型是在手工標(biāo)注的裁剪框上訓(xùn)練的，在實(shí)際情況中是沒(méi)有這樣完美的檢測(cè)結(jié)果的。

為了解決一致性問(wèn)題，我們引入了一個(gè)目標(biāo)一致的兩階段的行人搜索框架 TCTS，包括一個(gè) identity-guided query（IDGQ）檢測(cè)器和一個(gè)檢測(cè)結(jié)果自適應(yīng)（Detection Results Adapted ，DRA）的再識(shí)別模型。在檢測(cè)階段，IDGQ 檢測(cè)器學(xué)習(xí)一個(gè)輔助的身份分支來(lái)計(jì)算建議框和查詢圖片的相似度得分。同時(shí)考慮查詢相似度得分和前景得分，IDGQ為行人再識(shí)別階段生成 query-like 的邊界框。在再識(shí)別階段，我們預(yù)測(cè)檢測(cè)輸出的 bounding boxes 對(duì)應(yīng)的身份標(biāo)簽，并用使用這些樣本為 DRA 模型構(gòu)造一個(gè)更實(shí)用的混合訓(xùn)練集。混合訓(xùn)練提高了 DRA 模型對(duì)檢測(cè)不精確的魯棒性。我們?cè)贑UHK-SYSU和PRW這兩個(gè)基準(zhǔn)數(shù)據(jù)集上評(píng)估了我們的方法。我們的框架在CUHK-SYSU上達(dá)到了93.9%的mAP和95.1%的rank1精度，超越以往最先進(jìn)的方法。

07

7. Unsupervised Domain Adaptation with Hierarchical Gradient Synchronization (Lanqing Hu,Meina Kan, Shiguang Shan, Xilin Chen)

無(wú)監(jiān)督領(lǐng)域自適應(yīng)方法的任務(wù)是，將已標(biāo)注的源域數(shù)據(jù)集上的知識(shí)遷移到無(wú)標(biāo)注的目標(biāo)域，從而減小對(duì)新目標(biāo)域的標(biāo)注代價(jià)。而源域和目標(biāo)域之間的差異是這個(gè)問(wèn)題的難點(diǎn)，大多方法通過(guò)對(duì)齊兩個(gè)域的特征的分布來(lái)減小域之間的差異，但是仍然很難做到兩個(gè)不同分布的每一個(gè)局部塊都完美對(duì)齊，從而保證判別信息的很好保留。

本文提出一種層級(jí)梯度同步的方法，首先在域、類別、類組三個(gè)級(jí)別通過(guò)對(duì)抗學(xué)習(xí)進(jìn)行條件分布的對(duì)齊，然后通過(guò)約束不同級(jí)別的域判別器的梯度保證相同的方向和幅度，由此提高分布對(duì)齊的內(nèi)在一致性，加強(qiáng)類別結(jié)構(gòu)的保留，從而得到更準(zhǔn)確的分類結(jié)果。該方法在當(dāng)前主流測(cè)試集Office-31，Office-Home，VisDA-2017上的結(jié)果都驗(yàn)證了其有效性。