中國團隊包攬CVPR 2021弱光人臉檢測挑戰(zhàn)賽前三名！高分論文已公開播

來源：CVPR 2021 UG2+ 編輯：好困

【新智元導(dǎo)讀】中國團隊包攬CVPR 2021 UG2+挑戰(zhàn)賽弱光人臉檢測賽道前三，其中TAL-ai更是以74.89的高分奪得第一。

CVPR作為是全球計算機視覺頂會之一，近年來的論文接收率不超過25%。今年，會議收到了21000名作者的7000篇投稿，經(jīng)過7400名審稿人和280名區(qū)域主席的審查，最終有1600篇論文被接收，接收率約0.24。

而在CVPR 2021 UG2+挑戰(zhàn)賽——弱光條件下（半）監(jiān)督人臉檢測賽道中，國內(nèi)的「TAL-ai」團隊以mAP 74.89的高分奪得第一，領(lǐng)先第二名3%。

在弱光條件下，人臉的視覺特征與正常環(huán)境中有很大的差異，也就使現(xiàn)有人臉檢測算法無法有效工作。

TAL-ai在論文中提出了新的解決方法，研究人員除了在增強圖像亮度時結(jié)合了兩種方法，同時還對正常的圖像進行處理來擴展訓(xùn)練集，并將數(shù)個檢測器組合起來增強對人臉的檢測。

https://arxiv.org/pdf/2107.00818.pdf

弱光條件的人臉檢測

賽事提供的「DARKFACE」數(shù)據(jù)集將會被用作作為訓(xùn)練和驗證，其中含有6000個低亮度圖像，并具有相應(yīng)的面部注釋。最終的測試集則由4000個圖像組成。

低亮度圖像增強

為了增強圖像的亮度，論文使用MSRCR方法，同時實現(xiàn)了動態(tài)范圍壓縮、顏色一致性以及亮度再現(xiàn)。

此外，還使用了另一種數(shù)據(jù)驅(qū)動亮度增強方法ZeroDCE，將亮度增強任務(wù)與深度網(wǎng)絡(luò)的圖像標(biāo)準(zhǔn)曲線進行估計。

從增強的低光圖像中提取顯著圖Rsaliency，并將其與Rmsrcr融合，從而抑制錯誤的結(jié)果，融合結(jié)果R saliency_enhanced：

正常圖像的域遷移

論文將WIDERFACE和UFDD預(yù)訓(xùn)練集與經(jīng)過預(yù)處理的DARKFACE相結(jié)合，從而構(gòu)建更具魯棒性的檢測器。

考慮到預(yù)處理的DARKFACE樣本與正常圖像之間的領(lǐng)域差距，論文將WIDERFACE和UFDD遷移到與已處理的DARKFACE數(shù)據(jù)集更相鄰的域。

傳統(tǒng)的方法是降低正常圖像的亮度，添加噪音，然后用MSRCR處理。

HLAFace方法則是使用Pix2Pix網(wǎng)絡(luò)來合成噪聲，從而獲得由低亮度增強圖像和經(jīng)過域遷移的正常圖像組成的訓(xùn)練樣本。

檢測與結(jié)果

論文構(gòu)建的弱光人臉檢測框架由兩部分組成：級聯(lián)R-CNN和檢測器。并使用Cascade R-CNN作為De-Scribe細(xì)節(jié)的示例。

訓(xùn)練架構(gòu)

測試架構(gòu)

數(shù)據(jù)集拆分

論文將DARKFACE數(shù)據(jù)集按照每張圖片中人臉的數(shù)量分成幾組，然后隨機選擇每組中10%的樣本作為驗證部分，其余90%的數(shù)據(jù)作為訓(xùn)練部分。

訓(xùn)練策略

論文進行了多尺度訓(xùn)練，調(diào)整樣本范圍從[2160,1440]到[4320,2880]，并對其應(yīng)用大小為[1000,800]的隨機裁剪。并且使用圖像增強工具來在線處理訓(xùn)練樣本，包括隨機亮度，顏色抖動等。

此外，還要使用AdamW優(yōu)化器，初始學(xué)習(xí)率為0.0001，在27和33個epoch中進行線性衰減，共36個epoch，權(quán)重衰減為0.05。

模型重構(gòu)

特征表示一直是物體檢測任務(wù)的關(guān)鍵點，而骨干網(wǎng)絡(luò)對特征表示的能力有非常重要的影響。

因此，論文采用Swin-Transformer和ResNet兩個架構(gòu)。此外，還采用了PAFPN來代替級聯(lián)R-CNN中的FPN。

在分析了DARKFACE數(shù)據(jù)集的人臉大小分布后，研究人員注意到小尺寸的人臉占主導(dǎo)地位。因此，論文設(shè)置了更多的小錨點來捕捉更多小的人臉。

論文在主干中加入了注意力模塊GCnet，從而獲得更強大的表征，同時RoI-align模塊也被用來預(yù)測更精確的邊界框。

人臉大小的分布

模型組合

最后，論文用Swin-large、Swin-base、ResNet50等不同的骨架訓(xùn)練Cascade R-CNN和DetectorRS，以獲得更好的檢測器多樣性結(jié)果。

論文使用加權(quán)邊界框融合(WBF)和測試時數(shù)據(jù)增強(TTA)方法將檢測器的預(yù)測組合，并在模型組合過程中使用了Soft-NMS。

驗證結(jié)果

總結(jié)

論文在增強圖像亮度時結(jié)合了兩種不同的方法，同時，研究人員對正常圖像進行處理，從而獲得增強亮度的弱光圖像以及經(jīng)過域遷移的正常圖像相結(jié)合的訓(xùn)練樣本。最后，論文結(jié)合了數(shù)個檢測器來定位人臉的邊界框。

參考資料：

https://cvpr2021.ug2challenge.org/leaderboard21_t1.html

https://arxiv.org/pdf/2107.00818.pdf

—完—

歡迎點贊~ 關(guān)注 新智元 及時了解人工智能新動態(tài)~

審核編輯 黃宇