你認(rèn)為Grid R-CNN會(huì)成為Faster R-CNN那樣的傳世經(jīng)典嗎？

Grid R-CNN是商湯科技最新發(fā)表于arXiv的一篇目標(biāo)檢測(cè)的論文，對(duì)Faster R-CNN架構(gòu)的目標(biāo)坐標(biāo)回歸部分進(jìn)行了替換，取得了更加精確的定位精度，是最近非常值得一讀的論文。

今天就跟大家一起來(lái)細(xì)品此文妙處。

一、作者信息

該文所有作者均來(lái)自商湯科技：

該文直取Grid（網(wǎng)格）修飾R-CNN，意即將目標(biāo)檢測(cè)中位置定位轉(zhuǎn)化為目標(biāo)區(qū)域網(wǎng)格點(diǎn)的定位。

二、算法思想

如下圖所示：

在目前的R-CNN目標(biāo)檢測(cè)算法中，目標(biāo)的2個(gè)點(diǎn)（比如左上和右下）就能表征其位置，將目標(biāo)的定位看為回歸問(wèn)題，即將ROI特征flatten成向量,后接幾個(gè)全連接層回歸目標(biāo)的坐標(biāo)偏移量和寬高。

作者認(rèn)為，這種處理方式?jīng)]能很好的利用特征的空間信息。

作者希望利用全卷積網(wǎng)絡(luò)的精確定位能力計(jì)算目標(biāo)位置，將2個(gè)目標(biāo)點(diǎn)的回歸問(wèn)題，轉(zhuǎn)化為目標(biāo)區(qū)域網(wǎng)格點(diǎn)（Grid Points）的定位問(wèn)題。目標(biāo)區(qū)域的網(wǎng)格點(diǎn)位置是全卷積網(wǎng)絡(luò)的監(jiān)督信息，因?yàn)槭侵苯訉⒛繕?biāo)區(qū)域等分，是可以直接計(jì)算的。網(wǎng)絡(luò)推斷時(shí)，計(jì)算heatmap的極值，即為求得的網(wǎng)格點(diǎn)（Grid Points）。

上圖展示了使用3*3網(wǎng)格點(diǎn)的情況。

三、算法流程

作者改造的是Faster R-CNN的目標(biāo)定位部分，其算法流程如下：

前半部分與Faster R-CNN相同，在得到目標(biāo)候選區(qū)域和ROI特征后，分類(lèi)部分進(jìn)行目標(biāo)分類(lèi)，而定位部分接全卷積網(wǎng)絡(luò)，其監(jiān)督信息來(lái)自根據(jù)目標(biāo)位置計(jì)算得到的網(wǎng)格監(jiān)督信息。

流程圖中作者特別標(biāo)出了特征融合模塊（feature fusion module），其意在使用網(wǎng)格中相鄰網(wǎng)格點(diǎn)的位置相關(guān)性，融合特征使得定位更加精確。

以下針對(duì)其中關(guān)鍵步驟進(jìn)行詳細(xì)說(shuō)明。

3.1 網(wǎng)格引導(dǎo)定位

將目標(biāo)區(qū)域劃為網(wǎng)格，目標(biāo)的定位即轉(zhuǎn)化為網(wǎng)格點(diǎn)的定位。

訓(xùn)練時(shí)，ROI特征（14*14大?。┩ㄟ^(guò)8個(gè)3*3空洞卷積，再通過(guò)兩個(gè)反卷積把尺寸擴(kuò)大（56*56），再通過(guò)一個(gè)卷積生成與網(wǎng)格點(diǎn)相關(guān)的 heatmaps（9 個(gè)點(diǎn)就是 9 張圖，后文實(shí)驗(yàn)也使用了4個(gè)點(diǎn)的情況）。監(jiān)督信息是每一個(gè)點(diǎn)所處位置的交叉十字形狀的5個(gè)點(diǎn)的位置。最后再接sigmoid函數(shù)，在heapmaps上得到概率圖。

推斷時(shí)，將heapmaps極值的位置映射回原圖，即得到了網(wǎng)格點(diǎn)的位置。

讀到這里，讀者可能會(huì)有一個(gè)疑問(wèn)，即計(jì)算得到的網(wǎng)格點(diǎn)組成的形狀是方方正正的，而Heapmaps極值得到的網(wǎng)格點(diǎn)未必組合在一起是方方正正的，不好確定目標(biāo)區(qū)域。

作者的方法是對(duì)原本應(yīng)該具有相同x或者y坐標(biāo)的網(wǎng)格點(diǎn)的坐標(biāo)進(jìn)行平均。

到此，即得到了目標(biāo)位置。

3.2 網(wǎng)格點(diǎn)特征融合

很顯然，網(wǎng)格點(diǎn)之間具有內(nèi)在的聯(lián)系，相鄰網(wǎng)格點(diǎn)之間可以相互校正位置提高定位精度。

為此，作者設(shè)計(jì)了網(wǎng)格點(diǎn)特征融合的機(jī)制。

首先，在計(jì)算網(wǎng)格點(diǎn)heapmaps時(shí)，每個(gè)網(wǎng)格點(diǎn)使用不同的濾波器組，防止它們之間共用特征以至相互影響。

然后在每個(gè)網(wǎng)格點(diǎn)的Heapmap出來(lái)后，將相鄰網(wǎng)格點(diǎn)的Heapmaps經(jīng)過(guò)卷積濾波與其相加，形成新的heapmap。

作者將距離特定網(wǎng)格點(diǎn)最近的相鄰網(wǎng)格點(diǎn)（1個(gè)單位網(wǎng)格長(zhǎng)度）組成的網(wǎng)格點(diǎn)集合的特征融合稱為一階特征融合，次近的相鄰網(wǎng)格點(diǎn)（2個(gè)單位網(wǎng)格長(zhǎng)度）組成的網(wǎng)格點(diǎn)集合的特征融合稱為二階特征融合。下圖中（a）（b）分別展示了此融合過(guò)程。

3.3 擴(kuò)展區(qū)域映射

這一步主要是為了應(yīng)對(duì)在實(shí)際使用中，RPN 給出的 proposal并不總是將完整物體包含在內(nèi)。如下圖：

圖中白色的實(shí)線框表示 RPN 給出的候選框，它沒(méi)有完全包含所有的網(wǎng)格點(diǎn)。

而作者指出，簡(jiǎn)單的擴(kuò)大候選框的大小，不會(huì)帶來(lái)提升，甚至降低對(duì)小物體檢測(cè)的精度（后面有實(shí)驗(yàn)驗(yàn)證）。

作者認(rèn)為heatmap的感受野其實(shí)是很大的，并不限于候選框內(nèi)，所以就干脆直接將heatmap對(duì)應(yīng)的區(qū)域看成候選框覆蓋的區(qū)域兩倍大（如圖中虛線圍起來(lái)的區(qū)域）。

這么做的好處是，只需簡(jiǎn)單修改網(wǎng)格引導(dǎo)定位中的位置映射公式。即

四、實(shí)驗(yàn)結(jié)果

作者首先研究了算法中網(wǎng)格點(diǎn)數(shù)對(duì)精度的影響。如下圖：

相比回歸的方法，Grid R-CNN精度更高，而且隨著點(diǎn)數(shù)增加精度也在提高。

比較AP0.5和AP0.75發(fā)現(xiàn)，精度提升主要來(lái)自高IoU閾值的情況。

其次，作者實(shí)驗(yàn)了網(wǎng)格點(diǎn)特征融合策略對(duì)性能的影響。如下圖：

可見(jiàn)該文提出的特征融合策略是有效的，而且二階特征融合更加有效。

然后，作者實(shí)驗(yàn)了擴(kuò)展區(qū)域映射對(duì)精度的影響。如下圖：

可見(jiàn)，直接擴(kuò)大候選框區(qū)域的方法傷害了精度，而本文提出的擴(kuò)展區(qū)域映射(extended region mapping)的方法則使精度有較大的提高（1.2個(gè)AP）。

作者又在主流的目標(biāo)檢測(cè)數(shù)據(jù)庫(kù)上與state-of-the-art進(jìn)行了比較。

下圖展示了在Pascal VOC數(shù)據(jù)集上，相比R-FCN、FPN，使用相同骨干網(wǎng)的情況下，精度取得了極大的提升！

在COCO minival數(shù)據(jù)集上的實(shí)驗(yàn)，同樣取得了較大幅度精度提升。

在COCO test-dev數(shù)據(jù)集上也實(shí)現(xiàn)了一騎絕塵！如下圖：

與Faster R-CNN相比，發(fā)現(xiàn)精度提升主要來(lái)自高IoU閾值的部分，如下圖所示。

所以作者猜測(cè)，Grid定位分支也許輕微影響了分類(lèi)的分支。

下圖是一些目標(biāo)的定位示例（請(qǐng)點(diǎn)擊大圖查看）：

作者最后列出了Grid R-CNN對(duì)各目標(biāo)類(lèi)別的精度增益，發(fā)現(xiàn)那些矩形和長(zhǎng)方形目標(biāo)（例如鍵盤(pán)，筆記本電腦，叉子，火車(chē)和冰箱）往往獲得更大的精度增益，而具有圓形性質(zhì)的物體（例如運(yùn)動(dòng)球，飛盤(pán)，碗，鐘和杯子）則性能下降或獲得較小的增益。

五、總結(jié)

該文反思了目標(biāo)檢測(cè)中的定位問(wèn)題，提出以覆蓋目標(biāo)的網(wǎng)格點(diǎn)作為監(jiān)督信息使用全卷積網(wǎng)絡(luò)定位網(wǎng)格點(diǎn)的方法，大幅提高了目標(biāo)定位精度。值得研究目標(biāo)檢測(cè)的朋友學(xué)習(xí)~

文中沒(méi)有提及推斷速度、代碼是否會(huì)開(kāi)源，希望有進(jìn)一步的消息出來(lái)。

目標(biāo)定位的方法還有什么可挖掘的嗎？

你認(rèn)為Grid R-CNN會(huì)成為Faster R-CNN那樣的傳世經(jīng)典嗎？