一種新的帶有不確定性的邊界框回歸損失，可用于學(xué)習(xí)更準(zhǔn)確的目標(biāo)定位

全球計算機(jī)視覺三大頂級會議之一 CVPR 2019 將于當(dāng)?shù)貢r間 6 月 16-20 日在美國洛杉磯舉辦。屆時，曠視首席科學(xué)家、研究院院長孫劍博士將帶領(lǐng)團(tuán)隊遠(yuǎn)赴盛會，助力計算機(jī)視覺技術(shù)的交流與落地。在此之前，曠視每周都會介紹一篇被 CVPR 2019 接收的論文，本文是第 6篇，提出了一種新的帶有不確定性的邊界框回歸損失，可用于學(xué)習(xí)更準(zhǔn)確的目標(biāo)定位。

論文名稱：Bounding Box Regression with Uncertainty for Accurate Object Detection

論文鏈接：https://arxiv.org/abs/1809.08545

導(dǎo)語

簡介

方法

邊界框參數(shù)化

使用KL損失的邊界框回歸

方差投票

實驗

消融實驗

準(zhǔn)確的目標(biāo)檢測

在PASCAL VOC 2007上的實驗

結(jié)論

參考文獻(xiàn)

往期解讀

導(dǎo)語

大規(guī)模目標(biāo)檢測數(shù)據(jù)集會盡可能清晰地定義基本 ground truth 邊界框。但是，可以觀察到在標(biāo)記邊界框時仍會存在模糊不清的現(xiàn)象。曠視研究院在本文中提出了一種全新的邊界框回歸損失，可用于同時學(xué)習(xí)邊界框變換和定位方差。這種新?lián)p失能極大地提升多種架構(gòu)的定位準(zhǔn)確度，而且?guī)缀醪粫蓄~外的計算成本。所學(xué)習(xí)到的定位方差也能幫助在非極大值抑制（NMS）期間融合相鄰的邊界框，進(jìn)一步提升定位的效果。實驗結(jié)果表明這種新方法比之前最佳的邊界框優(yōu)化方法更優(yōu)。曠視研究院已公開相關(guān)代碼和模型：github.com/yihui-he/KL-Loss

簡介

ImageNet、MS-COCO 和 CrowdHuman 等大規(guī)模目標(biāo)檢測數(shù)據(jù)集都會盡可能清晰地定義基本 ground truth 邊界框。

但是，可以觀察到一些案例中的基本 ground truth 邊界框原本就是模糊的，這會讓邊界框回歸函數(shù)的學(xué)習(xí)更加困難。圖 1 (a)(c) 是 MS-COCO 中兩個邊界框標(biāo)記不準(zhǔn)確的示例。當(dāng)存在遮擋時，邊界框的范圍會更不清晰，比如來自 YouTube-BoundingBoxes 的圖 1(d)。

圖 1：邊界框標(biāo)注模糊的示例。(a,c) 是標(biāo)注不準(zhǔn)確，(b) 是存在遮擋，(d) 則是因為遮擋導(dǎo)致目標(biāo)邊界框本身并不清晰

目標(biāo)檢測是一種多任務(wù)學(xué)習(xí)問題，包含目標(biāo)定位和目標(biāo)分類。當(dāng)前最佳的目標(biāo)檢測器（比如 Faster RCNN、Cascade R-CNN 和 Mask R-CNN）都依靠邊界框回歸來定位目標(biāo)。

但是，傳統(tǒng)的邊界框回歸損失（即平滑 L1 損失）沒有考慮到基本 ground truth 邊界框的模糊性。此外，人們通常假設(shè)當(dāng)分類分?jǐn)?shù)較高時，邊界框回歸是準(zhǔn)確的，但事實并非總是如此，如圖 2 所示。

圖 2：VGG-16 Faster RCNN 在 MS-COCO 上的失敗案例。(a) 兩個邊界框都不準(zhǔn)確；(b)有較高分類分?jǐn)?shù)的邊界框的左邊界是不準(zhǔn)確的。

針對這些問題，本文提出了一種全新的邊界框回歸損失——KL 損失，用于同時學(xué)習(xí)邊界框回歸和定位的不確定性。具體來說，為了獲取邊界框預(yù)測的不確定性，研究員首先將邊界框預(yù)測和基本 ground truth 邊界框分別建模為高斯分布（Gaussian distribution）和狄拉克 δ 函數(shù)（Dirac delta function）。而新提出的邊界框回歸損失則被定義為預(yù)測分布和基本 ground truth 分布之間的 KL 距離。

使用 KL 損失進(jìn)行學(xué)習(xí)有三大優(yōu)勢：

可以成功獲取數(shù)據(jù)集中的模糊性。讓邊界框回歸器在模糊邊界框上得到的損失更小。

所學(xué)習(xí)到的方差可用于后處理階段。研究者提出了方差投票（variance voting）方法，可在非極大值抑制（NMS）期間使用由預(yù)測的方差加權(quán)的臨近位置來投票得到邊界框的位置。

所學(xué)習(xí)到的概率分布是可解釋的。因為其反映了邊界框預(yù)測的不確定性，所以可能有助于自動駕駛和機(jī)器人等下游應(yīng)用。

方法

下面將具體介紹這種新的損失函數(shù)和方差投票方法。

邊界框參數(shù)化

在介紹新方法之前，先看看邊界框參數(shù)化。本文提出基于 Faster R-CNN 或 Mask R-CNN 等兩級式目標(biāo)檢測器（如圖 3）分別回歸邊界框的邊界。研究者將邊界框表示成了一個四維向量，其中每一維都是框邊界的位置。本文采用的參數(shù)化方案是 (x1, y1, x2, y2) 坐標(biāo)（對角線），而非 R-CNN 使用的那種 (x, y, w, h) 坐標(biāo)。

圖 3：本文提出的用于估計定位置信度的網(wǎng)絡(luò)架構(gòu)。不同于兩級式檢測網(wǎng)絡(luò)的標(biāo)準(zhǔn) Fast R-CNN head，這個架構(gòu)是估計邊界框位置以及標(biāo)準(zhǔn)差，這會在新提出的 KL 損失得到考慮。

該網(wǎng)絡(luò)的目標(biāo)是在估計位置的同時估計定位置信度。形式上講，該網(wǎng)絡(luò)預(yù)測的是一個概率分布，而不只是邊界框位置。盡管該分布可能更復(fù)雜，可能是多變量高斯分布或高斯混合分布，但該論文為了簡單起見假設(shè)坐標(biāo)是相互獨立的且使用了單變量高斯分布。

另外，基本 ground truth 邊界框也被形式化了一個高斯分布——狄拉克 δ 函數(shù)。

使用 KL 損失的邊界框回歸

在這里，目標(biāo)定位的目標(biāo)是在樣本上最小化預(yù)測分布和基本 ground truth 分布之間的 KL 距離。這個 KL 距離即為邊界框回歸的損失函數(shù) L_reg。而分類損失則保持不變。

其中，x_g 為基本 ground truth 邊界框位置，x_e 為估計的邊界框位置，D_KL 是 KL 距離，σ 是標(biāo)準(zhǔn)差，P_D 是基本 ground truth 狄拉克 δ 函數(shù)，P_Θ 是預(yù)測的高斯分布，Θ 是一組可學(xué)習(xí)的參數(shù)。

如圖 4 所示，當(dāng) x_e 不準(zhǔn)確時，網(wǎng)絡(luò)會預(yù)測得到更大的方差 σ2，使 L_reg 更低。

圖 4：藍(lán)色和灰色的高斯分布是估計結(jié)果。橙色表示狄拉克 δ 函數(shù)，是基本 ground truth 邊界框的分布。

方差投票

在獲得預(yù)測位置的方差后，可根據(jù)所學(xué)習(xí)到的鄰近邊界框的方差直觀地投票選擇候選邊界框位置。

如算法 1 所示，其代碼基于 NMS，但有三行不一樣。

本文是在標(biāo)準(zhǔn) NMS 或 soft-NMS 的過程中投票所選框的位置。在選擇了有最大分?jǐn)?shù)的檢測結(jié)果后，再根據(jù)它及其鄰近邊界框計算它本身的新位置。本文受 soft-NMS 的啟發(fā)為更近的以及有更低不確定性的邊界框分配了更高的權(quán)重。

在投票期間權(quán)重更低的鄰近邊界框包含兩類：（1）高方差的邊界框；（2）與所選邊界框的 IoU 較小的邊界框。投票不涉及分類分?jǐn)?shù)，因為更低分?jǐn)?shù)的框可能有更高的定位置信度。圖 5 給出了方差投票的圖示。使用方差投票可以避免圖 2 中提到的那兩類檢測問題。

圖 5：VGG-16 Faster R-CNN 在 MS-COCO 上的方差投票結(jié)果。每個邊界框中的綠色文本框?qū)?yīng)于預(yù)測的標(biāo)準(zhǔn)差 σ。

實驗

曠視研究員基于 MS-COCO 和 PASCAL VOC 2007 數(shù)據(jù)集進(jìn)行了實驗。實驗配置細(xì)節(jié)如下：

使用了 4 個 GPU

訓(xùn)練流程和批大小根據(jù)線性縮放規(guī)則進(jìn)行調(diào)整

VGG-CNN-M-1024 和 VGG-16 的實現(xiàn)基于 Caffe；ResNet-50 FPN 和 Mask R-CNN 的實現(xiàn)基于 Detectron

VGG-16 Faster R-CNN 遵照 py-faster-rcnn（github.com/rbgirshick/py-faster-rcnn），在 train2014 上訓(xùn)練，在 val2014 上測試；其它目標(biāo)檢測網(wǎng)絡(luò)的訓(xùn)練和測試分別在 train2017 和 val2017 上完成

σ_t 設(shè)為 0.02

除非另有說明，否則所有超參數(shù)都是默認(rèn)設(shè)置（github.com/facebookresearch/Detectron）

研究者基于 VGG-16 Faster R-CNN 評估了每個模塊對整體結(jié)果的貢獻(xiàn)，包括 KL 損失、soft-NMS 和方差投票。表 1 給出了詳細(xì)結(jié)果。可以看到，每新增一項改進(jìn)，都能實現(xiàn)結(jié)果的進(jìn)一步提升。

表 1：使用 VGG-16 Faster R-CNN 在 MS-COCO 數(shù)據(jù)集上檢驗每個模塊的貢獻(xiàn)

準(zhǔn)確的目標(biāo)檢測

表 4 總結(jié)了在 ResNet-50-FPN Mask R-CNN 上不同方法對準(zhǔn)確目標(biāo)檢測的效果。使用 KL 損失，網(wǎng)絡(luò)可以在訓(xùn)練階段學(xué)習(xí)調(diào)節(jié)模糊邊界框的梯度。

表 4：在 MS-COCO 上，不同方法對準(zhǔn)確目標(biāo)檢測的效果

曠視研究員還在特征金字塔網(wǎng)絡(luò)（ResNet-50 FPN）上進(jìn)行了評估，如表 6 所示。

表 6：FPN ResNet-50 在 MS-COCO 上的表現(xiàn)對比

在PASCAL VOC 2007上的實驗

盡管本文是針對大規(guī)模目標(biāo)檢測提出了這一方法，但也可將該方法用于更小型的數(shù)據(jù)集。研究者使用 Faster R-CNN 在 PASCAL VOC 2007 上進(jìn)行了實驗，該數(shù)據(jù)集包含約 5000 張 voc_2007_trainval 圖像和 5000 張 voc_2007_test 測試圖像，涉及 20 個目標(biāo)類別。所測試的骨干網(wǎng)絡(luò)為 VGG-CNN-M-1024 和 VGG-16。

結(jié)果見表 5，研究員也額外比較了 soft-NMS 和二次無約束二元優(yōu)化（QUBO）。QUBO 的結(jié)果包含 greedy 求解器和經(jīng)典的 tabu 求解器（二者的懲罰項都經(jīng)過了人工調(diào)整，以得到更好的性能）?？梢钥吹?，QUBO 比標(biāo)準(zhǔn) NMS 要差得多，盡管有研究認(rèn)為其在行人檢測上效果更好。研究者猜測 QUBO 更擅長檢測行人的原因是此時邊界框遮擋的情況更多。

表 5：不同方法在 PASCAL VOC 2007 上的結(jié)果

結(jié)論

大規(guī)模目標(biāo)檢測數(shù)據(jù)集中的不確定性可能有礙當(dāng)前最佳目標(biāo)檢測器的表現(xiàn)。分類置信度并不總是與定位置信度強(qiáng)烈相關(guān)。這篇論文提出了一種全新的帶有不確定性的邊界框回歸損失，可用于學(xué)習(xí)更準(zhǔn)確的目標(biāo)定位。使用 KL 損失進(jìn)行訓(xùn)練，網(wǎng)絡(luò)可學(xué)習(xí)預(yù)測每個坐標(biāo)的定位方差。所得到的方差可實現(xiàn)方差投票，從而優(yōu)化所選擇的邊界框。實驗結(jié)果也表明了這些新方法的有效性。