一種新的、更精細(xì)的對象表示方法 ——RepPoints ，比邊界框更好用的目標(biāo)檢測方法

來自北京大學(xué)、清華大學(xué)和微軟亞洲研究院的研究人員提出一種新的、更精細(xì)的對象表示方法RepPoints，拋棄了流行的邊界框表示，結(jié)果與最先進(jìn)的基于 anchor 的檢測方法同樣有效。

目標(biāo)檢測是計算機(jī)視覺中最基本的任務(wù)之一，也是許多視覺應(yīng)用的關(guān)鍵組成部分，包括實例分割、人體姿態(tài)分析、視覺推理等。

目標(biāo)檢測的目的是在圖像中定位目標(biāo)，并提供目標(biāo)的類別標(biāo)簽。

近年來，隨著深度神經(jīng)網(wǎng)絡(luò)的快速發(fā)展，目標(biāo)檢測問題也取得了長足的進(jìn)展。

當(dāng)前先進(jìn)的目標(biāo)檢測器很大程度上依賴于矩形邊界框來表示不同識別階段的對象，如 anchors、proposals 以及最終的預(yù)測。

邊界框使用方便，但它只提供目標(biāo)的粗略定位，導(dǎo)致對目標(biāo)特征的提取也相當(dāng)粗略。

近日，來自北京大學(xué)、清華大學(xué)和微軟亞洲研究院的楊澤、王立威、Shaohui Liu 等人在他們的最新論文中，提出了一種新的、更精細(xì)的對象表示方法 ——RepPoints (representative points)，這是一組對定位和識別都很有用的樣本點(diǎn) (sample points)。

論文地址：

https://arxiv.org/pdf/1904.11490.pdf

給定訓(xùn)練的 ground truth 定位和識別目標(biāo)，RepPoints 學(xué)會自動以限制目標(biāo)的空間范圍的方式來排列自己，并表示在語義上重要的局部區(qū)域。此外，RepPoints 不需要使用 anchor 來對邊界框的空間進(jìn)行采樣。

作者展示了一個基于 RepPoints 的、anchor-free 的目標(biāo)檢測器，不需要多尺度訓(xùn)練和測試就可以實現(xiàn)，而且與最先進(jìn)的基于 anchor 的檢測方法同樣有效，在 COCO test-dev 檢測基準(zhǔn)上達(dá)到了42.8 AP 和 65.0 AP??。

拋棄邊界框，更細(xì)粒度的目標(biāo)表示RepPoints

在目標(biāo)檢測過程中，邊界框是處理的基本元素。邊界框描述了目標(biāo)檢測器各階段的目標(biāo)位置。

雖然邊界框便于計算，但它們僅提供目標(biāo)的粗略定位，并不完全擬合對象的形狀和姿態(tài)。因此，從邊界框的規(guī)則單元格中提取的特征可能會受到包含少量語義信息的背景內(nèi)容或無信息的前景區(qū)域的嚴(yán)重影響。這可能導(dǎo)致特征質(zhì)量降低，從而降低了目標(biāo)檢測的分類性能。

本文提出一種新的表示方法，稱為 RepPoints，它提供了更細(xì)粒度的定位和更方便的分類。

如圖 1 所示，RepPoints 是一組點(diǎn)，學(xué)習(xí)自適應(yīng)地將自己置于目標(biāo)之上，其方式限定了目標(biāo)的空間范圍，并表示語義上重要的局部區(qū)域。

圖 1：RepPoints 是一種新的目標(biāo)檢測表示方法

RepPoints 的訓(xùn)練由目標(biāo)定位和識別目標(biāo)共同驅(qū)動，因此，RepPoints 與 ground-truth 的邊界框緊密相關(guān)，并引導(dǎo)檢測器正確地分類目標(biāo)。

這種自適應(yīng)、可微的表示可以在現(xiàn)代目標(biāo)檢測器的不同階段連貫地使用，并且不需要使用 anchors 來對邊界框空間進(jìn)行采樣。

RepPoints 不同于用于目標(biāo)檢測現(xiàn)有的非矩形表示，它們都是以自底向上的方式構(gòu)建的。這些自底向上的表示方法會識別單個的點(diǎn) (例如，邊界框角或?qū)ο蟮哪┒?。此外，它們的表示要么像邊界框那樣仍然是軸對齊的，要么需要 ground truth 對象掩碼作為額外的監(jiān)督。

相反，RepPoints 是通過自頂向下的方式從輸入圖像 / 對象特征中學(xué)習(xí)的，允許端到端訓(xùn)練和生成細(xì)粒度的定位，而無需額外的監(jiān)督。

為了證明 RepPoints 表示的強(qiáng)大能力，我們提出了一種基于可變形 ConvNets 框架的實現(xiàn)，該框架在保證特征提取方便的同時，提供了適合指導(dǎo)自適應(yīng)采樣的識別反饋。

我們發(fā)現(xiàn)，這個無 anchor 的檢測系統(tǒng)在對目標(biāo)進(jìn)行精確定位的同時，具有較強(qiáng)的分類能力。在沒有多尺度訓(xùn)練和測試的情況下，我們的檢測器在 COCO 基準(zhǔn)上實現(xiàn)了 42.8 AP 和 65.0 AP?? 的精度，不僅超過了所有現(xiàn)有的 anchor-free 檢測器，而且性能與最先進(jìn)的 anchor-based 的基線模型相當(dāng)。

RepPoints vs 邊界框

本節(jié)將描述 RepPoints，以及它與邊界框的區(qū)別。

邊界框表示

邊界框是一個 4-d 表示，編碼目標(biāo)的空間位置，即 B = (x, y, w, h)， x, y 表示中心點(diǎn)，w, h 表示寬度和高度。

由于其使用簡單方便，現(xiàn)代目標(biāo)檢測器嚴(yán)重依賴于邊界框來表示檢測 pipeline 中各個階段的對象。

性能最優(yōu)的目標(biāo)檢測器通常遵循一個 multi-stage 的識別范式，其中目標(biāo)定位是逐步細(xì)化的。其中，目標(biāo)表示的角色如下：

RepPoints

如前所述，4-d 邊界框是目標(biāo)位置的一個粗略表示。邊界框表示只考慮目標(biāo)的矩形空間范圍，不考慮形狀、姿態(tài)和語義上重要的局部區(qū)域的位置，這些可用于更好的定位和更好的目標(biāo)特征提取。

為了克服上述限制，RepPoints 轉(zhuǎn)而對一組自適應(yīng)樣本點(diǎn)進(jìn)行建模：

其中 n 為表示中使用的樣本點(diǎn)的總數(shù)。在這項工作中，n 默認(rèn)設(shè)置為 9。

Learning RepPoints

RepPoints 的學(xué)習(xí)是由目標(biāo)定位損失和目標(biāo)識別損失共同驅(qū)動的。為了計算目標(biāo)定位損失，我們首先用一個轉(zhuǎn)換函數(shù) T 將 RepPoints 轉(zhuǎn)換為偽框 (pseudo box)。然后，計算轉(zhuǎn)換后的偽框與 ground truth 邊界框之間的差異。

圖 3 顯示，當(dāng)訓(xùn)練由目標(biāo)定位損失和目標(biāo)識別損失組合驅(qū)動時，目標(biāo)的極值點(diǎn)和語義關(guān)鍵點(diǎn)可以自動學(xué)習(xí)。

圖 3: 學(xué)習(xí)的 RepPoints 的可視化和來自 COCO minival set 的幾個例子的檢測結(jié)果。通常，學(xué)習(xí)的 RepPoints 位于目標(biāo)的端點(diǎn)或語義關(guān)鍵點(diǎn)上。

RPDet: 無需 Anchor 的目標(biāo)檢測器

我們設(shè)計了一種不使用 anchor 的對象檢測器，它利用 RepPoints 代替邊界框作為基本表示。

目標(biāo)表示的演化過程如下:

RepPoints Detector (RPDet) 由兩個基于可變形卷積的識別階段構(gòu)成，如圖 2 所示。

圖 2：RPDet (RepPoints detector) 的概覽，以特征金字塔網(wǎng)絡(luò) (FPN) 為主干

可變形卷積與 RepPoints 很好地結(jié)合在一起，因為它的卷積是在一組不規(guī)則分布的采樣點(diǎn)上計算的，反之，它的識別反饋可以指導(dǎo)訓(xùn)練這些點(diǎn)的定位。

實驗和結(jié)果

表 1：目標(biāo)檢測中 RepPoints 與邊界框表示的比較。除了處理給定的目標(biāo)表示之外，網(wǎng)絡(luò)結(jié)構(gòu)是相同的。

從表 1 可以看出，將目標(biāo)表示從邊界框變?yōu)?RepPoints，可以帶來一定程度的性能提升，如使用 ResNet-50 作為主干網(wǎng)絡(luò)時提升了 2.1 mAP，使用 ResNet-101 時提升了 2.0 mAP。這表明相對于邊界框，RepPoints 表示在對象檢測方面具有優(yōu)勢。

表 7：將所提出的 RPDet 與 COCO test-dev 上最先進(jìn)的檢測器進(jìn)行比較。

如表 7 所示，在沒有 multi-scale 訓(xùn)練和測試的情況下，所提出的框架使用 ResNet-101-DCN 主干網(wǎng)絡(luò)實現(xiàn)了 42.8 AP，與基于 anchor 的 Cascade R-CNN 方法相當(dāng)，性能優(yōu)于現(xiàn)有的所有不采用 anchor 的檢測器。此外，RPDet 獲得了 65.0 的 AP??，大大超過了所有基線。