為什么大多數(shù)流行的目標(biāo)檢測(cè)模型不擅長(zhǎng)檢測(cè)小目標(biāo)?

導(dǎo)讀

對(duì)小目標(biāo)檢測(cè)進(jìn)行了分析，并結(jié)合已有的方法給出了一些思路。

機(jī)器學(xué)習(xí)正越來(lái)越多地進(jìn)入我們的日常生活。從個(gè)人服務(wù)的廣告和電影推薦，到自動(dòng)駕駛汽車和自動(dòng)送餐服務(wù)。幾乎所有的現(xiàn)代自動(dòng)化機(jī)器都能“看”世界，但跟我們不一樣。為了像我們?nèi)祟愐粯涌吹胶妥R(shí)別每個(gè)物體，它們必須特別地進(jìn)行檢測(cè)和分類。雖然所有現(xiàn)代檢測(cè)模型都非常擅長(zhǎng)檢測(cè)相對(duì)較大的物體，比如人、汽車和樹(shù)木，但另一方面，小物體仍然給它們帶來(lái)一些麻煩。對(duì)于一個(gè)模型來(lái)說(shuō)，很難在房間的另一邊看到手機(jī)，或者在100米之外看到紅綠燈。所以今天我們要講的是為什么大多數(shù)流行的目標(biāo)檢測(cè)模型不擅長(zhǎng)檢測(cè)小目標(biāo)，我們?nèi)绾翁岣咚鼈兊男阅?，以及其他已知的解決這個(gè)問(wèn)題的方法。

原因

所有現(xiàn)代目標(biāo)檢測(cè)算法都是基于卷積神經(jīng)網(wǎng)絡(luò)的。這是一種非常強(qiáng)大的方法，因?yàn)樗軌騽?chuàng)造一些低級(jí)的圖像抽象，如線，圓圈，然后將它們“迭代地組合”成我們想要檢測(cè)的目標(biāo)，但這也是它們難以檢測(cè)小目標(biāo)的原因。

上面你可以看到一個(gè)通用的圖像分類神經(jīng)網(wǎng)絡(luò)的插圖。我們最感興趣的是隱藏層部分。如你所見(jiàn)，這個(gè)網(wǎng)絡(luò)有許多卷積的組合，然后是一個(gè)池化層。許多目標(biāo)檢測(cè)網(wǎng)絡(luò)，如YOLO, SSD-Inception和Faster R-CNN也使用這些，而且使用得相當(dāng)多。將圖像的分辨率從600×600降低到約30×30。由于這個(gè)事實(shí)，他們?cè)诘谝粚犹崛〉男∧繕?biāo)特征(一開(kāi)始就很少)在網(wǎng)絡(luò)中間的某個(gè)地方“消失”了，從來(lái)沒(méi)有真正到達(dá)檢測(cè)和分類步驟中。我們可以嘗試一些方法來(lái)幫助模型更好地查看這些目標(biāo)，但是在改進(jìn)性能之前，讓我們先看看它現(xiàn)在的狀態(tài)。

目前流行的目標(biāo)檢測(cè)器的性能

論文SOD-MTGAN在COCO數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)并收集了2016年的測(cè)試結(jié)果。+++表示F-RCNN的特殊訓(xùn)練過(guò)程。

一些很小改動(dòng)去提升小目標(biāo)檢測(cè)的方法

使用Focal loss

如果你有很多類要檢測(cè)，一個(gè)最簡(jiǎn)單的方法來(lái)提高對(duì)小物體和難以檢測(cè)的類的檢測(cè)是在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過(guò)程中使用Focal loss。這里的主要直覺(jué)是，這種損失對(duì)網(wǎng)絡(luò)的“懲罰”不是對(duì)它已經(jīng)可以很好地檢測(cè)到的類別進(jìn)行錯(cuò)誤分類，而是對(duì)它現(xiàn)在有問(wèn)題的類別進(jìn)行更多分類。因此，為了進(jìn)一步最小化損失函數(shù)，權(quán)值將開(kāi)始以這樣一種方式改變，使網(wǎng)絡(luò)更好地挑選困難的類別。這很容易從主要論文提供的圖中看到：

將圖像分成小塊

我們自己也遇到過(guò)模型不能檢測(cè)到相對(duì)較小的物體的問(wèn)題。任務(wù)是檢測(cè)足球運(yùn)動(dòng)員和比賽場(chǎng)上的足球。游戲的分辨率是2K，所以我們有很多細(xì)節(jié)。但我們用來(lái)檢測(cè)玩家的模型的輸入分辨率要小得多——從300×300到604×604。所以，當(dāng)我們把圖像輸入網(wǎng)絡(luò)時(shí)，很多細(xì)節(jié)都丟失了。它仍然能夠找到前景中的球員，但既沒(méi)有球也沒(méi)有球員在球場(chǎng)的另一邊被檢測(cè)到。因?yàn)槲覀冇幸粋€(gè)大的輸入圖像，我們決定先嘗試我們能想到的最簡(jiǎn)單的解決方案 —— 把圖像分割成小塊，然后對(duì)它們運(yùn)行檢測(cè)算法。而且效果很好。你可以在下面看到運(yùn)行測(cè)試的結(jié)果。

雖然該模型的FPS大幅下降，但它給了該模型在玩家檢測(cè)上一個(gè)非常好的準(zhǔn)確性提升。另一方面，球仍然是個(gè)問(wèn)題。稍后我們將更深入地探討我們是如何解決它的。

利用圖像的時(shí)間特性

如果我們有一個(gè)來(lái)自靜止攝像機(jī)的視頻，我們需要檢測(cè)它上面的移動(dòng)物體，比如足球，我們可以利用圖像的時(shí)間特性。例如，我們可以做背景減法，或者僅僅使用后續(xù)幀之間的差異作為一個(gè)(或多個(gè))輸入通道。所以，我們可能有3個(gè)RGB通道和一個(gè)或多個(gè)額外的通道。這確實(shí)讓我們改變了一些網(wǎng)絡(luò)的輸入，但仍然不是很多。我們所需要改變的只是第一個(gè)輸入層，而網(wǎng)絡(luò)的其他部分可以保持不變，仍然可以利用整個(gè)架構(gòu)的力量。

這一變化將預(yù)示著網(wǎng)絡(luò)將為移動(dòng)目標(biāo)創(chuàng)造更“強(qiáng)大”的特性，而這些特性不會(huì)消失在池化和大stride的卷積層中。

改變anchor大小

目前的一些探測(cè)器使用所謂的“錨”來(lái)探測(cè)物體。這里的主要直覺(jué)是通過(guò)明確地向網(wǎng)絡(luò)提供一些關(guān)于物體大小的信息來(lái)幫助網(wǎng)絡(luò)檢測(cè)物體，并在圖像中每個(gè)預(yù)定義的單元格中檢測(cè)幾個(gè)物體。

因此，改變錨點(diǎn)以適應(yīng)你的數(shù)據(jù)集是一個(gè)很好的主意。對(duì)于YOLOv3，有一種簡(jiǎn)單的方法可以做到這一點(diǎn)。這里：https://github.com/AlexeyAB/darknet#how-to-improve-object-detection你將發(fā)現(xiàn)一系列改進(jìn)YOLO體系結(jié)構(gòu)檢測(cè)的方法。

為小目標(biāo)檢測(cè)定制模型

上面描述的方法很好，但遠(yuǎn)不是最好的，如果你使用專為尋找小目標(biāo)而設(shè)計(jì)的體系結(jié)構(gòu)，你很可能會(huì)獲得更好的結(jié)果。所以，讓我們開(kāi)始吧。

特征金字塔網(wǎng)絡(luò) (FPN)

由于其有趣的結(jié)構(gòu)，這些類型的網(wǎng)絡(luò)在檢測(cè)小目標(biāo)方面表現(xiàn)得相當(dāng)有效。雖然像SSD和YOLOv3這樣的網(wǎng)絡(luò)也檢測(cè)不同尺度的目標(biāo)，但是只使用了這些尺度的信息，即所謂的金字塔特征層，而FPN建議將高層特征向下傳播。這一方法“豐富”了抽象的底層，并具有更強(qiáng)的語(yǔ)義特征，這些特征是網(wǎng)絡(luò)在其頭部附近計(jì)算出來(lái)的，最終幫助探測(cè)器拾取小物體。這種簡(jiǎn)單而有效的方法表明，可以將目標(biāo)檢測(cè)數(shù)據(jù)集的總體平均精度從47.3提高到56.9。

Finding Tiny Faces

這篇做了大量的工作和研究。我強(qiáng)烈建議你閱讀全文：https://arxiv.org/pdf/1612.04402.pdf，但我們?cè)谶@里總結(jié)一下：

上下文很重要，利用它更好地找到小物體

建立多個(gè)不同尺度的網(wǎng)絡(luò)成本高，但效果好

如果你想要高精度，區(qū)域建議仍然是一個(gè)好方法

查看你的骨干網(wǎng)絡(luò)做預(yù)訓(xùn)練的數(shù)據(jù)集，然后嘗試縮放你的圖像，使你需要檢測(cè)/分類的目標(biāo)的大小匹配那些預(yù)訓(xùn)練的數(shù)據(jù)集。這將減少訓(xùn)練時(shí)間和并得到更好的結(jié)果。檢測(cè)大小為20×45的目標(biāo)，使用同樣大小的kernel可能并不一定是最有效的。將圖像放大兩倍并使用40×90的kernel，就可能真正提高性能。大物體的情況則相反。

F-RCNN的改進(jìn)

因?yàn)樵趲缀跛心憧吹降年P(guān)于網(wǎng)絡(luò)之間的速度/準(zhǔn)確性比較的圖表中，F(xiàn)-RCNN總是在右上角，人們一直在努力提高這種體系結(jié)構(gòu)的速度和準(zhǔn)確性。我們將簡(jiǎn)要看一下不同的改進(jìn)方法，以提高其準(zhǔn)確性。

Small Object Detection in Optical Remote Sensing Images via Modified Faster RCNN

在本文中，作者做了幾件事。首先，他們測(cè)試了不同的預(yù)訓(xùn)練骨干網(wǎng)絡(luò)用于F-RCNN的小目標(biāo)檢測(cè)。結(jié)果表明，ResNet-50的效果最好。他們已經(jīng)選擇了最適合他們測(cè)試網(wǎng)絡(luò)的數(shù)據(jù)集的最佳錨尺寸。此外，就像之前關(guān)于尋找小人臉的論文一樣，使用物體周圍的背景也顯著有助于檢測(cè)。最后，他們采用了從高到低結(jié)合特征的FPN方法。

然而，架構(gòu)并不是他們唯一改變和創(chuàng)新的東西。訓(xùn)練過(guò)程也得到了改進(jìn)，并對(duì)訓(xùn)練結(jié)果產(chǎn)生了很大的影響。第一個(gè)變化是為訓(xùn)練平衡數(shù)據(jù)集的特定方式。他們通過(guò)多次處理一些圖像來(lái)平衡數(shù)據(jù)集，而不是讓它保持原樣，然后調(diào)整損失函數(shù)來(lái)進(jìn)行均衡類別的學(xué)習(xí)。這使得每個(gè)時(shí)代的階級(jí)分布更加均勻。他們改變的第二件事是添加了一個(gè)隨機(jī)旋轉(zhuǎn)。因此，它們不是將圖像旋轉(zhuǎn)90或180度，而是將圖像旋轉(zhuǎn)一個(gè)隨機(jī)生成的角度，例如13.53。這需要重新計(jì)算邊界框，你可以在原始論文中看到公式。

Small Object Detection with Multiscale Features

本文作者也使用Faster-RCNN作為主要網(wǎng)絡(luò)。他們所做的修改與FPN的想法相似 —— 將高層的特征與低層的特征結(jié)合起來(lái)。但是，他們沒(méi)有迭代地組合層，而是將它們連接起來(lái)，并對(duì)結(jié)果運(yùn)行1×1卷積。這在作者提供的體系結(jié)構(gòu)可視化中得到了最好的體現(xiàn)。

在結(jié)果表中，他們顯示，與普通的Faster-RCNN相比，這種方法使mAP增加了0.1。

SOD-MTGAN: Small Object Detection via Multi-Task Generative Adversarial Network

首先，在讀到這種方法的名稱后，你可能會(huì)想:“等等，使用GAN來(lái)檢測(cè)目標(biāo)？”。但請(qǐng)耐心等待，這種方法的作者做了一件相當(dāng)聰明的事情。你可能之前就想到過(guò)：“如果物體都很小，為什么我們不放大它們呢？”簡(jiǎn)單地使用插值將圖像放大的問(wèn)題在于，對(duì)于原來(lái)的5×5的模糊的像素，我們將得到10×10(或20×20，或任何你設(shè)置的倍增因子)甚至更模糊的像素。這在某些情況下可能有所幫助，但通常情況下，這以處理更大的圖像和更長(zhǎng)時(shí)間的訓(xùn)練為代價(jià)，提供了相對(duì)較小的性能提升。但是如果我們有一種方法可以放大圖像同時(shí)保留細(xì)節(jié)呢？這就是GANs發(fā)揮作用的地方。你可能知道，它們被證明在放大圖像時(shí)非常有效。所謂的超分辨率網(wǎng)絡(luò)(SRN)可以可靠地將圖像縮放到x4倍，如果你有時(shí)間訓(xùn)練它們并收集數(shù)據(jù)集的話，甚至可以更高。

但作者們也不僅僅是簡(jiǎn)單地使用SRN來(lái)提升圖像，他們訓(xùn)練SRN的目的是創(chuàng)建圖像，使最終的檢測(cè)器更容易找到小物體，檢測(cè)器與生成器一起訓(xùn)練。因此，這里的SRN不僅用于使模糊的圖像看起來(lái)清晰，而且還用于為小物體創(chuàng)建描述性特征。正如你在之前的圖中看到的，它工作得很好，提供了一個(gè)顯著的提高準(zhǔn)確性。

總結(jié)

今天我們學(xué)到的是:

小目標(biāo)檢測(cè)仍然不是一個(gè)完全解決的問(wèn)題，

上下文問(wèn)題

放大圖像是個(gè)好主意

結(jié)合不同層的輸出

檢查預(yù)訓(xùn)練網(wǎng)絡(luò)的數(shù)據(jù)集，更好地評(píng)估其性能和利用它。

原文標(biāo)題：小目標(biāo)檢測(cè)的一些問(wèn)題，思路和方案

文章出處：【微信公眾號(hào)：機(jī)器視覺(jué)自動(dòng)化】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq