目標檢測二十年的技術綜述和總結(jié)及未來的發(fā)展方向詳細分析

計算機視覺中的目標檢測，因其在真實世界的大量應用需求，比如自動駕駛、視頻監(jiān)控、機器人視覺等，而被研究學者廣泛關注。

幾天前，arXiv新出一篇目標檢測文獻《Object Detection in 20 Years: A Survey》對該領域20年來出現(xiàn)的技術進行了綜述，這是一篇投向PAMI的論文，作者們review了400+篇論文，總結(jié)了目標檢測發(fā)展的里程碑算法和state-of-the-art，并且難能可貴的對算法流程各個技術模塊的演進也進行了說明，還深入到目標檢測的特定領域如人臉檢測、行人檢測等進行了總結(jié)，最后列舉了未來可能的發(fā)展方向。

溫故而知新，非常值得參考！

作者信息：

該文作者來自美國密歇根大學、北京航空航天大學、滴滴出行。

下圖是作者在谷歌學術檢索目標檢測相關關鍵字返回的歷年文獻數(shù)量，可見該領域20年來越來越受到學術界的關注。2018年有將近1200篇相關文獻發(fā)表。

目標檢測路線圖

作者將目標檢測近20年來的里程碑算法畫在時間軸上，如下：

可見作者將算法大致分為2012年之前的傳統(tǒng)檢測方法與2012年之后出現(xiàn)的基于深度學習的檢測方法。

傳統(tǒng)方法比如我們所熟知的V-J檢測、HOG檢測、DPM算法。

深度學習方法截然不同的分為兩條技術路徑：單階段檢測算法與兩階段檢測算法。

同時作者把目標檢測的一些精度提高的方法的出現(xiàn)也列在了時間軸上，比如bounding box regression、multi-resolution detection等。

在目前最知名的評估數(shù)據(jù)集 VOC 2007 、VOC 2012、 COCO 上不同年份出現(xiàn)的算法精度提高，如下圖：

可見，深度學習在檢測領域的開山之作 RCNN 取得了大幅度精度提高，開辟了檢測的新時代。而今年新出的 TridentNet 是目前在 COCO 數(shù)據(jù)集上取得最高精度的算法。

目標檢測數(shù)據(jù)集

作者總結(jié)了通用目標檢測及幾個特定目標檢測的數(shù)據(jù)集。

通用目標檢測領域常用數(shù)據(jù)集：

幾個常用數(shù)據(jù)集的示例圖片：

行人檢測常用數(shù)據(jù)集：

人臉檢測常用數(shù)據(jù)集：

文本檢測常用數(shù)據(jù)集：

交通燈檢測與交通標志檢測常用數(shù)據(jù)集：

遙感目標檢測常用數(shù)據(jù)集：

目標檢測技術演進

作者將目標檢測中涉及的各種技術的演進鋪展開來，讓我們能就單一技術看到發(fā)展路徑。

早期目標檢測算法代表：

多尺度檢測技術演進路線圖：

包圍框回歸技術演進路線圖：

目標上下文建模技術演進路線圖：

包圍框非極大抑制（NMS）技術演進路線圖：

難檢測負樣本挖掘技術演進路線圖：

目標檢測計算加速

目標檢測天生是計算密集型任務，所以在其發(fā)展的各個階段，目標檢測算法的加速就一直是一個重要議題。

作者總結(jié)的目標檢測計算加速方法：

可見主要是在三個層次加速：

數(shù)值計算層次（如積分圖、矢量量化等）、

檢測引擎層次（網(wǎng)絡剪枝與量化、輕量級網(wǎng)絡設計等）、

檢測流程層次（特征圖共享、分類器加速、級連檢測等）。

因為目前CNN檢測方法是主流，作者列出了近年出現(xiàn)的卷積計算的一些加速方法及其時間復雜度：

目標檢測進展

作者在這部分描述了近三年來state-of-the-art目標檢測技術的研究進展。

1. 更好地引擎（engine）

作者將深度學習目標檢測網(wǎng)絡的骨干網(wǎng)稱為其引擎。改進目標檢測的一個直接思路就是使用更加先進的骨干網(wǎng)。

如下圖：

相同算法用相同顏色的圓點表示，使用相同引擎的算法結(jié)果用一個大括號連接，我們可以輕易看出，使用不同的引擎對最終精度的影響更大。

2. 使用更好的特征

作者主要指：1）特征融合；2）學習大感受野的高分辨率特征

3. 超越滑動窗口

不再是局限于候選區(qū)域再分類的模式。作者提到兩種新模式：

1）子區(qū)域搜索 sub-region search。將目標檢測看為從初始網(wǎng)格到最終ground truth box的路徑規(guī)劃過程。

2）關鍵點定位。將目標檢測看為特定語義點定位的過程。

比如：

ECCV18 Oral | CornerNet目標檢測開啟預測“邊界框”到預測“點對”的新思路

Grid R-CNN解讀：商湯最新目標檢測算法

4. 目標定位改進

1）包圍框提精。

2）改進loss函數(shù)用于精確定位。比如：

5. 檢測與分割一起進行

分割可以幫助目標檢測提高類別識別的精度、獲得更好地目標定位、嵌入更加豐富的上下文。

分割的網(wǎng)絡可以作為目標檢測的提取網(wǎng)絡，也可以作為多任務學習的損失函數(shù)，用以改進目標檢測。

6. 旋轉(zhuǎn)和尺度變化魯棒的目標檢測

針對旋轉(zhuǎn)變化魯棒改進方向：

1）旋轉(zhuǎn)不變損失函數(shù)；

2）旋轉(zhuǎn)校正；

3）Rotation RoI Pooling。

針對尺度變化魯棒的改進：

1）尺度自適應訓練；

2）尺度自適應檢測。

7. Training from Scratch

不使用預訓練模型，從頭開始訓練目標檢測網(wǎng)絡。

8. 對抗訓練

比如有研究表明，GAN可以用來改進小目標的檢測。

9. 弱監(jiān)督的目標檢測

不使用包圍框標注，而僅使用圖像級的目標標注的算法。

減少標注成本，擴大訓練集。

目標檢測應用

作者列舉了目標檢測的幾個特殊應用，包括行人檢測、人臉檢測、文本檢測、交通燈及標志檢測、遙感目標檢測。

指出每種檢測任務面臨的困難和挑戰(zhàn)，并簡述了目前應對這些問題的方法。

目標檢測的未來方向

作者列舉的未來方向包括：

1. 輕量級目標檢測算法；

2. 用AutoML設計目標檢測算法；

3. 域適應（domain adaptation）改進目標檢測；

4. 弱監(jiān)督的目標檢測；

5. 小目標檢測；

6. 視頻目標檢測

7. 融合其他傳感器信息的目標檢測。

論文地址：

https://arxiv.org/abs/1905.05055v1

（*本文為 AI科技大本營轉(zhuǎn)載文章，轉(zhuǎn)載請聯(lián)系作者）

◆

公開課精彩推薦

◆

本次課程將會介紹如何利用TensorRT加速YOLO目標檢測，課程將會著重介紹編程方法。本次課程還會涉及到 TensorRT 中數(shù)據(jù)類型，流處理，多精度推理等細節(jié)的展示。本次課程特色是講解+示例分享。本次課程中，QA也是一個非常精彩的環(huán)節(jié)。

推薦閱讀

開源要自立？華為如何“復制”Google模式

谷歌用1.2萬個模型“推翻”現(xiàn)有無監(jiān)督研究成果！斬獲ICML 2019最佳論文

24式，加速你的Python

荔枝“自由”？朋友，你實現(xiàn)了嗎？

為防 Android 碎片化？Google 強迫開發(fā)者使用自有開發(fā)工具！

Docker 存儲選型，這些年我們遇到的坑

從制造業(yè)轉(zhuǎn)型物聯(lián)網(wǎng)，看博世如何破界

回報率850%? 這個用Python優(yōu)化的比特幣交易機器人簡直太燒腦了...

面試阿里技術崗，竟然掛在第4 輪……

你點的每個“在看”，我都認真當成了喜歡