中星微人工智能算法之目標(biāo)檢測算法分析

日前，中星微把實(shí)際安防項(xiàng)目經(jīng)驗(yàn)應(yīng)用到PASCAL VOC數(shù)據(jù)集，并成功在一步法（one-stage）算法中取得了第一名的好成績。中星微人工智能芯片技術(shù)公司董事長兼總經(jīng)理張韻東表示：“中星微首次將安防監(jiān)控應(yīng)用經(jīng)驗(yàn)與國際算法競賽數(shù)據(jù)集相結(jié)合，使得嵌入式前端設(shè)備也能達(dá)到與云端智能相媲美的效果，取得了可喜可賀的成績，但這只是一個(gè)的開始，相信未來會帶來更多更精彩的內(nèi)容。”

目標(biāo)檢測是機(jī)器視覺中一個(gè)最重要和最早研究領(lǐng)域之一，也是一切機(jī)器視覺任務(wù)基礎(chǔ)，因此在目標(biāo)檢測算法方面，國際巨頭公司和科研機(jī)構(gòu)紛紛進(jìn)入這個(gè)領(lǐng)域，是兵家必爭之地，競爭非常激烈，也是目前在實(shí)際場景應(yīng)用最成功的領(lǐng)域，包括安防監(jiān)控、自動駕駛等多個(gè)領(lǐng)域。

日前，中星微把實(shí)際安防項(xiàng)目經(jīng)驗(yàn)應(yīng)用到PASCAL VOC數(shù)據(jù)集，并成功在一步法（one-stage）算法中取得了第一名的好成績，獲得87.2% mAP精度，超越了大部分兩步法（two-stage）的算法，也證明了一步法（one-stage）可以做到精度和速度雙贏。

什么是目標(biāo)檢測？

目標(biāo)檢測就是判斷給一副圖像上是否存在感興趣的物體，如果存在，就給出所有感興趣物體的類別和位置（What and Where）。PASCAL VOC是由利茲大學(xué)、蘇黎世聯(lián)邦理工學(xué)院、愛丁堡大學(xué)、微軟、牛津大學(xué)等組織的一個(gè)視覺識別競賽，包含了物體分類、目標(biāo)檢測、圖像分割等任務(wù)，對計(jì)算機(jī)視覺的發(fā)展具有深遠(yuǎn)而巨大的影響。其中,目標(biāo)檢測任務(wù)囊括了車、人、貓、狗等20類常見目標(biāo)，訓(xùn)練樣本較少、場景變化多端，非常具有挑戰(zhàn)性。

圖二

圖三

兩步法檢測法和一步法檢測法

目前主流的目標(biāo)檢測算法主要是基于深度學(xué)習(xí)模型，其可以分成兩大類：

1）兩步法（two-stage）檢測算法，其將檢測問題劃分為兩個(gè)階段，首先產(chǎn)生候選區(qū)域（region proposals），然后對候選區(qū)域分類（一般還需要對位置精修），這類算法的典型代表是基于region proposal的R-CNN系算法，如R-CNN，F(xiàn)ast R-CNN，F(xiàn)aster R-CNN等；

2）一步法（one-stage）檢測算法，其不需要region proposal階段，直接產(chǎn)生物體的類別概率和位置坐標(biāo)值，比較典型的算法如YOLO和SSD。目標(biāo)檢測模型的主要性能指標(biāo)是檢測準(zhǔn)確度和速度，對于準(zhǔn)確度，目標(biāo)檢測要考慮物體的定位準(zhǔn)確性，而不單單是分類準(zhǔn)確度。

一般情況下，兩步法（two-stage）算法在準(zhǔn)確度上有優(yōu)勢，而一步法（one-stage）算法在速度上有優(yōu)勢。但在工業(yè)界應(yīng)用中，一定要考慮速度和精度的平衡，特別是前端智能應(yīng)用中，受到計(jì)算資源的限制，一般都會選擇一步法（one-stage）的算法，基礎(chǔ)網(wǎng)絡(luò)盡量選擇輕量級的網(wǎng)絡(luò)，比如MobileNet等。

中星微2016年6月成功研發(fā)了神經(jīng)網(wǎng)絡(luò)處理器NPU（Neural-network Processing Unit），此NPU集成到星光智能一號VC0758芯片中，成為中國首款嵌入式神經(jīng)網(wǎng)絡(luò)處理器SOC芯片，針對前端智能的應(yīng)用，中星微一直致力于研發(fā)可部署到端上的輕量級深度學(xué)習(xí)算法。

經(jīng)過幾年的研發(fā)積累，把實(shí)際安防項(xiàng)目經(jīng)驗(yàn)應(yīng)用到PASCAL VOC數(shù)據(jù)集，并成功在一步法（one-stage）算法中取得了第一名的好成績。中星微VIM_SSD網(wǎng)絡(luò)，基于SSD深度學(xué)習(xí)目標(biāo)檢測算法的架構(gòu)，融合多種機(jī)制和策略，并對網(wǎng)絡(luò)進(jìn)行了大量的優(yōu)化?；A(chǔ)網(wǎng)絡(luò)采用VGG16，并未使用ResNet-101, ResNet-152等更復(fù)雜的網(wǎng)絡(luò)，保證精度的情況下速度更快；同時(shí)整個(gè)網(wǎng)絡(luò)為全卷積網(wǎng)絡(luò)，可以自如調(diào)節(jié)檢測目標(biāo)的分辨率和使用場景，更容易在實(shí)際系統(tǒng)中部署。

下表是目前PASCAL VOC競賽前十名，可以看出，下面算法中大部分應(yīng)用了更復(fù)雜的基礎(chǔ)網(wǎng)絡(luò)ResNet-101和ResNet-152，并使用了兩步法。

圖四

制約前端智能發(fā)展的限制條件

中星微人工智能芯片技術(shù)公司研發(fā)副總艾國表示：“最近幾年，隨著深度學(xué)習(xí)方法的復(fù)興和快速發(fā)展，算法方面取得了巨大的進(jìn)展和突破，但前端智能的發(fā)展較為落后，其主要原因受限于前端的計(jì)算資源，因此搭載輕量級深度神經(jīng)網(wǎng)絡(luò)是前端智能發(fā)展必由之路，中星微一直致力于研發(fā)能夠和NPU緊密結(jié)合的輕量級深度神經(jīng)網(wǎng)絡(luò)，和可快速編譯、移植和部署的嵌入式智能應(yīng)用方案。”

機(jī)制和策略

VIM_SSD采用了如下主要的機(jī)制和策略：1）使用FPN，融合多層特征。2）使用inception結(jié)構(gòu)，提供多種感受野。3）使用SE結(jié)構(gòu)，增強(qiáng)有用特征，抑制無用特征。4）加入基于框的語義監(jiān)督，增強(qiáng)提取到特征的語義信息。

圖五

FPN是指將深層特征經(jīng)過放大，融合到低層特征中，以增強(qiáng)低層特征的語義信息。我們在這個(gè)基礎(chǔ)上，將融合后的特征做了一些處理，以使其適應(yīng)檢測任務(wù)。我們觀察到網(wǎng)絡(luò)的anchor box并不全是1:1的，還可以有1:2，1:3，2:1，3:1，但是已有網(wǎng)絡(luò)的卷積核都是MxM。我們引入inception+SE結(jié)構(gòu)，一方面在其中加入1x3，3x1的卷積核，使其能夠更好地提取非正方形的特征，另一方面引入SE模塊，讓網(wǎng)絡(luò)為每種長寬比的目標(biāo)自動選擇相應(yīng)的特征。

語義分割方面，在很多文章中已經(jīng)有證明，它對目標(biāo)檢測是有促進(jìn)作用的。但是由于數(shù)據(jù)標(biāo)注難度大，在實(shí)際項(xiàng)目部署過程中比較困難，所以我們采用基于框的語義信息，對網(wǎng)絡(luò)語義特征提取進(jìn)行監(jiān)督。

VIM_SSD作者之一楊敏表示：“我們從2016年開始研究輕量級深度神經(jīng)網(wǎng)絡(luò)，并在多個(gè)實(shí)際項(xiàng)目中使用和部署，這次主要是想把項(xiàng)目積累的經(jīng)驗(yàn)和方法在公開數(shù)據(jù)集上做一次嘗試，也是對過去工作一次階段性總結(jié)。”

中星微人工智能芯片技術(shù)公司董事長兼總經(jīng)理張韻東表示：“中星微首次將安防監(jiān)控應(yīng)用經(jīng)驗(yàn)與國際算法競賽數(shù)據(jù)集相結(jié)合，使得嵌入式前端設(shè)備也能達(dá)到與云端智能相媲美的效果，取得了可喜可賀的成績，但這只是一個(gè)的開始，相信未來會帶來更多更精彩的內(nèi)容?！?/p>