本文主要介紹了 Face++DetectionTeam 在 2018 年做 COCO skeleton 的工作。
Background
人體關(guān)鍵點(diǎn)檢測(Human Keypoint Detection)又稱為人體姿態(tài)識別,旨在準(zhǔn)確定位圖像之中人體關(guān)節(jié)點(diǎn)的位置,是人體動作識別、人體行為分析、人機(jī)交互的前置任務(wù)。作為當(dāng)前計算機(jī)視覺不可或缺的熱門研究領(lǐng)域之一,人體姿態(tài)識別有著大量的落地場景和廣闊的應(yīng)用前景,現(xiàn)有及可期的場景應(yīng)用有人體步態(tài)識別、體感游戲、AI 美體、虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)、康復(fù)訓(xùn)練、體育教學(xué)等等,可廣泛賦能于游戲、手機(jī)、醫(yī)療、教育、數(shù)字現(xiàn)實(shí)等不同領(lǐng)域。
人體關(guān)鍵點(diǎn)檢測任務(wù)對于現(xiàn)實(shí)生活有著很大的潛在用途,目前公開的比賽中最權(quán)威的是 MS COCO Keypoint track 的比賽,也是該領(lǐng)域最有挑戰(zhàn)的比賽,參賽隊不乏 Facebook,Google 及微軟這樣的國際巨頭,也不乏 CMU 等頂尖研究機(jī)構(gòu),是該領(lǐng)域最先進(jìn)方法的試金石。曠視科技 Detection 組在2017,2018 年兩次奪得該比賽的冠軍,2017 年曠視 COCO Keypoint 比賽冠軍工作 CPN 在業(yè)界具有深遠(yuǎn)影響,并獲得廣泛使用。這里,我們將介紹曠視 2018 年 COCO Keypoint 比賽奪冠的工作。
人體姿態(tài)識別主流方法目前分為兩種:單階段和多階段,雖然后者遵照從粗糙到精細(xì)的邏輯更貼合任務(wù)本質(zhì),但是目前表現(xiàn)似乎沒有優(yōu)于單階段方法,我們認(rèn)為,目前多階段方法差強(qiáng)人意的性能主要?dú)w因于多種不合理的設(shè)計。我們的工作從 1)網(wǎng)絡(luò)設(shè)計、2)特征流、3)損失函數(shù)入手提出一系列改進(jìn)措施,工作成果在 MS COCO Keypoint 數(shù)據(jù)集上超越現(xiàn)有方法取得當(dāng)前最優(yōu)結(jié)果,論文已公開于 Arxiv,鏈接請見:arxiv.org/abs/1901.0014
Introduction
圖1
深度卷積網(wǎng)絡(luò)出現(xiàn)之后,人體姿態(tài)識別飛速發(fā)展?,F(xiàn)階段最優(yōu)方法[1,2]網(wǎng)絡(luò)結(jié)構(gòu)較為簡單,多是采用單階段網(wǎng)絡(luò)設(shè)計,比如 2017 COCO Keypoint 挑戰(zhàn)賽冠軍方法[1]采用基于 ResNet-Inception 的網(wǎng)絡(luò)結(jié)構(gòu),最新的 Simple Baseline[2] 采用 ResNet 網(wǎng)絡(luò)結(jié)構(gòu)。另一種網(wǎng)絡(luò)結(jié)構(gòu)則采用多階段網(wǎng)絡(luò)設(shè)計,即把一個輕量級網(wǎng)絡(luò)作為單元網(wǎng)絡(luò),接著將其簡單地堆疊到多階段。
直觀上講,多階段的天然逐級優(yōu)化特性會更適用于這個任務(wù),但是當(dāng)前存在的多階段網(wǎng)絡(luò)并沒有單階段網(wǎng)絡(luò)在 COCO 上表現(xiàn)好。我們試圖研究這一挑戰(zhàn)性問題,提出當(dāng)前多階段網(wǎng)絡(luò)的欠佳表現(xiàn)主要是由于設(shè)計不足導(dǎo)致的,并可通過一系列 1)網(wǎng)絡(luò)結(jié)構(gòu)、2)特征流、3)損失函數(shù)方面的創(chuàng)新性優(yōu)化,最大化發(fā)掘多階段網(wǎng)絡(luò)的潛力,實(shí)現(xiàn)目前最先進(jìn)的效果。
因此,我們提出新型的多階段姿態(tài)估計網(wǎng)絡(luò) MSPN,具體改進(jìn)有 3 個方面:
目前多階段網(wǎng)絡(luò)里的單元網(wǎng)絡(luò)離最優(yōu)比較遠(yuǎn),使用已經(jīng)驗(yàn)證的網(wǎng)絡(luò)(如 Resnet)要比主流的多階段方法(如 Hourglass)采用的輕量級網(wǎng)絡(luò)好很多,究其原因主要是下采樣 Encoder 需要承載更多內(nèi)容,而輕量級網(wǎng)絡(luò)滿足不了。
由于重復(fù)下采樣,上采樣會丟失信息從而不利于學(xué)習(xí),我們提出融合多階段特征以加強(qiáng)信息流動,來緩解這一問題。
我們觀察到關(guān)節(jié)點(diǎn)的定位是逐級精細(xì)優(yōu)化的,因此提出由粗到精的學(xué)習(xí)策略,并采用多尺度監(jiān)督提升訓(xùn)練。由圖 1 可知,當(dāng)提升單階段網(wǎng)絡(luò)容量時,精度會趨近于飽和,而增長遇到瓶頸;對于目前主流的多階段網(wǎng)絡(luò),當(dāng)堆疊多于 2 個單元網(wǎng)絡(luò)后,精度提升非常有限。對于我們提出的 MSPN,隨著單元網(wǎng)絡(luò)的堆疊數(shù)增加,精度會持續(xù)提升。
在 MS COCO 基準(zhǔn)上,MSPN 在 test-dev 數(shù)據(jù)集上獲得 76.1 AP;在 MS COCO 2018 中,test-dev 達(dá)到 78.1 AP,test-challenge 76.4 AP, 相比去年冠軍提升了 4.3 AP。
--------多階段網(wǎng)絡(luò)---------
圖2
多階段姿態(tài)估計網(wǎng)絡(luò) MSPN 如圖 2 所示。它采用自上向下的框架,即首先使用人體檢測算法給出人體框,據(jù)此摳圖,并進(jìn)行單人人體姿態(tài)估計。如上所述,MSPN 的新突破有 3 點(diǎn):第一,使用圖像分類表現(xiàn)較好的網(wǎng)絡(luò)(如 ResNet)作為多階段網(wǎng)絡(luò)的單元網(wǎng)絡(luò);第二,提出逐階段傳遞的信息聚集方式,降低信息損失;第三,引入由粗到精的監(jiān)督,并進(jìn)行多尺度監(jiān)督。
------有效的單階段子單元網(wǎng)絡(luò)設(shè)計-----
表1
目前主流的多階段網(wǎng)絡(luò)全部基于 Hourglass 變體。從表 1 可知,Hourglass 在重復(fù)下采樣和上采樣的過程中,卷積層的通道數(shù)是相同的。這是因?yàn)楦邔诱Z義信息更強(qiáng),需要更多通道表征。
下采樣時,Hourglass 變體會導(dǎo)致特征編碼(Encoder)無法很好地表達(dá)特征,從而造成一定程度上的特征信息丟失。相比于下采樣,上采樣很難更優(yōu)地表征特征,所以增加下采樣階段的網(wǎng)絡(luò)能力對整體網(wǎng)絡(luò)會更有效。
--------------跨階段特征融合-------------
圖3
多階段網(wǎng)絡(luò)在重復(fù)的上采樣和下采樣過程中,很容易造成信息流失,我們提出了一種有效的跨階段特征融合方法來應(yīng)對這一現(xiàn)象。如圖 3 所示,上一階段上、下采樣的特征經(jīng)過 1x1 卷積相加到后一階段下采樣部分,從而實(shí)現(xiàn)多階段之間的特征融合,有效緩解特征流失。
---------------由粗到精監(jiān)督--------------
圖4
人體姿態(tài)估計如果要定位較有挑戰(zhàn)性的關(guān)節(jié)點(diǎn)(如隱藏關(guān)節(jié)點(diǎn))需要較強(qiáng)的領(lǐng)域上下文信息。同時,對于基于回歸 heatmap 的任務(wù),作為 GT 的高斯核越小,回歸精度越準(zhǔn)??紤]到以上兩點(diǎn),并結(jié)合多階段網(wǎng)絡(luò)的自身逐級遞進(jìn)優(yōu)化的特性,我們提出基于多階段的由粗到精的監(jiān)督方式。每個階段方式的監(jiān)督heatmap的高斯核逐漸減小,可較理想地兼顧領(lǐng)域上下文信息和精準(zhǔn)度。由于中間監(jiān)督對于深度神經(jīng)網(wǎng)絡(luò)有較好效果[3],我們在每個階段內(nèi)部也采用了多尺度的中間監(jiān)督。
-------------實(shí)驗(yàn)-------------
實(shí)驗(yàn)中,我們使用 MegDet [4]獲得人體檢測框,并使用 COCO(80 類)之中人這一類的結(jié)果作為人體框結(jié)果,沒有單獨(dú)針對人進(jìn)行訓(xùn)練。摳圖之前,框擴(kuò)展為高寬 4:3 的比例。訓(xùn)練中,我們采用 Adam 作為優(yōu)化策略,初始學(xué)習(xí)率為 5e-4,Weight Decay 為 1e-5。數(shù)據(jù)增強(qiáng)方面,主要采用翻轉(zhuǎn)、旋轉(zhuǎn)(-45度~+45度)、尺度變換(0.7~1.35)。姿態(tài)估計網(wǎng)絡(luò)圖像輸入尺寸為 384x288。消融實(shí)驗(yàn)中,圖像輸入尺寸為 256x192。測試方面,沿用 [5] 中的策略,即采用翻轉(zhuǎn)求平均,最大值位置向次大值位置偏移 1/4 作為最終位置。所有消融實(shí)驗(yàn)在 COCO minival 上進(jìn)行。
消融實(shí)驗(yàn)
多階段網(wǎng)絡(luò)
我們通過一系列實(shí)驗(yàn)驗(yàn)證多階段網(wǎng)絡(luò)設(shè)計的重要性。
表2
首先,我們通過實(shí)驗(yàn)觀察單階段網(wǎng)絡(luò)增加模型復(fù)雜度的表現(xiàn)。從表 2 可知,ResNet-50 作為 Backbone 的單階段網(wǎng)絡(luò)精度可以達(dá)到 71.5,ResNet-101 可以提升 1.6 個點(diǎn),但是繼續(xù)往高增加復(fù)雜度,精度的提升幅度逐漸變小,趨近于飽和。
表3
我們同時對比了當(dāng)前主流的多階段網(wǎng)絡(luò) Hourglass 與該工作在精度提升方面的差異。由表 3 可知,Hourglass 在第 2 個階段以上疊加新階段提升非常有限:從 2 個階段到 8 個階段,計算量增加 3 倍,而精度只漲了 0.7 AP。相比于 Hourglass 的增長受限,MSPN 從第 2 個階段以上疊加新階段會持續(xù)提升精度。
為驗(yàn)證我們對多階段網(wǎng)絡(luò)有效改進(jìn)的泛化性,我們嘗試把其他網(wǎng)絡(luò)作為單元網(wǎng)絡(luò)。如表 4,兩階段的 ResNet-18 會稍高于相當(dāng)計算量的單階段 ResNet-50 網(wǎng)絡(luò)。4 階段小計算量的 X-ception 網(wǎng)絡(luò)會比同計算量單階段的大計算量的 X-ception 網(wǎng)絡(luò)高出近 1 AP。
表4
跨階段特征融合以及由粗到精監(jiān)督
表5
表 5 的實(shí)驗(yàn)可以驗(yàn)證跨階段特征融合以及由粗到精監(jiān)督的有效性。對于 4 階段的 Hourglass 和 2 階段的 MSPN 借助以上兩種策略均實(shí)現(xiàn)漲點(diǎn)。
------------實(shí)驗(yàn)結(jié)果-------------
表6
表7
表 6 和表 7 分別對比 MSPN 與當(dāng)前最優(yōu)方法在 COCO test-dev 數(shù)據(jù)集和 COCO test-challenge 數(shù)據(jù)集上的精度差異??梢钥闯觯琈SPN 均超過當(dāng)前最優(yōu)方法,在 test-dev 上領(lǐng)先2.3 AP,在 test-challenge上領(lǐng)先 1.9 AP。
----------------總結(jié)---------------
我們提出了針對人體姿態(tài)估計更有效的多階段網(wǎng)絡(luò)設(shè)計思想,并用充分的實(shí)驗(yàn)驗(yàn)證其有效性,該網(wǎng)絡(luò)在 COCO 數(shù)據(jù)集上突破當(dāng)前的精度瓶頸,實(shí)現(xiàn)了新的 state-of-the-art。我們同時也驗(yàn)證了該工作所涉及的多階段網(wǎng)絡(luò)設(shè)計思想的泛化性。
--------------結(jié)果例圖-----------
圖5
-
人機(jī)交互
+關(guān)注
關(guān)注
12文章
1192瀏覽量
55184 -
網(wǎng)絡(luò)
+關(guān)注
關(guān)注
14文章
7389瀏覽量
88216 -
數(shù)據(jù)集
+關(guān)注
關(guān)注
4文章
1197瀏覽量
24538
原文標(biāo)題:COCO 2018 Keypoint冠軍算法解讀
文章出處:【微信號:rgznai100,微信公眾號:rgznai100】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論