上海交通大學(xué)盧策吾團(tuán)隊(duì)MVIG實(shí)驗(yàn)室最新上線了他們此前開源的實(shí)時(shí)人體姿態(tài)估計(jì)系統(tǒng)AlphaPose的升級(jí)版。新系統(tǒng)采用 PyTorch 框架,在姿態(tài)估計(jì)標(biāo)準(zhǔn)測(cè)試集COCO上達(dá)到當(dāng)前最高精度71mAP,同時(shí)平均速度20FPS,比Mask-RCNN速度快3倍。
AlphaPose是一個(gè)實(shí)時(shí)多人姿態(tài)估計(jì)系統(tǒng)。
今年2月,上海交通大學(xué)盧策吾團(tuán)隊(duì)MVIG實(shí)驗(yàn)室AlphaPose 系統(tǒng)上線,是首個(gè)在 COCO 數(shù)據(jù)集上可達(dá)到 70+ mAP 的開源姿態(tài)估計(jì)系統(tǒng)。本次更新,在精度不下降情況下,實(shí)時(shí)性是一大提升亮點(diǎn)。
新系統(tǒng)采用 PyTorch 框架,在姿態(tài)估計(jì)(Pose Estimation)標(biāo)準(zhǔn)測(cè)試集COCO validation set上,達(dá)到 71mAP的精度(比 OpenPose 相對(duì)提升17%,Mask-RCNN相對(duì)提升8%),同時(shí),速度達(dá)到了20FPS(比 OpenPose 相對(duì)提高66%,Mask-RCNN相對(duì)提高300%)。
再次感受一下升級(jí)后AlphaPose的速度
檢測(cè)精度不變,平均速度比Mask-RCNN快3倍
人體關(guān)鍵點(diǎn)檢測(cè)對(duì)于描述人體姿態(tài),預(yù)測(cè)人體行為至關(guān)重要。因此,人體關(guān)鍵點(diǎn)檢測(cè)是諸多計(jì)算機(jī)視覺任務(wù)的基礎(chǔ)。其在動(dòng)作分類,異常行為檢測(cè),以及人機(jī)交互等領(lǐng)域有著很廣闊的應(yīng)用前景,是計(jì)算機(jī)視覺領(lǐng)域中一個(gè)既具有研究價(jià)值、同時(shí)又極具挑戰(zhàn)性的熱門課題。
AlphaPose系統(tǒng),是基于上海交大MVIG組提出的 RMPE 二步法框架(ICCV 2017論文)構(gòu)建的,相比其他開源系統(tǒng)在準(zhǔn)確率有很大提高,比OpenPose相對(duì)提高17%,Mask-RCNN相對(duì)提高8.2%。
升級(jí)后,各個(gè)開源框架在COCO-Validation上性能,時(shí)間在單卡1080ti GPU測(cè)出指標(biāo)如下:
基于PyTorch框架,在人體姿態(tài)估計(jì)模型中引入Attention模塊
新版 AlphaPose 系統(tǒng),架設(shè)在 PyTorch 框架上,得益于Python的靈活性,新系統(tǒng)對(duì)用戶更加友好,安裝使用過程更加簡(jiǎn)易,同時(shí)支持Linux與Windows系統(tǒng)使用,方便進(jìn)行二次開發(fā)。此外,系統(tǒng)支持圖片、視頻、攝像頭輸入,實(shí)時(shí)在線計(jì)算出多人的姿態(tài)結(jié)果。
為了在兼顧速度的同時(shí)保持精度,新版AlphaPose提出了一個(gè)新的姿態(tài)估計(jì)模型。模型的骨架網(wǎng)絡(luò)使用 ResNet101,同時(shí)在其下采樣部分添加 SE-block 作為 attention 模塊——已經(jīng)有很多實(shí)驗(yàn)證明,在 Pose Estimation 模型中引入 attention 模塊能提升模型的性能,而僅在下采樣部分添加 SE-block 能使 attention 以更少的計(jì)算量發(fā)揮更好的效果。
除此之外,使用PixelShuffle + Conv進(jìn)行3次上采樣,輸出關(guān)鍵點(diǎn)的熱度圖。傳統(tǒng)的上采樣方法會(huì)使用反卷積或雙線性插值。而使用 PixelShuffle 的好處在于,在提高分辨率的同時(shí),保持特征信息不丟失。對(duì)比雙線性插值,運(yùn)算量低;對(duì)比反卷積,則不會(huì)出現(xiàn)網(wǎng)格效應(yīng)。
在系統(tǒng)架構(gòu)方面,新版 AlphaPose 采用多級(jí)流水的工作方式,使用多線程協(xié)作,將速度發(fā)揮到極致。
AlphaPose 系統(tǒng)目前在COCO的 Validation 集上的運(yùn)行速度是 20FPS(平均每張圖片4.6人),精度達(dá)到71mAP。 在擁擠場(chǎng)景下(平均每張圖片15人),AlphaPose系統(tǒng)速度仍能保持 10FPS 以上。
-
人機(jī)交互
+關(guān)注
關(guān)注
12文章
1192瀏覽量
55184 -
pytorch
+關(guān)注
關(guān)注
2文章
794瀏覽量
13010
原文標(biāo)題:最高比Mask-RCNN快3倍!上交大實(shí)時(shí)姿態(tài)估計(jì)AlphaPose升級(jí)
文章出處:【微信號(hào):AI_era,微信公眾號(hào):新智元】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論