行人再識(shí)別,澎思科技 ReID算法的三大突破

不久前，江蘇省某市公安通過(guò) AI 技術(shù)分析監(jiān)控?cái)z像頭中的信息，抓獲了一個(gè)偷盜電動(dòng)車(chē)的嫌疑人員。監(jiān)控?cái)z像頭在現(xiàn)場(chǎng)拍到的是嫌疑人背對(duì)攝像頭的情況，未有清晰正面的人臉，但圖片顯示了他的穿著、發(fā)型、身高等信息，而警方運(yùn)用的技術(shù)則是計(jì)算機(jī)視覺(jué)領(lǐng)域中的行人再識(shí)別技術(shù)（Re-ID），通過(guò)Re-ID技術(shù)警方找到了關(guān)聯(lián)攝像頭正好拍到他的正臉，以此確認(rèn)身份，迅速將嫌疑人抓獲。這也是行人再識(shí)別技術(shù)在實(shí)戰(zhàn)場(chǎng)景中的一個(gè)典型應(yīng)用，而提供給警方技術(shù)支持的則是國(guó)內(nèi)人工智能企業(yè)澎思科技（Pensees）。

行人再識(shí)別，澎思科技 ReID算法的三大突破

行人再識(shí)別起源于多攝像頭跟蹤，指在非重疊視角域多攝像頭網(wǎng)絡(luò)下進(jìn)行的行人匹配，即確認(rèn)不同位置的攝像頭在不同的時(shí)刻拍攝到的行人目標(biāo)是否為同一人。行人再識(shí)別涉及計(jì)算機(jī)視覺(jué)、機(jī)器學(xué)習(xí)、模式識(shí)別等多個(gè)學(xué)科領(lǐng)域。在行人再識(shí)別（ReID）技術(shù)研究領(lǐng)域，首位命中率（Rank-1 Accuracy）和平均精度均值（Mean Average Precision，mAP）是衡量算法水平的核心指標(biāo)。

近日，在行人再識(shí)別（Person Re-identification，簡(jiǎn)稱(chēng)ReID）算法上澎思科技取得了突破，在三大主流ReID數(shù)據(jù)集測(cè)試 Market1501、DukeMTMC-reID 和 CUHK03 中，算法關(guān)鍵指標(biāo)首位命中率（Rank-1 Accuracy）刷新了世界紀(jì)錄。

在三大數(shù)據(jù)集上，Rank-1 指標(biāo)分別達(dá)到 96.73%、92.01% 和 84.57%超過(guò)了阿里巴巴、騰訊、大華、云從科技等頭部廠家；在 CUHK03 數(shù)據(jù)集的實(shí)驗(yàn)中，mAP 也超過(guò)了之前的成績(jī)。

澎思科技 Market1501 部分測(cè)試結(jié)果

澎思科技通過(guò)對(duì)算法的自研創(chuàng)新和融合探索，算法上的突破有以下三點(diǎn)：

1、金字塔水平分塊策略：采用 human parsing 對(duì)人體分割，結(jié)合金字塔水平分塊策略，使得網(wǎng)絡(luò)準(zhǔn)確提取細(xì)粒度區(qū)域特征的能力大幅提升；

如圖所示， 特征圖水平分割 6 等份，其冪集一共有種組合，去掉全集和空集以后還有種組合方式，這些特征區(qū)域可以組合成為新的特征圖。對(duì)每個(gè)新的特征圖進(jìn)行常規(guī)操作（全局池化=>卷積=>批歸一化=>激活函數(shù)=>全連接層=>ID 監(jiān)督信號(hào)）。通過(guò)多監(jiān)督信號(hào)的參與，可以大幅提高模型的精度和魯棒性。

2、（1）漸進(jìn)式訓(xùn)練策略；（2）圖網(wǎng)絡(luò)結(jié)構(gòu)

（1）訓(xùn)練階段，借鑒 curriculum learning 思路，難樣本比例逐步提升，使得損失函數(shù)更易收斂。參與訓(xùn)練的樣本按照學(xué)習(xí)難易度、按順序進(jìn)入和退出訓(xùn)練循環(huán)，模型在訓(xùn)練的同時(shí)評(píng)估各樣本的難度，如此可以保證模型能夠有效挖掘樣本特征完成ReID任務(wù)。

（2）通過(guò)圖網(wǎng)絡(luò)結(jié)構(gòu)，學(xué)習(xí)得到各個(gè)細(xì)粒度特征的加權(quán)系數(shù)，進(jìn)一步提高特征的分辨能力。

如圖所示，網(wǎng)絡(luò)在學(xué)習(xí)行人特征提取的同時(shí)還要學(xué)習(xí)區(qū)分不同部分的人體結(jié)構(gòu)，有的放矢地在這些區(qū)域提取特征并進(jìn)行池化可以大大減少背景信息造成的干擾。同時(shí)使用圖卷積網(wǎng)絡(luò)對(duì)人體各部分的特征之關(guān)系經(jīng)行建模可以得到一個(gè)人的整體表示，其效果要優(yōu)于直接垂直等分特征圖。

各部分的特征向量首先堆疊在一起形成特征矩陣，使用一維卷積分別混洗每行和每列的特征，讓信息在各部分、各通道之間流動(dòng)，重復(fù)一定次數(shù)以后可以得到穩(wěn)定的整體特征。

3、重構(gòu)距離：最后在測(cè)試階段，除常規(guī)距離計(jì)算手段，引入重構(gòu)距離，提升網(wǎng)絡(luò)對(duì)未對(duì)齊、遮擋等技術(shù)難點(diǎn)的魯棒性。

為了解決遮擋帶來(lái)的精度下降問(wèn)題，提出線性空間重構(gòu)，利用參考圖片的信息嘗試盡可能地恢復(fù)殘缺特征圖，恢復(fù)后的特征圖和參考特征圖之間的距離即為重構(gòu)距離。由此可以保證相似的圖片之間可以互相重構(gòu)，而不同個(gè)體的圖片不管怎么重構(gòu)都有一定的距離。從而提高了模型應(yīng)對(duì)遮擋情況的能力。

ReID 算法持續(xù)優(yōu)化，加速技術(shù)在多行業(yè)應(yīng)用落地

ReID 算法加速技術(shù)在多行業(yè)應(yīng)用落地

近年來(lái)受益于深度學(xué)習(xí)的發(fā)展，行人再識(shí)別（ReID）技術(shù)水平得到了巨大提升，超越人眼識(shí)別能力，并達(dá)到了商用的水平。作為人臉識(shí)別技術(shù)的重要補(bǔ)充，其發(fā)展內(nèi)核便是在不同視頻中，在無(wú)法獲取清晰人臉特征信息前提下，機(jī)器通過(guò)穿著、發(fā)型、體態(tài)等信息將同一個(gè)人識(shí)別出來(lái)，增強(qiáng)數(shù)據(jù)的時(shí)空連接性。在公共安全（如智能視頻監(jiān)控、安保、刑偵）、智能零售、智能交通以及智慧城市等領(lǐng)域有很高的應(yīng)用價(jià)值。

在公共安全領(lǐng)域，行人再識(shí)別技術(shù)在警務(wù)實(shí)戰(zhàn)中可以作為人臉識(shí)別技術(shù)的有力補(bǔ)充，幫助公安視頻偵查實(shí)現(xiàn)人臉、人體圖像與數(shù)據(jù)聯(lián)結(jié)，強(qiáng)化軌跡追蹤功能，深化公安視頻圖像應(yīng)用能力。

在智慧零售領(lǐng)域，行人再識(shí)別技術(shù)可以幫助商超收集“人”與“場(chǎng)”之間的關(guān)系數(shù)據(jù)并以可視化的方式重現(xiàn)。通過(guò)行人再識(shí)別技術(shù)追蹤記錄顧客店內(nèi)行動(dòng)軌跡，分析熱點(diǎn)區(qū)域和商品關(guān)注度，分析不同區(qū)域的客流駐足率，從而據(jù)此優(yōu)化商品陳列，獲取最佳客流動(dòng)線；感知客流峰谷，最受歡迎區(qū)域，合理配備人員，提升服務(wù)。同時(shí)，也將有助于基于用戶行為畫(huà)像，實(shí)現(xiàn)線下廣告精準(zhǔn)投放。

在智能制造、智慧園區(qū)等領(lǐng)域，行人再識(shí)別技術(shù)同樣可以在提高員工工作效率，管理規(guī)范生產(chǎn)過(guò)程，降低企業(yè)管理成本，提升企業(yè)安保等級(jí)等方面有很多的應(yīng)用場(chǎng)景。目前，澎思科技自研的 ReID 算法已經(jīng)在不同行業(yè)的多個(gè)業(yè)務(wù)場(chǎng)景中落地應(yīng)用。