中山大學(xué)提出新型行人重識(shí)別方法和史上最大最新評(píng)測(cè)基準(zhǔn)

行人重識(shí)別，又稱行人再識(shí)別，是利用 CV 技術(shù)判斷圖像或視頻序列中是否存在特定行人的技術(shù)。常規(guī)的行人重識(shí)別方法往往需要高昂的人工標(biāo)注成本，計(jì)算復(fù)雜度也很大。在本文中，中山大學(xué)研究者提出的弱監(jiān)督行人重識(shí)別方法恰恰克服了這兩方面的障礙，并發(fā)布了一個(gè)大型行人重識(shí)別數(shù)據(jù)集。

近期，中山大學(xué)發(fā)布了一種基于可微圖學(xué)習(xí)的弱監(jiān)督行人重識(shí)別（person re-ID）方法和一個(gè)大型數(shù)據(jù)集。該方法結(jié)合可微圖學(xué)習(xí)和弱監(jiān)督學(xué)習(xí)方法，為行人重識(shí)別深度神經(jīng)網(wǎng)絡(luò)加入自動(dòng)生成訓(xùn)練標(biāo)簽的模塊并與其一體訓(xùn)練。相比普通的行人重識(shí)別方法，該方法不需要高昂的人工標(biāo)注成本，并且?guī)缀醪辉黾佑?jì)算復(fù)雜度也能達(dá)到領(lǐng)先的模型性能。 正是因?yàn)闃?biāo)注的簡(jiǎn)單，一個(gè)大型行人重識(shí)別數(shù)據(jù)集也誕生了，即 SYSU-30k。SYSU-30k 數(shù)據(jù)集包含 30,000 個(gè)行人身份類別，約是 CUHK03 和 Market-1501 的 20 倍。如果一個(gè)行人身份類別相當(dāng)于一個(gè)物體類別的話，則 SYSU-30k 相當(dāng)于 ImageNet 的 30 倍。該數(shù)據(jù)集總共包含 29,606,918 張圖像。 就原理而言，該方法首先將行人圖像按拍攝時(shí)間段分組成袋并分配袋類別標(biāo)簽，然后結(jié)合圖模型和深度神經(jīng)網(wǎng)絡(luò)捕獲一個(gè)袋中所有圖像之間的依賴關(guān)系，從而為每張圖像生成可靠的偽行人類別標(biāo)簽，作為行人重識(shí)別模型訓(xùn)練的監(jiān)督信息；接著進(jìn)一步將圖模型可微化，實(shí)現(xiàn)圖模型和行人重識(shí)別模型的一體訓(xùn)練；最后將圖模型損失和重識(shí)別損失的線性組合作為總損失函數(shù)，利用反向傳播算法更新網(wǎng)絡(luò)所有層的參數(shù)。相關(guān)論文發(fā)表在國(guó)際期刊 TNNLS 上。

背景 目前，行人重識(shí)別問(wèn)題主要有三種實(shí)現(xiàn)方法：（1）提取判別特征；（2）學(xué)習(xí)一個(gè)穩(wěn)定的度量或子空間進(jìn)行匹配；（3）聯(lián)合上述兩種方法。然而，大部分實(shí)現(xiàn)方法需要強(qiáng)監(jiān)督訓(xùn)練標(biāo)簽，即需要人工標(biāo)注數(shù)據(jù)集中的每張圖像。 此外也有不需要人工標(biāo)注的基于無(wú)監(jiān)督學(xué)習(xí)的行人重識(shí)別方法，這類方法使用局部顯著性匹配或聚類模型，但很難建?？鐢z像機(jī)視圖的顯著差異，因此很難達(dá)到高精度。 相比之下，本文提出的弱監(jiān)督行人重識(shí)別方法是一種優(yōu)秀的訓(xùn)練方法，不需要高昂的人工標(biāo)注成本也能達(dá)到較高的精度。弱監(jiān)督行人重識(shí)別的問(wèn)題定義如下圖 1 所示，其中圖 1(a)是常規(guī)全「監(jiān)督」行人重識(shí)別問(wèn)題，圖 1（b）是弱監(jiān)督行人重識(shí)別問(wèn)題，圖 1（c）是測(cè)試階段，兩種方式的測(cè)試階段一致。

圖 1：弱監(jiān)督行人重識(shí)別的問(wèn)題定義 具體而言，該方法主要包括以下四個(gè)過(guò)程：

將行人圖像按拍攝時(shí)間段分組成袋并分配袋類別標(biāo)簽；

結(jié)合圖模型和深度神經(jīng)網(wǎng)絡(luò)捕獲一個(gè)袋中所有圖像之間的依賴關(guān)系來(lái)為每張圖像生成可靠的偽行人類別標(biāo)簽，作為行人重識(shí)別模型訓(xùn)練的監(jiān)督信息；

進(jìn)一步將圖模型可微化，實(shí)現(xiàn)圖模型和行人重識(shí)別模型的一體訓(xùn)練；

將圖模型損失和重識(shí)別損失的線性組合作為總損失函數(shù)，利用反向傳播算法更新網(wǎng)絡(luò)所有層的參數(shù)。

本文的主要貢獻(xiàn)有以下幾點(diǎn)： 第一，研究者定義了一個(gè)弱監(jiān)督行人重識(shí)別問(wèn)題，利用袋類別標(biāo)簽代替常規(guī)行人重識(shí)別中的圖像類別標(biāo)簽。這個(gè)問(wèn)題值得進(jìn)一步探討，因?yàn)槿醣O(jiān)督行人重識(shí)別問(wèn)題可以大大減少標(biāo)注代價(jià)，并為收集大尺度行人重識(shí)別數(shù)據(jù)集提供了可能。 第二，由于存在的基準(zhǔn)數(shù)據(jù)集忽略了弱監(jiān)督行人重識(shí)別問(wèn)題，研究者收集了一個(gè)新的大規(guī)模行人重識(shí)別數(shù)據(jù)集 SYSU-30k，為未來(lái)研究行人重識(shí)別問(wèn)題提供了便利。SYSU-30k 數(shù)據(jù)集包含 30,000 個(gè)行人身份類別，大約是 CUHK03 數(shù)據(jù)集（1,300 個(gè)行人身份）和 Market-1501 數(shù)據(jù)集（1,500）的 20 倍，是 ImageNet（1,000 個(gè)類別）的 30 倍。SYSU-30k 包含 29,606,918 張圖像。SYSU-30k 數(shù)據(jù)集不僅僅是弱監(jiān)督行人重識(shí)別的一個(gè)評(píng)測(cè)平臺(tái)，更有一個(gè)和現(xiàn)實(shí)場(chǎng)景相似的挑戰(zhàn)性測(cè)試集。 第三，研究者引入了一個(gè)可微圖模型來(lái)處理弱監(jiān)督行人重識(shí)別中不精準(zhǔn)的標(biāo)注問(wèn)題。

圖 2：方法示意圖 SYSU-30k 數(shù)據(jù)集 目前沒(méi)有公開(kāi)發(fā)布的「弱監(jiān)督」行人重識(shí)別數(shù)據(jù)集。為了填補(bǔ)這個(gè)空白，研究者收集了一個(gè)新的大規(guī)模行人重識(shí)別數(shù)據(jù) SYSU-30k，為未來(lái)行人重識(shí)別研究提供了便利。他們從網(wǎng)上下載了許多電視節(jié)目視頻?？紤]電視節(jié)目視頻的原因有兩個(gè)：第一，電視節(jié)目中的行人通常是跨攝像機(jī)視角，它們是由多個(gè)移動(dòng)的攝像機(jī)捕捉得到并經(jīng)過(guò)后處理。因此，電視節(jié)目的行人識(shí)別是一個(gè)真實(shí)場(chǎng)景的行人重識(shí)別問(wèn)題；第二，電視節(jié)目中的行人非常適合標(biāo)注。在 SYSU-30k 數(shù)據(jù)集中，每一個(gè)視頻大約包含 30.5 個(gè)行人。 研究者最終共使用的原視頻共 1000 個(gè)。標(biāo)注人員利用弱標(biāo)注的方式對(duì)視頻進(jìn)行標(biāo)注。具體地，數(shù)據(jù)集被切成 84,930 個(gè)袋，然后標(biāo)注人員記錄每個(gè)袋包含的行人身份。他們采用 YOLO-v2 進(jìn)行行人檢測(cè)。三位標(biāo)注人員查看檢測(cè)得到的行人圖像，并花費(fèi) 20 天進(jìn)行標(biāo)注。最后，29,606,918(≈30M)個(gè)行人檢測(cè)框共 30,508（≈30k）個(gè)行人身份被標(biāo)注。研究者選擇 2,198 個(gè)行人身份作為測(cè)試集，剩下的行人身份作為訓(xùn)練集。訓(xùn)練集和測(cè)試集的行人身份沒(méi)有交疊。 SYSU-30k 數(shù)據(jù)集的一些樣例如下圖 3 所示。可以看到，SYSU-30k 數(shù)據(jù)集包含劇烈的光照變化（第 2,7,9 行）、遮擋（第 6,8 行）、低像素（第 2,7,9 行）、俯視拍攝的攝像機(jī)（第 2,5,6,8,9 行）和真實(shí)場(chǎng)景下復(fù)雜的背景（第 2-10 行）。

圖 3：SYSU-30k 數(shù)據(jù)集樣例。 SYSU-30k 數(shù)據(jù)集的統(tǒng)計(jì)特性 SYSU-30k 包含 29,606,918 張行人圖像，共計(jì) 30,508 個(gè)行人身份類別，被切分成 84,930 個(gè)袋（僅在訓(xùn)練集中按袋切分）。圖 4(a)總結(jié)了袋的數(shù)量與每個(gè)袋含有的圖像數(shù)量的直方圖統(tǒng)計(jì)。每個(gè)袋平均有 2,885 張圖像。該直方圖展示了現(xiàn)實(shí)場(chǎng)景中袋的行人圖像數(shù)量分布，沒(méi)有經(jīng)過(guò)人工手動(dòng)細(xì)分和清理。這里，數(shù)據(jù)集的標(biāo)簽是以袋級(jí)別進(jìn)行標(biāo)注的。

圖 4：數(shù)據(jù)集統(tǒng)計(jì)特性。 對(duì)比現(xiàn)有的行人重識(shí)別基準(zhǔn)數(shù)據(jù)集 研究者對(duì) SYSU-30k 和現(xiàn)有行人重識(shí)別數(shù)據(jù)集進(jìn)行對(duì)比，包括 CUHK03、Market-1501、Duke、MSMT17、CUHK01、PRID、VIPeR 和 CAVIAR。圖 4(b)和 4(c)分別展示了圖像的數(shù)量和行人身份類別的數(shù)量。可以看出，SYSU-30k 數(shù)據(jù)集比已有的數(shù)據(jù)集都大很多。 為了評(píng)估弱監(jiān)督行人重識(shí)別的性能，研究者從 SYSU-30k 數(shù)據(jù)集中隨機(jī)選擇 2,198 個(gè)行人身份作為測(cè)試集。需要注意，這些行人身份類別沒(méi)有在訓(xùn)練集中出現(xiàn)。研究者對(duì)該測(cè)試集進(jìn)行精細(xì)的圖像級(jí)別的行人身份標(biāo)注，并且也對(duì)測(cè)試集圖像的數(shù)量和行人身份類別數(shù)量進(jìn)行了對(duì)比，如圖 4(b)和 4(c)?？梢钥闯觯琒YSU-30k 的測(cè)試集比現(xiàn)有數(shù)據(jù)集更大更有挑戰(zhàn)性。多虧了袋級(jí)別的標(biāo)注方式，SYSU-30k 測(cè)試集能夠反映真實(shí)場(chǎng)景的設(shè)置。SYSU-30k 不僅僅是弱監(jiān)督行人重識(shí)別的大型基準(zhǔn)數(shù)據(jù)集，也是一個(gè)評(píng)估真實(shí)場(chǎng)景中全監(jiān)督行人重識(shí)別性能的標(biāo)準(zhǔn)平臺(tái)。 SYSU-30k 數(shù)據(jù)集和其他數(shù)據(jù)集的進(jìn)一步對(duì)比如下表 1(a)所示，包括行人身份類別數(shù)量、場(chǎng)景、標(biāo)注方式以及攝像機(jī)數(shù)量和圖像數(shù)量。 研究者總結(jié)出了 SYSU-30k 的新特色，有如下幾個(gè)方面：第一，SYSU-30k 是首個(gè)弱監(jiān)督行人重識(shí)別數(shù)據(jù)集；第二，SYSU-30k 的行人身份數(shù)量和圖像數(shù)量都是現(xiàn)有行人重識(shí)別數(shù)據(jù)集中最大的；第三，SYSU-30k 數(shù)據(jù)集更具挑戰(zhàn)性，包括攝像機(jī)數(shù)量、真實(shí)的室內(nèi)環(huán)境和室外場(chǎng)景和不精準(zhǔn)的袋級(jí)別標(biāo)注；第四，SYSU-30k 的測(cè)試集不僅僅適合于弱監(jiān)督行人重識(shí)別問(wèn)題，也是一個(gè)評(píng)估真實(shí)場(chǎng)景中全監(jiān)督行人重識(shí)別的標(biāo)準(zhǔn)平臺(tái)。

表 1（a）：對(duì)比存在的行人重識(shí)別數(shù)據(jù)集。 除了和行人重識(shí)別社區(qū)的數(shù)據(jù)集對(duì)比之外，研究者還對(duì)比了 SYSU-30k 和通用圖像分類中著名的 ImageNet-1k 基準(zhǔn)數(shù)據(jù)集。如下表 1(b)所示，SYSU-30k 有以下幾個(gè)吸引人的優(yōu)點(diǎn)：第一，SYSU-30k 比 ImageNet-1k 有更多的類別，即 30,000 對(duì)比 1,000；第二，由于有效的弱標(biāo)注方法，SYSU-30k 標(biāo)注需要的代價(jià)更低。

表 1（b）：對(duì)比 ImageNet-1k 數(shù)據(jù)集。 評(píng)估方式 SYSU-30k 的評(píng)估方式和先前常規(guī)行人重識(shí)別數(shù)據(jù)集的評(píng)估方式類似。研究者固定訓(xùn)練集和測(cè)試集的劃分。在測(cè)試集中，他們從 1,000 個(gè)不同的行人身份類別中分別選擇一張行人圖像，共得到 1,000 張行人圖像作為查詢集。 此外，為了符合實(shí)際場(chǎng)景中行人重識(shí)別的可拓展性，研究者提供了一個(gè)包含大量干擾行人圖像的候選集。具體地，對(duì)于每張查詢圖，在候選集中僅含有一張圖像和該查詢圖身份類別一樣，其他 478,730 張行人圖像是不匹配的。因此，這個(gè)評(píng)估方式就類比于大海撈針，和真實(shí)場(chǎng)景中警察從大量監(jiān)控視頻中搜索疑犯一樣具有巨大的挑戰(zhàn)性。研究者采用 rank-1 準(zhǔn)確率作為評(píng)估指標(biāo)。 方法從有監(jiān)督行人重識(shí)別到弱監(jiān)督行人重識(shí)別 用 b 表示包含 p 張圖像的一個(gè)袋，即 b=x_1,x_2,…x_j…x_p，y=y_1,y_2,…y_j…y_p 為行人身份類別標(biāo)簽，用 l表示袋類別標(biāo)簽。有監(jiān)督行人重識(shí)別需要用行人身份類別標(biāo)簽 y 監(jiān)督模型的分類預(yù)測(cè)；弱監(jiān)督行人重識(shí)別只有袋類別標(biāo)簽 l 可用，需要先為每張圖像估計(jì)一個(gè)偽行人類別標(biāo)簽，用一個(gè)概率向量Y表示。假設(shè) 包含 n個(gè)行人類別，整個(gè)訓(xùn)練集共有 m個(gè)行人類別，用袋類別標(biāo)簽限制Y，則每張圖像的行人類別標(biāo)簽的概率向量為：

（1）

基于可微圖學(xué)習(xí)的弱監(jiān)督行人重識(shí)別

圖 5：可微圖學(xué)習(xí)模型。

1. 圖模型行人重識(shí)別

如上圖 5 所示，定義一個(gè)有向圖，每個(gè)節(jié)點(diǎn)代表一個(gè)袋中的一張圖像 x_i，每條邊代表圖像之間的關(guān)系，在圖上為節(jié)點(diǎn) x分配行人類別標(biāo)簽 y 的能量函數(shù)為：

（2）

其中 U 和 V 分別表示節(jié)點(diǎn)和邊，是計(jì)算為圖像 x_i 分配標(biāo)簽 y_i 的代價(jià)的一元項(xiàng)，是計(jì)算為圖像對(duì)?(x_i?, x_j)?分配標(biāo)簽的懲罰的成對(duì)項(xiàng)。公式(2) 消除了弱監(jiān)督學(xué)習(xí)生成的錯(cuò)誤的偽標(biāo)簽。 ?

2. 一元項(xiàng)

公式 (2) 中的一元項(xiàng)定義為：

（3）

其中P_i 是神經(jīng)網(wǎng)絡(luò)為圖像 x_i 計(jì)算的行人類別標(biāo)簽的概率，Y_i 是公式 (1) 表示的袋限制，

表示逐元素乘積，

表示向量索引。

3. 成對(duì)項(xiàng)

由于不同圖像的一元項(xiàng)輸出相互獨(dú)立，一元項(xiàng)不穩(wěn)定，需要用成對(duì)項(xiàng)平滑：

（4）

其中用一個(gè)基于 RGB 顏色的高斯核計(jì)算外表相似度，超參數(shù)控制高斯核的尺寸，限制外表相似的圖像有相同的標(biāo)簽；標(biāo)簽兼容度用玻茨模型表示： ?

（5）

4. 袋限制

實(shí)際上，袋類別標(biāo)簽含有額外信息改善偽標(biāo)簽的生成：將估計(jì)的偽標(biāo)簽糾正為袋中預(yù)測(cè)分?jǐn)?shù)最高的行人分類；促使部分圖像被分配到?jīng)]有被預(yù)測(cè)的行人類別。

5. 偽行人類別標(biāo)簽的推理

通過(guò)最小化公式 (2) 可以得到每張圖像的偽行人類別標(biāo)簽：

(6)

其中 {1,2,3…,m} 表示訓(xùn)練集中所有的行人身份類別。 6. 圖學(xué)習(xí)可微化 上述弱監(jiān)督行人重識(shí)方法不是一體訓(xùn)練的，因?yàn)槭紫刃枰靡粋€(gè)外部圖模型得到偽行人類別標(biāo)簽，用于監(jiān)督行人重識(shí)別深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。最小化公式 (2) 得到偽標(biāo)簽的計(jì)算是不可微的，使得該圖模型與深度神經(jīng)網(wǎng)絡(luò)不兼容，因此需要松弛公式 (2) 為：

(7)

將離散的和連續(xù)化：

(8)

(9)

公式 (8) 和公式 (3) 的區(qū)別是，在不可微圖模型中，需要給能量函數(shù)輸入所有可能的 y，將能量最低的 y 作為最優(yōu)解；在可微圖模型中，直接將圖像 x 輸入深度神經(jīng)網(wǎng)絡(luò)得到 y 的預(yù)測(cè)。公式 (9) 和公式 (4) 的區(qū)別是，用交叉熵項(xiàng)

近似公式 (4) 中不可微的項(xiàng)。

圖 6：整體框架圖 整體神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 上圖 6 為訓(xùn)練和推理的網(wǎng)絡(luò)結(jié)構(gòu)，虛線表示訓(xùn)練數(shù)據(jù)流，實(shí)線表示推理數(shù)據(jù)流，其中圖模型只參與訓(xùn)練階段。整體結(jié)構(gòu)包含三個(gè)主要模塊： 1.特征提取模塊 如圖 6(a)，運(yùn)用 ResNet-50 作為骨干網(wǎng)絡(luò)，去掉原始 ResNet-50 的最后一層，換成一個(gè)輸出為 512 維的全連接層（FC）、一個(gè)批規(guī)范化（BN）、一個(gè)帶泄露線性整流函數(shù) (Leaky ReLU) 和一個(gè) dropout 層。 2. 粗糙行人重識(shí)別模塊 如圖 6(b)，在特征提取模塊的頂部再加一個(gè)輸出維度與行人類別數(shù)量相同的全連接層，再使用歸一化指數(shù)交叉熵作為損失函數(shù)。行人類別預(yù)測(cè)分?jǐn)?shù)作為粗糙行人重識(shí)別估計(jì)，表示袋中圖像的行人類別的概率。 3. 精煉行人重識(shí)別模塊 如圖 6(c)，按照公式 (8) 和(9)將粗糙行人重識(shí)別分?jǐn)?shù)、外表和袋限制輸入圖模型，圖模型生成的偽標(biāo)簽就能像人工標(biāo)注的真實(shí)標(biāo)簽一樣被用來(lái)更新網(wǎng)絡(luò)參數(shù)。 優(yōu)化 得到偽行人類別標(biāo)簽就能計(jì)算整體損失值對(duì)于深度神經(jīng)網(wǎng)絡(luò)參數(shù)的梯度，利用反向傳播算法，將梯度回傳給網(wǎng)絡(luò)的所有層，實(shí)現(xiàn)該弱監(jiān)督模型的所有參數(shù)的一體訓(xùn)練。 1. 損失函數(shù) 本方法的優(yōu)化目標(biāo)包含圖模型損失L_圖和分類 / 重識(shí)別損失L_分類，L_分類是偽標(biāo)簽作為監(jiān)督的歸一化指數(shù)交叉熵?fù)p失函數(shù)： ?

(10)

其中表示將轉(zhuǎn)換成獨(dú)熱向量的函數(shù)，表示一個(gè)袋中的圖片數(shù)量，P_i 表示神經(jīng)網(wǎng)絡(luò)計(jì)算的行人類別的概率，是網(wǎng)絡(luò)輸出對(duì)數(shù) z?的歸一化指數(shù)函數(shù)： ? ?

(11)

其中 m表示訓(xùn)練集的行人類別數(shù)量。 總損失函數(shù) L 是這兩個(gè)損失函數(shù)的線性組合：

(12)

其中w_分類和w_圖分別表示兩個(gè)損失的權(quán)重，本方法設(shè)置為 1 和 0.5。 實(shí)驗(yàn)數(shù)據(jù)集。本文在 SYSU-30k 和 Market-1501 評(píng)估這種弱監(jiān)督行人重識(shí)別方法，更多數(shù)據(jù)集分析見(jiàn)原文。Market-1501 數(shù)據(jù)集是一個(gè)廣泛應(yīng)用的大型行人重識(shí)別的基準(zhǔn)數(shù)據(jù)集。Market-1501 數(shù)據(jù)集由 6 個(gè)攝像機(jī)拍攝得到，包含 32,668 張行人圖像，共 1,501 個(gè)行人身份類別。數(shù)據(jù)集劃分為兩部分：12,936 張行人圖像共 751 個(gè)行人身份類別作為訓(xùn)練集，19,732 張圖像共 750 個(gè)行人身份作為測(cè)試集。在測(cè)試集中，3,368 張圖像共 750 個(gè)行人圖像通過(guò)手工截取作為查詢集。 實(shí)驗(yàn)配置。研究者采用 ResNet-50 作為骨干網(wǎng)絡(luò)，使用 ImageNet 預(yù)訓(xùn)練模型。其他參數(shù)使用正態(tài)分布進(jìn)行初始化。實(shí)驗(yàn)使用 SGD 優(yōu)化器。批次設(shè)置為 90，初始學(xué)習(xí)率為 0.01（全連接層初始學(xué)習(xí)率為 0.1）。沖量設(shè)置為 0.9，權(quán)重衰減設(shè)置為 0.0005，在單卡 GPU 上訓(xùn)練 SYSU-30k 大約需要 10 天。 實(shí)驗(yàn)結(jié)果 SYSU-30k 是一個(gè)弱監(jiān)督行人重識(shí)別數(shù)據(jù)集，本文方法是弱監(jiān)督行人重識(shí)別方法。由于傳統(tǒng)全監(jiān)督行人重識(shí)別方法不能直接在 SYSU-30k 數(shù)據(jù)集上訓(xùn)練，研究者利用遷移學(xué)習(xí)的方法將傳統(tǒng)全監(jiān)督行人重識(shí)別方法應(yīng)用到 SYSU-30k 數(shù)據(jù)集上。具體地，6 種經(jīng)典的全監(jiān)督行人重識(shí)別模型（包括 DARI，DF，TriNet，Local CNN，MGN 和無(wú) triplet 的 MGN）首先在 CUHK03 數(shù)據(jù)集上訓(xùn)練。然后，模型被應(yīng)用于 SYSU-30k 數(shù)據(jù)集上進(jìn)行跨數(shù)據(jù)集評(píng)估。而本文的弱監(jiān)督行人重識(shí)別方法直接在 SYSU-30k 上訓(xùn)練并在 SYSU-30k 的測(cè)試集上測(cè)試。 研究者在 SYSU-30k 數(shù)據(jù)集上對(duì)比最先進(jìn)的方法。如下表 2 所示，雖然本文方法使用的是弱監(jiān)督學(xué)習(xí)方式，但 W-MGN 得到了最佳的效果（29.5%）。本文方法的有效性歸因于以下兩點(diǎn)：第一，圖模型學(xué)習(xí)可以產(chǎn)生可靠的偽類標(biāo)來(lái)補(bǔ)償缺失的強(qiáng)標(biāo)簽；第二，SYSU-30k 數(shù)據(jù)集提供了豐富的知識(shí)來(lái)提升模型的能力，即使是以弱標(biāo)簽的方式給出。

研究者也提供了定性分析，可視化了 W-MGN 幾張查詢樣本的檢索結(jié)果，具體如下圖 8 所示。每一行代表一個(gè)查詢結(jié)果。第一張圖為查詢圖，后面緊接著是按照相似性從大到小依次排序的結(jié)果。紅色框代表和查詢圖身份類別匹配的行人圖像。在失敗的例子中，一些非匹配的行人圖像相似性排名比真實(shí)匹配的行人圖像還要高。非匹配的行人圖像看起來(lái)更像查詢圖的行人類別。

圖 8：SYSU-30k 數(shù)據(jù)集上 W-MGN 檢索結(jié)果樣例。 Market-1501 數(shù)據(jù)集是圖像級(jí)別標(biāo)注的行人重識(shí)別數(shù)據(jù)集。為了進(jìn)行弱監(jiān)督行人重識(shí)別評(píng)估，研究者利用該圖像級(jí)別標(biāo)注的數(shù)據(jù)集模擬產(chǎn)生袋級(jí)別的弱監(jiān)督行人重識(shí)別數(shù)據(jù)集。具體而言，對(duì)于 Market-1501 的訓(xùn)練集，利用弱標(biāo)簽代替強(qiáng)標(biāo)簽；對(duì)于 Market-1501 的測(cè)試集，則保持不變。研究者將本文方法和全監(jiān)督的行人重識(shí)別方法進(jìn)行對(duì)比。對(duì)比方法包括 15 種經(jīng)典的全監(jiān)督方法，包括 MSCAN、DF、SSM、SVDNet、GAN、PDF、TriNet、TriNet + Era. + reranking、PCB 和 MGN。 對(duì)比結(jié)果如下表 3 所示?？梢钥闯?，本文方法可以獲得競(jìng)爭(zhēng)性的實(shí)驗(yàn)結(jié)果。比如，W-MGN 和 W-Local CNN 得到 95.5% 和 95.7% 的 rank-1 準(zhǔn)確率，比很多全監(jiān)督方法要好。這說(shuō)明本文方法的有效性。

表 3：Market-1501 數(shù)據(jù)集上對(duì)比最先進(jìn)的方法。

原文標(biāo)題：可微圖學(xué)習(xí)&弱監(jiān)督，中山大學(xué)提出新型行人重識(shí)別方法和史上最大最新評(píng)測(cè)基準(zhǔn)

文章出處：【微信公眾號(hào)：通信信號(hào)處理研究所】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq