PVT++：通用的端對(duì)端預(yù)測(cè)性跟蹤框架

這一思想起源于 ECCV2020 “Towards Streaming Perception”。

由于機(jī)載算力受限，平臺(tái)/相機(jī)運(yùn)動(dòng)劇烈，我們發(fā)現(xiàn)這一問(wèn)題在無(wú)人機(jī)跟蹤中尤為嚴(yán)重，如圖一所示，相比“離線”評(píng)估，考慮算法延遲的“在線”評(píng)估可能使得其表現(xiàn)大幅下降。

▲ 圖一. “離線”評(píng)估與“在線”評(píng)估中各個(gè)跟蹤器的表現(xiàn)以及 PVT++ 在“在線”跟蹤中的效果?；疑珗D標(biāo)代表離線評(píng)估，藍(lán)色圖標(biāo)代表相同方法在線評(píng)估，紅色圖標(biāo)代表相同方法使用 PVT++ 轉(zhuǎn)換為預(yù)測(cè)性跟蹤器。

這一理論詳見(jiàn) ECCV2020 “Towards Streaming Perception” 以及我們過(guò)往的工作 “Predictive Visual Tracking（PVT）”。

▲ 圖二.（a）常規(guī)的跟蹤器有延遲，所以結(jié)果總是滯后的。（b）預(yù)測(cè)性跟蹤提前預(yù)測(cè)世界的狀態(tài)，彌補(bǔ)延遲帶來(lái)的滯后性。（c）與基于卡爾曼濾波的方法不同，我們的 PVT++ 有效利用了跟蹤器自帶的視覺(jué)特征并可從數(shù)據(jù)中學(xué)習(xí)運(yùn)動(dòng)的規(guī)律，進(jìn)而做出更準(zhǔn)確的預(yù)測(cè)。

貢獻(xiàn)

1. 我們研發(fā)了端對(duì)端的預(yù)測(cè)性目標(biāo)跟蹤框架 PVT++，該通用框架適用于不同類型的跟蹤器并能普遍帶來(lái)大幅效果提升。
2. 為實(shí)現(xiàn)“從數(shù)據(jù)中發(fā)現(xiàn)目標(biāo)運(yùn)動(dòng)的規(guī)律”，我們提出了相對(duì)運(yùn)動(dòng)因子，有效解決了 PVT++ 的泛化問(wèn)題。
3. 為引入跟蹤器已有的視覺(jué)特征實(shí)現(xiàn)穩(wěn)定預(yù)測(cè)，我們?cè)O(shè)計(jì)了輔助分支和聯(lián)合訓(xùn)練機(jī)制，不僅有效利用了跟蹤器的視覺(jué)知識(shí)而且節(jié)省了計(jì)算資源。

4. 除了 PVT++ 方法，我們還提出了能夠進(jìn)一步量化跟蹤器性能的的新型評(píng)估指標(biāo)e-LAE，該指標(biāo)不僅實(shí)現(xiàn)了考慮延遲的評(píng)估，而且可以區(qū)分實(shí)時(shí)的跟蹤器。

方法介紹

3.1 e-LAE 評(píng)估指標(biāo)

類似的評(píng)估方式最早被提出于 ECCV2020 “Towards Streaming Perception”，在以前的研究 PVT 中，我們針對(duì)跟蹤算法做了上述調(diào)整。

3.2 PVT++

無(wú)論算法的速度有多快，其延遲總存在，故而我們?cè)O(shè)計(jì)了端對(duì)端預(yù)測(cè)性跟蹤框架彌補(bǔ)延遲。如圖三（a）所示，PVT++ 的結(jié)構(gòu)非常直觀簡(jiǎn)單，跟蹤器模塊即普通的已有的（基于深度學(xué)習(xí)的）跟蹤算法，預(yù)測(cè)器接受跟蹤器輸出的歷史運(yùn)動(dòng) ，跟蹤器的歷史視覺(jué)特征 ，以及預(yù)設(shè)的落后幀數(shù) 作為輸入，輸出未來(lái)幀的目標(biāo)位置。

PVT++ 的結(jié)構(gòu)看上去雖然簡(jiǎn)單直觀，但使用離線數(shù)據(jù)訓(xùn)練這一套框架使之協(xié)助在線無(wú)人機(jī)跟蹤并非易事，其獨(dú)道之處在于以下三點(diǎn)：

相對(duì)運(yùn)動(dòng)因子：我們發(fā)現(xiàn)訓(xùn)練 PVT++ 會(huì)遇到一個(gè)核心問(wèn)題，訓(xùn)練集與測(cè)試集的域差距。試想，如果用于訓(xùn)練 PVT++ 的數(shù)據(jù)來(lái)自 VID，LaSOT，GOT10k 這些目標(biāo)運(yùn)動(dòng)尺度較小，方向速度較規(guī)律的數(shù)據(jù)集，PVT++ 自然會(huì)嘗試擬合這些運(yùn)動(dòng)規(guī)律而難以泛化到目標(biāo)運(yùn)動(dòng)更復(fù)雜，尺度更大的無(wú)人機(jī)跟蹤場(chǎng)景。為了解決這一問(wèn)題，我們將 PVT++ 的訓(xùn)練目標(biāo)改為學(xué)習(xí)/擬合特殊設(shè)計(jì)的相對(duì)運(yùn)動(dòng)因子，即原文公式（4）：

這里 可以簡(jiǎn)單理解為過(guò)去幾幀的平均速度，在左側(cè)的公式中，我們可以先假設(shè)目標(biāo)是勻速運(yùn)動(dòng)的，即未來(lái)幀的相對(duì)位置變化正比于未來(lái)幀的時(shí)間間隔和平均速度，此后我們的神經(jīng)網(wǎng)絡(luò)只需要在這一假設(shè)上做出調(diào)整即為未來(lái)的真實(shí)運(yùn)動(dòng)。這一設(shè)計(jì)也就使得預(yù)測(cè)器需要學(xué)習(xí)的東西是“相對(duì)于勻速運(yùn)動(dòng)假設(shè)的偏差值”，即相對(duì)運(yùn)動(dòng)因子，而非絕對(duì)的運(yùn)動(dòng)值。

我們發(fā)現(xiàn)這一預(yù)測(cè)目標(biāo)在大多數(shù)時(shí)候與目標(biāo)的絕對(duì)運(yùn)動(dòng)是無(wú)關(guān)的，故而訓(xùn)練出的網(wǎng)絡(luò)也就不易擬合訓(xùn)練集中的絕對(duì)運(yùn)動(dòng)，有著更好的泛化性。這一設(shè)計(jì)是 PVT++ 能 work 的核心原因。預(yù)測(cè)器輸出的相對(duì)運(yùn)動(dòng)會(huì)用于后續(xù)設(shè)計(jì)與真值的 L1 損失作為訓(xùn)練損失函數(shù)。

1. 輔助分支：預(yù)測(cè)器的視覺(jué)分支（圖四（b））需要當(dāng)前的相對(duì)運(yùn)動(dòng)信息作為監(jiān)督信號(hào)（圖四的虛線框部分）才能用于預(yù)測(cè)未來(lái)的運(yùn)動(dòng)。詳見(jiàn)原文 5.3 節(jié)。

2. 聯(lián)合訓(xùn)練：在訓(xùn)練 PVT++ 時(shí)，跟蹤器模塊需要在早期的訓(xùn)練 epoch 中以較小的學(xué)習(xí)率聯(lián)合預(yù)測(cè)器一起訓(xùn)練，進(jìn)而使視覺(jué)特征既適用跟蹤器做定位，又適合預(yù)測(cè)器做預(yù)測(cè)。詳見(jiàn)附錄 B 中的訓(xùn)練設(shè)定與我們的開(kāi)源代碼。

實(shí)驗(yàn)部分

4.1 設(shè)置

4.2 整體效果

▲ 表一

4.3 消融實(shí)驗(yàn)

4.4 與其他方法對(duì)比

4.5 可視化

局限性與討論

1. 預(yù)測(cè)器使用的視覺(jué)特征并不總是魯棒，我們發(fā)現(xiàn)在 DTB70 這類目標(biāo)運(yùn)動(dòng)速度很快導(dǎo)致圖片模糊/目標(biāo)出視野，但目標(biāo)運(yùn)動(dòng)本身很規(guī)律的數(shù)據(jù)集中其實(shí)單靠運(yùn)動(dòng)分支就可以起到很好的效果。

2. 訓(xùn)練策略有些復(fù)雜，特別是聯(lián)合訓(xùn)練時(shí)跟蹤器模塊在早期 epoch 用較小學(xué)習(xí)率微調(diào)這一些細(xì)節(jié)我們嘗試了很多次實(shí)驗(yàn)才發(fā)現(xiàn)。