一種用于視頻識別的SlowFast網(wǎng)絡

【導語】繼圖像領域之后，現(xiàn)在的 CV 領域，大家都在研究哪些內(nèi)容？近日，F(xiàn)acebook AI 實驗室的 Christoph Feichtenhofer、何愷明等人發(fā)表一篇論文，在視頻識別領域提出了一種 SlowFast 網(wǎng)絡，并且在沒有預訓練模型情況下，此網(wǎng)絡在 Kinetics 數(shù)據(jù)集上取得79.0% 的準確率，是當前該數(shù)據(jù)集上的最佳表現(xiàn)。在 AVA 動作檢測數(shù)據(jù)集上，同樣實現(xiàn)了 28.3 mAP 的最佳水準。

到底 SlowFast 網(wǎng)絡是怎樣的設計、有什么特征、效果如何，下面就一起來看一下~

對于圖像識別任務，給定一張圖像 I（x, y），對稱地處理圖像的空間維度 x、y 是一種很常見的做法，而自然圖像的統(tǒng)計數(shù)據(jù)也證明了這種做法的合理性—自然圖像具有各向同性（即所有方向具有相同的可能性）和平移不變性。

然而，對于視頻信號 I（x, y, t）而言，我們不能這樣對稱地處理時空信號。因為動作是方向的時空產(chǎn)物，但并非所有的時空方向都擁有相同的可能性。如果這樣，那么我們就不能像基于時空卷積（spatiotemporal convolutions）的視頻識別方法那樣，對稱地處理空間和時間信息。相反，我們需要分解這種結構，并分開處理空間結構和時間事件。

受此啟發(fā)，本研究提出了一種用于視頻識別的 SlowFast 雙路徑模型，一條路徑 slow pathway更關注空間域的語義信息，以低幀率，緩慢的刷新速度運行，用于捕獲圖像或幾個稀疏幀提供的語義信息；而另一條路徑 fast pathway以高時間分辨率、快速刷新在所有中間層運行，捕獲快速變化的動作信息，輕量級，整體的計算開銷小。此外，這種快慢結合的雙路徑二者在結構上通過側向連接（lateral connection）進行融合，以不同的速率處理原始視頻。

圖1 SlowFast 網(wǎng)絡由低幀率、低時間分辨率的 Slow 路徑和高幀率、高時間分辨率 (是 Slow 路徑時間分辨率的 α 倍) 的 Fast 路徑構成。使用減少通道容量輕量化 Fast 路徑，并通過側向連接的方式連接 Slow 路徑和 Fast 路徑。圖中該樣本來自 AVA 數(shù)據(jù)集。

SlowFast 模型

如上圖所示，SlowFast 網(wǎng)絡的整體結構，包含 Slow pathway、Fast pathway 及其側向連接（lateral connection）部分。其中，Slow pathway 可以是任意的卷積模型，用于處理視頻的空間信息體量。為了與 Slow pathway 對應，F(xiàn)ast pathway 也是卷積結構的模型，但需要具有高幀率，高時間分辨率、低通道容量等特點。

為了將快慢兩條途徑的信息融合在一起，作者采用側向連接（lateral connection）的方式來實現(xiàn)。側向連接技術已被廣泛用于融合基于光流的雙流網(wǎng)絡，而在圖像目標檢測任務中，橫向連接作為一種流行的融合的技術，能夠?qū)⒖臻g分辨率和語義水平特征融合在一起。在這里作者在快慢路徑之間引入一個橫向連接，即每個“階段”的兩條路徑（如上圖1所示）。具體而言，對于 ResNets 網(wǎng)絡，這些側向連接分別在 pool1，res2，res3 和 res4 層之后。而對于 slow-fast 網(wǎng)絡，由于兩條路徑存在差異，因此側向連接需要通過轉(zhuǎn)換過程以便匹配各自的路徑，即采用單向連接的方式來將 Fast 的特征融合到 Slow 路徑上。最后，在每條路徑的輸出后引入一個全局平均池化操作，并將兩個池化特征向量連接，作為全連接分類層的輸入。更多具體的信息可以查看論文中的詳細介紹。

值得一提的是，這種快慢結合方法是受到靈長類視覺系統(tǒng)中視網(wǎng)膜神經(jīng)節(jié)細胞的生物學研究啟發(fā)的。生物學研究結果發(fā)現(xiàn)，在這些細胞中約 80% 是小細胞 P-cell，它能夠提供良好的空間細節(jié)和顏色，但時間分辨率較低；而另外有大約 15-20% 的細胞是大細胞 M-cell，它以較高的時間頻率工作，對時間變化更加敏感，但對空間細節(jié)和顏色不敏感。SlowFast 網(wǎng)絡的提出正是受此啟發(fā)，兩條路徑構成，分別以低時間分辨率和高時間分辨率工作，對應于 P-cell 和 M-cell 的作用。

SlowFast 是一種通用的網(wǎng)絡框架，可以進行實例化，適配各種的主干網(wǎng)絡。在這里，作者所采用的 SlowFast 網(wǎng)絡參數(shù)如下圖2所示：

圖2 SlowFast 網(wǎng)絡的實例化。核維度表示為 {T×S^2 , C}，其中 T 表示時間分辨率，S 表示空間語義而 C 表示通道數(shù)。步長表示為 {temporal stride, spatial stride^2}。此外，速度比率是α = 8，通道比率是 β = 1/8。τ = 16。圖中綠色表示 Fast 路徑較高的時間分辨率，橙色表示 Fast 路徑較少的通道數(shù)，下劃線表示非退化時間濾波器（non-degenerate temporal filter）。方括號內(nèi)表示的是殘差塊結構。骨干網(wǎng)絡采用的是 ResNet-50。

實驗

SlowFast 網(wǎng)絡在 Kinetics 和 AVA 數(shù)據(jù)集上具體表現(xiàn)如何？我們通過研究中的一些實驗數(shù)據(jù)對比看一下各數(shù)據(jù)結果。

▌Kinetics 數(shù)據(jù)集的動作分類

對于視頻動作分類，作者采用 Kinetics-400 數(shù)據(jù)集，其中包含約 240k 個訓練視頻數(shù)據(jù)和20k個驗證數(shù)據(jù)，共涵蓋400種動作類別。實驗結果得到 Top1 和 Top5 的分類準確性，單條 Slow 網(wǎng)絡與 SlowFast 網(wǎng)絡的性能對比，以及 SlowFast 網(wǎng)絡與 Kibetics-400 數(shù)據(jù)集上當前最佳模型之間的性能對比，詳細結果如下圖3，圖4，圖5所示。

圖3 Kinetics-400 數(shù)據(jù)集動作分類結果，包括 top-1 和 top-5 分類準確度，以及計算復雜度 GFLOPs。

圖4 Kinetics-400 數(shù)據(jù)集上 Slow-only 網(wǎng)絡與 SlowFast 網(wǎng)絡的性能對比；top-1 訓練誤差 (虛線表示) 和驗證誤差 (實線表示)。

圖5 Kinetics-400 數(shù)據(jù)集上當前最佳模型與 SlowFast 網(wǎng)絡的性能對比。

▌AVA 數(shù)據(jù)集的動作檢測

對于視頻動作檢測，作者采用 AVA 數(shù)據(jù)集，其中包含有 211k 個訓練數(shù)據(jù)和 57k 個驗證數(shù)據(jù)，共涵蓋 60 種動作類別。實驗結果得到 60 個類別的平均精度 mAP 值，SlowFast 網(wǎng)絡與 AVA 數(shù)據(jù)集上當前最佳模型之間的性能對比，以及 AVA 數(shù)據(jù)集動作檢測結果的可視化過程，詳細結果如下圖 6，圖 7，圖 8 所示。

圖6 AVA 數(shù)據(jù)集上每個類別的 AP：Slow-only 模型的 19.0 mAP vs. SlowFast 模型的 24.2 mAP。其中，黑色突出顯示的是絕對增長最高的5個類別，而這里實例化的 SlowFast 網(wǎng)絡并不是最佳的模型。

圖7 AVA 數(shù)據(jù)集上最佳模型與 SlowFast 網(wǎng)絡的性能對比。其中，++ 表示在測試過程引入了諸如水平翻轉(zhuǎn)的圖像增強操作。

圖8 可視化 AVA 數(shù)據(jù)集的動作檢測結果。其中真實的標簽用紅色表示，而 SlowFast 模型在驗證集上的預測結果用綠色表示。

總結

本文提出了一種用于視頻識別的 SlowFast 網(wǎng)絡。該模型由兩部分組成：以低幀率運行以捕捉空間語義信息的 Slow pathway；以高幀率運行捕捉較好時序分辨率的運動信息的 Fast pathway。通過減少通道容量，所設計的 Fast pathway 是個非常輕量級的、同時又能夠?qū)W習到有用的時間信息用于視頻識別的網(wǎng)絡。

SlowFast 網(wǎng)絡在視頻動作分類及檢測任務上展現(xiàn)了強大的性能，同時這種快慢結合思想的提出也為視頻目標識別和檢測領域做出了重要貢獻。實驗結果表明，在沒有使用任何預訓練模型的情況下，SlowFast 網(wǎng)絡在 Kinetics 數(shù)據(jù)集上取得了 79.0% 的準確率，大大超過了以前同類方法的最佳結果。而在 AVA 動作檢測數(shù)據(jù)集上，該網(wǎng)絡同樣實現(xiàn)了 28.3 mAP 的當前最佳水準。

總的來說，時間維度是視頻任務中一個特殊的因素，本文的 SlowFast 網(wǎng)絡框架考慮時間維度上不同的速度對時空信息捕捉的影響，實例化的 SlowFast 模型在 Kinetics 和 AVA 數(shù)據(jù)集上實現(xiàn)當前最佳的視頻動作分類和檢測結果，希望這種快慢結合的設計理念能夠促進視頻識別領域未來的研究。有關的項目代碼將會在近期開源。