即插即用的視頻深度預(yù)測框架是什么

(1) 我們提出了第一個即插即用的learning-based的視頻深度框架NVDS?？梢杂糜谌我獾膯文繄D像深度預(yù)測模型，去除時域抖動增強幀間一致性。

(2) 我們提出的Video Depth in the Wild(VDW) 數(shù)據(jù)集，是當(dāng)前體量最大場景最豐富的自然場景視頻深度數(shù)據(jù)集。

如下圖，與之前的視頻深度預(yù)測方法相比，本文方法NVDS在空間精度，時域平滑性，和推理效率上，均有提升顯著。同時，本文提出的Video Depth in the Wild(VDW) 數(shù)據(jù)集，是當(dāng)前體量最大場景最豐富的自然場景視頻深度數(shù)據(jù)集。

1. 任務(wù)背景與動機?

視頻深度預(yù)測對許多下游任務(wù)(例如視頻散景渲染，3D視頻合成，視頻特效生成等)具有重要的影響。理想的視頻深度預(yù)測模型需要解決兩個問題：(1) 深度的空間準(zhǔn)確; (2) 幀間的時域一致。近些年來，單目圖像深度預(yù)測算法已經(jīng)顯著提升了空間準(zhǔn)確性，但如何去除抖動提升幀間時域的一致性仍是一個困難的問題。

主流的視頻深度預(yù)測方法依賴于Test-time Training。他們在推理時，通過幾何約束和相機參數(shù)，迫使一個單目圖像深度預(yù)測模型過擬合當(dāng)前特定測試視頻的時域關(guān)系。這樣做有兩個明顯的缺點：(1)魯棒性差。相機參數(shù)在許多視頻中往往難以做到準(zhǔn)確可靠，而導(dǎo)致CVD，Robust-CVD等方法，產(chǎn)生明顯的artifact和完全錯誤的預(yù)測結(jié)果; (2)效率很低。以CVD為例，其在四張Tesla M40 GPU上處理一段244幀的視頻，需要超過四十分鐘的時間。

因此，很自然的一個想法是，我們能否建立learning-based的視頻深度預(yù)測方法，能夠直接在數(shù)據(jù)集上學(xué)習(xí)到時域一致性的能力和先驗，直接預(yù)測得到較好的結(jié)果，而不需要Test-time Training。那與所有的深度學(xué)習(xí)算法一樣，設(shè)計和實現(xiàn)這樣的learning-based的視頻深度方法，就需要處理兩個核心問題：(1)合理的模型設(shè)計，能夠建模幀間依賴關(guān)系，提升預(yù)測結(jié)果的一致性; (2) 充足的訓(xùn)練數(shù)據(jù)，訓(xùn)練和激發(fā)模型的最佳性能。遺憾的是，之前的learning-based視頻深度方法，其性能仍不如Test-time Training的方法，結(jié)果設(shè)計的有效性仍需要繼續(xù)研究和探索。由于標(biāo)注代價很大，已有的視頻深度數(shù)據(jù)集在數(shù)據(jù)體量和場景豐富度上仍然較為有限。

2. 方法與貢獻(xiàn)? ?

為了解決上述的兩個核心挑戰(zhàn)，我們做出了兩點貢獻(xiàn)：

(1) 我們提出了第一個即插即用的learning-based的視頻深度框架NVDS。NVDS包含一個depth predictor和一個stabilization network。其中，stabilization network可以直接被用到任意的單目圖像深度預(yù)測模型上，去除時域抖動幀間一致性。之前所有的learning-based的視頻深度預(yù)測模型都是獨立的(stand-alone)模型，其空間性能無法受益于sota的單目圖像模型，反之無法對大量已有的單目圖像模型進(jìn)行平滑穩(wěn)定。而NVDS的方法，打破了單目圖像深度預(yù)測和單目視頻深度預(yù)測的壁壘，一方面能夠受益于各種高精度的單圖模型，反之能對任意的單圖模型進(jìn)行平滑穩(wěn)定，實現(xiàn)了互相的促進(jìn)和雙贏。對于stabilization network ，我們采用了cross-attention建模關(guān)鍵幀(key frame)和參考幀(target frame)的幀間關(guān)系。同時，我們設(shè)計了雙向預(yù)測的機制來擴大時域感受野，進(jìn)一步提升一致性。

(2) 我們提出了Video Depth in the Wild(VDW) 數(shù)據(jù)集，是當(dāng)前體量最大場景最豐富的自然場景視頻深度數(shù)據(jù)集。由于巨大的標(biāo)注代價，當(dāng)前已有的視頻深度數(shù)據(jù)集大多數(shù)都是封閉場景的。而少數(shù)的幾個自然場景的視頻深度數(shù)據(jù)集，其體量和豐富度還遠(yuǎn)遠(yuǎn)不足。例如Sintel只包含23段動畫視頻。我們的VDW數(shù)據(jù)集，采集自電影、動畫、紀(jì)錄片、網(wǎng)絡(luò)視頻等多種數(shù)據(jù)源，包含超過200小時的14203段視頻，總計223萬幀。我們還設(shè)計了天空分割投票等機制，以及嚴(yán)格的數(shù)據(jù)篩選和標(biāo)注流程，來保證我們數(shù)據(jù)的精度。下圖包含數(shù)據(jù)集的部分示例，分別來自網(wǎng)絡(luò)視頻、紀(jì)錄片、動畫、電影。

3.實驗概述：方法部分? ?

在實驗方面，我們在VDW數(shù)據(jù)集，以及公開的Sintel和NYUDV2數(shù)據(jù)集上，均取得了SOTA的空間精度和時域一致性。其中VDW和Sintel為自然場景數(shù)據(jù)集。對于封閉場景數(shù)據(jù)例如NYUDV2，不使用我們的VDW數(shù)據(jù)集而只用統(tǒng)一的NYUDV2訓(xùn)練集進(jìn)行訓(xùn)練，已經(jīng)能取得SOTA的性能；而用我們的VDW數(shù)據(jù)集預(yù)訓(xùn)練，再在封閉場景的NYUDV2進(jìn)行finetune，則能夠進(jìn)一步提升模型的性能表現(xiàn)。

同時為了證明我們即插即用的有效性，我們采用了三個不同的depth predictor進(jìn)行實驗，我們的NVDS均取得了顯著的提升。

我們還通過ablation證明了雙向inference的有效性。單向的(Forward或backward)預(yù)測已經(jīng)能夠得到令人滿意的一致性，而雙向inference能夠進(jìn)一步擴大時域感受野，提升一致性。

部分定性結(jié)果如下圖所示，我們NVDS的方法取得了顯著的提升。每組例子左側(cè)為RGB幀，右側(cè)為視頻時域切片。切片中更少的條紋表征了更好的一致性和穩(wěn)定性。更多可視化結(jié)果請參考我們的論文、補充材料、成果視頻。

4. 實驗概述：數(shù)據(jù)集部分??

對于VDW數(shù)據(jù)集，我們比較了當(dāng)前已有的視頻深度數(shù)據(jù)集。我們的VDW數(shù)據(jù)集是目前體量最大、場景最豐富的自然場景視頻深度數(shù)據(jù)集。

我們還探究了使用不同數(shù)據(jù)對模型進(jìn)行訓(xùn)練的效果，由于我們的VDW數(shù)據(jù)集具有最佳的體量和場景豐富度，因此對于相同的模型，使用VDW數(shù)據(jù)集進(jìn)行訓(xùn)練取得了最優(yōu)性能。

而對于數(shù)據(jù)集的統(tǒng)計實驗，我們繪制了數(shù)據(jù)集的物體類別詞云，以及語義類別統(tǒng)計圖等。更多的數(shù)據(jù)集統(tǒng)計結(jié)果和示例請見論文和補充材料。

5. 代碼與數(shù)據(jù)集開源?

我們的代碼已經(jīng)開源：

https://github.com/RaymondWang987/NVDS

數(shù)據(jù)集正在搭建VDW的官方網(wǎng)站，并擬定相應(yīng)的開源協(xié)議，準(zhǔn)備好后會馬上進(jìn)行發(fā)布。我們的數(shù)據(jù)集體量較大，因此網(wǎng)站搭建和數(shù)據(jù)傳輸仍需要一定的時間，我們會對數(shù)據(jù)進(jìn)行分割并逐步上傳。VDW數(shù)據(jù)集可以被用于學(xué)術(shù)和研究用途，但不能用于商業(yè)用途。

編輯：黃飛