有人開源PyTorch實(shí)現(xiàn)極慢視頻 突破人類極限

英偉達(dá)團(tuán)隊(duì)CVPR-18論文Super SloMo使用深度學(xué)習(xí)，能將任意視頻變?yōu)椤案咔迓俨シ拧蹦Ｊ?，從此不再錯(cuò)過任何細(xì)節(jié)。今天有人開源了PyTorch實(shí)現(xiàn)，趕緊來試試吧！

總有那么一些細(xì)節(jié)，你瞪大雙眼拼了命想看清卻依然奈不了何，比如下面這個(gè)：

跟得上球嗎？要看清男子羽毛球比賽的細(xì)節(jié)實(shí)在不容易

有時(shí)候想盯住飛來飛去的羽毛球，非常吃力，這就是人類肉眼的極限。

你或許會(huì)說，好解決啊，用慢速回放功能就行了。

確實(shí)可以回放，但慢速回放的前提，是攝像機(jī)一開始就捕捉到了這些細(xì)節(jié)。如今，一些大型體育賽事已經(jīng)用上了工業(yè)高速攝像頭，為的就是在裁判的裁決引發(fā)爭議時(shí)，可以用慢鏡頭回放來判定結(jié)果。

但是，沒有專業(yè)的高速攝像頭怎么辦？

像我們用智能手機(jī)拍的視頻，記錄下生活中很多美好，隨風(fēng)飄逝的晚霞，又或者池塘濺起的漣漪，還有孩子們在泳池里潑水嬉戲，如果都能夠放慢了觀看，必將帶來全新的感受。

正因如此，當(dāng)今年計(jì)算機(jī)視覺頂會(huì)CVPR舉行時(shí)，英偉達(dá)團(tuán)隊(duì)的一篇能讓手機(jī)拍攝的視頻也“高清慢速播放”的論文，在業(yè)界引發(fā)了很大的反響。

這項(xiàng)被稱為Super SloMo的工作，使用深度神經(jīng)網(wǎng)絡(luò)，對視頻中缺失的幀進(jìn)行預(yù)測并補(bǔ)全，從而生成連續(xù)慢速回放的效果。

更贊的是，他們提出的方法，能夠排除原視頻幀當(dāng)中被遮擋的像素，從而避免在生成的內(nèi)插中間幀里產(chǎn)生模糊的偽像(artifact)。

值得一提，這篇論文的第一作者，是本碩畢業(yè)于西安交通大學(xué)、現(xiàn)在馬薩諸塞大學(xué)阿默斯特分校讀博四的Huaizu Jiang。第二作者Deqing Sun是英偉達(dá)學(xué)習(xí)與感知研究小組的高級研究員，本科畢業(yè)于哈工大，碩士讀的港中文，在布朗大學(xué)取得博士學(xué)位后，在哈佛Hanspeter Pfister教授的視覺研究小組做過博士后。

感受一下Super-SloMo生成的“慢速回放”效果：

注意，左右兩邊都是Super SloMo生成的視頻。左邊是原始慢速視頻，右邊是將這個(gè)結(jié)果再放慢4倍的效果，如果不告訴你中間的細(xì)節(jié)(幀)是神經(jīng)網(wǎng)絡(luò)生成的，你會(huì)不會(huì)把它們當(dāng)做真的慢速回放？來源：Huaizu Jiang個(gè)人主頁

實(shí)際用手機(jī)拍攝的畫面是這樣的，對比后，意識到Super SloMo補(bǔ)充多少細(xì)節(jié)了嗎？

論文作者稱，他們能將30FPS(畫面每秒幀數(shù))的視頻變?yōu)?80FPS，也即每秒幀數(shù)增加了16倍。

根據(jù)Super SloMo項(xiàng)目主頁，作者表示，使用他們未經(jīng)優(yōu)化的PyTorch代碼，在單個(gè)NVIDIA GTX 1080Ti 和 Tesla V100 GPU上，生成7個(gè)分辨率為1280*720的中間幀，分別只需要0.97秒和0.79秒。（補(bǔ)充說明：從標(biāo)準(zhǔn)序列30-fps生成240-fps視頻，一般需要在兩個(gè)連續(xù)幀內(nèi)插入7個(gè)中間幀。）

效果當(dāng)然稱得上驚艷。然而，令很多人失望的是，論文發(fā)布時(shí)并沒有將代碼和數(shù)據(jù)集公開，盡管作者表示可以聯(lián)系 Huaizu Jiang 獲取部分原始資料。

僅在論文中提到的數(shù)據(jù)和示例。來源：Super SloMo論文

今天，有人在 Github 上開源了他對 Super-SloMo 的 PyTorch 實(shí)現(xiàn)。這位ID為atplwl的Reddit用戶，在作者提供的adobe24fps數(shù)據(jù)集上預(yù)訓(xùn)練的模型(下圖中pretrained mine)，實(shí)現(xiàn)了與論文描述相差無幾的結(jié)果。

現(xiàn)在，這個(gè)預(yù)訓(xùn)練模型，還有相關(guān)的代碼、數(shù)據(jù)集，以及實(shí)現(xiàn)條件，都能在GitHub上查到。

自稱新手的atplwl表示，他目前在努力完善這個(gè)GitHub庫，接下來預(yù)計(jì)添加一個(gè)PyThon腳本，將視頻轉(zhuǎn)換為更高的fps視頻，歡迎大家提供建議。

Super SloMo：將任意視頻變?yōu)椤案咔迓俨シ拧?/p>

代碼在手，再看論文——前文已經(jīng)說過，從已有視頻中生成高清慢速視頻是一件非常有意義的事情。

除了專業(yè)的高速攝像機(jī)尚未普及到每個(gè)人手里，人們用手機(jī)拍攝的視頻 (一般為240FPS) 想要放慢的時(shí)刻是不可預(yù)測的，要實(shí)現(xiàn)這一點(diǎn)就不得不用標(biāo)準(zhǔn)幀速率來記錄所有視頻，但這樣做需要的內(nèi)存過大，對移動(dòng)設(shè)備來說耗電量也花不起。

現(xiàn)在，計(jì)算機(jī)視覺領(lǐng)域，除了將標(biāo)準(zhǔn)視頻轉(zhuǎn)換為更高的幀速率之外，還可以使用視頻插值來生成平滑的視圖轉(zhuǎn)換。在自監(jiān)督學(xué)習(xí)中，這也可以作為監(jiān)控信號來學(xué)習(xí)未標(biāo)記視頻的光流。

不過，生成多個(gè)中間視頻幀 (intermediate video frame) 是具有挑戰(zhàn)性的，因?yàn)閹仨氃诳臻g和時(shí)間上是連貫的。例如，從30-fps標(biāo)準(zhǔn)序列生成240-fps視頻，需要在兩個(gè)連續(xù)幀內(nèi)插入7個(gè)中間幀。

成功的解決方案不僅要正確解釋兩個(gè)輸入圖像之間的運(yùn)動(dòng)（隱式或顯式），還要理解遮擋 (occlusion)。 否則，就可能導(dǎo)致插值幀中產(chǎn)生嚴(yán)重的偽像，尤其是在運(yùn)動(dòng)邊界附近。

現(xiàn)有方法主要集中于單幀視頻插值，而且已經(jīng)取得了不錯(cuò)的進(jìn)展。然而，這些方法不能直接用于生成任意高幀率視頻。

雖然遞歸地應(yīng)用單幀視頻插值方法生成多個(gè)中間幀是一個(gè)很不錯(cuò)的想法，但這種方法至少有兩個(gè)限制：

首先，遞歸單幀插值不能完全并行化，速度較慢，因?yàn)橛行窃谄渌麕瓿珊蟛胚M(jìn)行計(jì)算的(例如，在七幀插值中，幀2取決于0和4，而幀4取決于0和8)。

其次，它只能生成2i-1個(gè)中間幀。因此,不能使用這種方法有效生地生成1008 - fps 24幀的視頻，這需要生成41中間幀。

論文Super SloMo: High Quality Estimation of Multiple Intermediate Frames for Video Interpolation提出了一種高質(zhì)量的變長多幀插值方法，該方法可以在兩幀之間的任意時(shí)間步長進(jìn)行插值。

其主要思想是，將輸入的兩幅圖像扭曲到特定的時(shí)間步長，然后自適應(yīng)地融合這兩幅扭曲圖像，生成中間圖像，其中的運(yùn)動(dòng)解釋和遮擋推理在單個(gè)端到端可訓(xùn)練網(wǎng)絡(luò)中建模。

Super SloMo效果展示：注意在放慢過渡區(qū)域?qū)蜗竦奶幚怼?/p>

具體來說，首先使用流量計(jì)算CNN來估計(jì)兩幅輸入圖像之間的雙向光流，然后線性融合來近似所需的中間光流，從而使輸入圖像發(fā)生扭曲。這種近似方法適用于光滑區(qū)域，但不適用于運(yùn)動(dòng)邊界。

因此，Super SloMo 論文作者使用另一個(gè)流量插值CNN來細(xì)化流近似并預(yù)測軟可見性圖。

通過在融合之前將可見性圖應(yīng)用于變形圖像，排除了被遮擋像素對內(nèi)插中間幀的貢獻(xiàn)，從而減少了偽像。

Super SloMo網(wǎng)絡(luò)架構(gòu)

“我們的流計(jì)算和插值網(wǎng)絡(luò)的參數(shù)都獨(dú)立于被插值的具體時(shí)間步長，是流插值網(wǎng)絡(luò)的輸入。因此，我們的方法可以并行生成任意多的中間幀?！弊髡咴谡撐闹袑懙馈?/p>

為了訓(xùn)練該網(wǎng)絡(luò)，團(tuán)隊(duì)從YouTube和手持?jǐn)z像機(jī)收集了240-fps的視頻?？偭坑?.1K視頻剪輯，由300K個(gè)獨(dú)立視頻幀組成，典型分辨率為1080×720。

然后，團(tuán)隊(duì)在其他幾個(gè)需要不同插值數(shù)量的獨(dú)立數(shù)據(jù)集上評估了訓(xùn)練模型，包括Middlebury 、 UCF101 、慢流(slowflow)數(shù)據(jù)集和高幀率(high-frame-rate) MPI Sintel。

實(shí)驗(yàn)結(jié)果表明，該方法明顯優(yōu)于所有數(shù)據(jù)集上的現(xiàn)有方法。 團(tuán)隊(duì)還在KITTI 2012光流基準(zhǔn)上評估了無監(jiān)督（自監(jiān)督）光流結(jié)果，并獲得了比現(xiàn)有最近方法更好的結(jié)果。