如何實現(xiàn)緊致化的視覺大數(shù)據(jù)分析系統(tǒng)

“落霞與孤鶩齊飛，秋水共長天一色?！?/p>

短短十四個字，極具層次性地提煉出了視覺畫面中的色彩之美、動態(tài)之美、虛實之美、以及立體之美，因此成為了景物描寫的絕唱之筆。

而在計算機視覺領域，這十四個字的創(chuàng)作過程，其實就是從視覺系統(tǒng)中提取關鍵特征、并以簡短緊湊的方式呈現(xiàn)出來的過程。

計算機視覺技術自誕生之日起，即面臨著較大的計算壓力，這一領域的研究也一直在以空間換時間、或者以時間換空間這兩種嘗試中交替前行。至今，雖然隨著GPU的盛放，算力得到了很大的提升，然而，在真實場景下的人機交互中，仍面臨著端側(cè)資源不足的問題。因此， 如果我們的特征提取過程能夠做到對整個視覺輸入的“提綱挈領”，即提取過程更加快速、特征表示更加緊湊，將有助于計算機視覺在生活中的真實落地。

今天，來自廈門大學的紀榮嶸教授，將從視覺信息的緊湊性、深度網(wǎng)絡的緊湊性、以及檢測算法的緊湊性三方面，來介紹如何實現(xiàn)緊致化的視覺大數(shù)據(jù)分析系統(tǒng)。

文末，大講堂提供文中提到參考文獻的下載鏈接。

首先，刷一波福利，廈門大學媒體分析與計算組，在招收碩士生、博士生、博士后、助理教授等。

在廈門大學那么小的研究組怎樣能做一些跟別人不一樣的事情呢？我們從思考現(xiàn)有算法的問題入手，思考除了精度之外還有哪些問題。其實如果大家看一下視覺搜索和識別的流程，從特征抽取、描述、到索引，都對系統(tǒng)緊湊性有很重要的要求，雖然目前還沒有引起廣泛關注，但已有很多工業(yè)界的應用需求。因此，從2013年到現(xiàn)在差不多五年的時間，我主要研究怎樣把搜索系統(tǒng)和識別系統(tǒng)做小和做快。

本次報告包含三個部分：

第一部分是視覺特征緊湊型：如果特征抽出來沒有明確目標做視覺特征檢索，這時候怎么把特征做得又小又快。

第二部分是神經(jīng)網(wǎng)絡緊湊型：現(xiàn)在有很多做端到端的學習，神經(jīng)網(wǎng)絡怎么做小怎么把速度提起來。

第三部分是檢測算法的緊湊性。

在視覺特征緊湊型方面，視覺數(shù)據(jù)是大數(shù)據(jù)里面的主體，談到大數(shù)據(jù)，我們首先想到的數(shù)據(jù)量最大的還是圖像和視頻數(shù)據(jù)。

如果不可以把圖像和視頻數(shù)據(jù)找到，它們的價值其實很難得到發(fā)現(xiàn)。我們這時候面臨的問題是，需要在上百萬或者上千萬的數(shù)據(jù)集里面，高速高效的把相關視覺數(shù)據(jù)找到。這個問題本身并沒有那么容易，因為它是非結(jié)構(gòu)的，這個時候不得不用近似搜索方式在有限精度損失情況下，能高速把視覺數(shù)據(jù)找到。

為了做這個問題，現(xiàn)在有些特征也能達到視覺搜索的目的，但是沒有辦法在移動視覺伸縮或者高通量檢索里面做。比如現(xiàn)在的視覺包特征，CNN特征，VLAD特征等，他們的維度相對來說還是很高，另外可以用一些倒排索引技術，用空間換時間，當然如果空間開銷過大，也會造成在移動式或者嵌入式系統(tǒng)里面無法使用的問題。

在過去4年時間里我研究興趣轉(zhuǎn)到去做特征的二值化。給定一組圖像數(shù)據(jù)庫，我們希望把每張圖像映射成二值編碼，如果兩張圖像相似，期望二值編碼相似，如果不相似，期望二值編碼距離要越遠越好。

如果能達到這個目標當然更好了，我們就可以做高速高效的匹配。首先哈希函數(shù)的特征投影快，其次他的搜索時間為漢明查表，復雜度O（1）時間也很快。最后百萬級的圖像可以像搜索系統(tǒng)一樣壓縮的儲存在內(nèi)存中，使得它的體積相對小很多。

它的特征可以快速緊湊存到內(nèi)存里，這種速度上的提升背后會帶來精度上的損失。所以，從2004年第一次提出這個問題之后，大家關注在怎樣把損失減小。從研究方法來分可以分兩類，第一類是construction損失減小跟數(shù)據(jù)沒有關系這叫數(shù)據(jù)獨立的哈希，第二類是期望把數(shù)據(jù)分布考慮到量化誤差上，這里面根據(jù)有標簽和沒有標簽分成兩類，無監(jiān)督或者有監(jiān)督，想要有監(jiān)督效果更好，但是需要人工標注非常貴。這是一些早期的發(fā)表的相關文章。

對于特征空間做隨機劃分，我們可以精確保證，如果兩個點在原始空間里面是近的，生成二值空間里面有一定概率仍然是近的，這個概率跟哈希比特碼程度是正相關的。

原始空間并不是那么完美，可以對當前數(shù)據(jù)集建立一個近鄰圖，然后去算圖的拉普拉斯，希望把圖上的相似性得到二值碼學習過程中，很直接就相當于加了一個權重矩陣。

但是，如果這么做，就會存在一些問題。主要問題在于對這些數(shù)據(jù)去做拉普拉斯，去求矩陣的特征向量，我們知道當矩陣很大的時候求矩陣的特征分解是很困難的。

為了解決這個問題，在2011年在ICML上提出了采用錨點圖估計graph結(jié)構(gòu)，因此計算基于數(shù)據(jù)點到數(shù)據(jù)點的相似性，轉(zhuǎn)變成數(shù)據(jù)點到錨點的相似性，錨點再到數(shù)據(jù)點的相似性。

如果要算矩陣估計的近似，首先得給個約束，我們可以通過矩陣分解快速求得基于錨點的相似點矩陣，因此可以加快計算。

此外，原始空間不完美，因此可以先對空間先做一次PCA投影，計算投影矩陣，然后計算旋轉(zhuǎn)矩陣，通過量化二者之間的交替和疊加的方式去做，這就是無監(jiān)督的方法。

此外有監(jiān)督的方法從2012年開始也有相關涉及，這是我們發(fā)在CVPR上的文章，我們除了引入哈希里面的圖像點之間之外，我們希望有些圖像越相近越好，有些圖像越不相近越好。

當時我們做了一個很重要的貢獻，我們把漢明距離通過編碼的內(nèi)積進行計算，并通過數(shù)學計算來證明。之后發(fā)展很快，我們也做了很多工作。

今天主要介紹兩個方面，第一個2015年開始是排序敏感的視覺特征的哈希，在哈希學習過程中怎樣把排序信息嵌入到二值碼的學習。第二個方面是怎樣在二值學習空間里面可以做圖形處理。第一個動機我們最早發(fā)表在2015ICCV上，以前的工作算是Pairwise similarity。我們想如果做哈希特征，它的目的是做檢索。那么拿得到的排序信息更多的來自于它的ranking list。所以我們期望在特征空間里面如果有個原始的ranking，希望映射成二值碼之后。二者排序列表要越相近越好。

為了解決這個問題，我們在特征數(shù)據(jù)集里面隨機選取三元組，如果在原始空間里面兩個點，比如說I和J的距離小于I和S的距離，假設生成的I和J的距離大于I和S的距離，就會產(chǎn)生損失。我們可以通過在數(shù)據(jù)集里面大量的生成，來衡量生成二值碼里面這個損失到底有多大。再加上其他的方法就可以把損失嵌入到傳統(tǒng)哈希學習里面去。

我們對比三個數(shù)據(jù)集SUM397，ImageNet，YouTubeface等去驗證我們的方法，當時超過了大部分的無監(jiān)督/有監(jiān)督哈希方法。

到了16年，我給我的學生講我們在15年做的工作，需要采大量的ranking list，才能去保證性能有比較好的提升。所以在這個過程中排序信息是比較冗余的，因此我們就思考可不可以有更緊湊的監(jiān)督。實際上監(jiān)督的緊湊性是存在的，這個叫做保序性。所謂的保序性，不是給的一個點，而是點對和點對的相似性關系。這個圖上每個節(jié)點給出的是兩個點之間的相似性，點對點之間的相似性即使序列關系。把給定序列相似性嵌到哈希學習方法里面去，這是2016年論文主要工作。

由于原序列圖的規(guī)模較大，我們通過landmark-based ordinalembedding的方法，把原來與樣本大小成四次方的序列數(shù)量降低到樣本數(shù)的二次方。

這里面我們做了幾個事，第一就是在傳統(tǒng)圖像數(shù)據(jù)集上評測。比如說CIFAR10，LebelMe.第二是跟騰訊優(yōu)圖實驗室做比較好的合作。我們參加音樂檢索競賽，在音樂檢索過程中，有一個很重要步驟，切成很多音樂片斷，片段與片段之間要算他們的相似性。這個相似性切得越細效果越好，但是會越慢。我們跟它的合作就是怎樣把切片保證切細的情況下把速度提上去。

廈門大學把這項技術轉(zhuǎn)化轉(zhuǎn)移到騰訊QQ音樂里面聽歌識曲的功能中去，這是結(jié)合做的比較好的典范。

下一項工作，從2016年之后我們進一步思考，我們發(fā)表的OEH里面存在的一些問題，OEH方法雖然效果不錯，時間復雜度相對較高，同時我們要隨機的選擇訓練點。我們可不可以進一步加速這個模型的訓練過程，這是我們在2017年的文章，我們探索高階序列關系，并重點解決兩個問題，一是怎樣高效表示序列的關系，二是如何縮減序列關系數(shù)量。

針對第一個問題，我們提出張量序列圖。我們構(gòu)建一個S和DS矩陣，這兩個矩陣做成張量圖，這個方式可以把原來的復雜度進一步降低。

第二個問題我們做的是序列約束的投影。精確來說，我們把傳統(tǒng)四元組之間的序列關系，在投影之后變成兩兩三元組之間關系的求差，這個方式可以高效縮減它的復雜度，把原來L的四次方降成L的三次方，使數(shù)量跟樣本點無關，極大加速了算法離線學習過程。

這是對應的性能的表格。

去年另外一個工作，我們做的事情就是，傳統(tǒng)的二值空間。大家想做比如近鄰圖，比如做PCA。我們知道還有更好的方式，希望學的子空間能夠流型相似性。主要問題是學出來的是二值碼，怎樣在漢明空間保留流形結(jié)構(gòu)，保留數(shù)據(jù)之間的局部近鄰結(jié)構(gòu)和線性關系，這是我們解決的問題。

我們的工作是離散的LLH，這是受LLH啟發(fā)后的版本，我們的哈希函數(shù)是傳統(tǒng)線性的函數(shù)，目標函數(shù)有幾項。第一項B-SB，你生成的二值碼和你這個二值碼把這個點扔掉，用其他點去重構(gòu)他，他們是不是一致?如果是一致的話就表明局部保持了這種一致性。第二項有點像ITQ里面去做旋轉(zhuǎn)之后做二值投影。

直接解目標函數(shù)也可以，但它們復雜性還是挺高的，這里面有N的平方。之前的工作，我們在這里面引入基于錨點的方式，有些公式很簡單。原始的特征點算他們的相似性，我們采用一些anchor,算兩個點之間的相似性，我們不直接算，我們算這個點到anchor,anchor再到這個點的相似性。這種方法可以使我們的時間復雜度得到精確的下降，并使我們的內(nèi)存開銷得到很大的減少。

如圖所示，是隨著我們樣本數(shù)的增加，內(nèi)存開銷相關的量。基于anchor的方式可以有效地減少內(nèi)存開銷。

對應起來，我們在CIFA10和YouTube face上對比，我們采用加anchor的方式，有些性能可能降低，但我們的訓練速度得到了很大的提升。

下面分享一下我們最近做的深度網(wǎng)絡緊湊性。這里有兩塊，第一塊是怎樣把網(wǎng)絡壓小，第二塊是怎樣把網(wǎng)絡做快。壓小不等于做快，做快不等于壓小，二者有不同的處理方式。

我們現(xiàn)在有龐大的數(shù)據(jù)集，有著強大的GPU計算硬件設備。

因此從2012年image的冠軍開始，深度學習迅速崛起，涌現(xiàn)了一系列深度神經(jīng)網(wǎng)絡。

像VGG從11層到19層，GoogLeNet (Inception V1),Facebook的resnet等等一些模型。有很多的網(wǎng)絡，這些網(wǎng)絡陸續(xù)一直在出來，也有很多相關應用。在這里面大家做新網(wǎng)絡過程中，如果簡單的相對這個研究而言，生命周期就短了一些。

這里面有很多問題值得做，只是我還沒有能力做這個事情，比如說小樣本的情況下怎么做，如果正樣本很少負樣本很多的情況下，怎樣解決有偏差樣本分布。 還有一些無監(jiān)督的問題，黑盒子的問題。

我們現(xiàn)在做的事情更多來自于里面的復雜度。第一點，就是把里面模型參數(shù)量減少，對應把模型壓小。第二是把模型浮點數(shù)運算減小，對應把模型做加速。以下簡短回顧一下在這個方向里大家怎么做以及我們做的事情。

從模型壓縮角度來說，我認為這里面工作可具體分成三種。第一種是將不同原始參數(shù)，構(gòu)建一定映射共享同一參數(shù)，叫做參數(shù)共享，代表性的方法包括TTQ,PQ等等。第二套方法是在模型里面把參數(shù)裁減掉。第三個方法是把兩層之間的參數(shù)想象成矩陣，可以運用很多矩陣分解方式去做模型壓縮。

這是最早的ICML的2015的文章，HashedNets，利用hashing技巧來進行權值共享，例如原來是4*4，要保留16個參數(shù)，現(xiàn)在做一個量化表，除了這三個單詞特征之外，只保留量化表里面的索引，這樣就可以把網(wǎng)絡壓小。

這是一篇經(jīng)典的實現(xiàn)參數(shù)共享，減少內(nèi)部參數(shù)的冗余性?？梢酝ㄟ^簡單二值量化，即將原始的浮點型參數(shù)量化成二值化的參數(shù)，只需要比較參數(shù)和閾值0的大小。另外，也提出了利用乘積量化的方法，將原始的權重W分解成m個不同的子矩陣，通過對每個子矩陣進行k-means聚類，得到子字典及其索引值。當字典單詞的個數(shù)較小時，就可以實現(xiàn)壓縮參數(shù)的目的。

這是ICLR2017上的文章，利用三值量化的方法，來防止二值網(wǎng)絡的量化誤差過大問題。具體而言，通過設計一個非對稱的量化值，并在網(wǎng)絡訓練過程中自適應的學習該參數(shù)。與此同時，引入另外一個梯度用于學習該三值網(wǎng)絡的索引，由此提高了網(wǎng)絡的準確率。這是第一套方法。

第二套方法主要做剪枝，最早的起點是2015BMVC的文章，它的做法是計算所謂的顯著性，就是當前把相關葉子跟子集裁掉之后，當前網(wǎng)絡誤差性能的上升，希望找到這樣的節(jié)點，使得它的裁剪不會影響整個網(wǎng)絡性能。

對于這個問題大家最早知道的是來自這篇韓松的文章。這篇文章第一塊是做網(wǎng)絡裁剪，中間用量化方式做網(wǎng)絡參數(shù)共享，第三塊在裁剪和共享之后再做對應的霍夫曼編碼進一步做縮減。

第三套方法是用數(shù)學方式去做里面的壓縮。例如發(fā)表在NIPS13上文章，提出從理論與實驗方面驗證深度神經(jīng)網(wǎng)絡中存在大量的冗余信息，只有少量的參數(shù)需要學習，大部分的參數(shù)都可以根據(jù)已知參數(shù)直接得到，不需要通過額外的學習。其中可利用低秩分解技術壓縮網(wǎng)絡模型，通過將原始較大的網(wǎng)絡參數(shù)，分解成兩個小型的矩陣相乘。

另外，可以利用特殊的TT-format格式存儲全連接層的密集權重矩陣， TT-format的權值具有擁有很少的參數(shù)，而且在背向傳播過程中也能比較容易求出偏導，兼容性較強。

這是之前網(wǎng)絡壓縮方向代表性的工作，我們做了簡單的嘗試，我們嘗試的動機跟之前的方法有些不一樣。我們總結(jié)前人的方法，他們做剪枝，權值共享，矩陣壓縮等。他們做法優(yōu)化目標是重構(gòu)里面具體參數(shù)，優(yōu)化單元是一層一層的做。

我們這樣做要要突破兩點，第一點，我們更多的考慮了之前的那層output，我們希望輸出的向量跟原始模型向量相似就好，中間的參數(shù)重構(gòu)重要但不是那么必要。第二我們不是一層做完之后就不動了，是每層和每層合在一起去做。我們初始的網(wǎng)絡壓縮完之后，我們會更新里面的參數(shù)，最小化非線性響應的全局重建誤差。

從率失真曲線可以看出，我們的方法壓縮AlexNet和VGG-19，得到了新的state-of-the-art結(jié)果。

在固定壓縮比情況下，也顯示了算法的可靠性。

這是我們2018發(fā)在CVPR上的文章。我們還是考慮模型參數(shù)的二值化，我們都知道模型二值化優(yōu)點會極大的減小存儲空間。但是它的缺點是會大大降低模型性能。我們的方法叫Modulated Convolutional Networks。MCN訓練完成后，只需要存儲二值化的參數(shù)，在線推理的時候可以重構(gòu)原來的參數(shù)。

我們主要貢獻是用M-Filters來重構(gòu)網(wǎng)絡參數(shù)。所謂的M-Filters就是通過學習得到的參數(shù)，它優(yōu)化了三個損失，第一個損失是重構(gòu)的線性分類誤差。第二個損失是重構(gòu)的網(wǎng)絡參數(shù)誤差，第三個，我們希望加強類內(nèi)特征緊湊性，減小這種二值化帶來的擾動，因此我們叫做中心損失，壓縮完之后我們只保留二值參數(shù)。

我們的實驗驗證，MCN有可能可以接近全精度的性能。這是一個網(wǎng)絡結(jié)構(gòu)用我們的方式去做在線恢復的結(jié)果，以及對應網(wǎng)絡誤差的學習過程。同一類特征要越緊湊越好，以加強類內(nèi)特征的緊湊性。這是簡單實現(xiàn)卷積網(wǎng)絡的效果，感興趣可以看我們的代碼和論文。我們文章測了之前有代表性的網(wǎng)絡結(jié)構(gòu)，歡迎大家使用。

最后花一點時間講一下我們在網(wǎng)絡的加速這方面相關工作。這里包含三類，二值化網(wǎng)絡、結(jié)構(gòu)化剪枝以及張量分解。

二值化網(wǎng)絡原理很簡單，binary原則上是沒有什么做優(yōu)化。因此為了解決這問題，2015的NIPS 的文章，做BinaryConnect概念的映射，每次訓練完這個大網(wǎng)絡之后通過這個概念直接映射成對應的二值化網(wǎng)絡。理論上可以極大加速算法對應的性能。

此外去做結(jié)構(gòu)化的稀疏學習，所謂的結(jié)構(gòu)化稀疏學習公式很多，其實很簡單，要卷積的時候，對應參數(shù)要么同時為零，要么不為零。所以很自然的用組稀疏的方式放到結(jié)構(gòu)里，利用梯度下降法可自動學習結(jié)構(gòu)化稀疏參數(shù)。

最后利用傳統(tǒng)的CP張量分解算法，成功應用于深度網(wǎng)絡模型加速中，主要思想是將一個張量濾波K分解成4個秩1的向量，然后進行卷積計算，減少了內(nèi)存開銷，同時加速了整個卷積層的計算。

我們第一個論文做的事情，之前大家考慮更多的是把通道域冗余去除。我們做的是進一步考慮空間域的冗余去除。我們的加速原理是只計算空間中重要的點，對于不重要的點可以利用knn或最近鄰點近似估計（不重要的點的空間位置信息可以預先存儲起來），這樣我們可以節(jié)省很多空間的計算資源。

那么如何選擇空間中重要的點位置信息呢？提出了基于三種的策略：隨機的采樣，均勻采樣，以及impact采樣。所有的位置保存形式可以用mask顯示出來，對于不重要點的位置設置為0，重要的則為1。

對于隨機和均勻的容易理解，關鍵是impact。對于impact主要利用了學習策略，首先認為如果空間點位置信息比較重要，刪除后（即將位置點的計算值O為0）對于網(wǎng)絡輸出的損失變化較大。通過利用構(gòu)建泰勒公式展開，整理并排序損失增量期望值E，通過選擇指定數(shù)量的重要的點最為mask為1。

這是我們在ImageNet 和Googlenet上面做的實驗，結(jié)果表明我們的方法相比其他的方法性能還是提高很多。

這是我們今年一篇新的論文，用全局和動態(tài)的方式做對應的剪枝，這里面的想法很直接。這之前所有文章都是剪掉就剪掉了，選取什么時候剪是一層一層的選。

我們允許這個網(wǎng)絡被裁剪之后還可以被挪回來，所以是動態(tài)的，這是對應算法的框架。

我們的主要貢獻有三點，第一點充分的考慮濾波間的關系，全局濾波移除，第二點是動態(tài)更新濾波的顯著性，第三點是統(tǒng)一全局與動態(tài)方式。

這是我們的實驗結(jié)果，由于時間的關系我就不一一解釋了。

最后講一下檢測算法緊湊性。我們會發(fā)現(xiàn)在視覺分析系統(tǒng)里面，神經(jīng)網(wǎng)絡是比較慢，但有些時候它并不是速度的瓶頸，瓶頸還有其他地方。比如說傳統(tǒng)的弱監(jiān)督學習中的目標檢測，我給一個圖像級別的標簽，然后去訓練目標檢測器。

這是之前的主流的弱監(jiān)督目標檢測的工作，他們不像全監(jiān)督（比如yolo，SSD）一樣快，他們很慢。在這之前最快只有2幀不到的在線檢測速度，肯定不能實時。為什么呢？主要原因有兩點，第一點它做了多尺度和翻轉(zhuǎn)的數(shù)據(jù)擴充，因此時間消耗很大。第二點，檢測過程需要提取候選區(qū)域，這個需要消耗大量的時間。

我們這個方式用的是現(xiàn)在很流行的生成對抗學習，生成器G是快速的強監(jiān)督目標檢測器。那我們用什么去訓練生成器G呢？我們需要對抗，我們不是用簡單的判別器。這里有代理器F，F(xiàn)是一個基于候選區(qū)域的，慢速的弱監(jiān)督目標檢測器。我們的判別器D不是判別檢測性能好壞，是來判定檢查結(jié)果來自于強監(jiān)督的檢測器還是弱監(jiān)督的檢測器，我們希望生成器G能騙過判別器D，使強監(jiān)督更穩(wěn)定一些。這就是利用弱監(jiān)督的目標檢測器和對抗生成學習來達到強監(jiān)督的效果。

這是對應損失函數(shù)的設計，這里面的框架可以是任意的，比如生成器G可以用SSD，yolo等等，代理器F可以用任意的弱監(jiān)督目標檢測器。這里面的目標函數(shù)，第一是對抗圖像檢測結(jié)果來源。另外一個就是同一張圖像檢測結(jié)果要盡量一致。對代理器F和生成器F的訓練是類似知識蒸餾的過程，我們希望強監(jiān)督可以去學習弱監(jiān)督的結(jié)果。因為弱監(jiān)督是準的，強監(jiān)督是快的，做完以后會得到又快又準的訓練效果。

這是主要的實驗結(jié)果，我們在PASCAL VOC 2007上可以達到最好的結(jié)果。

這是我們關于檢測速度的實驗，相對其他方法來說速度比之前最快方法提升了50多倍。準確度也有很大的提升。

這是一些相關的論文。

最后，感謝我們的團隊，實驗室的老師和同學今天都來開會，給我們這個工作做了很多工作，此外項目得到了很多企業(yè)支持，包括騰訊優(yōu)圖實驗室等，謝謝大家！