根據(jù)關(guān)鍵詞了解機器學(xué)習(xí)的趨勢窺探

編者按：“趨勢”表現(xiàn)了事物發(fā)展的動向，它的目標(biāo)可以是模糊的，但這種持續(xù)的前進反映到數(shù)據(jù)上是明確的。去年4月，特斯拉AI總監(jiān)Andrej Karpathy發(fā)表了一篇A Peek at Trends in Machine Learning，揭示了機器學(xué)習(xí)論文總數(shù)（arxiv）、深度學(xué)習(xí)框架、CNN模型、優(yōu)化算法及研究人員的發(fā)展趨勢。而就在幾天前，他又更新了一波數(shù)據(jù)，并從中看到了一種非常有趣的變化。

注：本文已更新論文總數(shù)與流行框架排名，其余內(nèi)容仍為2017年4月數(shù)據(jù)。

好像少了點啥

不知道各位讀者有沒有用過Google Trends，這是一個很cool的工具——輸入關(guān)鍵詞，你就能查看相應(yīng)Google搜索結(jié)果隨時間發(fā)生的變化。而現(xiàn)在，我們也已經(jīng)有了一個機器學(xué)習(xí)論文庫arxiv-sanity，它在過去6年內(nèi)積累了43108篇（arxiv）相關(guān)論文，所以我們?yōu)槭裁床宦渎渌滋?，也來看?年來機器學(xué)習(xí)研究的演變情況呢？

注：該論文庫由Andrej Karpathy創(chuàng)建，由于機器學(xué)習(xí)涉及內(nèi)容過廣，文中很大一部分都圍繞深度學(xué)習(xí)展開，尤其是Andrej Karpathy熟悉的領(lǐng)域。

arxiv奇點

首先我們先來看看arxiv-sanity上的論文總數(shù)（cs.AI，cs.LG，cs.CV，cs.CL，cs.NE，stat.ML）。截至去年4月，arxiv-sanity共收錄28303篇機器學(xué)習(xí)論文，其中僅在2017年3月，數(shù)據(jù)庫就突增近2000份新論文，機器學(xué)習(xí)學(xué)術(shù)成果迎來爆發(fā)期。

arxiv上ML論文提交量變化

而就在短短一年后，arxiv-sanity上的論文總數(shù)已經(jīng)突破43000篇，考慮到近年來機器學(xué)習(xí)國際頂會的熱門程度，我們先來看看幾個主要會議（去年4月后）的“吸金”能力：

雖然參與會議投稿的論文未必都會提交給arxiv，但可以看出，2017年以前，arxiv-sanity上收錄的論文總量尚不足3萬篇，而去年光這幾個會議就吸引了近2萬篇投稿，另外還有其他的頂會數(shù)據(jù)未計入其中，機器學(xué)習(xí)的熱度可見一斑。

當(dāng)然，這也帶來了一個問題，就是學(xué)者需要通過閱讀大量論文才能從中篩選出真正有價值的內(nèi)容，這也是許多人開始詬病頂會“灌水”嚴(yán)重的一個要因。但本文只關(guān)注發(fā)展趨勢，因此這些論文總數(shù)將作為分母，用來分析一些有趣的關(guān)鍵詞“現(xiàn)象”。

深度學(xué)習(xí)框架

談及機器學(xué)習(xí)，一個不可避免的熱門關(guān)鍵詞是深度學(xué)習(xí)框架，那么學(xué)術(shù)界更偏好哪種框架呢？我們匯總了去年和今年的統(tǒng)計結(jié)果，請結(jié)合表格對比感受：

需要注意的是，這里我們的分母是統(tǒng)計的論文總數(shù)，以2017年3月為例，TensorFlow（9.1%）指在去年3月投到arxiv的機器學(xué)習(xí)論文中，有將近10%提到了TensorFlow，當(dāng)然這也意味著該月的大多數(shù)論文并沒有介紹自己使用的框架。但如果我們假設(shè)論文指出使用框架的現(xiàn)象遵循某種固定的隨機概率，那么經(jīng)過粗略估計，我們可以猜測大約有40％的實驗室正在使用TensorFlow。而今年2月TensorFlow的比例提升到了14.3%，再算上把TF作為后端的各類框架，毫無疑問，TensorFlow確實是大多數(shù)學(xué)術(shù)界人士的首選框架。

而Caffe和Theano由于“歷史悠久”，已經(jīng)積累了數(shù)量可觀的老用戶和論文基礎(chǔ)，因此它們的占比仍然很突出。

2017年4月前各框架發(fā)展情況

為了更直觀地感受各框架的發(fā)展趨勢，我們來看看去年和今年的這兩幅圖。上圖中紫色的Caffe和深藍(lán)色的Theano在很長一段時間內(nèi)深受學(xué)界歡迎，而綠色的TensorFlow在2016年異軍突起，只用一年時間就超越了“前輩”，增長勢頭顯著。當(dāng)時Andrej Karpathy曾預(yù)測Caffe和Theano的市場占有率會緩慢下降，同時TensorFlow的增長也會減緩，他更看好當(dāng)時幾乎沒有存在感的PyTorch。

2018年3月前各框架發(fā)展情況

果不其然，最近的這幅統(tǒng)計圖顯示，粉色的TensorFlow經(jīng)歷了兩年增長，至2017年年末開始趨向平穩(wěn)，而Caffe和Theano的曲線幾乎同步下降，后者的占有率已跌至第五位，還在第二位苦苦掙扎的Caffe也被“后起之秀”Keras和PyTorch趕上。其中最亮眼的是PyTorch，這個在2017年3月不足0.2%的框架到2018年2月已經(jīng)達(dá)到4.7%，考慮到近年來論文的爆炸式增長，PyTorch前景可期，拿原twitter下的留言來說，就是：

PyTorch is on fire! （ PyTorch要火?。?/p>

CNN模型

CNN最初是為解決圖像識別等問題設(shè)計的，當(dāng)然其現(xiàn)在的應(yīng)用不僅限于圖像和視頻，也可用于時間序列信號，比如音頻信號、文本數(shù)據(jù)等。在處理上述這些問題時，除了特殊情況，通常我們不會從頭新建一個CNN，而是在已有模型的基礎(chǔ)上調(diào)整參數(shù)。那么，哪個是最受歡迎的CNN模型呢？Andrej Karpathy沒有更新模型的相關(guān)數(shù)據(jù)，所以我們?nèi)砸匀ツ甑臄?shù)據(jù)為準(zhǔn)。

CNN有四大經(jīng)典模型：AlexNet、VGGNet、Google Inception Net和ResNet。從上圖我們可以看到，在關(guān)于AlexNet的論文開始大量出現(xiàn)前，Inception在較長時間內(nèi)一枝獨秀，2014年年末，AlexNet迎來快速增長，并長期穩(wěn)定在高水平位置。而就在一年后，ResNet也迎來爆發(fā)期，到2017年3月占比9%，躍升至第一位。

優(yōu)化算法

就優(yōu)化算法而言，Adam是毫無疑問的“掌門人”。截至去年4月，約23%的機器學(xué)習(xí)論文都提到了它。當(dāng)然我們很難估計它的實際使用占比：它可能高于23%，因為一些論文沒有介紹使用的優(yōu)化算法，其中的大部分甚至根本沒有提及神經(jīng)網(wǎng)絡(luò)優(yōu)化；它也可能需要在23%的基礎(chǔ)上減去5%，因為這個關(guān)鍵詞不是手動提取的，所以不排除論文里的Adam其實是個人名，而且作為一個優(yōu)化算法，Adam的提出時間是2014年12月。

研究人員

雖然現(xiàn)在大家對Deep Learning熱情高漲，業(yè)界也有大量被追捧的專家偶像，但這些偶像真的適合每個人嗎？你追的偶像是不是真正的專家？從論文實際引用情況來看，哪些人的論文“含金量”更高？Andrej Karpathy也用數(shù)據(jù)給了我們一點啟示。

上文中由上往下的四個人分別是Bengio、Lecun、Hinton、Schmidhuber，他們是業(yè)內(nèi)公認(rèn)的對深度學(xué)習(xí)貢獻(xiàn)最大的四名活躍學(xué)者?？梢园l(fā)現(xiàn)，Bengio在論文中的出現(xiàn)次數(shù)和Hinton齊頭并進，以35%位列首位，而Hinton則以30%排名第二。但考慮到Y(jié)oshua Bengio的弟弟Samy同樣在機器學(xué)習(xí)領(lǐng)域有不錯的成就，35%這個占比含有一定水分。

另外需要提的一位是LSTM之父Jürgen Schmidhuber，他的論文引用量也頗為可觀。Schmidhuber現(xiàn)任瑞士人工智能實驗室主管，因為喜歡自己獨立研究，可能國內(nèi)對他的關(guān)注度不高，但這不妨礙業(yè)界對他的肯定。這里介紹一篇他的新作One Big Net For Everything，除了標(biāo)題看得讓人害怕，引用的文獻(xiàn)都有將近一半是他參與寫的，感興趣的讀者可以參考著體會下大神的腦回路。

熱門/冷門的關(guān)鍵詞

Andrej Karpathy同樣爬取了論文中的一些關(guān)鍵詞，并觀察了它們的熱度情況。

以上數(shù)值是這樣計算的：以resnet為例，2016年3月前它的出現(xiàn)頻率只有1.044%，而它在2017年3月的出現(xiàn)頻率是8.53%，因此它的熱度增長為8.53/1.044?=8.17。這樣對比下來，去年最熱門的論文關(guān)鍵詞依次是ResNets、GANs、Adam、BatchNorm，而最受歡迎的研究領(lǐng)域則是風(fēng)格遷移、深度強化學(xué)習(xí)、神經(jīng)機器翻譯、圖像生成，熱門架構(gòu)的排名則是FCN、LSTM/GRU、連體網(wǎng)絡(luò)和編碼-解碼網(wǎng)絡(luò)。

另外，一些關(guān)鍵詞也被研究人員們“無情”地拋進了角落。雖然不清楚排名第一的fractal具體指什么，但估計是貝葉斯參數(shù)那一塊的內(nèi)容。

小結(jié)

看完全文，你的“將基于全卷積編碼-解碼批規(guī)范化架構(gòu)、經(jīng)Adam優(yōu)化處理的ResNet GAN用于風(fēng)格遷移”這篇論文準(zhǔn)備得怎么樣了（英文名字都幫你想好了，就叫Fully Convolutional Encoder Decoder BatchNorm ResNet GAN applied to Style Transfer, optimized with Adam），這個選題聽起來也不怎么離譜嘛:)