ICML 2019最佳論文新鮮出爐！

今日，國際機(jī)器學(xué)習(xí)頂會(huì)ICML公布2019年最佳論文獎(jiǎng)：來自蘇黎世聯(lián)邦理工大學(xué)、谷歌大腦等的團(tuán)隊(duì)和英國劍橋大學(xué)團(tuán)隊(duì)獲此殊榮。另外，大會(huì)還公布了7篇獲最佳論文提名的論文。

ICML 2019最佳論文新鮮出爐！

今日，國際機(jī)器學(xué)習(xí)頂會(huì)ICML 2019于美國長灘市公布了本屆大會(huì)最佳論文結(jié)果：

本屆ICML兩篇最佳論文分別是：

《挑戰(zhàn)無監(jiān)督解耦表示中的常見假設(shè)》，來自蘇黎世聯(lián)邦理工學(xué)院(ETH Zurich)、MaxPlanck 智能系統(tǒng)研究所及谷歌大腦；

《稀疏高斯過程回歸變分的收斂速度》，來自英國劍橋大學(xué)。

除此之外，大會(huì)還公布了七篇獲得提名獎(jiǎng)(Honorable Mentions)論文。

據(jù)了解，今年ICML共提交3424篇論文，其中錄取774篇，論文錄取率為22.6%。錄取率較去年ICML 2018的25%有所降低。

論文錄取結(jié)果地址：

https://icml.cc/Conferences/2019/AcceptedPapersInitial?fbclid=IwAR0zqRJfPz2UP7dCbZ8Jcy7MrsedhasX13ueqkKl934EsksuSj3J2QrrRAQ

提交論文最多的子領(lǐng)域分別是：深度學(xué)習(xí)、通用機(jī)器學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、優(yōu)化等

最佳論文：大規(guī)模深入研究無監(jiān)督解耦表示

第一篇最佳論文的作者來自蘇黎世聯(lián)邦理工學(xué)院(ETH Zurich)、MaxPlanck 智能系統(tǒng)研究所及谷歌大腦。

論文標(biāo)題：挑戰(zhàn)無監(jiān)督解耦表示中的常見假設(shè)

Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations

作者：Francesco Locatello, Stefan Bauer, Mario Lucic, Gunnar R?tsch, Sylvain Gelly, Bernhard Sch?lkopf, Olivier Bachem

論文地址：

http://proceedings.mlr.press/v97/locatello19a/locatello19a.pdf

這是一篇大規(guī)模深入研究無監(jiān)督解耦表示(Disentangled Representation)的論文，對(duì)近年來絕大多數(shù)的非監(jiān)督解耦表示方法進(jìn)行了探索、利用 2.5GPU 年的算力在 7 個(gè)數(shù)據(jù)集上訓(xùn)練了 12000 多個(gè)模型?；诖笠?guī)模的實(shí)驗(yàn)結(jié)果，研究人員對(duì)這一領(lǐng)域的一些假設(shè)產(chǎn)生了質(zhì)疑，并為解耦學(xué)習(xí)的未來發(fā)展方向給出了建議。此外，研究人員還同時(shí)發(fā)布了研究中所使用的代碼和上萬個(gè)預(yù)訓(xùn)練模型，并封裝了 disentanglement_lib供研究者進(jìn)行實(shí)驗(yàn)復(fù)現(xiàn)和更深入的探索。

論文摘要

無監(jiān)督學(xué)習(xí)解耦表示背后的關(guān)鍵思想是，真實(shí)世界數(shù)據(jù)是由一些變量的解釋因子生成的，這些因子可以通過無監(jiān)督學(xué)習(xí)算法恢復(fù)。在本文中，我們認(rèn)真回顧了該領(lǐng)域的最新進(jìn)展，并對(duì)一些常見假設(shè)提出挑戰(zhàn)。

我們首先從理論上證明，如果沒有對(duì)模型和數(shù)據(jù)的歸納偏置，解耦表示的無監(jiān)督學(xué)習(xí)基本上是不可能的。然后，我們?cè)?個(gè)不同數(shù)據(jù)集上訓(xùn)練了超過12000個(gè)模型，涵蓋了最重要的方法和評(píng)估指標(biāo)，進(jìn)行了可重復(fù)的大規(guī)模實(shí)驗(yàn)研究。

我們觀察到，雖然不同的方法都成功地執(zhí)行了相應(yīng)損失“鼓勵(lì)”的屬性，但如果沒有監(jiān)督，似乎無法識(shí)別出良好解耦的模型。此外，增加解耦似乎不會(huì)降低下游任務(wù)學(xué)習(xí)的樣本復(fù)雜度。

我們的研究結(jié)果表明，未來關(guān)于解耦學(xué)習(xí)的工作應(yīng)該明確歸納偏見和(隱式)監(jiān)督的作用，研究強(qiáng)制解耦學(xué)習(xí)表示的具體好處，并考慮覆蓋多個(gè)數(shù)據(jù)集的可重復(fù)的實(shí)驗(yàn)設(shè)置。

本文從理論和實(shí)踐兩方面對(duì)這一領(lǐng)域中普遍存在的一些假設(shè)提出了挑戰(zhàn)。本研究的主要貢獻(xiàn)可概括如下:

我們?cè)诶碚撋献C明，如果沒有對(duì)所考慮的學(xué)習(xí)方法和數(shù)據(jù)集產(chǎn)生歸納偏置，那么解耦表示的無監(jiān)督學(xué)習(xí)基本上是不可能的。

我們?cè)谝豁?xiàng)可重復(fù)的大規(guī)模實(shí)驗(yàn)研究中研究了當(dāng)前的方法及其歸納偏置，該研究采用了完善的無監(jiān)督解耦學(xué)習(xí)實(shí)驗(yàn)方案。我們實(shí)現(xiàn)了六種最新的無監(jiān)督解耦學(xué)習(xí)方法以及六種從頭開始的解耦方法，并在七個(gè)數(shù)據(jù)集上訓(xùn)練了超過12000個(gè)模型。

我們發(fā)布了disentanglement_lib，這是一個(gè)用于訓(xùn)練和評(píng)估解耦表示的新庫。由于復(fù)制我們的結(jié)果需要大量的計(jì)算工作，我們還發(fā)布了超過10000個(gè)預(yù)訓(xùn)練的模型，可以作為未來研究的基線。

我們分析實(shí)驗(yàn)結(jié)果，并挑戰(zhàn)了無監(jiān)督解耦學(xué)習(xí)中的一些共識(shí)：

(i)雖然所有考慮的方法都證明有效確保聚合后驗(yàn)的各個(gè)維度不相關(guān)，我們觀察到的表示維度是相關(guān)的

(ii)由于random seeds和超參數(shù)似乎比模型選擇更重要，我們沒有發(fā)現(xiàn)任何證據(jù)表明所考慮的模型可以用于以無監(jiān)督的方式可靠地學(xué)習(xí)解耦表示。此外，如果不訪問ground-truth標(biāo)簽，即使允許跨數(shù)據(jù)集傳輸良好的超參數(shù)值，似乎也無法識(shí)別良好訓(xùn)練的模型。

(iii)對(duì)于所考慮的模型和數(shù)據(jù)集，我們無法驗(yàn)證以下假設(shè)，即解耦對(duì)于下游任務(wù)是有用的，例如通過降低學(xué)習(xí)的樣本復(fù)雜性。

基于這些實(shí)證證據(jù)，我們提出了進(jìn)一步研究的三個(gè)關(guān)鍵領(lǐng)域：

(i)歸納偏置的作用以及隱性和顯性監(jiān)督應(yīng)該明確：無監(jiān)督模型選擇仍然是一個(gè)關(guān)鍵問題。

(ii) 應(yīng)證明強(qiáng)制執(zhí)行學(xué)習(xí)表示的特定解耦概念的具體實(shí)際好處。

(iii) 實(shí)驗(yàn)應(yīng)在不同難度的數(shù)據(jù)集上建立可重復(fù)的實(shí)驗(yàn)設(shè)置。

最佳論文：稀疏高斯過程回歸變分的收斂速度

第二篇最佳論文來自英國劍橋大學(xué)。

論文標(biāo)題：《稀疏高斯過程回歸變分的收斂速度》

Rates of Convergence for Sparse Variational Gaussian Process Regression

作者：DavidR. Burt1，Carl E. Rasmussen1，Mark van der Wilk2

arXiv地址：

https://arxiv.org/pdf/1903.03571.pdf

論文摘要

自從許多研究人提出了對(duì)高斯過程后驗(yàn)的變分近似法后，避免了數(shù)據(jù)集大小為N時(shí)O(N3)的縮放。它們將計(jì)算成本降低到O(NM2)，其中M≤N是誘導(dǎo)變量的數(shù)量。雖然N的計(jì)算成本似乎是線性的，但算法的真正復(fù)雜性取決于M如何增加以確保一定的近似質(zhì)量。

研究人員通過描述KL向后發(fā)散的上界行為來解決這個(gè)問題。證明了在高概率下，M的增長速度比N慢， KL的發(fā)散度可以任意地減小。

一個(gè)特別有趣的例子是，對(duì)于具有D維度的正態(tài)分布輸入的回歸，使用流行的 Squared Exponential核M就足夠了。研究結(jié)果表明，隨著數(shù)據(jù)集的增長，高斯過程后驗(yàn)可以真正近似地逼近，并為如何在連續(xù)學(xué)習(xí)場景中增加M提供了具體的規(guī)則。

總結(jié)

研究人員證明了稀疏GP回歸變分近似到后驗(yàn)變分近似的KL發(fā)散的界限，該界限僅依賴于先驗(yàn)核的協(xié)方差算子的特征值的衰減。

這些邊界證明了直觀的結(jié)果，平滑的核、訓(xùn)練數(shù)據(jù)集中在一個(gè)小區(qū)域，允許高質(zhì)量、非常稀疏的近似。這些邊界證明了用M≤N進(jìn)行真正稀疏的非參數(shù)推理仍然可以提供可靠的邊際似然估計(jì)和點(diǎn)后驗(yàn)估計(jì)。

對(duì)非共軛概率模型的擴(kuò)展，是未來研究的一個(gè)有前景的方向。

DeepMind、牛津、MIT等7篇最佳論文提名

除了最佳論文外，本次大會(huì)還公布了7篇獲得榮譽(yù)獎(jiǎng)的論文。

Analogies Explained: Towards Understanding Word Embeddings

作者：CarlAllen1，Timothy Hospedales1，來自愛丁堡大學(xué)。

論文地址：https://arxiv.org/pdf/1901.09813.pdf

SATNet: Bridging deep learning and logical reasoning using a differentiable satisfiability solver

作者：Po-WeiWang1，Priya L. Donti1 2，Bryan Wilder3，Zico Kolter1 4，分別來自卡耐基梅隆大學(xué)、南加州大學(xué)、Bosch Center for Artificial Intelligence。

論文地址：https://arxiv.org/pdf/1905.12149.pdf

A Tail-Index Analysis of Stochastic Gradient Noise in Deep Neural Networks

作者：Umut?im?ekli?，L, event Sagun?, Mert Gürbüzbalaban?，分別來自巴黎薩克雷大學(xué)、洛桑埃爾科爾理工大學(xué)、羅格斯大學(xué)。

論文地址：https://arxiv.org/pdf/1901.06053.pdf

Towards A Unified Analysis of Random Fourier Features

作者：Zhu Li，Jean-Fran?ois Ton，Dino Oglic，Dino Sejdinovic，分別來自牛津大學(xué)、倫敦國王學(xué)院。

論文地址：https://arxiv.org/pdf/1806.09178.pdf

Amortized Monte Carlo Integration

作者：Adam Golinski、Yee Whye Teh、Frank Wood、Tom Rainforth，分別來自牛津大學(xué)和英屬哥倫比亞大學(xué)。

論文地址：http://www.gatsby.ucl.ac.uk/~balaji/udl-camera-ready/UDL-12.pdf

Social Influence as Intrinsic Motivation for Multi-Agent Deep Reinforcement Learning

作者：Natasha Jaques, Angeliki Lazaridou, Edward Hughes, Caglar Gulcehre, Pedro A. Ortega, DJ Strouse, Joel Z. Leibo, Nando de Freitas，分別來自MIT媒體實(shí)驗(yàn)室、DeepMind和普林斯頓大學(xué)。

論文地址：https://arxiv.org/pdf/1810.08647.pdf

Stochastic Beams and Where to Find Them: The Gumbel-Top-k Trick for Sampling Sequences Without Replacement

作者：Wouter Kool, Herke van Hoof, Max Welling，分別來自荷蘭阿姆斯特丹大學(xué)，荷蘭ORTEC和加拿大高等研究所(CIFAR)。

論文地址：https://arxiv.org/pdf/1903.06059.pdf

ICML 2019:谷歌成為最大贏家，清北、南大港中文榜上有名

本次大會(huì)還統(tǒng)計(jì)了收錄論文的領(lǐng)域分布情況：

提交論文最多的子領(lǐng)域分別是：深度學(xué)習(xí)、通用機(jī)器學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、優(yōu)化等。

而早在上個(gè)月，Reddit網(wǎng)友就發(fā)表了他和他的公司對(duì)本次ICML 2019論文錄取情況的統(tǒng)計(jì)結(jié)果。

地址：

https://www.reddit.com/r/MachineLearning/comments/bn82ze/n_icml_2019_accepted_paper_stats/

今年，在所有錄取的論文中，谷歌無疑成為了最大贏家。

錄取論文總數(shù)排名(按研究所)

上表顯示了以研究所(包括產(chǎn)業(yè)界和學(xué)術(shù)界)為單位，錄取論文總數(shù)的排名。這項(xiàng)統(tǒng)計(jì)中至少有一位作者隸屬于某研究所，因此一篇論文可以出現(xiàn)多次且隸屬多個(gè)研究所。

排名地址：

https://i.redd.it/wdbw91yheix21.png

其中，藍(lán)色代表論文總數(shù)，綠色和紅色分別代表第一作者和通訊作者參與錄取論文的論文數(shù)量。并且，附屬機(jī)構(gòu)是手動(dòng)合并到研究所的，例如Google Inc.、Google AI、Google UK都將映射到Google。

可以看到谷歌錄取論文的數(shù)量遠(yuǎn)超其它研究所，位列第一；緊隨其后的是MIT、伯克利、谷歌大腦、斯坦福、卡內(nèi)基梅隆以及微軟。

作者還分別根據(jù)學(xué)界和產(chǎn)業(yè)界進(jìn)行了統(tǒng)計(jì)Top 50排名。

排名統(tǒng)計(jì)可視化地址：

https://i.redd.it/37hxhsmfzix21.png

在學(xué)界排名中，MIT、加州伯克利分校、斯坦福和卡內(nèi)基梅隆奪冠前四，成為本屆錄取論文數(shù)的第一梯隊(duì)，且與第二梯隊(duì)拉開了一定差距。

國內(nèi)上榜的院校包括清華大學(xué)、北京大學(xué)、南京大學(xué)、香港中文大學(xué)。

排名可視化地址：

https://i.redd.it/wa6kjzmhzix21.png

在企業(yè)研究所Top 50排名中，谷歌無疑成為最大贏家：谷歌、谷歌大腦和谷歌DeepMind分別取得第一、第二和第四的好成績。微軟、Facebook和IBM成績也較優(yōu)異，位居第三、第五和第六。

而對(duì)于國內(nèi)企業(yè)，騰訊(Tencent)成績較好，位居第八名。

此外，從本屆ICML 2019錄取論文情況來看，還可以得到如下統(tǒng)計(jì)：

452篇論文（58.4％）純屬學(xué)術(shù)研究；

60篇論文（7.8％）來自工業(yè)研究機(jī)構(gòu)；

262篇論文（33.9％）作者隸屬于學(xué)術(shù)界和工業(yè)界。

總結(jié)上述的統(tǒng)計(jì)，我們可以得到如下結(jié)果：

77%的貢獻(xiàn)來自學(xué)術(shù)界；

23%的貢獻(xiàn)來自產(chǎn)業(yè)界。