ICLR 2021杰出論文獎(jiǎng)出爐 讓我們看看前八位優(yōu)秀論文有哪些

ICLR 2021杰出論文獎(jiǎng)出爐今年共有2997篇投稿，接收860篇，最后共有8篇獲得杰出論文獎(jiǎng)。

這8篇論文中，谷歌成最大贏家，共有4篇論文獲獎(jiǎng)（包括DeepMind、谷歌大腦在內(nèi)）。

除此之外，AWS、Facebook等機(jī)構(gòu)，以及CMU、南洋理工等高校也紛紛上榜。

共有8篇論文上榜

1、Beyond Fully-Connected Layers with Quaternions： Parameterization of Hypercomplex Multiplications with 1/n Parameters

來自AWS、Google、南洋理工大學(xué)。

這篇論文提出了一種基于四元數(shù)的全連接層（Fully-Connected Layers with Quaternions），用四元數(shù)的哈密頓乘積（Hamilton products），替代了全連接層中的實(shí)值矩陣乘法，節(jié)省了1/4的可學(xué)習(xí)參數(shù)。

論文對(duì)超復(fù)數(shù)乘積進(jìn)行了參數(shù)化，允許模型從數(shù)據(jù)中學(xué)習(xí)乘法規(guī)則，無需在意這些規(guī)則是否被預(yù)定義。與普通的全連接層方法相比，這種方法只需要使用1/n（n即維度）的可學(xué)習(xí)參數(shù)。

2、Complex Query Answering with Neural Link Predictors

來自UCL、阿姆斯特丹自由大學(xué)。

這篇論文提出了一種名為復(fù)雜查詢分解 （CQD）的框架，通過在嵌入空間實(shí)體集上的推理，來回答相對(duì)復(fù)雜的邏輯查詢——回答復(fù)雜查詢，被簡化為回答每個(gè)子查詢，并通過t-norm聚合所得分?jǐn)?shù)。

只需要訓(xùn)練原子查詢的神經(jīng)網(wǎng)絡(luò)鏈接預(yù)測(cè)模型，就可利用這一框架，來回答給定的復(fù)雜查詢，而不需要用大量生成的復(fù)雜查詢進(jìn)行訓(xùn)練。

同時(shí)，無論查詢的復(fù)雜性如何，這一框架還能對(duì)查詢回答過程的每一步進(jìn)行解釋。論文所提出的方法與查詢類型無關(guān)，可以在不明確訓(xùn)練特定類型查詢的情況下進(jìn)行歸納。

3、EigenGame： PCA as a Nash Equilibrium

來自DeepMind、Google。

這篇論文提出了一種天然并行化的隨機(jī)梯度上升方法EigenGame（本征博弈），結(jié)合了Oja規(guī)則、Krasulina矩陣和Riemannian優(yōu)化方法的優(yōu)點(diǎn)，來計(jì)算Top-K主成分。

其中，PCA即博弈納什均衡、及序列化全局收斂主成分算法。

這種方法為大規(guī)模矩陣的PCA計(jì)算提供了一種可擴(kuò)展方法，可計(jì)算出近200 TB的Imagenet的RESNET-200激活矩陣的前32個(gè)主成分。

4、Learning Mesh-Based Simulation with Graph Networks

來自DeepMind。

這篇論文介紹了MeshGraphNets，一個(gè)用圖神經(jīng)網(wǎng)絡(luò)進(jìn)行網(wǎng)格仿真學(xué)習(xí)的框架。這一框架可以精確地預(yù)測(cè)各種物理系統(tǒng)的動(dòng)力學(xué)，包括空氣動(dòng)力學(xué)、結(jié)構(gòu)力學(xué)和織物的形狀等。

這種方法拓寬了神經(jīng)網(wǎng)絡(luò)模擬器可以運(yùn)行的問題范圍，并有望提高復(fù)雜的、科學(xué)的建模任務(wù)的效率。

5、Neural Synthesis of Binaural Speech From Mono Audio

來自Facebook Reality Lab、CMU。

這篇論文提出了一種雙聲道合成的神經(jīng)繪制方法，可以實(shí)時(shí)生成逼真、空間精確的雙聲道聲音。所設(shè)計(jì)的網(wǎng)絡(luò)以單聲道音頻源為輸入，根據(jù)聽者相對(duì)于聲源的相對(duì)位置和方向，將雙聲道雙耳聲音合成為輸出。

論文從理論上分析了原始波形上l2損耗的不足，并介紹了克服這些局限性的改進(jìn)損耗。

6、Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime

來自東京大學(xué)。

這篇論文分析了過參數(shù)化（overparameterized）的雙層神經(jīng)網(wǎng)絡(luò)回歸問題的平均隨機(jī)梯度下降的收斂性。

論文證明，平均隨機(jī)梯度下降可以通過利用目標(biāo)函數(shù)的復(fù)雜性以及與神經(jīng)切線核（NTK）相關(guān)的再生希爾伯特空間（RKHS），在保證全局收斂的前提下，達(dá)到極小極大最優(yōu)收斂速度。

7、Rethinking Architecture Selection in Differentiable NAS

來自UCLA、理海大學(xué)、Amazon。

可微神經(jīng)結(jié)構(gòu)搜索（differential Neural Architecture Search，NAS）以搜索效率高、搜索過程簡單等優(yōu)點(diǎn)，成為當(dāng)前最流行的神經(jīng)結(jié)構(gòu)搜索（Neural Architecture Search，NAS）方法之一。

這篇論文分析認(rèn)為，架構(gòu)參數(shù)的大小，并不一定證明操作對(duì)貪心超網(wǎng)絡(luò)（supernet）性能的貢獻(xiàn)效果，并提出了一種可供選擇的、基于擾動(dòng)的體系結(jié)構(gòu)選擇，直接測(cè)量每個(gè)操作對(duì)貪心超網(wǎng)絡(luò)的影響。

8、Score-Based Generative Modeling through Stochastic Differential Equations

來自斯坦福、谷歌、谷歌大腦。

論文提出了一種基于隨機(jī)微分方程（SDEs）的分?jǐn)?shù)式生成模型框架。其中，SDE通過緩慢注入噪聲，平穩(wěn)地將一個(gè)復(fù)雜的數(shù)據(jù)分布轉(zhuǎn)換為一個(gè)已知的先驗(yàn)分布，相應(yīng)的逆時(shí)SDE通過緩慢去除噪聲將先驗(yàn)分布轉(zhuǎn)換回?cái)?shù)據(jù)分布。

逆時(shí)SDE只依賴于擾動(dòng)數(shù)據(jù)分布隨時(shí)間變化的梯度場（分?jǐn)?shù)），引入了預(yù)測(cè)-校正框架來糾正離散逆時(shí)SDE演化中的錯(cuò)誤，推導(dǎo)了與SDE相同的分布采樣的等效神經(jīng)ODE，使精確的似然計(jì)算成為可能，并提高了采樣效率。

關(guān)于杰出論文獎(jiǎng)評(píng)選

ICLR 2021杰出論文獎(jiǎng)，主要從四個(gè)方向來考察論文質(zhì)量：技術(shù)質(zhì)量、影響潛力、是否提出新方向、以及是否解決了重要問題。

今年負(fù)責(zé)評(píng)獎(jiǎng)的委員會(huì)，成員分別來自Facebook、DeepMind、德州奧斯汀分校、斯坦福大學(xué)、微軟等各高校和機(jī)構(gòu)。

值得一提的是，雖然ICLR表示：

評(píng)分最高的論文也入選了此次獎(jiǎng)項(xiàng)。

然而，在這8篇論文中，卻并沒有見到平均分最高的論文身影。

按平均分來看的話，得分最高的論文名為「How Neural Networks Extrapolate： From Feedforward to Graph Neural Networks」，來自MIT、馬里蘭大學(xué)、華盛頓大學(xué)。

它的論文評(píng)分是9、9、8、9，平均分8.75，卻并未入選此次的杰出論文獎(jiǎng)。

相比于這篇論文，確實(shí)有幾篇入選杰出論文獎(jiǎng)的論文，獲得過評(píng)委打出的10分。

但這兩篇論文，卻都收到過其他評(píng)審6、7分的打分，例如（9、6、6、10）和（7、10、7、7）等。

從打10分的評(píng)委評(píng)價(jià)來看，都是覺得這幾篇論文“提出了開創(chuàng)性的觀點(diǎn)”。

相比之下，評(píng)審在給MIT這篇論文打分時(shí)用得更多的評(píng)價(jià)是“有見解、有意思”。

關(guān)于ICLR

ICLR（International Conference on Learning Representations）又名“國際學(xué)習(xí)表征會(huì)議”，2013年舉辦第一屆，由Yoshua Bengio和Yann LeCun牽頭創(chuàng)辦。

雖然創(chuàng)立時(shí)間較晚，但相比于其他頂會(huì)，ICLR推行Open Review公開評(píng)審制度，所有論文都會(huì)公開學(xué)校、姓名等信息，并接受所有同行的評(píng)價(jià)及提問。

在公開評(píng)審結(jié)束后，作者也能夠?qū)φ撐倪M(jìn)行調(diào)整及修改。

值得一提的是，ICLR歷年會(huì)議都只評(píng)選過最佳論文獎(jiǎng)（Best Papers），今年應(yīng)該是ICLR首次增加杰出論文獎(jiǎng)。

這次ICLR 2021評(píng)選的杰出論文獎(jiǎng)，國內(nèi)并沒有高校和研究機(jī)構(gòu)入選，但有3篇論文的1作為華人作者。

對(duì)論文內(nèi)容感興趣的話，可以戳下方鏈接查看~

ICLR 2021杰出論文獎(jiǎng)：

https://iclr-conf.medium.com/announcing-iclr-2021-outstanding-paper-awards-9ae0514734ab

參考鏈接：

［1］https://docs.google.com/spreadsheets/d/1n58O0lgGI5kI0QQY9f4BDDpNB4oFjb5D51yMr9fHAK4/edit#gid=1546418007

［2］https://openreview.net/group？id=ICLR.cc/2021/Conference

編輯：jq