ICLR 2019最佳論文日前揭曉 微軟與麻省等獲最佳論文獎項

ICLR 2019最佳論文日前揭曉。來自微軟研究院、加拿大蒙特利爾學(xué)習(xí)算法研究所 (MILA)和來自麻省理工學(xué)院計算機科學(xué)與人工智能實驗室(MIT CSAIL)奪得本次大會的最佳論文獎項。

其中，來自微軟研究院、加拿大蒙特利爾學(xué)習(xí)算法研究所的論文《有序神經(jīng)元：將樹結(jié)構(gòu)集成到循環(huán)神經(jīng)網(wǎng)絡(luò)》探討了自然語言的處理問題。文中提到，自然語言是分層結(jié)構(gòu)的，較小的單元嵌套在較大的單元中，當(dāng)較大的組件結(jié)束時，嵌套在其中的所有較小的組件也必須關(guān)閉。雖然標(biāo)準(zhǔn)的LSTM架構(gòu)允許不同的神經(jīng)元在不同的時間尺度上跟蹤信息，但它并沒有明確偏向建模成分的層次結(jié)構(gòu)。因此，提出了通過對神經(jīng)元進行排序來增加這種歸納偏差。

來自麻省理工學(xué)院計算機科學(xué)與人工智能實驗室的論文《彩票假設(shè)：尋找稀疏的、可訓(xùn)練的神經(jīng)網(wǎng)絡(luò)》探討了模型壓縮問題，提出了一個新的概念——彩票假說：密集、隨機初始化的前饋網(wǎng)絡(luò)包含子網(wǎng)絡(luò)("中獎彩票")，當(dāng)單獨訓(xùn)練時，這些子網(wǎng)絡(luò)能夠在相似的迭代次數(shù)中達到與原始網(wǎng)絡(luò)相當(dāng)?shù)臏y試準(zhǔn)確度。

作為深度學(xué)習(xí)領(lǐng)域的頂級盛會，ICLR每年都會收到來自世界各地的專家、學(xué)者的投稿。根據(jù)官方消息，ICLR 2019共收到了1578篇投稿，相比ICLR 2018的935篇有了大幅增加。不過，有數(shù)據(jù)顯示，ICLR 2018論文平均得分是5.24分，而2019年的論文平均得分為5.15分，比2018年下降近0.2分。