ICLR 2019過去有幾天了,作為今年上半年表現(xiàn)最為亮眼的人工智能頂會(huì)共收到1591篇論文,錄取率為31.7%。
為期4天的會(huì)議,共有8個(gè)邀請(qǐng)演講主題,內(nèi)容包括:算法公平性的進(jìn)展、對(duì)抗機(jī)器學(xué)習(xí)、發(fā)展自主學(xué)習(xí):人工智能,認(rèn)知科學(xué)和教育技術(shù)、用神經(jīng)模型學(xué)習(xí)自然語(yǔ)言界面等等。
當(dāng)然,除此之外,還有一大堆的poster。這些都彰顯了ICLR的規(guī)格之高,研究者實(shí)力之強(qiáng)大。
透過現(xiàn)象看本質(zhì),一位來自越南的作家和計(jì)算機(jī)科學(xué)家Chip Huyen總結(jié)了ICLR 2019年的8大趨勢(shì)。他表示。會(huì)議組織者越來越強(qiáng)調(diào)包容性,在學(xué)術(shù)研究方面RNN正在失去研究的光芒......
1.包容性。
組織者強(qiáng)調(diào)了包容性在人工智能中的重要性,確保前兩次主要會(huì)談的開幕詞邀請(qǐng)講話是關(guān)于公平和平等的。
但是還是有一些令人擔(dān)憂的統(tǒng)計(jì)數(shù)據(jù):
只有8.6%的演講者和15%的參與者是女性。
在所有的LGBTQ+(Lesbian Gay Bisexual Transgender Queer:性別獨(dú)角獸群體)研究人員中,有2/3的研究人員并不是專業(yè)的。
所有8位特邀演講者都是白人。
來自薩沙·拉什(Sasha Rush)開幕詞的截圖
不幸的是,這位AI研究人員仍然感到毫無歉意。雖然其他所有的研討會(huì)的訂閱量爆滿,但在Yoshua Bengio出現(xiàn)之前,AI賦能社會(huì)(AI for Social Good)研討會(huì)一直空無一人。在我在ICLR的眾多談話中,沒有人提到過差異性,除了有一次我大力聲討地問為什么我被邀請(qǐng)參加這場(chǎng)似乎不適合我的技術(shù)活動(dòng)?一位好朋友說:“有點(diǎn)冒犯的回答是,因?yàn)槟闶且粋€(gè)女人?!?/p>
原因之一是這個(gè)話題不是“技術(shù)性的”,因此在上面花時(shí)間將無助于你在研究領(lǐng)域的職業(yè)發(fā)展。另一個(gè)原因是仍然存在一些反對(duì)的偏見。有一次,一位朋友告訴我,不要理睬一位在群聊中嘲笑我的人,因?yàn)椤澳侨讼矚g取笑那些談?wù)撈降群筒町愋缘娜恕!蔽矣幸恍┡笥眩麄儾粫?huì)在網(wǎng)上討論任何關(guān)于差異性的話題,因?yàn)樗麄儾幌搿芭c這種話題聯(lián)系在一起”。
2.無監(jiān)督表征學(xué)習(xí)與遷移學(xué)習(xí)
無監(jiān)督表示學(xué)習(xí)的一個(gè)主要目標(biāo)是從未標(biāo)記的數(shù)據(jù)中發(fā)現(xiàn)有用的數(shù)據(jù),以便用于后續(xù)任務(wù)。在自然語(yǔ)言處理中,無監(jiān)督的表示學(xué)習(xí)通常是通過語(yǔ)言建模來完成的。然后將學(xué)習(xí)到的表示用于諸如情感分析、名字分類識(shí)別和機(jī)器翻譯等任務(wù)。
去年發(fā)表的一些最令人興奮的論文是關(guān)于自然語(yǔ)言處理中的無監(jiān)督學(xué)習(xí)的,首先是ApacheElmo(Peters等人)、DB2ULMFiT(Howard等人)、ApacheOpenAI的GPT(Radford等人)、IBMBert(Devlin等人),當(dāng)然還有,比較激進(jìn)的202GPT-2(Radford等人)。
完整的GPT-2模型是在 ICLR演示的,它的表現(xiàn)非常好。您可以輸入幾乎任何提示,它將撰寫文章的其余部分。它可以撰寫B(tài)uzzFeed文章(美國(guó)新聞RSS訂閱,類似于今日頭條)、小說、科學(xué)研究論文,甚至是虛構(gòu)單詞的定義。但這聽起來還不完全是人類的感覺。該團(tuán)隊(duì)正在研究GPT-3,會(huì)比現(xiàn)在更好。我迫不及待地想看看它能產(chǎn)生什么。
雖然計(jì)算機(jī)視覺社區(qū)是第一個(gè)將遷移學(xué)習(xí)用于工作的社區(qū),但基礎(chǔ)任務(wù)-在ImageNet上訓(xùn)練分類模型-仍然受到監(jiān)督。我不斷從兩個(gè)社區(qū)的研究人員那里聽到的一個(gè)問題是:“我們?nèi)绾尾拍塬@得為圖像工作的無監(jiān)督學(xué)習(xí)?”
盡管大多數(shù)大牌研究實(shí)驗(yàn)室已經(jīng)在進(jìn)行這方面的研究,但在ICLR上只有一篇論文:“元學(xué)習(xí)無監(jiān)督學(xué)習(xí)的更新規(guī)則”(Metz et al.)。他們的算法不升級(jí)權(quán)值,而是升級(jí)學(xué)習(xí)規(guī)則。
然后,在少量的標(biāo)記樣本上對(duì)從學(xué)習(xí)規(guī)則中學(xué)習(xí)到的表示進(jìn)行調(diào)整,以完成圖像分類任務(wù)。他們找到了學(xué)習(xí)規(guī)則,在MNIST和FashionMNIST數(shù)據(jù)集上達(dá)到了70%的準(zhǔn)確率。作者不打算發(fā)布代碼,因?yàn)椤八c計(jì)算有關(guān)”。在256個(gè)GPU上,外層循環(huán)需要大約100k的訓(xùn)練步驟和200個(gè)小時(shí)。
關(guān)于元學(xué)習(xí)的內(nèi)層和外層循環(huán)(Metz等人)
我有一種感覺,在不久的將來,我們將看到更多這樣的研究??捎糜跓o監(jiān)督學(xué)習(xí)的一些任務(wù)包括:自動(dòng)編碼、預(yù)測(cè)圖像旋轉(zhuǎn)(Gidaris等人的這篇論文是2018年ICLR的熱門文章),預(yù)測(cè)視頻中的下一幀。
3.機(jī)器學(xué)習(xí)的“復(fù)古”
機(jī)器學(xué)習(xí)中的思想就像時(shí)尚:它們繞著一個(gè)圈走。在海報(bào)展示會(huì)上走來走去,就像沿著記憶小路在漫步。即使是備受期待的ICLR辯論最終也是由先驗(yàn)與結(jié)構(gòu)結(jié)束,這是對(duì)Yann LeCun和 Christopher Manning去年討論的回溯,而且與貝葉斯主義者和頻率論者之間的由來的辯論相似。
麻省理工學(xué)院媒體實(shí)驗(yàn)室的語(yǔ)言學(xué)習(xí)和理解項(xiàng)目于2001年終止,但基礎(chǔ)語(yǔ)言學(xué)習(xí)今年卷土重來,兩篇論文都是基于強(qiáng)化學(xué)習(xí):
DOM-Q-Net:基于結(jié)構(gòu)化語(yǔ)言(Jia等人)的RL-一種學(xué)習(xí)通過填充字段和單擊鏈接導(dǎo)航Web的RL算法,給定一個(gè)用自然語(yǔ)言表示的目標(biāo)。
BabyAI:一個(gè)研究扎根語(yǔ)言學(xué)習(xí)樣本效率的平臺(tái)(Chevalier-Boisveret等人)-這是一個(gè)與OpenAI訓(xùn)練兼容的平臺(tái),具有一個(gè)手動(dòng)操作的BOT代理,它模擬人類教師來指導(dǎo)代理學(xué)習(xí)一種合成語(yǔ)言。
AnonReviewer4很好地總結(jié)了我對(duì)這兩篇論文的看法:
“…這里提出的方法看起來非常類似于語(yǔ)義解析文獻(xiàn)中,已經(jīng)研究過一段時(shí)間的方法。然而,這篇論文只引用了最近深入的RL論文。我認(rèn)為,讓作者熟悉這些文學(xué)作品將會(huì)使他們受益匪淺。我認(rèn)為語(yǔ)義解析社區(qū)也會(huì)從這個(gè)…中受益。但這兩個(gè)社區(qū)似乎并不經(jīng)常交談,盡管在某些情況下,我們正在解決非常相似的問題?!?/p>
確定性有限自動(dòng)機(jī)(DFA)也在今年的深度學(xué)習(xí)領(lǐng)域中占據(jù)了一席之地,它有兩篇論文:
表示形式語(yǔ)言的:有限自動(dòng)機(jī)(FA)與遞歸神經(jīng)網(wǎng)絡(luò)(RNN)的比較(Michalenko等人)。
學(xué)習(xí)遞歸策略網(wǎng)絡(luò)的有限狀態(tài)表示(Koulet等人)
這兩篇論文背后的主要?jiǎng)訖C(jī)是,由于RNN中隱藏狀態(tài)的空間是巨大的,是否有可能將狀態(tài)數(shù)量減少到有限的狀態(tài)?我猜測(cè)DFA是否能有效地代表語(yǔ)言的RNN,但我真的很喜歡在訓(xùn)練期間學(xué)習(xí)RNN,然后將其轉(zhuǎn)換為DFA以供參考的想法,正如Koul等人的論文中所介紹的那樣。最終的有限表示只需要3個(gè)離散的記憶狀態(tài)和10場(chǎng)觀察的乒乓球游戲。有限狀態(tài)表示也有助于解釋RNN。
來自RNN的學(xué)習(xí)DFA的三個(gè)階段(Koul等人)
提取的自動(dòng)機(jī)(Koul等人)
4.RNN正在失去研究的光芒
2018年至2019年提交(論文)主題的相對(duì)變化表明,RNN的下降幅度最大。這并不奇怪,因?yàn)楸M管RNN對(duì)于序列數(shù)據(jù)是直觀的,但它們有一個(gè)巨大的缺點(diǎn):它們不能被并行化,因此不能利用自2012年以來推動(dòng)研究進(jìn)展的最大因素:計(jì)算能力。RNN在CV或RL中從未流行過,而對(duì)于NLP,它們正被基于注意力的體系結(jié)構(gòu)所取代。
RNN正在失去光芒。圖來自ICLR 2019數(shù)據(jù)補(bǔ)充
這是不是意味著RNN已經(jīng)over了?不一定。今年的兩個(gè)最佳論文獎(jiǎng)之一是“有序神經(jīng)元:將樹結(jié)構(gòu)集成到遞歸神經(jīng)網(wǎng)絡(luò)中”。(Shen等人)。除了本文和上面提到的兩篇關(guān)于自動(dòng)機(jī)的文章之外,今年又有9篇關(guān)于RNN的論文被接受,其中大多數(shù)都深入研究了RNN的數(shù)學(xué)基礎(chǔ),而不是發(fā)現(xiàn)新的RNN應(yīng)用方向。
RNN在行業(yè)中仍然非常活躍,特別是對(duì)于交易公司等處理時(shí)間序列數(shù)據(jù)的公司來說,不幸的是,這些公司通常不會(huì)發(fā)布它們的工作成果。即使RNN現(xiàn)在對(duì)研究人員沒有吸引力,說不定它可能會(huì)在未來卷土重來。
5.GAN持續(xù)火熱
盡管與去年相比GAN的相對(duì)增長(zhǎng)略有下降, 但論文數(shù)量實(shí)際上從去年的約70篇漲到了今年的100多篇。Ian Goodfellow做了一個(gè)關(guān)于GAN的特邀報(bào)告,更是受其信徒大力推崇。以至于到了最后一天, 他不得不遮住胸前的徽章, 這樣人們才不會(huì)因?yàn)榭吹剿拿侄?dòng)不已。
第一個(gè)海報(bào)展示環(huán)節(jié)全是關(guān)于GAN的最新進(jìn)展,涵蓋了全新的GAN架構(gòu)、舊架構(gòu)的改進(jìn)、GAN分析、以及從圖像生成到文本生成再到語(yǔ)音合成的GAN應(yīng)用。
衍生出了PATE-GAN, GANSynth, ProbGAN, InstaGAN, RelGAN, MisGAN, SPIGAN, LayoutGAN, KnockoffGAN等等不同的GAN網(wǎng)絡(luò)??偠灾灰岬紾AN我就好像變成了一個(gè)文盲,迷失在林林總總的GAN網(wǎng)絡(luò)中。值得一提的是,Andrew Brock沒有把他的大規(guī)模GAN模型叫做giGANtic讓我好生失望。
GAN的海報(bào)展示環(huán)節(jié)也揭示了在GAN問題上,ICLR社區(qū)是多么的兩極分化。我聽到有些人小聲嘟囔著“我已經(jīng)等不及看到這些GAN的完蛋啦”,“只要有人提到對(duì)抗(adversarial)我的腦瓜仁就疼”。當(dāng)然,據(jù)我分析,他們也可能只是嫉妒而已。
6.缺乏生物啟發(fā)式深度學(xué)習(xí)
關(guān)于基因組學(xué)的論文為零。也沒有關(guān)于這一專題的研討會(huì)。盡管這一現(xiàn)象令人遺憾, 但也為對(duì)生物學(xué)感興趣的深度學(xué)習(xí)研究人員或?qū)ι疃葘W(xué)習(xí)感興趣的生物學(xué)家提供了巨大的機(jī)會(huì)。
趣聞?shì)W事:Retina論文(A Unified Theory of Early Visual Representations from Retina to Cortex through Anatomically Constrained Deep CNNs)的第一作者,Jack Lindsey,還只是Stanford的一名大四學(xué)生。真是英雄出少年啊!
7.強(qiáng)化學(xué)習(xí)仍舊是最受歡迎的主題。
會(huì)議上的報(bào)告表明,RL社區(qū)正在從model-free 方法向sample-efficient model-based和meta-learning算法轉(zhuǎn)移。這種轉(zhuǎn)變可能是受TD3和SAC在Mujoco平臺(tái)的連續(xù)控制任務(wù),以及R2D2在Atari離散控制任務(wù)上的極高得分所推動(dòng)的。
基于模型的算法(即從數(shù)據(jù)中學(xué)習(xí)環(huán)境模型,并利用它規(guī)劃或生成更多數(shù)據(jù)的算法)終于能逐漸達(dá)到其對(duì)應(yīng)的無模型算法的性能,而且只需要原先十分之一至百分之一的經(jīng)驗(yàn)。
這一優(yōu)勢(shì)使他們適合于實(shí)際任務(wù)。盡管學(xué)習(xí)得到的單一模擬器很可能存在缺陷,但可以通過更復(fù)雜的動(dòng)力學(xué)模型,例如集成模擬器,來改善它的缺陷。
另一種將RL應(yīng)用到實(shí)際問題的方法是允許模擬器支持任意復(fù)雜的隨機(jī)化(arbitrarily complex randomizations):在一組不同的模擬環(huán)境上訓(xùn)練的策略可以將現(xiàn)實(shí)世界視為另一個(gè)隨機(jī)化(randomization),并力求成功
元學(xué)習(xí)(Meta-learning)算法,可實(shí)現(xiàn)在多個(gè)任務(wù)之間的快速遷移學(xué)習(xí),也已經(jīng)在樣本效率(smaple-efficiency)和性能方面取得了很大的進(jìn)步(Promp(Rothfuss等人)
這些改進(jìn)使我們更接近“the ImageNet moment of RL”,即我們可以復(fù)用從其他任務(wù)中學(xué)到的控制策略,而不是每個(gè)任務(wù)都從頭開始學(xué)習(xí)。
大部分已被接受的論文,連同整個(gè)Structure and Priors in RL研討會(huì),都致力于將一些有關(guān)環(huán)境的知識(shí)整合到學(xué)習(xí)算法中。雖然早期的深度RL算法的主要優(yōu)勢(shì)之一是通用性(例如,DQN對(duì)所有Atari游戲都使用相同的體系結(jié)構(gòu),而無需知道某個(gè)特定的游戲),但新的算法表明,結(jié)合先驗(yàn)知識(shí)有助于完成更復(fù)雜的任務(wù)。例如,在Transporter Network(Jakab et al.)中,使用的先驗(yàn)知識(shí)進(jìn)行更具信息量的結(jié)構(gòu)性探索。
綜上所述,在過去的5年中,RL社區(qū)開發(fā)了各種有效的工具來解決無模型配置下的RL問題?,F(xiàn)在是時(shí)候提出更具樣本效率(sample-efficient)和可遷移性(transferable)的算法來將RL應(yīng)用于現(xiàn)實(shí)世界中的問題了。
8.大部分論文都會(huì)很快被人遺忘
當(dāng)我問一位著名的研究人員,他對(duì)今年被接受的論文有何看法時(shí),他笑著說:“大部分論文都會(huì)在會(huì)議結(jié)束后被遺忘”。在一個(gè)和機(jī)器學(xué)習(xí)一樣快速發(fā)展的領(lǐng)域里,可能每過幾周甚至幾天曾經(jīng)的最好記錄就會(huì)被打破,正因此對(duì)于論文還沒發(fā)表就已經(jīng)out了這一現(xiàn)象也就見怪不怪了。例如,根據(jù)Borealis Ai對(duì)ICLR 2018的統(tǒng)計(jì),“每八篇里面有七篇論文的結(jié)果,在ICLR會(huì)議開始之前就已經(jīng)被超越了?!?/p>
在會(huì)議期間我經(jīng)常聽到的一個(gè)評(píng)論是,接受/拒絕決定的隨機(jī)性。盡管我不會(huì)指明有哪些,但在過去幾年中,確實(shí)有一些如今被談?wù)撟疃?引用最多的論文在最初提交給會(huì)議的時(shí)候被拒了。而許多被接受的論文仍將持續(xù)數(shù)年而不被引用。
-
人工智能
+關(guān)注
關(guān)注
1787文章
46061瀏覽量
234992 -
rnn
+關(guān)注
關(guān)注
0文章
76瀏覽量
6855
原文標(biāo)題:ICLR 2019八大趨勢(shì):RNN正在失去光芒,強(qiáng)化學(xué)習(xí)仍最受歡迎
文章出處:【微信號(hào):BigDataDigest,微信公眾號(hào):大數(shù)據(jù)文摘】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
CNN與RNN的關(guān)系?
rnn是什么神經(jīng)網(wǎng)絡(luò)模型
rnn是什么神經(jīng)網(wǎng)絡(luò)
rnn神經(jīng)網(wǎng)絡(luò)模型原理
RNN神經(jīng)網(wǎng)絡(luò)適用于什么
rnn神經(jīng)網(wǎng)絡(luò)基本原理
什么是RNN(循環(huán)神經(jīng)網(wǎng)絡(luò))?RNN的基本原理和優(yōu)缺點(diǎn)
TensorFlow與PyTorch深度學(xué)習(xí)框架的比較與選擇
通過強(qiáng)化學(xué)習(xí)策略進(jìn)行特征選擇
![通過<b class='flag-5'>強(qiáng)化學(xué)習(xí)</b>策略進(jìn)行特征選擇](https://file.elecfans.com/web2/M00/4E/DC/poYBAGLCjeiALm_WAAAYmfR7Qec474.png)
什么是RNN (循環(huán)神經(jīng)網(wǎng)絡(luò))?
![什么是<b class='flag-5'>RNN</b> (循環(huán)神經(jīng)網(wǎng)絡(luò))?](https://file1.elecfans.com/web2/M00/C2/1B/wKgZomXgKxOACsTWAAAJbSjoWF0873.jpg)
最受網(wǎng)絡(luò)運(yùn)營(yíng)商歡迎的設(shè)備商:愛立信第一 三星第二
電力測(cè)功機(jī)為什么受歡迎?
![電力測(cè)功機(jī)為什么<b class='flag-5'>受歡迎</b>?](https://file1.elecfans.com/web2/M00/94/73/wKgZomTlpXyAN1KzAAE5BgiyzWw079.png)
精選 25 個(gè) RNN 問題
![精選 25 個(gè) <b class='flag-5'>RNN</b> 問題](https://file.elecfans.com/web2/M00/4E/DC/poYBAGLCjeiALm_WAAAYmfR7Qec474.png)
什么是強(qiáng)化學(xué)習(xí)
![什么是<b class='flag-5'>強(qiáng)化學(xué)習(xí)</b>](https://file1.elecfans.com/web2/M00/AC/FB/wKgZomU_JDyAScjiAAEuSsQxSgs746.jpg)
NeurIPS 2023 | 擴(kuò)散模型解決多任務(wù)強(qiáng)化學(xué)習(xí)問題
![NeurIPS 2023 | 擴(kuò)散模型解決多任務(wù)<b class='flag-5'>強(qiáng)化學(xué)習(xí)</b>問題](https://file1.elecfans.com//web2/M00/A8/68/wKgaomUs_uiAPwcVAADyizd-MH8593.png)
評(píng)論