自監(jiān)督學(xué)習(xí)與Transformer相關(guān)論文

導(dǎo)讀

國際表示學(xué)習(xí)大會(huì)（TheInternationalConference onLearningRepresentations）是致力于人工智能領(lǐng)域發(fā)展的國際知名學(xué)術(shù)會(huì)議之一。ICLR 2021 將在明年5月4日舉行，目前，本次大會(huì)投稿已經(jīng)結(jié)束，最后共有3013篇論文提交。ICLR 采用公開評(píng)審機(jī)制，任何人都可以提前看到這些論文。

為了分析最新研究動(dòng)向，我們精選了涵蓋自監(jiān)督學(xué)習(xí)、Transformer、圖神經(jīng)網(wǎng)絡(luò)、自然語言處理、模型壓縮等熱點(diǎn)領(lǐng)域，將分多期為大家?guī)硐盗姓撐慕庾x。

本期的關(guān)注焦點(diǎn)是自監(jiān)督學(xué)習(xí)與Transformer。

自監(jiān)督學(xué)習(xí)

Self-Supervised Variational Auto-Encoders

變分自編碼器（VAE）往往通過假設(shè)先驗(yàn)分布為高斯分布來簡化計(jì)算過程，實(shí)際上真實(shí)數(shù)據(jù)的分布往往較為復(fù)雜，該假設(shè)會(huì)導(dǎo)致模型的過正則化并影響模型對(duì)真實(shí)分布的擬合能力；本文通過利用多個(gè)簡單分布對(duì)復(fù)雜真實(shí)分布進(jìn)行建模，并采用自監(jiān)督方法對(duì)這些分布之間進(jìn)行約束，進(jìn)而提升VAE模型最終的效果。

論文鏈接：https://openreview.net/forum?id=zOGdf9K8aC

Self-Supervised Learning from a Multi-View Perspective

即使自監(jiān)督學(xué)習(xí)已經(jīng)取得了很好的效果，現(xiàn)有的方法依舊并不清楚自監(jiān)督學(xué)習(xí)帶來增益的主要原因；本文基于信息空間的考慮，認(rèn)為自監(jiān)督學(xué)習(xí)通過減少不相關(guān)信息來幫助收斂；此外本文還提出將自監(jiān)督任務(wù)的兩個(gè)經(jīng)典方法——對(duì)比學(xué)習(xí)和預(yù)測學(xué)習(xí)任務(wù)進(jìn)行合并，結(jié)合兩者優(yōu)點(diǎn)以增強(qiáng)自監(jiān)督學(xué)習(xí)的效果。

論文鏈接：https://openreview.net/forum?id=-bdp_8Itjwp

Contrast to Divide: Self-Supervised Pre-Training for Learning with Noisy Labels

現(xiàn)有的噪聲數(shù)據(jù)學(xué)習(xí)策略往往基于loss的噪聲識(shí)別與再過濾的框架，其需要模型在warm-up階段既能學(xué)習(xí)到足夠好的特征信息，同時(shí)不至于過分?jǐn)M合噪聲數(shù)據(jù)的分布；改目的與對(duì)比學(xué)習(xí)任務(wù)非常契合，本文提出在warm-up階段采用對(duì)比學(xué)習(xí)幫助進(jìn)行特征學(xué)習(xí)，并基于對(duì)比學(xué)習(xí)策略幫助區(qū)分噪聲數(shù)據(jù)。

論文鏈接：https://openreview.net/forum?id=uB5x7Y2qsFR

Improving Self-Supervised Pre-Training via a Fully-Explored Masked Language Model

現(xiàn)有的BERT等模型往往采用masked language model進(jìn)行自監(jiān)督學(xué)習(xí)，但是其往往采用隨機(jī)的方法確定mask的word或者span；本文提出不合適的mask會(huì)導(dǎo)致梯度方差變大，并影響模型的效果，并分析原因在于同時(shí)mask的word之間具有一定的相似度；故本文提出一種特殊的mask機(jī)制，其考慮增大被mask的word之間的差異，進(jìn)而削弱梯度方差大帶來的影響。

論文鏈接：https://openreview.net/forum?id=cYr2OPNyTz7

Bi-Tuning of Pre-Trained Representations

隨著預(yù)訓(xùn)練模型的快速發(fā)展，現(xiàn)有方法主要關(guān)注于如何進(jìn)行pre-train，但是很少關(guān)注如何進(jìn)行fine-tune；本文認(rèn)為在fine-tune時(shí)模型很容易忘記預(yù)訓(xùn)練的信息并過擬合到當(dāng)前任務(wù)，因此提出了一種特殊的Bi-tune策略，即利用對(duì)比學(xué)習(xí)作為正則項(xiàng)約束模型的收斂情況，進(jìn)而幫助提升模型的效果。

論文鏈接：https://openreview.net/forum?id=3rRgu7OGgBI

Erasure for Advancing: Dynamic Self-Supervised Learning for Commonsense Reasoning

為了解決預(yù)訓(xùn)練模型很難學(xué)習(xí)到更精準(zhǔn)的 question-clue pairs 問題，本文提出DynamIcSelf-sUperviSedErasure (DISUSE)。其中包含 erasure sampler 和 supervisor，分別用于擦出上下文和問題中的多余線索，以及使用 self-supervised manner 進(jìn)行監(jiān)督。

論文鏈接：https://openreview.net/forum?id=WfY0jNndSn3

Transformer

Addressing Some Limitations of Transformers with Feedback Memory

Transformer結(jié)構(gòu)因其并行計(jì)算的特性有很高的計(jì)算效率，但是這種特性限制了Transformer發(fā)掘序列信息的能力，這體現(xiàn)在底層表示無法獲得高層表示信息。作者提出一種Feedback Memory結(jié)構(gòu)，將所有歷史的底層和高層表示信息傳遞給未來表示。

論文鏈接：https://openreview.net/forum?id=OCm0rwa1lx1

Not All Memories are Created Equal: Learning to Expire

Attention機(jī)制往往需要長期的記憶，但是實(shí)際上并不是所有歷史信息都是重要的。因此，作者提出一種Expire-Span機(jī)制，動(dòng)態(tài)地決定每一個(gè)時(shí)刻信息存活的時(shí)間長短，從而減少模型進(jìn)行Attention操作耗費(fèi)的空間開銷。

論文鏈接：https://openreview.net/forum?id=ZVBtN6B_6i7

Memformer: The Memory-Augmented Transformer

目前大部分Transformer變體模型在處理長序列時(shí)都會(huì)存在效率問題。作者提出一種利用Memory機(jī)制來編碼和保存歷史信息，使得時(shí)間復(fù)雜度下降到線性時(shí)間，空間復(fù)雜度變?yōu)槌?shù)。

論文鏈接：https://openreview.net/forum?id=_adSMszz_g9

Non-iterative Parallel Text Generation via Glancing Transformer

本文提出了一種基于 glancing language model 的 Glancing Transformer，通過 one-iteration 的生成方式提升 NAT 的性能。其中 Glancing language model，可以通過兩次 decoding 來降低學(xué)習(xí)難度以及加快生成速度。另外這種方法同樣可以應(yīng)用于其他基于 NAT 的任務(wù)。

論文鏈接：https://openreview.net/forum?id=ZaYZfu8pT_N

責(zé)任編輯：xj

原文標(biāo)題：【ICLR2021必讀】 【自監(jiān)督學(xué)習(xí)】 & 【Transformer】相關(guān)論文

文章出處：【微信公眾號(hào)：深度學(xué)習(xí)自然語言處理】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。