近期必讀的6篇ICLR 2021相關(guān)論文

本期的關(guān)注焦點是NLP的6篇論文。

NLP

CoDA: Contrast-enhanced and Diversity-promoting Data Augmentation for Natural Language Understanding

本文設(shè)計了提出對當(dāng)前在NLP領(lǐng)域下針對數(shù)據(jù)增廣場景下如何生成更多高質(zhì)量和更多樣的數(shù)據(jù)及如何提升模型效果提出統(tǒng)一的模型，首先提出利用統(tǒng)一的組合策略對已有生成策略融合，另一方面借用對比思想，將生成的數(shù)據(jù)與訓(xùn)練中全局的數(shù)據(jù)做對比以更好提升訓(xùn)練質(zhì)量。

論文鏈接：https://openreview.net/forum?id=Ozk9MrX1hvA

Contrastive Learning with Stronger Augmentations

文章指出現(xiàn)有的對比學(xué)習(xí)方法中，一些數(shù)據(jù)增強的操作可能會導(dǎo)致變換后的圖像與原圖的差異過大，強行讓網(wǎng)絡(luò)提取出相似的特征反而會減弱自監(jiān)督學(xué)習(xí)的效果。作者在文中提出的解決方法是，將數(shù)據(jù)的增廣操作劃分為兩大類，一類是不會顯著改變圖像視覺效果，叫做Weaker Augmentations；另一類是可能使圖像發(fā)生非常大的變化的，叫做Strongerer Augmentations。在訓(xùn)練網(wǎng)絡(luò)的時候，增加了一個新的損失函數(shù)，不是直接限制變換圖像與原圖的特征，而是通過優(yōu)化原圖與弱變換圖像、弱變換圖像與強變換圖像之間的分布，達(dá)到特征學(xué)習(xí)的目的，消除上述的影響。

論文鏈接：https://openreview.net/forum?id=KJSC_AsN14

Improving Abstractive Dialogue Summarization with Conversational Structure and Factual Knowledge

在對話抽象摘要任務(wù)中，對長距離跨句關(guān)系進(jìn)行捕獲是必要的。此外，生成的摘要會受到虛假事實的影響。本文提出了一種知識圖增強的雙拷貝網(wǎng)絡(luò)（KGEDC），它是一種基于會話結(jié)構(gòu)和事實知識的抽象對話和化框架。采用序列編碼器提取局部特征，用圖編碼器通過稀疏關(guān)系圖自注意網(wǎng)絡(luò)整合全局特征，相互補充。此外，在解碼過程中還設(shè)計了一種雙重復(fù)制機(jī)制，從原文本和事實中共同生成摘要。

論文鏈接：https://openreview.net/forum?id=uFk038O5wZ

CorDial: Coarse-to-fine Abstractive Dialogue Summarization with Controllable Granularity

本文提出一種由coarse-to-fine的對話抽象摘要生成策略，首先生成摘要草稿，然后生成最終摘要。本文也提出了控制最終摘要粒度的簡單策略，可以通過預(yù)測和突出顯示源文本中不同的文本跨度來自動控制給定對話生成的摘要語句的數(shù)量。

論文鏈接：https://openreview.net/forum?id=Uf_WNt41tUA

Learning Contextualized Knowledge Graph Structures for Commonsense Reasoning

為了解決外部知識圖中缺少 facts 和上下文知識圖中存在冗余 facts 的問題，本文提出了一種常識推理的神經(jīng)符號框架 HGN。HGN 可以聯(lián)合生成新邊的特征，優(yōu)化圖結(jié)構(gòu)，并學(xué)習(xí)圖網(wǎng)絡(luò)的參數(shù)，實現(xiàn)動態(tài)圖推理。實驗結(jié)果和用戶研究證明了該模型的有效性。

論文鏈接：https://openreview.net/forum?id=lJuOUWlAC8i

Deep Encoder, Shallow Decoder: Reevaluating Non-autoregressive Machine Translation

本文通過理論研究和實驗證明，通過簡單的層分配策略（深層編碼器-淺層解碼器）可以大大加快自回歸神經(jīng)機(jī)器翻譯的速度。與強非自回歸模型相比，深-淺自回歸模型以近似的速度實現(xiàn)了翻譯質(zhì)量的顯著提高。另外，深層編碼器-淺層解碼器的模型可以用于任何序列到序列任務(wù)，包括大規(guī)模預(yù)訓(xùn)練。

論文鏈接：https://openreview.net/forum?id=KpfasTaLUpq

責(zé)任編輯：xj

原文標(biāo)題：【NLP】近期必讀ICLR 2021相關(guān)論文

文章出處：【微信公眾號：深度學(xué)習(xí)自然語言處理】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。