Introduction
本文提出了 Adversarial Self-Attention 機(jī)制(ASA),利用對抗訓(xùn)練重構(gòu) Transformer 的注意力,使模型在被污染的模型結(jié)構(gòu)中得到訓(xùn)練。 嘗試解決的問題:
大量的證據(jù)表明,自注意力可以從 allowing bias 中獲益,allowing bias 可以將一定程度的先驗(yàn)(如 masking,分布的平滑)加入原始的注意力結(jié)構(gòu)中。這些先驗(yàn)知識能夠讓模型從較小的語料中學(xué)習(xí)有用的知識。但是這些先驗(yàn)知識一般是任務(wù)特定的知識,使得模型很難擴(kuò)展到豐富的任務(wù)上。
adversarial training 通過給輸入內(nèi)容添加擾動(dòng)來提升模型的魯棒性。作者發(fā)現(xiàn)僅僅給 input embedding 添加擾動(dòng)很難 confuse 到 attention maps. 模型的注意在擾動(dòng)前后沒有發(fā)生變化。
為了解決上述問題,作者提出了 ASA,具有以下的優(yōu)勢:
最大化 empirical training risk,在自動(dòng)化構(gòu)建先驗(yàn)知識的過程學(xué)習(xí)得到biased(or adversarial)的結(jié)構(gòu)。
adversial 結(jié)構(gòu)是由輸入數(shù)據(jù)學(xué)到,使得 ASA 區(qū)別于傳統(tǒng)的對抗訓(xùn)練或自注意力的變體。
使用梯度反轉(zhuǎn)層來將 model 和 adversary 結(jié)合為整體。
ASA 天然具有可解釋性。
Preliminary
表示輸入的特征,在傳統(tǒng)的對抗訓(xùn)練中, 通常是 token 序列或者是 token 的 embedding, 表示 ground truth. 對于由 參數(shù)化的模型,模型的預(yù)測結(jié)果可以表示為 。
2.1 Adversarial training
對抗訓(xùn)練的目的是旨在通過推近經(jīng)過擾動(dòng)的模型預(yù)測和目標(biāo)分布之間的距離來提升模型的魯棒性:
其中 代表經(jīng)過對抗擾動(dòng) 擾動(dòng)后的模型預(yù)測, 表示模型的目標(biāo)分布。 對抗擾動(dòng) 通過最大化 empirical training risk 獲得:
其中 是對 做出的約束,希望在 較小的情況下給模型造成較大的擾動(dòng)。上述的兩個(gè)表示展示的就是對抗的過程。
2.2General Self-Attention
定義自注意力的表達(dá)式為:
在最普通的自注意力機(jī)制中 代表全等矩陣,而之前的研究中, 代表的是用來平滑注意力結(jié)構(gòu)的輸出分布的一定程度的先驗(yàn)知識。 作者在本文將 定義為元素為 的 binary 矩陣。
Adversarial Self-Attention Mechanism
3.1 Optimization
ASA 的目的是掩蓋模型中最脆弱的注意力單元。這些最脆弱的單元取決于模型的輸入,因此對抗可以表示為由輸入學(xué)習(xí)到的“meta-knowledge”:,ASA 注意力可以表示為:
與對抗訓(xùn)練類似,模型用來最小化如下的 divergence:
通過最大化 empirical risk 估計(jì)得到 :
其中 表示的是 的決策邊界,用來防止 ASA 損害模型的訓(xùn)練。
考慮到 以 attention mask 的形式存在,因此更適合通過約束 masked units 的比例來約束。由于很難測量 。 的具體數(shù)值,因此將 hard constraint 轉(zhuǎn)化為具有懲罰的 unconstraint:
其中 t 用來控制對抗的程度。
3.2 Implementation
作者提出了 ASA 的簡單且快速的實(shí)現(xiàn)。
對于第 自注意力層, 可以由輸入的隱層狀態(tài)獲得。具體而言,使用線性層將隱層狀態(tài)轉(zhuǎn)化為 以及 ,通過點(diǎn)乘獲得矩陣 ,再通過重參數(shù)化技巧將矩陣 binary 化。 由于對抗訓(xùn)練通常包括 inner maximization 以及 outer minimization 兩個(gè)目標(biāo),因此至少需要兩次 backward 過程。因此為了加速訓(xùn)練,作者采用了 Gradient Reversal Layer(GRL)將兩個(gè)過程合并。
3.3 Training
訓(xùn)練目標(biāo)如下所示:
表示 task- specific 損失, 表示加上 ASA 對抗后的損失, 表示對于對于 的約束。
Experiments
4.1Result
從上表可以看出,在微調(diào)方面,ASA 支持的模型始終在很大程度上超過了原始的BERT 和 RoBERTa. 可以看到,ASA 在小規(guī)模數(shù)據(jù)集比如說 STS-B,DREAM 上表現(xiàn)優(yōu)異(一般認(rèn)為這些小規(guī)模數(shù)據(jù)集上更容易過擬合)同時(shí)在更大規(guī)模的數(shù)據(jù)集上如 MNLI,QNLI 以及 QQP 上仍然有較好的提升,說明了 ASA 在提升模型泛化能力的同時(shí)能提升模型的語言表示能力。 如下表所示,ASA 在提升模型魯棒性上具有較大的作用。
4.2 分析實(shí)驗(yàn)
1. VS. Naive smoothing 將 ASA 與其他注意力平滑方式進(jìn)行比較。
2. VS. Adversial training 將 ASA 與其他對抗訓(xùn)練方式進(jìn)行比較
4.3Visualization
1. Why ASA improves generalization 對抗能夠減弱關(guān)鍵詞的注意力而讓非關(guān)鍵詞接受更多的注意力。ASA 阻止了模型的懶惰預(yù)測,但敦促它從被污染的線索中學(xué)習(xí),從而提高了泛化能力。
2. Bottom layers are more vulnerable 可以看到 masking 占比隨著層數(shù)由底層到高層逐漸降低,更高的 masking 占比意味著層的脆弱性更高。
Conclusion
本文提出了 Adversarial Self-Attention mechanism(ASA)來提高預(yù)訓(xùn)練語言模型的泛化性和魯棒性。大量實(shí)驗(yàn)表明本文提出的方法能夠在預(yù)訓(xùn)練和微調(diào)階段提升模型的魯棒性。
·審核編輯 :李倩
-
自動(dòng)化
+關(guān)注
關(guān)注
29文章
5497瀏覽量
79015 -
語言模型
+關(guān)注
關(guān)注
0文章
502瀏覽量
10237
原文標(biāo)題:ICLR2022 | 基于對抗自注意力機(jī)制的預(yù)訓(xùn)練語言模型
文章出處:【微信號:zenRRan,微信公眾號:深度學(xué)習(xí)自然語言處理】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論