0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

基于對抗自注意力機(jī)制的預(yù)訓(xùn)練語言模型

深度學(xué)習(xí)自然語言處理 ? 來源:ICLR 2022 ? 作者:曾偉豪 ? 2022-07-08 16:57 ? 次閱讀

Introduction

本文提出了 Adversarial Self-Attention 機(jī)制(ASA),利用對抗訓(xùn)練重構(gòu) Transformer 的注意力,使模型在被污染的模型結(jié)構(gòu)中得到訓(xùn)練。 嘗試解決的問題:

大量的證據(jù)表明,自注意力可以從 allowing bias 中獲益,allowing bias 可以將一定程度的先驗(yàn)(如 masking,分布的平滑)加入原始的注意力結(jié)構(gòu)中。這些先驗(yàn)知識能夠讓模型從較小的語料中學(xué)習(xí)有用的知識。但是這些先驗(yàn)知識一般是任務(wù)特定的知識,使得模型很難擴(kuò)展到豐富的任務(wù)上。

adversarial training 通過給輸入內(nèi)容添加擾動(dòng)來提升模型的魯棒性。作者發(fā)現(xiàn)僅僅給 input embedding 添加擾動(dòng)很難 confuse 到 attention maps. 模型的注意在擾動(dòng)前后沒有發(fā)生變化。

為了解決上述問題,作者提出了 ASA,具有以下的優(yōu)勢:

最大化 empirical training risk,在自動(dòng)化構(gòu)建先驗(yàn)知識的過程學(xué)習(xí)得到biased(or adversarial)的結(jié)構(gòu)。

adversial 結(jié)構(gòu)是由輸入數(shù)據(jù)學(xué)到,使得 ASA 區(qū)別于傳統(tǒng)的對抗訓(xùn)練或自注意力的變體。

使用梯度反轉(zhuǎn)層來將 model 和 adversary 結(jié)合為整體。

ASA 天然具有可解釋性。

Preliminary

表示輸入的特征,在傳統(tǒng)的對抗訓(xùn)練中, 通常是 token 序列或者是 token 的 embedding, 表示 ground truth. 對于由 參數(shù)化的模型,模型的預(yù)測結(jié)果可以表示為 。

2.1 Adversarial training

對抗訓(xùn)練的目的是旨在通過推近經(jīng)過擾動(dòng)的模型預(yù)測和目標(biāo)分布之間的距離來提升模型的魯棒性:

d5da9fe0-fe9b-11ec-ba43-dac502259ad0.png

其中 代表經(jīng)過對抗擾動(dòng) 擾動(dòng)后的模型預(yù)測, 表示模型的目標(biāo)分布。 對抗擾動(dòng) 通過最大化 empirical training risk 獲得:

d5ee5a76-fe9b-11ec-ba43-dac502259ad0.png

其中 是對 做出的約束,希望在 較小的情況下給模型造成較大的擾動(dòng)。上述的兩個(gè)表示展示的就是對抗的過程。

2.2General Self-Attention

定義自注意力的表達(dá)式為:

d5fd9c52-fe9b-11ec-ba43-dac502259ad0.png

在最普通的自注意力機(jī)制中 代表全等矩陣,而之前的研究中, 代表的是用來平滑注意力結(jié)構(gòu)的輸出分布的一定程度的先驗(yàn)知識。 作者在本文將 定義為元素為 的 binary 矩陣。

Adversarial Self-Attention Mechanism

3.1 Optimization

ASA 的目的是掩蓋模型中最脆弱的注意力單元。這些最脆弱的單元取決于模型的輸入,因此對抗可以表示為由輸入學(xué)習(xí)到的“meta-knowledge”:,ASA 注意力可以表示為:

d619c8b4-fe9b-11ec-ba43-dac502259ad0.png

與對抗訓(xùn)練類似,模型用來最小化如下的 divergence:

d62c9c14-fe9b-11ec-ba43-dac502259ad0.png

通過最大化 empirical risk 估計(jì)得到 :

d63a855e-fe9b-11ec-ba43-dac502259ad0.png

其中 表示的是 的決策邊界,用來防止 ASA 損害模型的訓(xùn)練。

考慮到 以 attention mask 的形式存在,因此更適合通過約束 masked units 的比例來約束。由于很難測量 。 的具體數(shù)值,因此將 hard constraint 轉(zhuǎn)化為具有懲罰的 unconstraint:

d64eab74-fe9b-11ec-ba43-dac502259ad0.png

其中 t 用來控制對抗的程度。

3.2 Implementation

作者提出了 ASA 的簡單且快速的實(shí)現(xiàn)。

d663af10-fe9b-11ec-ba43-dac502259ad0.png

對于第 自注意力層, 可以由輸入的隱層狀態(tài)獲得。具體而言,使用線性層將隱層狀態(tài)轉(zhuǎn)化為 以及 ,通過點(diǎn)乘獲得矩陣 ,再通過重參數(shù)化技巧將矩陣 binary 化。 由于對抗訓(xùn)練通常包括 inner maximization 以及 outer minimization 兩個(gè)目標(biāo),因此至少需要兩次 backward 過程。因此為了加速訓(xùn)練,作者采用了 Gradient Reversal Layer(GRL)將兩個(gè)過程合并。

3.3 Training

訓(xùn)練目標(biāo)如下所示:

d677006a-fe9b-11ec-ba43-dac502259ad0.png

表示 task- specific 損失, 表示加上 ASA 對抗后的損失, 表示對于對于 的約束。

Experiments

4.1Result

d697f5f4-fe9b-11ec-ba43-dac502259ad0.png

從上表可以看出,在微調(diào)方面,ASA 支持的模型始終在很大程度上超過了原始的BERT 和 RoBERTa. 可以看到,ASA 在小規(guī)模數(shù)據(jù)集比如說 STS-B,DREAM 上表現(xiàn)優(yōu)異(一般認(rèn)為這些小規(guī)模數(shù)據(jù)集上更容易過擬合)同時(shí)在更大規(guī)模的數(shù)據(jù)集上如 MNLI,QNLI 以及 QQP 上仍然有較好的提升,說明了 ASA 在提升模型泛化能力的同時(shí)能提升模型的語言表示能力。 如下表所示,ASA 在提升模型魯棒性上具有較大的作用。

d6b2e4c2-fe9b-11ec-ba43-dac502259ad0.png

4.2 分析實(shí)驗(yàn)

1. VS. Naive smoothing 將 ASA 與其他注意力平滑方式進(jìn)行比較。

d6c547e8-fe9b-11ec-ba43-dac502259ad0.png

2. VS. Adversial training 將 ASA 與其他對抗訓(xùn)練方式進(jìn)行比較

d6d7050a-fe9b-11ec-ba43-dac502259ad0.png

4.3Visualization

1. Why ASA improves generalization 對抗能夠減弱關(guān)鍵詞的注意力而讓非關(guān)鍵詞接受更多的注意力。ASA 阻止了模型的懶惰預(yù)測,但敦促它從被污染的線索中學(xué)習(xí),從而提高了泛化能力。

d6efa628-fe9b-11ec-ba43-dac502259ad0.png

2. Bottom layers are more vulnerable 可以看到 masking 占比隨著層數(shù)由底層到高層逐漸降低,更高的 masking 占比意味著層的脆弱性更高。

d715222c-fe9b-11ec-ba43-dac502259ad0.png

Conclusion

本文提出了 Adversarial Self-Attention mechanism(ASA)來提高預(yù)訓(xùn)練語言模型的泛化性和魯棒性。大量實(shí)驗(yàn)表明本文提出的方法能夠在預(yù)訓(xùn)練和微調(diào)階段提升模型的魯棒性。

·審核編輯 :李倩

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報(bào)投訴
  • 自動(dòng)化
    +關(guān)注

    關(guān)注

    29

    文章

    5497

    瀏覽量

    79015
  • 語言模型
    +關(guān)注

    關(guān)注

    0

    文章

    502

    瀏覽量

    10237

原文標(biāo)題:ICLR2022 | 基于對抗自注意力機(jī)制的預(yù)訓(xùn)練語言模型

文章出處:【微信號:zenRRan,微信公眾號:深度學(xué)習(xí)自然語言處理】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦

    2024 年 19 種最佳大型語言模型

    ,當(dāng)時(shí)一篇題為“通過聯(lián)合學(xué)習(xí)對齊和翻譯的神經(jīng)機(jī)器翻譯”的研究論文中引入了注意力機(jī)制(一種旨在模仿人類認(rèn)知注意力的機(jī)器學(xué)習(xí)技術(shù))。2017年,另一篇論文“注意力就是你
    的頭像 發(fā)表于 08-30 12:56 ?467次閱讀
    2024 年 19 種最佳大型<b class='flag-5'>語言</b><b class='flag-5'>模型</b>

    【《大語言模型應(yīng)用指南》閱讀體驗(yàn)】+ 基礎(chǔ)知識學(xué)習(xí)

    并捕捉長距離依賴關(guān)系的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。Transformer通過編碼器(Encoder)和解碼器(Decoder)兩部分實(shí)現(xiàn)語言的編碼和解碼。 注意力機(jī)制:Transformer中的注意力
    發(fā)表于 08-02 11:03

    語言模型預(yù)訓(xùn)練

    能力,逐漸成為NLP領(lǐng)域的研究熱點(diǎn)。大語言模型預(yù)訓(xùn)練是這一技術(shù)發(fā)展的關(guān)鍵步驟,它通過在海量無標(biāo)簽數(shù)據(jù)上進(jìn)行訓(xùn)練,使
    的頭像 發(fā)表于 07-11 10:11 ?368次閱讀

    llm模型有哪些格式

    : 基于Transformer的模型 Transformer是一種基于注意力機(jī)制模型,廣泛應(yīng)用于NLP領(lǐng)域?;赥ransformer的
    的頭像 發(fā)表于 07-09 09:59 ?522次閱讀

    預(yù)訓(xùn)練模型的基本原理和應(yīng)用

    預(yù)訓(xùn)練模型(Pre-trained Model)是深度學(xué)習(xí)和機(jī)器學(xué)習(xí)領(lǐng)域中的一個(gè)重要概念,尤其是在自然語言處理(NLP)和計(jì)算機(jī)視覺(CV)等領(lǐng)域中得到了廣泛應(yīng)用。
    的頭像 發(fā)表于 07-03 18:20 ?2158次閱讀

    【大規(guī)模語言模型:從理論到實(shí)踐】- 閱讀體驗(yàn)

    再次感謝電子發(fā)燒友提供的書籍試讀機(jī)會(huì)。今天來分享下我在學(xué)習(xí)大模型訓(xùn)練注意力機(jī)制 的心得體會(huì)。 雖然注意力
    發(fā)表于 06-07 14:44

    語言模型:原理與工程時(shí)間+小白初識大語言模型

    語言模型進(jìn)行預(yù)訓(xùn)練,此處預(yù)訓(xùn)練為自然語言處理領(lǐng)域的
    發(fā)表于 05-12 23:57

    【大語言模型:原理與工程實(shí)踐】大語言模型的應(yīng)用

    。 關(guān)于大語言模型是否具備與人類“系統(tǒng)2”相似的能力,存在廣泛的爭議。然而,隨著模型參數(shù)量的增加和大規(guī)模預(yù)訓(xùn)練的實(shí)施,大
    發(fā)表于 05-07 17:21

    【大語言模型:原理與工程實(shí)踐】大語言模型預(yù)訓(xùn)練

    語言模型的核心特點(diǎn)在于其龐大的參數(shù)量,這賦予了模型強(qiáng)大的學(xué)習(xí)容量,使其無需依賴微調(diào)即可適應(yīng)各種下游任務(wù),而更傾向于培養(yǎng)通用的處理能力。然而,隨著學(xué)習(xí)容量的增加,對預(yù)
    發(fā)表于 05-07 17:10

    【大語言模型:原理與工程實(shí)踐】大語言模型的基礎(chǔ)技術(shù)

    模型仍以Transformer為基礎(chǔ)進(jìn)行訓(xùn)練。Transformer是一種基于注意力機(jī)制的編碼器-解碼器結(jié)構(gòu),其核心由編碼器和解碼器組成,
    發(fā)表于 05-05 12:17

    【大語言模型:原理與工程實(shí)踐】核心技術(shù)綜述

    預(yù)訓(xùn)練和微調(diào),直到模型的部署和性能評估。以下是對這些技術(shù)的綜述: 模型架構(gòu): LLMs通常采用深層的神經(jīng)網(wǎng)絡(luò)架構(gòu),最常見的是Transformer網(wǎng)絡(luò),它包含多個(gè)
    發(fā)表于 05-05 10:56

    【大語言模型:原理與工程實(shí)踐】揭開大語言模型的面紗

    Transformer架構(gòu),利用注意力機(jī)制對文本進(jìn)行編碼,通過預(yù)訓(xùn)練、有監(jiān)督微調(diào)和強(qiáng)化學(xué)習(xí)等階段,不斷提升性能,展現(xiàn)出強(qiáng)大的
    發(fā)表于 05-04 23:55

    模型與人類的注意力視角下參數(shù)規(guī)模擴(kuò)大與指令微調(diào)對模型語言理解的作用

    近期的大語言模型(LLM)在自然語言理解和生成上展現(xiàn)出了接近人類的強(qiáng)大能力,遠(yuǎn)遠(yuǎn)優(yōu)于先前的BERT等預(yù)訓(xùn)練
    的頭像 發(fā)表于 01-04 14:06 ?416次閱讀
    <b class='flag-5'>模型</b>與人類的<b class='flag-5'>注意力</b>視角下參數(shù)規(guī)模擴(kuò)大與指令微調(diào)對<b class='flag-5'>模型</b><b class='flag-5'>語言</b>理解的作用

    語言模型簡介:基于大語言模型模型全家桶Amazon Bedrock

    本文基于亞馬遜云科技推出的大語言模型與生成式AI的全家桶:Bedrock對大語言模型進(jìn)行介紹。大語言模型
    的頭像 發(fā)表于 12-04 15:51 ?736次閱讀

    全新近似注意力機(jī)制HyperAttention:對長上下文友好、LLM推理提速50%

    已經(jīng)成功應(yīng)用于自然語言處理、計(jì)算機(jī)視覺和時(shí)間序列預(yù)測等領(lǐng)域的各種學(xué)習(xí)任務(wù)。雖然取得了成功,但這些模型仍面臨著嚴(yán)重的可擴(kuò)展性限制,原因是對其注意力層的精確計(jì)算導(dǎo)致了二次(在序列長度上)運(yùn)行時(shí)和內(nèi)存復(fù)雜性。這對將 Transfor
    的頭像 發(fā)表于 11-20 09:15 ?548次閱讀
    全新近似<b class='flag-5'>注意力</b><b class='flag-5'>機(jī)制</b>HyperAttention:對長上下文友好、LLM推理提速50%