BERT的自注意力模式

導(dǎo)讀

在finetune BERT的時候發(fā)生了什么？

2019年可以被稱為NLP的Transformer之年：這種架構(gòu)主導(dǎo)了排行榜并激發(fā)了許多分析研究。毫無疑問，最受歡迎的Transformer是BERT(Devlin, Chang, Lee， & Toutanova, 2019)。除了其眾多的應(yīng)用，許多研究探索了各種語言知識的模型，通常得出這樣的結(jié)論，這種語言知識確實(shí)存在，至少在某種程度上(Goldberg, 2019; Hewitt & Manning, 2019; Ettinger, 2019)。

這項(xiàng)工作的重點(diǎn)是補(bǔ)充的問題：在finetune BERT的時候發(fā)生了什么？特別是，有多少可從語言學(xué)角度解釋的自注意力模式被認(rèn)為是它的優(yōu)勢，可以實(shí)際用來解決下游的任務(wù)？

為了回答這個問題，我們用BERT finetune了以下GLUE (Wang et al.， 2018)的任務(wù)和數(shù)據(jù)集：

語義檢測 (MRPC and QQP);

文本相似度 (STS-B);

情感分析 (SST-2);

文本蘊(yùn)含 (RTE);

自然語言推理 (QNLI, MNLI).

BERT的簡單介紹

BERT代表Transformer的雙向編碼器表示。該模型基本上是一個多層雙向Transformer編碼器 (Devlin, Chang, Lee, & Toutanova, 2019)，有多個關(guān)于它的工作原理的優(yōu)秀指南，包括圖解的Transformer.。我們關(guān)注的是Transformer架構(gòu)的一個特定組件，即self-attention。簡而言之，它是一種衡量輸入和輸出序列組件的方法，以便對它們之間的關(guān)系(甚至遠(yuǎn)程依賴關(guān)系)進(jìn)行建模。

作為一個簡單的例子，讓我們假設(shè)我們需要創(chuàng)建一個句子“Tom is a black cat”的表示。BERT在對“cat”進(jìn)行編碼時，可能會選擇更多地關(guān)注“Tom”，而較少關(guān)注“is”、“a”、“black”。這可以表示為權(quán)重向量(對于句子中的每個單詞)。當(dāng)模型對序列中的每個單詞進(jìn)行編碼時，就會計(jì)算出這些向量，從而得到一個方陣，我們稱之為“自注意力圖”。

現(xiàn)在，我們還不清楚“Tom”和“cat”之間的關(guān)系是否總是最好的。要回答關(guān)于貓的顏色的問題，模特最好關(guān)注“black”而不是“Tom”。幸運(yùn)的是，它不必選擇。BERT(和其他Transformer)很強(qiáng)大很大程度上歸功于這樣一個事實(shí)：在多層中有多個頭，它們都學(xué)會了構(gòu)建獨(dú)立的自注意力圖。理論上，這可以賦予模型“在不同位置關(guān)注來自不同表示子空間的信息”的能力(Vaswani et al.， 2017)。換句話說，模型將能夠在當(dāng)前任務(wù)的幾個備選表示之間進(jìn)行選擇。

自注意力權(quán)重的計(jì)算大部分發(fā)生在BERT的預(yù)訓(xùn)練中：該模型(預(yù))針對兩項(xiàng)任務(wù)(Masked語言模型和下一個句子預(yù)測)進(jìn)行訓(xùn)練，然后針對個別下游任務(wù)(如情緒分析)進(jìn)行finetune。這種分離的基本思想訓(xùn)練過程分為semi-supervised訓(xùn)練和finetune階段，其中finetune階段是監(jiān)督學(xué)習(xí)：遷移任務(wù)的數(shù)據(jù)集通常太小，一般不夠了解整個語言，但大型文本語料庫可以通過語言建模用于此目的(和其他類似的)。因此，我們可以獲得獨(dú)立于任務(wù)的句子和文本的信息表示，然后這些句子和文本可以“適應(yīng)”后續(xù)任務(wù)。

讓我們在這里指出，“適應(yīng)”應(yīng)該工作的確切方式在BERT論文或GPT技術(shù)報告(其中強(qiáng)調(diào)了預(yù)訓(xùn)練/finetune方法)中都沒有詳細(xì)描述。然而，如果注意力本身是為了提供一種對部分的輸入序列“鏈接”，增加信息量，多頭，多層架構(gòu)需要提供多個可選擇的自注意力圖，可能finetune過程會教模型依靠對手頭的任務(wù)更有用的自注意力圖。例如，在情感分析任務(wù)中，名詞和形容詞之間的關(guān)系比名詞和介詞之間的關(guān)系更重要，因此，finetune會理想地教會模型更多地依賴更有用的自注意力圖。

學(xué)到的自注意力模式是什么類型的，每種類型有多少？

那么BERT的自注意力模式是什么呢？我們找到了五個，如下圖所示：

圖1，BERT自注意力模式的類型。每個圖像上的兩個軸表示輸入樣本的BERT標(biāo)記，顏色表示絕對注意力權(quán)重(深色表示更大的權(quán)重)。

垂直模式表示對單個標(biāo)記的關(guān)注，它通常是[SEP]標(biāo)記(表示句子結(jié)束的特殊標(biāo)記)或[CLS]標(biāo)記(作為提供給分類器的完整序列表示使用的特殊BERT標(biāo)記)。

對角線模式表示注意前面/后面的單詞;

塊模式表示對序列中所有標(biāo)記的關(guān)注或多或少是一致的;

從理論上講，異構(gòu)模式是唯一能夠?qū)?yīng)輸入序列各部分之間的任何有意義的關(guān)系的模式(盡管不一定如此)。

以下是BERT在七項(xiàng)GLUE任務(wù)中五種注意力的比例(每一列代表所有層中所有頭部的100%)：

圖2所示。在選定的GLUE任務(wù)上，BERT的自注意映射類型的比例進(jìn)行了微調(diào)。

雖然具體的比例因任務(wù)而異，但在大多數(shù)情況下，可能有意義的模式占BERT所有自注意力權(quán)重的不到一半。至少有三分之一的BERT head只關(guān)注[SEP]和[CLS] —— 這種策略不能為下一層的表示提供很多有意義的信息。它還表明，該模型嚴(yán)重參數(shù)化過度，這解釋了最近蒸餾方法的成功嘗試 (Sanh, Debut, Chaumond, & Wolf, 2019; Jiao et al., 2019)。

值得注意的是，我們使用的是BERT-base，即較小的模型，在16層中有12個頭。如果它已經(jīng)被過度參數(shù)化了，這就意味著BERT-large和所有后來的模型，都是過度參數(shù)化的，其中一些是30倍大(Wu et al.， 2016)。

這樣對[SEP]和[CLS]的依賴也可能表明，要么BERT以某種方式“吸收”了前面層獲得的信息表示，后續(xù)的self-attention圖并不需要太多，要么BERT某種程度上整體不依賴于self-attention。

fine-tuning的時候發(fā)生了什么？

我們的下一個問題是BERT的微調(diào)過程中發(fā)生了什么變化。下面的熱圖顯示了在finetune之前和之后，每個頭和每一層扁平的自注意映射矩陣之間的余弦相似性。較深的顏色表示在表現(xiàn)上有更多的差異。對于所有的GLUE任務(wù)，進(jìn)行了3個epochs的finetune。

圖3所示，在經(jīng)過訓(xùn)練和調(diào)整的BERT中，平展的自注意圖之間存在余弦相似性。顏色越深表示差異越大。

我們發(fā)現(xiàn)，大多數(shù)注意力的權(quán)重并沒有發(fā)生太大的變化，對于大多數(shù)任務(wù)來說，最后兩層變化最大。這些變化似乎不支持任何特定類型的有意義的注意力模式。相反，我們發(fā)現(xiàn)這個模型基本上更依賴于垂直注意力模式。在SST的例子中，在最后一層中較厚的垂直注意模式是由于對最終[SEP]和它之前的標(biāo)點(diǎn)符號的聯(lián)合注意，我們觀察到這是垂直注意模式的另一個常見目標(biāo)。

圖4，自注意力圖的一個單獨(dú)的例子，在SST上對BERT進(jìn)行finetune。

這有兩個可能的解釋：

垂直模式在某種程度上是足夠的，也就是說，標(biāo)記表示在某種程度上吸收了前一層的有意義的注意力模式。我們確實(shí)發(fā)現(xiàn)最早的層更關(guān)注[CLS]，然后[SEP]開始主導(dǎo)大多數(shù)任務(wù)(見圖6)

手頭的任務(wù)實(shí)際上并不需要細(xì)粒度的、有意義的注意力模式，而這種模式本應(yīng)是Transformers的主要特征。

finetune會造成多大的區(qū)別？

考慮到在預(yù)訓(xùn)練和調(diào)優(yōu)中使用的數(shù)據(jù)集的巨大差異，以及非常不同的訓(xùn)練目標(biāo)，研究調(diào)優(yōu)實(shí)際上產(chǎn)生了多大的差異是很有趣的。據(jù)我們所知，這個問題以前沒有人提出過。

我們對每個選擇的GLUE數(shù)據(jù)集進(jìn)行了三個實(shí)驗(yàn)：

預(yù)訓(xùn)練模型的權(quán)重凍結(jié)，并使用特定任務(wù)的分類器，看看BERT的表現(xiàn)

從正態(tài)分布中隨機(jī)初始化模型，并對任務(wù)數(shù)據(jù)集進(jìn)行3個epochs的finetune，然后看看BERT的表現(xiàn)

使用官方的預(yù)訓(xùn)練BERT-base模型，在任務(wù)數(shù)據(jù)集上finetune3個epochs，然后看看BERT的表現(xiàn)

實(shí)驗(yàn)結(jié)果如下：

雖然很明顯，預(yù)訓(xùn)練+finetune設(shè)置可以產(chǎn)生最高的結(jié)果，但隨機(jī)+finetune的BERT在所有任務(wù)上都表現(xiàn)得令人不安，除了文本相似性。事實(shí)上，對于情緒分析來說，隨機(jī)初始化和finetune BERT可以得到80%的準(zhǔn)確率，而且不需要任何預(yù)訓(xùn)練?？紤]到大型預(yù)訓(xùn)練變壓Transformer的規(guī)模，這就提出了一個嚴(yán)重的問題：昂貴的預(yù)訓(xùn)練是否能帶來足夠的經(jīng)濟(jì)效益。它還提出了關(guān)于NLP數(shù)據(jù)集的嚴(yán)重問題，這些數(shù)據(jù)集顯然可以在沒有太多任務(wù)無關(guān)的語言知識的情況下解決，而這些任務(wù)無關(guān)的語言知識是預(yù)xunl+finetune設(shè)置應(yīng)該提供的。

18.01.2020更新：感謝Sam Bowman指出，隨機(jī)BERT結(jié)果總體上可與預(yù)訓(xùn)練Transformer的GLUE基線相當(dāng)，并且可以很好地解釋為這些任務(wù)在沒有深入語言知識的情況下可以解決的程度。NLP社區(qū)在更困難的數(shù)據(jù)集上需要更多的工作，實(shí)際上需要這樣的知識，在過渡期間，我們至少應(yīng)該切換到SuperGLUE。請注意，對于這些任務(wù)，GLUE基線和大多數(shù)發(fā)布的結(jié)果都使用單詞嵌入或基于計(jì)數(shù)的單詞向量作為輸入，而我們的隨機(jī)BERT是完全隨機(jī)的。因此，直接比較并不完全公平。然而，特別是對于SST，這種比較可以與原始的遞歸神經(jīng)張量網(wǎng)絡(luò)進(jìn)行比較(Socher et al.， 2013)。這個2013年的模型相比之下很小，而且也采用隨機(jī)向量作為輸入表示，但是它在二進(jìn)制分類上比我們的隨機(jī)+finetuneBERT多7點(diǎn)。

有沒有可以在語言學(xué)上解釋的自注意力頭？

在這一點(diǎn)上，有幾項(xiàng)研究試圖找出自注意力的頭編碼特定類型的信息，但大多數(shù)集中在語法上。我們做了一個實(shí)驗(yàn)，關(guān)注框架語義元素：我們從FrameNet 1.7抽取了473個句子，最多12個標(biāo)記的長度，并且核心框架元素距離目標(biāo)詞至少2個標(biāo)記。在下面的例子中，是體驗(yàn)者和分詞之間的關(guān)系喚起了emotion_directframe?？梢哉f，這種關(guān)系對于理解一個給定的句子所描述的情況是至關(guān)重要的，任何聲稱能夠提供語言信息的自注意力圖的機(jī)制都應(yīng)該反映出這些關(guān)系(可能包括許多其他關(guān)系)。

我們通過預(yù)訓(xùn)練的BERT得到這些句子的表示法，計(jì)算與標(biāo)注的框架語義關(guān)系對應(yīng)的標(biāo)記對之間的最大權(quán)值。圖5表示FrameNet數(shù)據(jù)集中所有示例的這些分?jǐn)?shù)的平均值。我們發(fā)現(xiàn)兩個頭(第1層的頭2，第7層的頭6)比其他頭更關(guān)注這些框架語義關(guān)系。

但是，在推理的時候，到底是什么信息在起作用呢？

我們認(rèn)為，通過對訓(xùn)練前的BERT權(quán)值進(jìn)行探查，得出某些信息實(shí)際上是編碼的結(jié)論，未免過于草率?？紤]到模型的大小，可能會發(fā)現(xiàn)任何其他關(guān)系的編碼的類似證明(事實(shí)上，Jawahar等人發(fā)現(xiàn)在那個方向上的不同分解方案之間沒有顯著的差異)。真正的問題是，模型在推理時是否真的依賴于這些信息。

為了確定我們認(rèn)為對幀語義關(guān)系編碼有用的兩個頭是否真的被finetune過的BERT使用，我們進(jìn)行了一項(xiàng)消融研究，一次禁用一個頭(即用統(tǒng)一注意力替換習(xí)得的注意力權(quán)重)。圖6顯示了在我們的示例中所有GLUE任務(wù)的熱圖，每個單元格顯示的是總體性能，當(dāng)給定的頭被關(guān)閉。很明顯，雖然整體模式不同任務(wù)之間，我們最好隨機(jī)刪除頭 —— 包括那些我們確認(rèn)為編碼有意義的信息，應(yīng)該為最相關(guān)的任務(wù)。許多頭也可以在不影響任何性能的情況下關(guān)閉，這再次表明，即使是BERT-base也嚴(yán)重參數(shù)化了。

圖6，模型的性能，一次禁用一個頭，藍(lán)色線表示沒有禁用頭的基線性能。較深的顏色對應(yīng)較高的性能分?jǐn)?shù)。

機(jī)器翻譯任務(wù)也得出了類似的獨(dú)立結(jié)論，即將注意力權(quán)重歸零，而不是用統(tǒng)一注意力代替它們(Michel, Levy， & Neubig, 2019)。我們進(jìn)一步表明，這種觀察不僅擴(kuò)展到頭，而且擴(kuò)展到整個層：根據(jù)任務(wù)的不同，整個層可能對模型性能有害！

圖7，禁用一個層的模型的性能。

討論

我們的主要貢獻(xiàn)在于，雖然BERT的大多數(shù)研究都集中在探索預(yù)訓(xùn)練好的模型上，但我們提出了一個問題，即在微調(diào)過程中會發(fā)生什么，以及通過自注意力機(jī)制獲得的表征有多大意義。到目前為止，我們還沒有找到語言上有意義的自注意力圖對微調(diào)BERT的表現(xiàn)至關(guān)重要的證據(jù)。我們的研究結(jié)果有助于從以下幾個方向?qū)赥ransformer模型的屬性進(jìn)行持續(xù)的討論：

a)BERT過度參數(shù)化了。在我們的實(shí)驗(yàn)中，我們一次只禁用一個頭，而在大多數(shù)情況下，模型的性能并沒有受到影響，這一事實(shí)表明，許多頭具有功能重復(fù)，即禁用一個頭不會損害模型，因?yàn)橄嗤男畔⒖梢栽谄渌胤将@得。這個結(jié)果指向了過度參數(shù)化，并解釋了像ALBert和TinyBERT這樣的小型BERT的成功。

這種過度參數(shù)化意味著，BERT可能會有一些非常重要的頭，它們在語言上具有有意義的自注意力模式，但為了證明這一點(diǎn)，我們必須嘗試禁用所有可能的頭組合(這是不可行的)。在同一時期的一項(xiàng)研究中提出了一個很有前途的替代方案：(Voita, Talbot, Moiseev, Sennrich， & Titov, 2019)通過使用具有修剪效果的正則化目標(biāo)對模型進(jìn)行finetune，確定了基礎(chǔ)Transformer的“重要”頭。

b)BERT不需要那么聰明來完成這些任務(wù)。BERT在沒有預(yù)訓(xùn)練的情況下可以很好地完成大多數(shù)GLUE任務(wù)，這一事實(shí)表明，在很大程度上，不需要太多的語言知識就可以解決這些問題。與口頭推理不同，它可能學(xué)會依靠數(shù)據(jù)集中的各種捷徑、偏見和人為因素來做出正確的預(yù)測。在這種情況下，它的自注意力圖不一定對我們有意義。這一發(fā)現(xiàn)支持了當(dāng)前許多數(shù)據(jù)集問題的最新發(fā)現(xiàn)(Gururangan et al.， 2018; McCoy, Pavlick， & Linzen, 2019)。

另一種解釋是BERT的成功是由于玄學(xué)，而不是由于自注意力。例如，在finetune之后對標(biāo)點(diǎn)符號的高度關(guān)注可能意味著該模型實(shí)際上學(xué)會了依賴于某些其他組件，或者存在一些我們無法理解的深層模式。此外，注意力在多大程度上可以用來解釋模型預(yù)測的原則目前正在辯論(Jain & Wallace, 2019;Serrano & Smith, 2019;Wiegreffe & Pinter, 2019)。