深度分析NLP中的注意力機(jī)制

注意力機(jī)制越發(fā)頻繁的出現(xiàn)在文獻(xiàn)中，因此對(duì)注意力機(jī)制的學(xué)習(xí)、掌握與應(yīng)用顯得十分重要。本文便對(duì)注意力機(jī)制做了較為全面的綜述。

近些年來(lái)，注意力機(jī)制一直頻繁的出現(xiàn)在目之所及的文獻(xiàn)或者博文中，可見(jiàn)在NLP中算得上是個(gè)相當(dāng)流行的概念，事實(shí)也證明其在NLP領(lǐng)域散發(fā)出不小得作用。這幾年的頂會(huì)paper就能看出這一點(diǎn)。本文深入淺出地介紹了近些年的自然語(yǔ)言中的注意力機(jī)制包括從起源、變體到評(píng)價(jià)指標(biāo)方面。

本文便對(duì)NLP的注意力機(jī)制進(jìn)行了綜述。

目錄

1.寫(xiě)在前面

2.Seq2Seq 模型

3.NLP中注意力機(jī)制起源

4.NLP中的注意力機(jī)制

5.Hierarchical Attention

6.Self-Attention

7.Memory-based Attention

8.Soft/Hard Attention

9.Global/Local Attention

10.評(píng)價(jià)指標(biāo)

11.寫(xiě)在后面

12.參考文獻(xiàn)

寫(xiě)在前面

據(jù)Lilian Weng博主[1]總結(jié)以及一些資料顯示，Attention機(jī)制最早應(yīng)該是在視覺(jué)圖像領(lǐng)域提出來(lái)的，這方面的工作應(yīng)該很多，歷史也比較悠久。人類的視覺(jué)注意力雖然存在很多不同的模型，但它們都基本上歸結(jié)為給予需要重點(diǎn)關(guān)注的目標(biāo)區(qū)域(注意力焦點(diǎn))更重要的注意力，同時(shí)給予周圍的圖像低的注意力，然后隨著時(shí)間的推移調(diào)整焦點(diǎn)。

而直到Bahdanau等人[3]發(fā)表了論文《Neural Machine Translation by Jointly Learning to Align and Translate》，該論文使用類似attention的機(jī)制在機(jī)器翻譯任務(wù)上將翻譯和對(duì)齊同時(shí)進(jìn)行，這個(gè)工作目前是最被認(rèn)可為是第一個(gè)提出attention機(jī)制應(yīng)用到NLP領(lǐng)域中的工作，值得一提的是，該論文2015年被ICLR錄用，截至現(xiàn)在，谷歌引用量為5596，可見(jiàn)后續(xù)nlp在這一塊的研究火爆程度。

注意力機(jī)制首先從人類直覺(jué)中得到，在nlp領(lǐng)域的機(jī)器翻譯任務(wù)上首先取得不錯(cuò)的效果。簡(jiǎn)而言之，深度學(xué)習(xí)中的注意力可以廣義地解釋為重要性權(quán)重的向量：為了預(yù)測(cè)一個(gè)元素，例如句子中的單詞，使用注意力向量來(lái)估計(jì)它與其他元素的相關(guān)程度有多強(qiáng)，并將其值的總和作為目標(biāo)的近似值。既然注意力機(jī)制最早在nlp領(lǐng)域應(yīng)用于機(jī)器翻譯任務(wù)，那在這個(gè)之前又是怎么做的呢？

傳統(tǒng)的基于短語(yǔ)的翻譯系統(tǒng)通過(guò)將源句分成多個(gè)塊然后逐個(gè)詞地翻譯它們來(lái)完成它們的任務(wù)，這導(dǎo)致了翻譯輸出的不流暢。不妨先來(lái)想想我們?nèi)祟愂侨绾畏g的？我們首先會(huì)閱讀整個(gè)待翻譯的句子，然后結(jié)合上下文理解其含義，最后產(chǎn)生翻譯。

從某種程度上來(lái)說(shuō)，神經(jīng)機(jī)器翻譯（NMT）的提出正是想去模仿這一過(guò)程。而在NMT的翻譯模型中經(jīng)典的做法是由編碼器 - 解碼器架構(gòu)制定(encoder-decoder)，用作encoder和decoder常用的是循環(huán)神經(jīng)網(wǎng)絡(luò)。這類模型大概過(guò)程是首先將源句子的輸入序列送入到編碼器中，提取最后隱藏狀態(tài)的表示并用于解碼器的輸入，然后一個(gè)接一個(gè)地生成目標(biāo)單詞，這個(gè)過(guò)程廣義上可以理解為不斷地將前一個(gè)時(shí)刻 t-1 的輸出作為后一個(gè)時(shí)刻 t 的輸入，循環(huán)解碼，直到輸出停止符為止。

通過(guò)這種方式，NMT解決了傳統(tǒng)的基于短語(yǔ)的方法中的局部翻譯問(wèn)題：它可以捕獲語(yǔ)言中的長(zhǎng)距離依賴性，并提供更流暢的翻譯。

但是這樣做也存在很多缺點(diǎn)，譬如，RNN是健忘的，這意味著前面的信息在經(jīng)過(guò)多個(gè)時(shí)間步驟傳播后會(huì)被逐漸消弱乃至消失。其次，在解碼期間沒(méi)有進(jìn)行對(duì)齊操作，因此在解碼每個(gè)元素的過(guò)程中，焦點(diǎn)分散在整個(gè)序列中。對(duì)于前面那個(gè)問(wèn)題，LSTM、GRU在一定程度能夠緩解。而后者正是Bahdanau等人重視的問(wèn)題。

Seq2Seq模型

在介紹注意力模型之前，不得不先學(xué)習(xí)一波Encoder-Decoder框架，雖然說(shuō)注意力模型可以看作一種通用的思想，本身并不依賴于特定框架（比如文章[15]：Learning Sentence Representation with Guidance of Human Attention），但是目前大多數(shù)注意力模型都伴隨在Encoder-Decoder框架下。

Seq2seq模型最早由bengio等人[17]論文《Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation》。隨后Sutskever等人[16]在文章《Sequence to Sequence Learning with Neural Networks》中提出改進(jìn)模型即為目前常說(shuō)的Seq2Seq模型。

從廣義上講，它的目的是將輸入序列（源序列）轉(zhuǎn)換為新的輸出序列（目標(biāo)序列），這種方式不會(huì)受限于兩個(gè)序列的長(zhǎng)度，換句話說(shuō)，兩個(gè)序列的長(zhǎng)度可以任意。以nlp領(lǐng)域來(lái)說(shuō)，序列可以是句子、段落、篇章等，所以我們也可以把它看作處理由一個(gè)句子（段落或篇章）生成另外一個(gè)句子（段落或篇章）的通用處理模型。

對(duì)于句子對(duì)，我們期望輸入句子Source，期待通過(guò)Encoder-Decoder框架來(lái)生成目標(biāo)句子Target。Source和Target可以是同一種語(yǔ)言，也可以是兩種不同的語(yǔ)言，若是不同語(yǔ)言，就可以處理翻譯問(wèn)題了。若是相同語(yǔ)言，輸入序列Source長(zhǎng)度為篇章，而目標(biāo)序列Target為小段落則可以處理文本摘要問(wèn)題 (目標(biāo)序列Target為句子則可以處理標(biāo)題生成問(wèn)題)等等等。

seq2seq模型通常具有編碼器 - 解碼器架構(gòu):

編碼器encoder: 編碼器處理輸入序列并將序列信息壓縮成固定長(zhǎng)度的上下文向量（語(yǔ)義編碼/語(yǔ)義向量context）。期望這個(gè)向量能夠比較好的表示輸入序列的信息。

解碼器decoder: 利用上下文向量初始化解碼器以得到變換后的目標(biāo)序列輸出。早期工作僅使用編碼器的最后狀態(tài)作為解碼器的輸入。

編碼器和解碼器都是循環(huán)神經(jīng)網(wǎng)絡(luò)，比較常見(jiàn)的是使用LSTM或GRU。

編碼器 - 解碼器模型

NLP中注意力機(jī)制的起源

前面談到在Seq2Seq結(jié)構(gòu)中，encoder把所有的輸入序列都編碼成一個(gè)統(tǒng)一的語(yǔ)義向量context，然后再由decoder解碼。而context自然也就成了限制模型性能的瓶頸。

譬如機(jī)器翻譯問(wèn)題，當(dāng)要翻譯的句子較長(zhǎng)時(shí)，一個(gè)context可能存不下那么多信息。除此之外，只用編碼器的最后一個(gè)隱藏層狀態(tài)，感覺(jué)上都不是很合理。

實(shí)際上當(dāng)我們翻譯一個(gè)句子的時(shí)候，譬如：Source: 機(jī)器學(xué)習(xí)-->Target: machine learning。當(dāng)decoder要生成"machine"的時(shí)候，應(yīng)該更關(guān)注"機(jī)器"，而生成"learning"的時(shí)候，應(yīng)該給予"學(xué)習(xí)"更大的權(quán)重。所以如果要改進(jìn)Seq2Seq結(jié)構(gòu)，一個(gè)不錯(cuò)的想法自然就是利用encoder所有隱藏層狀態(tài)解決context限制問(wèn)題。

Bahdanau等人[3]把a(bǔ)ttention機(jī)制用到了神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯（NMT）上。傳統(tǒng)的encoder-decoder模型通過(guò)encoder將Source序列編碼到一個(gè)固定維度的中間語(yǔ)義向量context，然后再使用decoder進(jìn)行解碼翻譯到目標(biāo)語(yǔ)言序列。前面談到了這種做法的局限性，而且，Bahdanau等人[3]在其文章的摘要中也說(shuō)到這個(gè)context可能是提高這種基本編碼器 - 解碼器架構(gòu)性能的瓶頸，那Bahdanau等人又是如何嘗試緩解這個(gè)問(wèn)題的呢？ 別急，讓我們來(lái)一探究竟。

作者為了緩解中間向量context很難將Source序列所有重要信息壓縮進(jìn)來(lái)的問(wèn)題，特別是對(duì)于那些很長(zhǎng)的句子。提出在機(jī)器翻譯任務(wù)上在 encoder–decoder 做出了如下擴(kuò)展：將翻譯和對(duì)齊聯(lián)合學(xué)習(xí)。這個(gè)操作在生成Target序列的每個(gè)詞時(shí)，用到的中間語(yǔ)義向量context是Source序列通過(guò)encoder的隱藏層的加權(quán)和，而傳統(tǒng)的做法是只用encoder最后一個(gè)時(shí)刻輸出作為context，這樣就能保證在解碼不同詞的時(shí)候，Source序列對(duì)現(xiàn)在解碼詞的貢獻(xiàn)是不一樣的。

想想前面那個(gè)例子：Source: 機(jī)器學(xué)習(xí)-->Target: machine learning (假如中文按照字切分)。decoder在解碼"machine"時(shí)，"機(jī)"和"器"提供的權(quán)重要更大一些，同樣，在解碼"learning"時(shí)，"學(xué)"和"習(xí)"提供的權(quán)重相應(yīng)的會(huì)更大一些，這在直覺(jué)也和人類翻譯也是一致的。

通過(guò)這種attention的設(shè)計(jì)，作者將Source序列的每個(gè)詞(通過(guò)encoder的隱藏層輸出)和Target序列 (當(dāng)前要翻譯的詞) 的每個(gè)詞巧妙的建立了聯(lián)系。想一想，翻譯每個(gè)詞的時(shí)候，都有一個(gè)語(yǔ)義向量，而這個(gè)語(yǔ)義向量是Source序列每個(gè)詞通過(guò)encoder之后的隱藏層的加權(quán)和。 由此可以得到一個(gè)Source序列和Target序列的對(duì)齊矩陣，通過(guò)可視化這個(gè)矩陣，可以看出在翻譯一個(gè)詞的時(shí)候，Source序列的每個(gè)詞對(duì)當(dāng)前要翻譯詞的重要性分布，這在直覺(jué)上也能給人一種可解釋性的感覺(jué)。

論文中的圖也能很好的看出這一點(diǎn)：

生成第t個(gè)目標(biāo)詞

更形象一點(diǎn)可以看這個(gè)圖：

現(xiàn)在讓我們從公式層面來(lái)看看這個(gè)東東 (加粗變量表示它們是向量，這篇文章中的其他地方也一樣)。 假設(shè)我們有一個(gè)長(zhǎng)度為n的源序列x，并嘗試輸出長(zhǎng)度為m的目標(biāo)序列y：

作者采樣bidirectional RNN作為encoder(實(shí)際上這里可以有很多選擇)，具有前向隱藏狀態(tài)和后向隱藏狀態(tài)。為了獲得詞的上下文信息，作者采用簡(jiǎn)單串聯(lián)方式將前向和后向表示拼接作為encoder的隱藏層狀態(tài)，公式如下：

對(duì)于目標(biāo)(輸出)序列的每個(gè)詞(假設(shè)位置為t)，decoder網(wǎng)絡(luò)的隱藏層狀態(tài)：

其中，語(yǔ)義向量 是源(輸入)序列的隱藏狀態(tài)的加權(quán)和，權(quán)重為對(duì)齊分?jǐn)?shù)：

(注意：這里的score函數(shù)為原文的a函數(shù)，原文的描述為：is an alignment model)

對(duì)齊模型基于(在i時(shí)刻的輸入)和(在t時(shí)刻的輸出)的匹配程度分配分?jǐn)?shù)。

在Bahdanau[3]的論文中，作者采用的對(duì)齊模型為前饋神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)與所提出的系統(tǒng)的所有其他組件共同訓(xùn)練。因此，score函數(shù)采用以下形式，tanh用作非線性激活函數(shù)，公式如下：

其中，和都是在對(duì)齊模型中學(xué)習(xí)的權(quán)重矩陣。對(duì)齊分?jǐn)?shù)矩陣是一個(gè)很好的可解釋性的東東，可以明確顯示源詞和目標(biāo)詞之間的相關(guān)性。

對(duì)齊矩陣?yán)?/p>

而decoder每個(gè)詞的條件概率為：

g為非線性的，可能是多層的輸出概率的函數(shù)，是RNN的隱藏狀態(tài), 為語(yǔ)義向量。

NLP中注意力機(jī)制

隨著注意力機(jī)制的廣泛應(yīng)用，在某種程度上緩解了源序列和目標(biāo)序列由于距離限制而難以建模依賴關(guān)系的問(wèn)題?，F(xiàn)在已經(jīng)涌現(xiàn)出了一大批基于基本形式的注意力的不同變體來(lái)處理更復(fù)雜的任務(wù)。讓我們一起來(lái)看看其在不同NLP問(wèn)題中的注意力機(jī)制。

其實(shí)我們可能已經(jīng)意識(shí)到了，對(duì)齊模型的設(shè)計(jì)不是唯一的，確實(shí)，在某種意義上說(shuō)，根據(jù)不同的任務(wù)設(shè)計(jì)適應(yīng)于特定任務(wù)的對(duì)齊模型可以看作設(shè)計(jì)出了新的attention變體，讓我們?cè)倩剡^(guò)頭來(lái)看看這個(gè)對(duì)齊模型(函數(shù))：。再來(lái)看看幾個(gè)代表性的work。

Citation[5]等人提出Content-base attention，其對(duì)齊函數(shù)模型設(shè)計(jì)為：

Bahdanau[3]等人的Additive(*)，其設(shè)計(jì)為：

Luong[4]等人文獻(xiàn)包含了幾種方式：

以及Luong[4]等人還嘗試過(guò)location-based function:

這種方法的對(duì)齊分?jǐn)?shù)僅從目標(biāo)隱藏狀態(tài)學(xué)習(xí)得到。

Vaswani[6]等人的Scaled Dot-Product(^)：

細(xì)心的童鞋可能早就發(fā)現(xiàn)了這東東和點(diǎn)積注意力很像，只是加了個(gè)scale factor。當(dāng)輸入較大時(shí)，softmax函數(shù)可能具有極小的梯度，難以有效學(xué)習(xí)，所以作者加入比例因子。

Cheng[7]等人的Self-Attention(&)可以關(guān)聯(lián)相同輸入序列的不同位置。 從理論上講，Self-Attention可以采用上面的任何 score functions。在一些文章中也稱為“intra-attention” 。

Hu[7]對(duì)此分了個(gè)類：

前面談到的一些Basic Attention給人的感覺(jué)能夠從序列中根據(jù)權(quán)重分布提取重要元素。而Multi-dimensional Attention能夠捕獲不同表示空間中的term之間的多個(gè)交互，這一點(diǎn)簡(jiǎn)單的實(shí)現(xiàn)可以通過(guò)直接將多個(gè)單維表示堆疊在一起構(gòu)建。Wang[8]等人提出了coupled multi-layer attentions，該模型屬于多層注意力網(wǎng)絡(luò)模型。作者稱，通過(guò)這種多層方式，該模型可以進(jìn)一步利用術(shù)語(yǔ)之間的間接關(guān)系，以獲得更精確的信息。

再來(lái)看看Hierarchical Attention，Yang[9]等人提出了Hierarchical Attention Networks，看下面的圖可能會(huì)更直觀：

Hierarchical Attention Networks

這種結(jié)構(gòu)能夠反映文檔的層次結(jié)構(gòu)。模型在單詞和句子級(jí)別分別設(shè)計(jì)了兩個(gè)不同級(jí)別的注意力機(jī)制，這樣做能夠在構(gòu)建文檔表示時(shí)區(qū)別地對(duì)待這些內(nèi)容。Hierarchical attention可以相應(yīng)地構(gòu)建分層注意力，自下而上（即，詞級(jí)到句子級(jí)）或自上而下（詞級(jí)到字符級(jí)），以提取全局和本地的重要信息。自下而上的方法上面剛談完。那么自上而下又是如何做的呢？讓我們看看Ji[10]等人的模型：

Nested Attention Hybrid Model

和機(jī)器翻譯類似，作者依舊采用encoder-decoder架構(gòu)，然后用word-level attention對(duì)全局語(yǔ)法和流暢性糾錯(cuò)，設(shè)計(jì)character-level attention對(duì)本地拼寫(xiě)錯(cuò)誤糾正。

Self-Attention

那Self-Attention又是指什么呢？

Self-Attention(自注意力)，也稱為intra-attention(內(nèi)部注意力)，是關(guān)聯(lián)單個(gè)序列的不同位置的注意力機(jī)制，以便計(jì)算序列的交互表示。它已被證明在很多領(lǐng)域十分有效比如機(jī)器閱讀，文本摘要或圖像描述生成。

比如Cheng[11]等人在機(jī)器閱讀里面利用了自注意力。當(dāng)前單詞為紅色，藍(lán)色陰影的大小表示激活程度，自注意力機(jī)制使得能夠?qū)W習(xí)當(dāng)前單詞和句子前一部分詞之間的相關(guān)性。

當(dāng)前單詞為紅色，藍(lán)色陰影的大小表示激活程度

比如Xu[12]等人利用自注意力在圖像描述生成任務(wù)。注意力權(quán)重的可視化清楚地表明了模型關(guān)注的圖像的哪些區(qū)域以便輸出某個(gè)單詞。

我們假設(shè)序列元素為，其匹配向量為。讓我們?cè)賮?lái)回顧下前面說(shuō)的基本注意力的對(duì)齊函數(shù)，attention score通過(guò)計(jì)算得到，由于是通過(guò)將外部u與每個(gè)元素匹配來(lái)計(jì)算注意力，所以這種形式可以看作是外部注意力。當(dāng)我們把外部u替換成序列本身(或部分本身)，這種形式就可以看作為內(nèi)部注意力(internal attention)。

我們根據(jù)文章[7]中的例子來(lái)看看這個(gè)過(guò)程，例如句子:"Volleyball match is in progress between ladies"。句子中其它單詞都依賴著"match"，理想情況下，我們希望使用自注意力來(lái)自動(dòng)捕獲這種內(nèi)在依賴。換句話說(shuō)，自注意力可以解釋為，每個(gè)單詞去和V序列中的內(nèi)部模式匹配，匹配函數(shù)。很自然的選擇為V中其它單詞 ，這樣遍可以計(jì)算成對(duì)注意力得分。為了完全捕捉序列中單詞之間的復(fù)雜相互作用，我們可以進(jìn)一步擴(kuò)展它以計(jì)算序列中每對(duì)單詞之間的注意力。這種方式讓每個(gè)單詞和序列中其它單詞交互了關(guān)系。

另一方面，自注意力還可以自適應(yīng)方式學(xué)習(xí)復(fù)雜的上下文單詞表示。譬如經(jīng)典文章[14]：A structured self-attentive sentence embedding。這篇文章提出了一種通過(guò)引入自關(guān)注力機(jī)制來(lái)提取可解釋句子嵌入的新模型。 使用二維矩陣而不是向量來(lái)代表嵌入，矩陣的每一行都在句子的不同部分，想深入了解的可以去看看這篇文章，另外，文章的公式感覺(jué)真的很漂亮。

值得一提還有2017年谷歌提出的Transformer[6]，這是一種新穎的基于注意力的機(jī)器翻譯架構(gòu)，也是一個(gè)混合神經(jīng)網(wǎng)絡(luò)，具有前饋層和自注意層。論文的題目挺霸氣：Attention is All you Need，毫無(wú)疑問(wèn)，它是2017年最具影響力和最有趣的論文之一。那這篇文章的Transformer的廬山真面目到底是這樣的呢？

這篇文章為提出許多改進(jìn)，在完全拋棄了RNN的情況下進(jìn)行seq2seq建模。接下來(lái)一起來(lái)詳細(xì)看看吧。

Key，Value and Query

眾所周知，在NLP任務(wù)中，通常的處理方法是先分詞，然后每個(gè)詞轉(zhuǎn)化為對(duì)應(yīng)的詞向量。接著一般最常見(jiàn)的有二類操作，第一類是接RNN（變體LSTM、GRU、SRU等），但是這一類方法沒(méi)有擺脫時(shí)序這個(gè)局限，也就是說(shuō)無(wú)法并行，也導(dǎo)致了在大數(shù)據(jù)集上的速度效率問(wèn)題。第二類是接CNN，CNN方便并行，而且容易捕捉到一些全局的結(jié)構(gòu)信息。很長(zhǎng)一段時(shí)間都是以上二種的抉擇以及改造，直到谷歌提供了第三類思路：純靠注意力，也就是現(xiàn)在要講的這個(gè)東東。

將輸入序列編碼表示視為一組鍵值對(duì)（K，V）以及查詢 Q，因?yàn)槲恼耓6]取K=V=Q，所以也自然稱為Self Attention。

K, V像是key-value的關(guān)系從而是一一對(duì)應(yīng)的，那么上式的意思就是通過(guò)Q中每個(gè)元素query，與K中各個(gè)元素求內(nèi)積然后softmax的方式，來(lái)得到Q中元素與V中元素的相似度，然后加權(quán)求和，得到一個(gè)新的向量。其中因子為了使得內(nèi)積不至于太大。以上公式在文中也稱為點(diǎn)積注意力(scaled dot-product attention)：輸出是值的加權(quán)和，其中分配給每個(gè)值的權(quán)重由查詢的點(diǎn)積與所有鍵確定。

而Transformer主要由多頭自注意力(Multi-Head Self-Attention)單元組成。那么Multi-Head Self-Attention又是什么呢？以下為論文中的圖：

Multi-head scaled dot-product attention mechanism

Multi-Head Self-Attention不是僅僅計(jì)算一次注意力，而是多次并行地通過(guò)縮放的點(diǎn)積注意力。 獨(dú)立的注意力輸出被簡(jiǎn)單地連接并線性地轉(zhuǎn)換成預(yù)期的維度。論文[6]表示，多頭注意力允許模型共同關(guān)注來(lái)自不同位置的不同表示子空間的信息。 只有一個(gè)注意力的頭，平均值就會(huì)抑制這一點(diǎn)。

是需要學(xué)習(xí)的參數(shù)矩陣。既然為seq2seq模式，自然也包括encoder和decoder，那這篇文章又是如何構(gòu)建這些的呢？莫急，請(qǐng)繼續(xù)往下看。

Encoder

The transformer's encoder

編碼器生成基于自注意力的表示，其能夠從可能無(wú)限大的上下文中定位特定信息。值得一提的是，上面的結(jié)構(gòu)文章堆了六個(gè)。

每層都有一個(gè)多頭自注意力層

每層都有一個(gè)簡(jiǎn)單的全連接的前饋網(wǎng)絡(luò)

每個(gè)子層采用殘差連接和層規(guī)范化。 所有子層輸出相同維度dmodel = 512。

Decoder

The transformer's decoder.

解碼器能夠從編碼表示中檢索。上面的結(jié)構(gòu)也堆了六個(gè)。

每層有兩個(gè)多頭注意機(jī)制子層。

每層有一個(gè)完全連接的前饋網(wǎng)絡(luò)子層。

與編碼器類似，每個(gè)子層采用殘差連接和層規(guī)范化。

與encoder不同的是，第一個(gè)多頭注意子層被設(shè)計(jì)成防止關(guān)注后續(xù)位置，因?yàn)槲覀儾幌Ｍ陬A(yù)測(cè)當(dāng)前位置時(shí)查看目標(biāo)序列的未來(lái)。最后來(lái)看一看整體架構(gòu)：

The full model architecture of the transformer.

Memory-based Attention

那Memory-based Attention又是什么呢？我們先換種方式來(lái)看前面的注意力，假設(shè)有一系列的鍵值對(duì) 存在內(nèi)存中和查詢向量q，這樣便能重寫(xiě)為以下過(guò)程：

這種解釋是把注意力作為使用查詢q的尋址過(guò)程，這個(gè)過(guò)程基于注意力分?jǐn)?shù)從memory中讀取內(nèi)容。聰明的童鞋肯定已經(jīng)發(fā)現(xiàn)了，如果我們假設(shè)，這不就是前面談到的基礎(chǔ)注意力么？然而，由于結(jié)合了額外的函數(shù)，可以實(shí)現(xiàn)可重用性和增加靈活性，所以Memory-based attention mechanism可以設(shè)計(jì)得更加強(qiáng)大。

那為什么又要這樣做呢？在nlp的一些任務(wù)上比如問(wèn)答匹配任務(wù)，答案往往與問(wèn)題間接相關(guān)，因此基本的注意力技術(shù)就顯得很無(wú)力了。那處理這一任務(wù)該如何做才好呢？這個(gè)時(shí)候就體現(xiàn)了Memory-based attention mechanism的強(qiáng)大了，譬如Sukhbaatar[19]等人通過(guò)迭代內(nèi)存更新（也稱為多跳）來(lái)模擬時(shí)間推理過(guò)程，以逐步引導(dǎo)注意到答案的正確位置：

在每次迭代中，使用新內(nèi)容更新查詢，并且使用更新的查詢來(lái)檢索相關(guān)內(nèi)容。一種簡(jiǎn)單的更新方法為相加。那么還有其它更新方法么？

當(dāng)然有，直覺(jué)敏感的童鞋肯定想到了，光是這一點(diǎn)，就可以根據(jù)特定任務(wù)去設(shè)計(jì)，比如Kuma[13]等人的工作。這種方式的靈活度也體現(xiàn)在key和value可以自由的被設(shè)計(jì)，比如我們可以自由地將先驗(yàn)知識(shí)結(jié)合到key和value嵌入中，以允許它們分別更好地捕獲相關(guān)信息?？吹竭@里是不是覺(jué)得文章灌水其實(shí)也不是什么難事了。

Soft/Hard Attention

最后想再談?wù)凷oft/Hard Attention，是因?yàn)樵诤芏嗟胤蕉伎吹搅诉@個(gè)名詞。

據(jù)我所知，這個(gè)概念由《Show, Attend and Tell: Neural Image Caption Generation with Visual Attention》提出，這是對(duì)attention另一種分類。SoftAttention本質(zhì)上和Bahdanau等人[3]很相似，其權(quán)重取值在0到1之間，而Hard Attention取值為0或者1。

Global/Local Attention

Luong等人[4]提出了Global Attention和Local Attention。Global Attention本質(zhì)上和Bahdanau等人[3]很相似。Global方法顧名思義就是會(huì)關(guān)注源句子序列的所有詞，具體地說(shuō)，在計(jì)算語(yǔ)義向量時(shí)，會(huì)考慮編碼器所有的隱藏狀態(tài)。而在Local Attention中，計(jì)算語(yǔ)義向量時(shí)只關(guān)注每個(gè)目標(biāo)詞的一部分編碼器隱藏狀態(tài)。由于Global方法必須計(jì)算源句子序列所有隱藏狀態(tài)，當(dāng)句子長(zhǎng)度過(guò)長(zhǎng)會(huì)使得計(jì)算代價(jià)昂貴并使得翻譯變得不太實(shí)際，比如在翻譯段落和文檔的時(shí)候。

評(píng)價(jià)指標(biāo)

在看一些帶有attention的paper時(shí)，常常會(huì)伴隨著為了說(shuō)明自己文章attention是work的實(shí)驗(yàn)，但實(shí)際上嘗試提供嚴(yán)格數(shù)學(xué)證明的文章極少。

Hu[7]把Attention的評(píng)價(jià)方式分為兩類，Quantitative（定量指標(biāo)）和Qualitative（定性指標(biāo)）。定量指標(biāo)顧名思義就是對(duì)attention的貢獻(xiàn)就行量化，這一方面一般會(huì)結(jié)合下游任務(wù)，最常見(jiàn)的當(dāng)屬機(jī)器翻譯，我們都知道機(jī)器翻譯的最流行評(píng)價(jià)指標(biāo)之一是BLEU，我們可以在翻譯任務(wù)設(shè)計(jì)attention和不加attention進(jìn)行對(duì)比，對(duì)比的指標(biāo)就是BLEU，設(shè)置我們可以設(shè)計(jì)多種不同的attention進(jìn)行對(duì)比。

定性指標(biāo)評(píng)價(jià)是目前應(yīng)用最廣泛的評(píng)價(jià)技術(shù)，因?yàn)樗?jiǎn)單易行，便于可視化。具體做法一般都是為整個(gè)句子構(gòu)建一個(gè)熱力圖，其熱力圖強(qiáng)度與每個(gè)單詞接收到的標(biāo)準(zhǔn)化注意力得分成正比。也就是說(shuō)，詞的貢獻(xiàn)越大，顏色越深。其實(shí)這在直覺(jué)上也是能夠接收的，因?yàn)橥嚓P(guān)任務(wù)的關(guān)鍵詞的attention權(quán)值肯定要比其它詞重要。比如Hu[7]文中的圖：

寫(xiě)在后面

本文參考了眾多文獻(xiàn)，對(duì)近些年的自然語(yǔ)言中的注意力機(jī)制從起源、變體到評(píng)價(jià)方面都進(jìn)行了簡(jiǎn)要介紹，但是要明白的是，實(shí)際上注意力機(jī)制在nlp上的研究特別多，為此，我僅僅對(duì)18、19年的文獻(xiàn)進(jìn)行了簡(jiǎn)單的調(diào)研（AAAI、IJCAI、ACL、EMNLP、NAACL等頂會(huì)），就至少有一百篇之多，足見(jiàn)attention還是很潮的，所以我也把鏈接放到了我的github上。