Attention的具體原理詳解

Attention注意力機制--原理與應用

注意力機制即Attention mechanism在序列學習任務上具有巨大的提升作用，在編解碼器框架內(nèi)，通過在編碼段加入A模型，對源數(shù)據(jù)序列進行數(shù)據(jù)加權變換，或者在解碼端引入A模型，對目標數(shù)據(jù)進行加權變化，可以有效提高序列對序列的自然方式下的系統(tǒng)表現(xiàn)。

什么是Attention？

Attention模型的基本表述可以這樣理解成（我個人理解）：當我們?nèi)嗽诳匆粯訓|西的時候，我們當前時刻關注的一定是我們當前正在看的這樣東西的某一地方，換句話說，當我們目光移到別處時，注意力隨著目光的移動野在轉移，這意味著，當人們注意到某個目標或某個場景時，該目標內(nèi)部以及該場景內(nèi)每一處空間位置上的注意力分布是不一樣的。這一點在如下情形下同樣成立：當我們試圖描述一件事情，我們當前時刻說到的單詞和句子和正在描述的該事情的對應某個片段最先關，而其他部分隨著描述的進行，相關性也在不斷地改變。從上述兩種情形，讀者可以看出，對于Attention的作用角度出發(fā)，我們就可以從兩個角度來分類Attention種類：空間注意力和時間注意力，即Spatial Attention 和Temporal Attention。這種分類更多的是從應用層面上，而從Attention的作用方法上，可以將其分為Soft Attention和Hard Attention，這既我們所說的，Attention輸出的向量分布是一種one-hot的獨熱分布還是soft的軟分布，這直接影響對于上下文信息的選擇作用。

為什么要加入Attention？

再解釋了Attention做了一件什么事之后，我們討論一下為什么需要Attention模型,即Attention加入的動機：

序列輸入時，隨著序列的不斷增長，原始根據(jù)時間步的方式的表現(xiàn)越來越差，這是由于原始的這種時間步模型設計的結構有缺陷，即所有的上下文輸入信息都被限制到固定長度，整個模型的能力都同樣收到限制，我們暫且把這種原始的模型稱為簡單的編解碼器模型。

編解碼器的結構無法解釋，也就導致了其無法設計。

Attention到底是什么原理？

下面我們來看一下Attention的具體原理：

首先讓編碼器輸出結構化的表示，假設這些表示，可以用下述集合表示，（Hold不住了，我要截圖了，太麻煩了?。。。?/p>

由于定長上下文特征表示帶來的信息損失，同時也是一種缺陷，由于不同的時間片或者空間位置的信息量明顯有差別，利用定常表示無法很好的解決損失的問題，而Attention則恰好解決了這個問題。

我們甚至可以進一步解釋，編解碼器內(nèi)部大致是如何工作的，當然從我看來這有點馬后炮的意思，畢竟Attention是根據(jù)人的先驗設計出來的，因此導致最后訓練的結果朝著人指定的目標在走?？梢哉f，就是輸入第j維的上下文表示信息與第t時間片輸出的關系，第j維可以是空間維度上，也可以是時序上。由于加入Attention會對輸入的上下文表示進行一次基于權重的篩選,然而這種顯示的篩選模式并不是人工制定這種機制所要看到的結果,而是通過此種加權的方式,讓網(wǎng)絡能學到空間上或者時序上的結構關系，前提當然是假設這里有一種原先不可解釋的相互關系。以上圖1可以很清晰地看出機器翻譯問題中，加入的attention模型輸出權重的分布與輸入與輸出信息的關系。

所以說Attention的作用是？

Attention的出現(xiàn)就是為了兩個目的：1. 減小處理高維輸入數(shù)據(jù)的計算負擔，通過結構化的選取輸入的子集，降低數(shù)據(jù)維度。2. “去偽存真”，讓任務處理系統(tǒng)更專注于找到輸入數(shù)據(jù)中顯著的與當前輸出相關的有用信息，從而提高輸出的質(zhì)量。Attention模型的最終目的是幫助類似編解碼器這樣的框架，更好的學到多種內(nèi)容模態(tài)之間的相互關系，從而更好的表示這些信息，克服其無法解釋從而很難設計的缺陷。從上述的研究問題可以發(fā)現(xiàn)，Attention機制非常適合于推理多種不同模態(tài)數(shù)據(jù)之間的相互映射關系，這種關系很難解釋，很隱蔽也很復雜，這正是Attention的優(yōu)勢—不需要監(jiān)督信號，對于上述這種認知先驗極少的問題，顯得極為有效。

讓我們來看一個具體的例子！

這里直接上一幅圖，舉個具體的例子，然后咱們慢慢來解釋：

讓我們來看一下論文里其他研究者都是如何利用AttentionModel的：