一種新型的雙流注意力增強(qiáng)型BERT來提高捕捉句子對(duì)中細(xì)微差異的能力

1. Abstract

這篇paper主要是針對(duì)于傳統(tǒng)的預(yù)訓(xùn)練語言模型捕捉細(xì)微差異能力不足的問題，像添加和刪除單詞、修改句子等微小的噪音就可能會(huì)導(dǎo)致模型預(yù)測(cè)錯(cuò)誤

因此，該論文提出一種新型的雙流注意力增強(qiáng)型bert（DABERT，Dual Attention Enhanced BERT ），用來提高捕捉句子對(duì)中細(xì)微差異的能力，包括兩個(gè)模塊，

（1）雙流注意力模塊，通過引入新的雙通道對(duì)齊機(jī)制來測(cè)量軟詞匹配，來建模相似注意力和差異注意力

（2）自適應(yīng)融合模塊，使用注意力機(jī)制來學(xué)習(xí)差異和相似特征的聚合，并生成一個(gè)描述句對(duì)匹配細(xì)節(jié)的向量

2. Motivation

之前的研究提出的方法在區(qū)分字面上相似但語義不同的句子對(duì)方面表現(xiàn)不佳，這可能是因?yàn)閟elf-attention機(jī)制是利用上下文來理解token的語義，但這樣忽略了句子對(duì)之間的語義差異，因此為了更好的整合句子對(duì)之間的更加細(xì)粒度的差別，將difference向量和affinity向量放在一起建模

difference vector為差異向量

affinity vector為相似向量，即普通的attention得到的向量表示

字面意義相似但語義不同的例句，S1和S2是一對(duì)句子

2.1 Two questions

有了上面的思路之后，就自然而然的產(chǎn)生了兩個(gè)關(guān)鍵問題

Q1：如何使普通的注意力機(jī)制能夠?qū)渥訉?duì)之間細(xì)微差別的語義進(jìn)行建模？

Vanilla attention，或稱為affinity attention，并不太關(guān)注句子對(duì)之間的細(xì)微差別，要提升這個(gè)能力，一個(gè)直觀的解決方案是在表示向量之間做減法，以捕獲它們的語義差異。論文中提出了一個(gè)雙注意力模塊，包括差異注意力和普通注意力。差異注意力使用基于減法的cross-attention來聚合詞和短語層面的交互差異。同時(shí)，為了充分利用差異信息，使用雙通道將差異信息注入Transformer中的multi-head attention，以獲得描述相似和差異的語義表示。

Q2：如何將兩類語義表示融合為一個(gè)統(tǒng)一的表示？

通過額外的結(jié)構(gòu)對(duì)兩種信號(hào)進(jìn)行硬融合可能會(huì)破壞預(yù)訓(xùn)練模型的表示能力，如何將這些信息更柔和地注入到預(yù)訓(xùn)練的模型中仍然是一個(gè)難題。論文中提出了一個(gè)自適應(yīng)融合模塊，使用額外的注意力來學(xué)習(xí)差異和相似特征，以產(chǎn)生描述句子匹配細(xì)節(jié)的向量。

它首先通過不同的注意力將兩個(gè)信號(hào)相互對(duì)齊以捕獲語義交互，然后使用門控來自適應(yīng)地融合差異特征。這些生成的向量通過另一個(gè) fuse-gate 進(jìn)一步縮放，以減少差異信息對(duì)預(yù)訓(xùn)練模型的損害，輸出的最終向量可以更好地描述句子對(duì)的匹配細(xì)節(jié)。

3. Main contributions

明確地對(duì)句子對(duì)之間的細(xì)粒度差異語義進(jìn)行建模，進(jìn)而有效地提升句子語義匹配任務(wù)的效果，并且提出了一種基于BERT的新型雙流注意力增強(qiáng)機(jī)制

提出的DABERT模型使用雙流注意力來分別關(guān)注句子對(duì)中的相似性和差異性特征，并采用soft-integrated的調(diào)節(jié)機(jī)制來自適應(yīng)地聚合這兩個(gè)特征，使得生成的向量可以更好地描述句子對(duì)的匹配細(xì)節(jié)

4. Semantic Sentence Matching

先介紹一下句子語義匹配任務(wù)（SSM， Semantic Sentence Matching），其目標(biāo)是比較兩個(gè)句子并識(shí)別它們的語義關(guān)系。

在轉(zhuǎn)述識(shí)別中，SSM用來確定兩個(gè)句子是否是轉(zhuǎn)述關(guān)系；在自然語言推理任務(wù)中，SSM用來判斷一個(gè)假設(shè)句是否可以從一個(gè)前提句中推斷出來；在QA任務(wù)中，SSM被用來評(píng)估問題-答案之間的相關(guān)性，并對(duì)所有候選回答進(jìn)行排序。

處理句子語義匹配任務(wù)一般可分為兩個(gè)主要的研究方向：

利用句子編碼器將句子轉(zhuǎn)換為潛在空間中的低維向量，并應(yīng)用參數(shù)化的函數(shù)來學(xué)習(xí)二者之間的匹配分?jǐn)?shù)

采用注意力機(jī)制來計(jì)算兩個(gè)句子token之間的分?jǐn)?shù)，然后將匹配分?jǐn)?shù)匯總，做出句子級(jí)的決策

還有通過注入知識(shí)來解決該問題的嘗試，如SemBERT，UER-BERT，Syntax-BERT等

5. Model architecture

DABERT是對(duì)原始 Transformer結(jié)構(gòu)的修改，其結(jié)構(gòu)如下所示

The overall architecture of Dual Attention Enhanced BERT (DABERT). The left side is the Dual attention module, and the right side is the Adaptive Fusion module

在這個(gè)新結(jié)構(gòu)中包括兩個(gè)子模塊

(1）雙注意力模塊，它在多頭注意力中使用雙通道機(jī)制來匹配兩個(gè)句子之間的單詞，每個(gè)通道使用不同的注意力頭，分別計(jì)算affinity 和 difference分?jǐn)?shù)，得到兩個(gè)表征，分別測(cè)量相似 和 差異信息。

(2）自適應(yīng)融合模塊，用于融合雙流注意力得到的表征，首先使用guide-attention來對(duì)齊兩個(gè)信號(hào)，然后使用多個(gè)門控模塊來融合這兩個(gè)信號(hào)，最終輸出一個(gè)包括更細(xì)粒度的匹配細(xì)節(jié)的向量

5.1 Dual Attention Module

在這個(gè)模塊中，使用兩個(gè)不同的注意力函數(shù)，即常規(guī)注意力和差異注意力，來比較兩個(gè)句子之間向量的相似度和差異度。雙重注意力模塊的輸入是的三要素，其中是潛在維度，是序列長(zhǎng)度。

雙流注意力模塊通過兩個(gè)獨(dú)立的注意力機(jī)制計(jì)算K、Q和V之間的潛在關(guān)系，以測(cè)量它們的相似度和差異度。因此該模塊會(huì)產(chǎn)生兩組注意力表征，后續(xù)由自適應(yīng)融合模塊處理。

雙流注意力模塊

5.1.1 Affinity Attention

相似注意力是雙流注意力的一部分，它是標(biāo)準(zhǔn)的點(diǎn)積注意力，按照Transformer的默認(rèn)操作進(jìn)行計(jì)算。該模塊的輸入包括query和維度為的key，以及維度為的value。

計(jì)算query與所有key的點(diǎn)積，將每個(gè)點(diǎn)積除以，并使用softmax函數(shù)來獲得數(shù)值的權(quán)重，將輸出的相似向量表示為

其中，表示描述由Transformer原始注意力模塊生成的相似表達(dá)的向量。

5.1.2 Difference Attention

雙流注意力的第二部分是差異注意力模塊，用于捕捉和聚合句子對(duì)之間的差異信息，采用基于減法的cross-attention機(jī)制，它允許模型通過element-wise的減法來捕獲句子對(duì)之間的差別，如

其中，是輸入序列長(zhǎng)度，
表示差異注意力模塊所產(chǎn)生的表示。是一個(gè)Mask操作。相似注意力和差異注意力都被用來建模句子對(duì)之間的語義關(guān)系，并分別從相似和差異的角度獲得相同維度的表征，這種雙通道機(jī)制可以獲得描述句子匹配的更詳細(xì)的表征。

5.2 Adaptive Fusion Module

使用自適應(yīng)融合模塊來融合相似表示A和差異表示D，因?yàn)橹苯尤诤希雌骄度胂蛄浚┛赡軙?huì)損害預(yù)訓(xùn)練模型的原始表示能力

自適應(yīng)融合模塊

融合過程包括三個(gè)步驟

通過affinity-guided attention和difference-guided attention，靈活地與這兩個(gè)表示進(jìn)行互動(dòng)和對(duì)齊

采用多個(gè)門控模塊來選擇性地提取交互語義信息

為了減輕差異表示對(duì)預(yù)訓(xùn)練模型的損害，我們利用filter gates來自適應(yīng)地過濾掉噪聲信息，最后生成更好描述句子匹配細(xì)節(jié)的向量

6. Experimental and Results analysis

6.1 Datasets

作者主要做了語義匹配和模型魯棒性的實(shí)驗(yàn)，用到的數(shù)據(jù)集分別如下

Semantic Matching

GLUE的6個(gè)句對(duì)數(shù)據(jù)集：MRPC、QQP、STS-B、MNLI、RTE、QNLI

其他4個(gè)流行的數(shù)據(jù)集：SNLI、SICK、TwitterURL、Scitail

Robustness Test

利用TextFlint對(duì)多個(gè)數(shù)據(jù)集（Quora、SNLI、MNLI-m/mm）進(jìn)行轉(zhuǎn)化，包括特定任務(wù)的轉(zhuǎn)化（SwapAnt、NumWord、AddSent）和一般轉(zhuǎn)化（InsertAdv、Appendlrr、AddPunc、BackTrans、TwitterType、SwapNamedEnt、SwapSyn-WordNet）

TextFlint是一個(gè)自然語言處理模型的魯棒性評(píng)估平臺(tái)。它包括80多種模式來變形數(shù)據(jù)，包括插入標(biāo)點(diǎn)符號(hào)，改變文本中的數(shù)字，替換同義詞，修改副詞，刪除單詞等，可以有效地評(píng)估模型的魯棒性和泛化性

6.2 Baselines

BERT、SemBERT、SyntaxBERT、URBERT和其他多個(gè)PLM

此外，還選擇了幾個(gè)沒有預(yù)訓(xùn)練的競(jìng)爭(zhēng)模型作為基線，如ESIM，Transformer等

在魯棒性實(shí)驗(yàn)中，比較了多個(gè)預(yù)訓(xùn)練模型和SemBERT，URBERT、Syntax-BERT

6.3 Results analysis

更具體的實(shí)驗(yàn)結(jié)果這里就不羅列了，只看一下論文作者對(duì)于一些結(jié)果的解釋

模型表現(xiàn)優(yōu)于SyntaxBERT，這是之前利用外部知識(shí)的最佳模型，基于BERT-large的平均相對(duì)改進(jìn)為0.86%。在QQP數(shù)據(jù)集上，DABERT的準(zhǔn)確性比SyntaxBERT明顯提高了2.4%。造成這種結(jié)果的主要原因有兩個(gè)

使用雙流注意力來增強(qiáng)DABERT捕捉差異特征的能力，這使得DABERT能夠獲得更精細(xì)的交互匹配特征

對(duì)于外部結(jié)構(gòu)引入的潛在噪聲問題，自適應(yīng)融合模塊可以有選擇地過濾掉不合適的信息，以抑制噪聲的傳播，而以前的工作似乎沒有對(duì)這個(gè)問題給予足夠的關(guān)注

SyntaxBERT仍在幾個(gè)數(shù)據(jù)集上取得了稍好的準(zhǔn)確性，作者認(rèn)為這是句法和依存知識(shí)的內(nèi)在關(guān)聯(lián)性的結(jié)果

The performance comparison of DABERT with other methods. Accuracy × 100 on 6 GLUE datasets. Methods with ? indicate the results from their papers, while methods with ? indicate our implementation

Robustness Test Performance

下表列出了DABERT和六個(gè)基線模型在三個(gè)數(shù)據(jù)集上的準(zhǔn)確性?？梢杂^察到，

SwapAnt的性能表現(xiàn)最差，而DABERT在SwapAnt(QQP)上優(yōu)于最佳模型SemBert近10%，這表明DABERT比基線模型更能處理反義詞引起的語義矛盾

NumWord轉(zhuǎn)換，BERT模型性能下降到56.96%，而DABERT優(yōu)于BERT近6%，因?yàn)樗竽Ｐ?strong>捕捉細(xì)微的數(shù)字差異，以進(jìn)行正確的語言推理

SwapSyn變換，UERBERT明顯優(yōu)于其他基線模型，因?yàn)樗鞔_使用同義詞相似性矩陣來校準(zhǔn)注意力分布，而DABERT在不添加外部知識(shí)的情況下仍能達(dá)到與UERBERT相當(dāng)?shù)男阅?/strong>