實(shí)體關(guān)系抽取模型CasRel

寫在前面

今天來(lái)跟大家分享一篇發(fā)表在2020ACL上的實(shí)體關(guān)系抽取論文CasRel。

論文名稱：《A Novel Cascade Binary Tagging Framework forRelational Triple Extraction》

論文鏈接：https://aclanthology.org/2020.acl-main.136.pdf

代碼地址：https://github.com/weizhepei/CasRel

1. 關(guān)系抽取任務(wù)定義

實(shí)體關(guān)系抽?。P(guān)系抽取）是構(gòu)建知識(shí)圖譜非常重要的一環(huán)，其旨在識(shí)別實(shí)體之間的語(yǔ)義關(guān)系。換句話說(shuō)，關(guān)系抽取就是從非結(jié)構(gòu)化文本即純文本中抽取實(shí)體關(guān)系三元組（SRO）。這里 代表頭實(shí)體， 代表關(guān)系， 代表尾實(shí)體。

上圖展示了3個(gè)例子：

第一句文本中，“劉翔”和“上?！眱蓚€(gè)實(shí)體之間的語(yǔ)義關(guān)系是“出生地”。

第二句文本中，“張藝謀”與“菊豆”兩個(gè)實(shí)體之間的語(yǔ)義關(guān)系是“導(dǎo)演”。

第三句文本中，“史蒂夫.喬布斯”與“蘋果”之間的語(yǔ)義關(guān)系是“創(chuàng)始人”。

2. 關(guān)系抽取方法

關(guān)系抽取方法主要可分為兩類：

管道學(xué)習(xí)方法（pipeline）：管道學(xué)習(xí)方法通常先抽取句子中的實(shí)體，然后再對(duì)實(shí)體對(duì)進(jìn)行關(guān)系分類，從而找出SRO三元組。

聯(lián)合學(xué)習(xí)方法（Joint）：聯(lián)合學(xué)習(xí)方法同時(shí)進(jìn)行實(shí)體識(shí)別和實(shí)體對(duì)的關(guān)系分類兩個(gè)子任務(wù)。

許多實(shí)驗(yàn)證明聯(lián)合學(xué)習(xí)方法由于考慮了兩個(gè)子任務(wù)之間的信息交互，大大提升了實(shí)體關(guān)系抽取的效果，所以目前針對(duì)實(shí)體關(guān)系抽取任務(wù)的研究大多采用聯(lián)合學(xué)習(xí)方法。

進(jìn)一步地，聯(lián)合學(xué)習(xí)方法又可以細(xì)分為以下兩種：基于參數(shù)共享的聯(lián)合模型；基于聯(lián)合解碼的聯(lián)合模型。另一方面，解碼方式對(duì)實(shí)體關(guān)系抽取性能的影響也很大，主要的解碼方式有三種：基于序列標(biāo)注；基于指針網(wǎng)絡(luò)；基于片段分類。

《Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme》[1]是采用序列標(biāo)注的聯(lián)合解碼的典型方法。簡(jiǎn)單地說(shuō)，它將實(shí)體關(guān)系抽取當(dāng)作了序列標(biāo)注問(wèn)題，設(shè)計(jì)了比較特別的標(biāo)注標(biāo)簽可以實(shí)現(xiàn)實(shí)體、關(guān)系的聯(lián)合抽取(如上圖所示)。

3. 關(guān)系抽取難點(diǎn)

如上圖所示，和大多數(shù)的自然語(yǔ)言處理任務(wù)一樣，關(guān)系抽取同樣有許多難點(diǎn)。我們今天所分享的CasRel關(guān)注的難點(diǎn)主要是三元組的重疊問(wèn)題（實(shí)體關(guān)系重疊），即：輸入文本中有多個(gè)實(shí)體關(guān)系三元組，彼此之間可能共享了某些實(shí)體。

上圖給出了部分示例：

（劉翔, 出生地, 上海）與（劉翔, 出生時(shí)間, 1983年7月13日）都有“劉翔”；

（《少林足球》, 導(dǎo)演, 周星馳）、（《少林足球》, 編劇, 周星馳）、（周星馳, 參演, 《少林足球》）都有“《少林足球》”和“周星馳”；

（阿爾弗雷德.阿德勒, 出生地, 奧地利）與（阿爾弗雷德.阿德勒, 出生地, 維也納）都有“阿爾弗雷德.阿德勒”..

前面我們所提的聯(lián)合解碼模型由于其標(biāo)簽設(shè)計(jì)或CRF層限定了每個(gè)token只能有一個(gè)tag，所以無(wú)法適用于實(shí)體關(guān)系重疊情況。此外，基于參數(shù)共享的關(guān)系抽取方法最后通常是一個(gè)多分類層，也就是一對(duì)實(shí)體只能有一個(gè)標(biāo)簽。簡(jiǎn)單地將其改成多標(biāo)簽分類就能一定程度上解決實(shí)體關(guān)系重疊問(wèn)題，但是這種改進(jìn)并不具備什么創(chuàng)新性。

那接下來(lái)我們就來(lái)看看CasRel是如何另辟蹊徑來(lái)解決實(shí)體關(guān)系重疊問(wèn)題的。

4. CasRel核心思想

CasRel本質(zhì)上也是基于參數(shù)共享的聯(lián)合實(shí)體關(guān)系抽取方法，它通常被大家稱作層疊指針網(wǎng)絡(luò)。實(shí)際上，CasRel的核心思想或者說(shuō)作者改進(jìn)現(xiàn)有模型的重點(diǎn)在于子層的設(shè)計(jì)。

因?yàn)镃asRel對(duì)于關(guān)系抽取這個(gè)任務(wù)的拆分不同，所以子任務(wù)及子任務(wù)求解順序也不同。具體地：首先CasRel 會(huì)識(shí)別所有可能的主語(yǔ)（頭實(shí)體）；然后在給定類別關(guān)系 下，再去識(shí)別與主語(yǔ)相關(guān)的賓語(yǔ)（尾實(shí)體）。

更形式化的表達(dá)：如果說(shuō)以前關(guān)系抽取/關(guān)系分類是這樣一個(gè)映射函數(shù) ，；那么現(xiàn)在在CasRel中關(guān)系抽取對(duì)應(yīng)的映射函數(shù)則是 。

與之相似的思想很早之前就有出現(xiàn)在知識(shí)圖譜表示學(xué)習(xí)方法當(dāng)中，比如在下圖的 TransE[2]模型中就有 （這里 為頭實(shí)體， 為尾實(shí)體）。

5. 模型細(xì)節(jié)

現(xiàn)在我們?cè)賮?lái)看CasRel的模型細(xì)節(jié)。CasRel是一個(gè)基于聯(lián)合解碼的實(shí)體關(guān)系抽取模型，其思想和模型都很簡(jiǎn)單，主要包括三層：

編碼端：基于BERT的編碼層用于獲取上下文語(yǔ)義信息對(duì)字/詞進(jìn)行表征；

解碼端：解碼端主要包括了頭實(shí)體識(shí)別層、關(guān)系與尾實(shí)體聯(lián)合識(shí)別層。

在這里，基于BERT的編碼層我們就不做過(guò)多的介紹了，感興趣的讀者可以下載論文《Pre-trained Models for Natural Language Processing》進(jìn)行閱讀學(xué)習(xí)。接下來(lái)，我們將著重介紹CasRel的解碼端。

5.1 頭實(shí)體識(shí)別層

CasRel的頭實(shí)體識(shí)別層直接對(duì)編碼層的結(jié)果進(jìn)行解碼，去識(shí)別所有可能的頭實(shí)體。這里CasRel是識(shí)別頭實(shí)體span，也就是start和end位置，所以它采用的是二分類。這點(diǎn)和我們?cè)趯?shí)體識(shí)別BERT-MRC論文閱讀筆記、實(shí)體識(shí)別LEAR論文閱讀筆記中類似。

因此，模型本身很簡(jiǎn)單：

首先，利用一個(gè)線性層一個(gè)sigmoid激活函數(shù)判斷每個(gè)token是不是頭實(shí)體的開始token或結(jié)束token；

然后，利用最近匹配原則將識(shí)別到的start和end配對(duì)獲得候選頭實(shí)體集合。

5.2 關(guān)系、尾實(shí)體聯(lián)合識(shí)別層

識(shí)別頭實(shí)體后就要進(jìn)行關(guān)系和尾實(shí)體的聯(lián)合識(shí)別了。這里，CasRel是通過(guò)一組關(guān)系相關(guān)的尾實(shí)體識(shí)別層來(lái)實(shí)現(xiàn)的。每一層尾實(shí)體識(shí)別層的結(jié)構(gòu)其實(shí)與頭實(shí)體識(shí)別層是一樣的，不同主要在于輸入：

頭實(shí)體識(shí)別層的輸入直接就是編碼層的輸出；

而尾實(shí)體識(shí)別層的輸入還考慮了頭實(shí)體的特征:

這里 是第 個(gè)候選頭實(shí)體所包含的所有token的向量的平均。

5.3 概率解釋

最后，我們從概率角度來(lái)看CasRel模型。

既然實(shí)體關(guān)系抽取任務(wù)就是識(shí)別文本中潛在的實(shí)體關(guān)系三元組，那么模型的優(yōu)化目標(biāo)可以直接建立在三元組這個(gè)層面上。

(1) 優(yōu)化目標(biāo)

假設(shè) 為訓(xùn)練集， 是第 個(gè)輸入樣本， 是文本 中含有的所有三元組，CasRel的訓(xùn)練目標(biāo)自然是如下似然函數(shù)值最大:

(2) 概率公式變換

根據(jù)聯(lián)合概率=邊緣概率*條件概率，我們有：

這里 表示出現(xiàn)在 中的一個(gè)頭實(shí)體， 表示出現(xiàn)在 中且其頭實(shí)體為 的一組關(guān)系-尾實(shí)體對(duì)。 為先驗(yàn)概率， 為條件概率。

(3) 關(guān)系作為先驗(yàn)知識(shí)

然后，把關(guān)系作為先驗(yàn)知識(shí)，我們可以進(jìn)一步把上式右端第二項(xiàng)拆成兩部分，即出現(xiàn)在 中且頭實(shí)體為 的關(guān)系、其他關(guān)系：

這里， 是所有關(guān)系的集合， 表示出現(xiàn)在 中且頭實(shí)體為 的一組關(guān)系， 是 與 的差集，也就是沒(méi)有出現(xiàn)在 中的其他關(guān)系。

表示對(duì)于文本 與頭實(shí)體 以及沒(méi)有出現(xiàn)在 中的關(guān)系 來(lái)說(shuō)，尾實(shí)體識(shí)別結(jié)果應(yīng)當(dāng)為空。所以最終我們有：

(4) 結(jié)論

可以發(fā)現(xiàn)最終這個(gè)式子與CasRel抽取實(shí)體關(guān)系三元組的子任務(wù)順序一致：

首先識(shí)別文本中所有可能的頭實(shí)體；

然后在每個(gè)關(guān)系類別下，去抽取與識(shí)別到的頭實(shí)體存在該關(guān)系的所有可能的尾實(shí)體。

另一方面，這個(gè)任務(wù)拆解方式也很自然解決了重疊實(shí)體關(guān)系三元組的提取問(wèn)題。

5.4 實(shí)驗(yàn)

實(shí)驗(yàn)主要在兩個(gè)公開的數(shù)據(jù)集NYT和WebNLG上進(jìn)行。此外，需要注意的是CasRel模型本身還有兩個(gè)變體：

：表示編碼端的BERT參數(shù)是隨機(jī)初始化的；

：表示編碼端使用的是LSTM而不是BERT。

當(dāng)然CasRel則表示采用預(yù)訓(xùn)練好的BERT作為編碼端。

(1) 整體實(shí)驗(yàn)效果對(duì)比

上圖中展示了CasRel及其變體模型與其他基準(zhǔn)方法在兩個(gè)數(shù)據(jù)集上的效果。可以看到CasRel及其變體的效果都高于其他方法；尤其在WebNLG數(shù)據(jù)上，相對(duì)提升得更多。仔細(xì)看NYT、WebNLG兩個(gè)數(shù)據(jù)分布差異還是蠻大的：

NYT、WebNLG兩個(gè)數(shù)據(jù)中都有Normal類型的三元組、SEO類型的三元組、EPO類型的三元組，且三者在兩個(gè)數(shù)據(jù)集中占比不同；

Normal、SEO、EPO分別代表常規(guī)實(shí)體關(guān)系三元組、單個(gè)實(shí)體重疊的實(shí)體關(guān)系三元組、實(shí)體對(duì)重疊的實(shí)體關(guān)系三元組；

NYT中的實(shí)體關(guān)系三元組類型多為Normal類型，即數(shù)據(jù)中常規(guī)實(shí)體關(guān)系三元組居多。

WebNLG中的實(shí)體關(guān)系三元組多為SEO類型，即單個(gè)實(shí)體重疊的實(shí)體關(guān)系三元組居多。

CasRel在兩個(gè)數(shù)據(jù)集上相對(duì)穩(wěn)定的表現(xiàn)說(shuō)明了在實(shí)體關(guān)系重疊這種復(fù)雜場(chǎng)景下，其框架的有效性。

(2) 不同三元組重疊類型實(shí)驗(yàn)對(duì)比

上圖展示了在不同三元組重疊類型的樣本上各個(gè)基準(zhǔn)方法與CasRel的實(shí)驗(yàn)結(jié)果。可以發(fā)現(xiàn)隨著場(chǎng)景逐漸復(fù)雜（Normal->EPO、SEO），基準(zhǔn)方法的效果都逐漸下降，但CasRel則取得了相對(duì)穩(wěn)定且優(yōu)異的表現(xiàn)。這個(gè)對(duì)比實(shí)驗(yàn)進(jìn)一步說(shuō)明了CasRel在重疊三元組場(chǎng)景下的有效性。

(3) 不同三元組個(gè)數(shù)實(shí)驗(yàn)對(duì)比

隨著樣本中三元組個(gè)數(shù)的增多，每個(gè)方法的效果都或多多少地受到了影響。尤其在 即多于五個(gè)三元組的樣本上，基準(zhǔn)方法效果基本都大幅度下降，而CasRel相對(duì)要好一些。同時(shí)，在 的樣本上CasRel的效果相對(duì)于基準(zhǔn)方法提升的最多。

這個(gè)對(duì)比實(shí)驗(yàn)反映了CasRel相比其他基準(zhǔn)方法在處理多實(shí)體關(guān)系三元組下的能力更強(qiáng)。

6. 延伸思考

CasRel的思想可以很自然地遷移到上去信息抽取中的另一大任務(wù)事件抽取上，因?yàn)樵谑录槿⊥瑯哟嬖谝恍╊愃频奶魬?zhàn)：

輸入文本里面存在多個(gè)事件；

事件論元可能重疊，同一個(gè)論元可能扮演不同的角色、同一個(gè)角色下也可能有多個(gè)論元：同一個(gè)事件論元可能重疊；不同事件之間論元可能重疊。

6.1 事件抽取任務(wù)描述

事件抽取任務(wù)可拆為兩個(gè)子任務(wù)：

事件檢測(cè)（event detection）：即觸發(fā)詞的抽取和事件類型判斷；

事件論元識(shí)別（argument extraction）：即識(shí)別事件論元并判斷論元所扮演的角色。

6.2 CasRel范式遷移到事件抽取

阿墨最初看到CasRel時(shí)就想到它的層疊指針?lè)妒娇梢赃w移到事件抽取中：

建模思路和子任務(wù)順序：CasRel建模思路（TransE 中也是類似的）是“頭實(shí)體+關(guān)系=尾實(shí)體”，即CasRel先抽頭實(shí)體，再抽關(guān)系和尾實(shí)體；遷移到事件抽取中，可以是“觸發(fā)詞+角色=論元”即先抽觸發(fā)詞，再抽角色和論元。

模型適配：CasRel 模型中的頭實(shí)體識(shí)別子結(jié)構(gòu)適配到事件抽取中觸發(fā)詞檢測(cè)，CasRel模型中的關(guān)系尾實(shí)體識(shí)別子結(jié)構(gòu)適配到事件論元識(shí)別。這樣就完成了事件檢測(cè)任務(wù)中的觸發(fā)詞抽取、事件論元識(shí)別任務(wù)，那么事件類型判定呢？

事件類型判定：事件類型判定既可在觸發(fā)詞檢測(cè)完后做，即僅對(duì)觸發(fā)詞分類，也可以在最后結(jié)合觸發(fā)詞/論元/角色信息進(jìn)行事件分類。

小改動(dòng)完成完全適配：如果考慮“原文+事件類型=觸發(fā)詞”，那么實(shí)際上事件類型判定和觸發(fā)詞抽取可一并完成。只需要把用于抽取觸發(fā)詞子結(jié)構(gòu)換成和用于事件論元識(shí)別子結(jié)構(gòu)類似或者說(shuō)一致即可。

實(shí)際上，在2020年阿墨進(jìn)行事件抽取相關(guān)實(shí)驗(yàn)過(guò)程中，陸陸續(xù)續(xù)就有這個(gè)系列的工作出來(lái)如：JMCEE[3]、PLMEE[4] 及CasEE[5]。CasEE代碼也開源了，阿墨去年也在上面進(jìn)行了一些實(shí)驗(yàn)。文末附上了相關(guān)論文鏈接，感興趣的讀者可下載閱讀。

總結(jié)

今天我們分享了實(shí)體關(guān)系抽取模型CasRel，并在最后聯(lián)系事件抽取做了一些延伸思考。

審核編輯 ：李倩