如何解決NER覆蓋和不連續(xù)問題

論文：A Span-Based Model for Joint Overlapped and DiscontinuousNamed Entity Recognition

鏈接：https://aclanthology.org/2021.acl-long.372.pdf

代碼：https://github.com/foxlf823/sodner

提取摘要

由于普通的NER問題被研究的透透的了，本文主要解決一種稍微復(fù)雜些問題：一種帶有覆蓋和不連續(xù)（Overlapped and Discontinuous）的命名實(shí)體識(shí)別任務(wù)。

而在這兩者研究上來說，前人只是要么解決覆蓋問題，要么解決不連續(xù)問題，但是本文提出一種聯(lián)合解決這兩種問題的span-based方法。

span-based方法昨天也提到過了，所以關(guān)于實(shí)體+關(guān)系抽取的任務(wù)都可以嘗試。

本文通過兩個(gè)步驟構(gòu)建模型：

通過列舉所有可能的text span來識(shí)別出實(shí)體片段（entity fragments）；

在這些entity fragments上預(yù)測是兩種關(guān)系overlapping or succession。

這樣，我們不僅可以識(shí)別Discontinuous的實(shí)體，同時(shí)也可以對(duì)Overlapped的實(shí)體進(jìn)行雙重檢查。

通過上述方法輕松將NER裝換成RE（Relation Extraction）任務(wù)。最終實(shí)驗(yàn)在很多數(shù)據(jù)集上比如CLEF， GENIA andACE05上展現(xiàn)除了很強(qiáng)勁的性能。

該模型的步驟為

input一方面通過pre-train模型獲取word rep，一方面通過dependency parsing獲取句法信息；

GCN集合LSTM的輸出和句法輸入，得到syntax-enhanced的新的表達(dá)；

獲取所有span表示；

通過兩個(gè)MLP預(yù)測span是否為實(shí)體，以及實(shí)體時(shí)間是否有關(guān)系；

最后每個(gè)loss加上權(quán)重，為最終優(yōu)化目標(biāo)。

關(guān)鍵分類

AGGCN用來融入句法信息

attention-guided GCN （AGGCN）比普通GCN要強(qiáng)一些，所以這里選用該方法。傳統(tǒng)的GCN：

而AGGCN就是使用self-attention，替換以前的鄰接矩陣A，最后通過線性方法將multi head生成的結(jié)果合一：

Span的表示

解碼先預(yù)測實(shí)體片段，再預(yù)測關(guān)系。

解碼公式

損失計(jì)算

實(shí)驗(yàn)實(shí)驗(yàn)數(shù)據(jù)介紹

在數(shù)據(jù)上的表現(xiàn)

在其他數(shù)據(jù)上與前人的對(duì)比，雖然性能不如SOTA，但是這種Span-based方式和SOTA差不了多少，是個(gè)新穎的想法。

責(zé)任編輯：haq