基于中文數(shù)據(jù)的標(biāo)簽詞構(gòu)造過程

一、簡介

在UIE出來以前，小樣本NER主要針對的是英文數(shù)據(jù)集，目前主流的小樣本NER方法大多是基于prompt，在英文上效果好的方法，在中文上不一定適用，其主要原因可能是：

中文長實體相對英文較多，英文是按word進(jìn)行切割，很多實體就是一個詞；邊界相對來說更清晰；

生成方法對于長實體來說更加困難。但是隨著UIE的出現(xiàn)，中文小樣本NER 的效果得到了突破。

二、主流小樣本NER方法

2.1、EntLM

EntLM該方法核心思想：拋棄模板，把NER作為語言模型任務(wù)，實體的位置預(yù)測為label word,非實體位置預(yù)測為原來的詞，該方法速度較快。模型結(jié)果圖如圖2-1所示：

圖2-1 EntLM模型

論文重點在于如何構(gòu)造label word：在中文數(shù)據(jù)上本實驗做法與論文稍有區(qū)別，但整體沿用論文思想：下面介紹了基于中文數(shù)據(jù)的標(biāo)簽詞構(gòu)造過程；

采用領(lǐng)域數(shù)據(jù)構(gòu)造實體詞典；

基于實體詞典和已有的實體識別模型對中文數(shù)據(jù)(100 000)進(jìn)行遠(yuǎn)程監(jiān)督，構(gòu)造偽標(biāo)簽數(shù)據(jù)；

采用預(yù)訓(xùn)練的語言模型對計算LM的輸出，取實體部分概率較高的top3個詞；

根據(jù)偽標(biāo)簽數(shù)據(jù)和LM的輸出結(jié)果，計算詞頻；由于可能出現(xiàn)在很多類中都出現(xiàn)的高頻標(biāo)簽詞，因此需要去除沖突，該做法沿用論文思想；

使用均值向量作為類別的原型，選擇top6高頻詞的進(jìn)行求平均得到均值向量；

2.2、TemplateNER

TemplateNER的核心思想就是采用生成模型的方法來解決NER問題，訓(xùn)練階段通過構(gòu)造模板，讓模型學(xué)習(xí)哪些span是實體,哪些span不是實體，模板集合為：$T=[T+,T+ ...T+,T-]$,T+為xx is aentity，T-為 xx is not aentity,訓(xùn)練時采用目標(biāo)實體作為正樣本，負(fù)樣本采用隨機非實體進(jìn)行構(gòu)造，負(fù)樣本的個數(shù)是正樣本的1.5倍。推理階段，原始論文中是 n-gram 的數(shù)量限制在 1 到 8 之間，作為實體候選，但是中文的實體往往過長，所以實驗的時候是將，n-gram的長度限制在15以內(nèi)，推理階段就是對每個模板進(jìn)行打分，選擇得分最大的作為最終實體。

這篇論文在應(yīng)用中的需要注意的主要有二個方面：

模板有差異，對結(jié)果影響很大，模板語言越復(fù)雜，準(zhǔn)確率越低；

隨著實體類型的增加，會導(dǎo)致候選實體量特別多，訓(xùn)練，推理時間更，尤其在句子較長的時候，可能存在效率問題，在中文數(shù)據(jù)中，某些實體可能涉及到15個字符（公司名），導(dǎo)致每個句子的候選span增加，線上使用困難,一條樣本推理時間大概42s

圖2-2 TemplateNER抽取模型

2.3、LightNER

LightNER的核心思想采用生成模型進(jìn)行實體識別，預(yù)訓(xùn)練模型采用 BART通過 prompt 指導(dǎo)注意力層來重新調(diào)整注意力并適應(yīng)預(yù)先訓(xùn)練的權(quán)重， 輸入一個句子，輸出是：實體的序列，每個實體包括：實體 span 在輸入句子中的 start index，end index ，以及實體類型 ，該方法的思想具有一定的通用性，可以用于其他信息抽取任務(wù)。

圖2-3 LightNER抽取模型

2.4、UIE

UIE(通用信息抽取框架)真正的實現(xiàn)其實是存在兩個版本，最初是中科院聯(lián)合百度發(fā)的ACL2022的一篇論文，Unified Structure Generation for Universal Information Extraction，這個版本采用的是T5模型來進(jìn)行抽取，采用的是生成模型，后來百度推出的UIE信息抽取框架，采用的是span抽取方式，直接抽取實體的開始位置和結(jié)束位置，其方法和原始論文并不相同，但是大方向相同。

輸入形同：UIE采用的是前綴prompt的形式，采用的是Schema+Text的形式作為輸入，文本是NER任務(wù)，所以Schema為實體類別，比如：人名、地名等。

采用的訓(xùn)練形式相同，都是采用預(yù)訓(xùn)練加微調(diào)的形式

不同點：

百度UIE是把NER作為抽取任務(wù)，分別預(yù)測實體開始和結(jié)束的位置，要針對schema進(jìn)行多次解碼，比如人名進(jìn)行一次抽取，地名要進(jìn)行一次抽取，以次類推，也就是一條文本要進(jìn)行n次，n為schema的個數(shù)，原始UIE是生成任務(wù)，一次可以生成多個schema對應(yīng)的結(jié)果

百度UIE是在ernie基礎(chǔ)上進(jìn)行預(yù)訓(xùn)練的，原始的UIE是基于T5模型。

圖2-4 UIE抽取模型

三、實驗結(jié)果

該部分主要采用主流小樣本NER模型在中文數(shù)據(jù)上的實驗效果。

通用數(shù)據(jù)1測試效果：

從實驗結(jié)果來看，其小樣本NER模型在中文上的效果都不是特別理想，沒有達(dá)到Bert-CRF的效果，一開始懷疑結(jié)果過擬了，重新?lián)Q了測試集，發(fā)現(xiàn)BERT-CRF效果依舊變化不大，就是比其他的小樣本學(xué)習(xí)方法好。

3.1、UIE實驗結(jié)果

UIE部分做的實驗相對較多，首先是消融實驗，明確UIE通用信息抽取的能力是因為預(yù)訓(xùn)練模型的原因，還是因為模型本身的建模方式讓其效果好，其中，BERTUIE，采用BERT作為預(yù)訓(xùn)練語言模型，pytorch實現(xiàn)，抽取方式采用UIE的方式，抽取實體的開始和結(jié)束位置。

領(lǐng)域數(shù)據(jù)1測試結(jié)果（實體類型7類）：

從本部分實驗可以確定的是，預(yù)訓(xùn)練模型其實就是一個錦上添花的作用， UIE的本身建模方式更重要也更有效。

領(lǐng)域數(shù)據(jù)1測試結(jié)果（實體類型7類）：

領(lǐng)域數(shù)據(jù)3測試效果（實體類型6類），20-shot實驗結(jié)果：

UIE在小樣本下的效果相較于BERT-CRF之類的抽取模型要好，但是UIE的速度較于BERT-CRF慢很多，大家可以根據(jù)需求決定用哪個模型。如果想進(jìn)一步提高效果，可以針對領(lǐng)域數(shù)據(jù)做預(yù)訓(xùn)練，本人也做了預(yù)訓(xùn)練，效果確實有提高。