基于Aspect、Target等醫(yī)療領(lǐng)域情感分析的應(yīng)用場景

前言

情感分析是文本分類的一個(gè)分支，是對(duì)帶有情感色彩（褒義貶義/正向負(fù)向）的主觀性文本進(jìn)行分析，以確定該文本或者用戶的觀點(diǎn)、喜好、情感傾向。醫(yī)療領(lǐng)域同樣存在情感分析的應(yīng)用場景，但與一般的領(lǐng)域不同，醫(yī)療領(lǐng)域的難點(diǎn)在于：

醫(yī)療實(shí)體既能作為aspect，又能作為情感詞。對(duì)于一般aspect，如藥品，行為等，比較接近以往研究；但是對(duì)于疾病，癥狀這樣的aspect，情況復(fù)雜。如：“感冒吃白加黑管用 ”，對(duì)于這里“感冒”來講，只是普通上下文。但是對(duì)于“感冒一周了，誰說能自己好的？”，“感冒”是aspect且情感是負(fù)向，同時(shí)，句子里也出現(xiàn)了“好”這一常見的情感詞。兩者的混雜，使得情感分析相當(dāng)依賴上下文和領(lǐng)域特點(diǎn)。

大部分疾病實(shí)體詞在公開情感詞典中都是負(fù)向的，如：感冒，發(fā)燒，疼痛等。并且丁香園場景下的很多評(píng)論的情感傾向不是單純的正負(fù)中，會(huì)出現(xiàn)更多樣的情感（如：質(zhì)疑，吐槽，建議），這是一般的情感詞典里是無法處理的。所以領(lǐng)域情感詞典的構(gòu)建也是情感分析中關(guān)鍵一步。

存在多種情感，標(biāo)注或遠(yuǎn)監(jiān)督過程會(huì)存在噪音。

本文將從可解釋性，上下文（aspect與sentiment的潛在關(guān)系），如何處理噪聲數(shù)據(jù)以及構(gòu)建領(lǐng)域詞典四個(gè)角度，引出相應(yīng)研究。

一。 可解釋性

《Contextual Sentiment Neural Network for Document Sentiment Analysis》

深度神經(jīng)網(wǎng)絡(luò)已成為眾多nlp任務(wù)的首選模型。然而，在需要解釋的情況下，通常避免使用dnn，因?yàn)檫@些網(wǎng)絡(luò)通常是黑匣子。因此，建立一個(gè)高度可預(yù)測的神經(jīng)網(wǎng)絡(luò)（NN）模型，并用類似人的方式來解釋其預(yù)測過程是一個(gè)關(guān)鍵問題。那么在情感分析任務(wù)上，應(yīng)該考慮人類通常是如何判斷每次評(píng)論的正負(fù)極性的。論文主要考慮了4個(gè)方面：

詞級(jí)原始情感得分：表示評(píng)論中每個(gè)詞最初的情感，如good是正，bad是負(fù)。

詞級(jí)情緒轉(zhuǎn)移分?jǐn)?shù)：該分?jǐn)?shù)表示評(píng)論中每個(gè)術(shù)語的情緒是否發(fā)生了變化，如存在否定詞，諷刺，幽默。

詞級(jí)語境情緒得分：該得分是指在考慮情緒轉(zhuǎn)移和全局重要點(diǎn)后，每個(gè)詞的積極或消極情緒得分。

概念級(jí)上下文情緒得分：該分?jǐn)?shù)表示每個(gè)評(píng)論的概念級(jí)積極或消極情緒，其中一個(gè)概念意味著一組相似的術(shù)語。

結(jié)構(gòu)簡單來說就是four interpretable layers+IP Learning：其中WOSL采用詞典特征，SSL采用否定詞典，GIL采用revised self-attention，CCSL采用kmeans。

通常情況下，情緒分析模型是使用反向傳播，預(yù)測的文檔級(jí)情緒與每個(gè)評(píng)論的正面或負(fù)面標(biāo)簽之間的損失值具有梯度值；但是，當(dāng)使用這種通用反向傳播方法時(shí)，每一層并不代表相應(yīng)的情緒。因此文本提出了IP傳播方法。

二。 上下文（aspect與sentiment的潛在關(guān)系）

《Weakly-Supervised Aspect-Based Sentiment Analysis via Joint Aspect-Sentiment Topic Embedding》

aspect級(jí)別情感分析的難點(diǎn)在于：第一，aspect真正的上下文；第二，同一句中每個(gè)aspect能夠捕捉到自己的sentiment。

本文提出了一種基于topic model的弱監(jiān)督方法，使用幾個(gè)關(guān)鍵字來描述每個(gè)Aspect-Sentiment，無需使用任何帶標(biāo)簽的樣本。先在word embedding空間中學(xué)習(xí)Aspect-Sentiment聯(lián)合主題嵌入，通過正則化來強(qiáng)化主題的顯著性。學(xué)習(xí)了聯(lián)合主題向量之后，利用文檔embedding和主題embedding之間的余弦相似性對(duì)CNN進(jìn)行預(yù)訓(xùn)練，

然后利用self-train CNN對(duì)未標(biāo)記文檔進(jìn)行高置信度預(yù)測。

文中提出了幾個(gè)關(guān)鍵的 joint representation learning，其中包括aspect---上下文， aspect---全文，aspect，sentiment單獨(dú)representation learning，aspect—sentiment 聯(lián)合學(xué)習(xí)。通過邊緣分布和聯(lián)合分布之間的關(guān)系，將聯(lián)合主題嵌入的學(xué)習(xí)與單獨(dú)的方面/情感主題聯(lián)系起來。由于對(duì)于一般的sentiment，如good或bad，并不是aspect強(qiáng)相關(guān)的，使用均勻分布來調(diào)整它們在不相關(guān)維度上所有aspect的分布。

其次本文采用了self-train的思想，利用模型對(duì)未標(biāo)記的高置信樣本預(yù)測來完善模型。通過平方運(yùn)算增強(qiáng)高置信度預(yù)測，根據(jù)當(dāng)前模型的預(yù)測計(jì)算每個(gè)未標(biāo)記文檔的目標(biāo)分?jǐn)?shù)。當(dāng)目標(biāo)分?jǐn)?shù)更新后沒有更多的樣本更改標(biāo)簽分配時(shí)（收斂），self-train過程終止。

從實(shí)驗(yàn)結(jié)果可以看出，模型對(duì)不同category詞的聚類效果明顯，可解釋性強(qiáng)，因此用于下游分類任務(wù)時(shí)，表現(xiàn)較好。

《Context-aware Embedding for Targeted Aspect-based Sentiment Analysis》

現(xiàn)有的基于注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)模型雖然取得了較好的效果，但是由于這些方法中表示target和aspect的向量都是隨機(jī)初始化的，這樣就會(huì)產(chǎn)生以下問題：

現(xiàn)有的方法在表示目標(biāo)（target）和方面（aspect）時(shí)往往會(huì)脫離上下文。這種隨機(jī)初始化或不依賴于上下文的表示方法有三個(gè)弊端：1）同一個(gè)目標(biāo)或方面的向量表示在表達(dá)不同情感極性的句子中沒有得到區(qū)分；2）目標(biāo)不是確定實(shí)體時(shí)（例如“這個(gè)酒店”，“這個(gè)餐館”，“那部電影”等），輸入信息無法體現(xiàn)實(shí)體本身的價(jià)值；3）忽略了目標(biāo)和方面之間的相互聯(lián)系。

目標(biāo)和方面在上下文中存在重疊的關(guān)聯(lián)映射關(guān)系。在一句話中，一個(gè)目標(biāo)可能會(huì)對(duì)應(yīng)多個(gè)方面，而不同的方面可能會(huì)包含不同的情感極性。另一方面，在同一句話中往往會(huì)存在多個(gè)目標(biāo)，所以目標(biāo)和方面之間會(huì)存在錯(cuò)綜復(fù)雜的對(duì)應(yīng)關(guān)系。如圖：

為解決上述問題，本文提出了一種結(jié)合上下文信息優(yōu)化sentiment和aspect向量表示方法，該方法可以直接和現(xiàn)有基于神經(jīng)網(wǎng)絡(luò)的目標(biāo)-方面級(jí)別情感分析模型相結(jié)合，如圖所示：

（1）稀疏系數(shù)向量：

本文使用一個(gè)稀疏系數(shù)向量來提取文本中與sentiment相關(guān)度較高的詞語，并使用這些詞語作為sentiment的上下文信息。通過對(duì)sentiment上下文詞向量的聚合獲得最終表示。通過這種方法，sentiment向量可以從上下文中自動(dòng)學(xué)習(xí)，所以就算句子中的目標(biāo)不是確定的實(shí)體，也能得到有價(jià)值的向量表示。得到每個(gè)詞在句子中的權(quán)重表示，用階躍函數(shù)將權(quán)重表示稀疏化，由此得到的就是稀疏系數(shù)矩陣，用輸入X與稀疏系數(shù)矩陣相乘即可得到根據(jù)上下文構(gòu)建的sentiment向量。

目標(biāo)函數(shù)為最小化上下文相關(guān)sentiment向量與輸入的sentiment向量距離：

（2）微調(diào)aspect向量：

對(duì)于aspect向量，由于詞本身就包含一定的語義信息，比如“價(jià)格”這個(gè)方面，而上下文信息與這個(gè)方面關(guān)聯(lián)度比較高的詞也會(huì)起很大作用，所以在對(duì)于方面信息的微調(diào)，是在初始的aspect向量上，利用上下文語義信息進(jìn)行調(diào)整：

目標(biāo)函數(shù)同理：

通過兩個(gè)目標(biāo)函數(shù)，使優(yōu)化后的aspect向量盡可能靠近與它相關(guān)聯(lián)的目標(biāo)，遠(yuǎn)離與它無關(guān)的目標(biāo)，從而使輸入句子針對(duì)不同方面的情感信息得到有效區(qū)分。從圖中結(jié)果可以看出，本文提出的方法能使不同方面在訓(xùn)練過程中得到更好的區(qū)分，有效提升了aspect向量表示的質(zhì)量。

從實(shí)驗(yàn)結(jié)果可以看出，對(duì)于“惡心”“頭疼”這種情感傾向極其依賴上下文，并且上下文語義結(jié)構(gòu)復(fù)雜的情況，模型能很好地區(qū)分不同語境下同一aspect的情感，也能判斷出此時(shí)的aspect是否是情感詞。

《SentiLARE： Sentiment-Aware Language Representation Learning with Linguistic Knowledge》

相較于上述方法，本文用到了transformer，讓模型獲得更多上下文語義信息，除此之外，還有兩處亮點(diǎn)：

（1）從SentiWordNet獲取每個(gè)詞及其詞性標(biāo)簽的情感極性，作為“Linguistic Knowledge”。

（2）將預(yù)訓(xùn)練模型分2個(gè)階段：Early Fusion早期融合和Late Supervision后期監(jiān)督。

主要區(qū)別是早期融合階段是把句子情感也作為輸入，后期監(jiān)督是把句子情感作為預(yù)測標(biāo)簽，監(jiān)督訓(xùn)練句子情感。早期融合和后期監(jiān)督的目的是讓模型能夠理解句子級(jí)情感和單詞級(jí)情感和詞性之間的內(nèi)在聯(lián)系。1）獲取每個(gè)單詞的詞性tag和情感傾向；2）通過標(biāo)簽感知的mask語言模型進(jìn)行預(yù)訓(xùn)練， 與現(xiàn)有的BERT-style預(yù)訓(xùn)練模型相比，模型通過其語言知識(shí)（包括詞性tag和情感傾向）豐富了輸入序列，并利用標(biāo)簽感知的masked語言模型來捕獲sentence-level語言表示與word-level語言知識(shí)之間的關(guān)系。

提出了一種上下文感知注意力機(jī)制，該機(jī)制同時(shí)考慮了詞義等級(jí)， 以及上下文光連貫性來確定每種詞義的注意力權(quán)重

Early Fusion

早期融合的目的在于恢復(fù)以語句級(jí)label為條件的mask序列，模型分別預(yù)測masking位置處的單詞，詞性tag和word-level傾向。此子任務(wù)明確地對(duì)單詞和單詞的語言知識(shí)施加了全局情感l(wèi)abel的影響，從而增強(qiáng)了復(fù)雜語義關(guān)系的能力。

Late Supervision

基于［CLS］和masked位置的隱藏狀態(tài)來預(yù)測sentence-level的label和單詞信息。此子任務(wù)使我們的模型能夠捕獲［CLS］處的句子級(jí)表示形式與Masked位置處的單word-level語言知識(shí)之間的隱式關(guān)系。

由于模型用到了pos embedding，因此在aspect的識(shí)別上效果明顯，另外，可以通過相鄰的情感詞來檢測aspect術(shù)語。另外上下文感知情感注意力機(jī)制。對(duì)不同上下文中單詞的情感進(jìn)行建模，從而帶來更好的知識(shí)增強(qiáng)的語言表示。

多情感詞的句子可能包含更復(fù)雜的情感表達(dá)，為了進(jìn)一步證明標(biāo)簽感知的masked語言模型的重要性，論文比較了三種模型：不使用語言知識(shí)的RoBERTa，通過語言知識(shí)簡單地增加輸入嵌入的SentiLARE-EF-LS和通過預(yù)訓(xùn)練任務(wù)深度集成語言知識(shí)的SentiLARE。結(jié)果表明預(yù)訓(xùn)練任務(wù)可以幫助將word-level語言知識(shí)所反映的局部情感信息集成到全局語言表示中，并有助于理解復(fù)雜的情感表達(dá)。

三。 標(biāo)簽中的噪音

《Learning with Noisy Labels for Sentence-level Sentiment Classification》

前言處我們提到句子級(jí)別的情感分析面臨的一個(gè)問題，即存在多種情感時(shí)，標(biāo)注過程會(huì)存在噪音。除了標(biāo)注過程外，前面提到的Self-train 最大的問題也在于偽標(biāo)簽帶來的噪音。針對(duì)標(biāo)簽中的大量噪音，本文提出了NETAB模型。

NETAB由兩個(gè)卷積神經(jīng)網(wǎng)絡(luò)（cnn）組成，一個(gè)用于學(xué)習(xí)情緒得分以預(yù)測clean標(biāo)簽，另一個(gè)用于學(xué)習(xí)噪聲轉(zhuǎn)換矩陣以處理輸入噪聲標(biāo)簽。AB網(wǎng)絡(luò)共享A網(wǎng)絡(luò)的所有參數(shù)，除了門單元的參數(shù)和clean loss。

假設(shè)：訓(xùn)練數(shù)據(jù)中的噪音不超過50%

（1）DNN首先記憶簡單的實(shí)例，并隨著訓(xùn)練時(shí)間的增加逐漸適應(yīng)硬實(shí)例；

（2）噪聲標(biāo)簽理論上是通過噪聲轉(zhuǎn)移矩陣從干凈/真實(shí)標(biāo)簽中transition。在訓(xùn)練中，先對(duì)A網(wǎng)絡(luò)進(jìn)行早期預(yù)訓(xùn)練，然后交替訓(xùn)練AB網(wǎng)絡(luò)和A網(wǎng)絡(luò)，使其具有各自的loss func。

在訓(xùn)練過程中，對(duì)A網(wǎng)絡(luò)進(jìn)行了early epoch的預(yù)訓(xùn)練，然后利用各自的交叉熵?fù)p失對(duì)兩個(gè)網(wǎng)絡(luò)進(jìn)行AB網(wǎng)絡(luò)和A網(wǎng)絡(luò)交替訓(xùn)練。即給出一批句子，我們首先訓(xùn)練AB網(wǎng)絡(luò)，然后利用A網(wǎng)絡(luò)預(yù)測出的分?jǐn)?shù)，從這一批中選出一些可能干凈的句子，并對(duì)所選句子進(jìn)行訓(xùn)練。具體地說，使用argmax計(jì)算標(biāo)簽，然后選擇其結(jié)果等于輸入標(biāo)簽的句子。在圖中，選擇過程由一個(gè)門單元標(biāo)記。測試一個(gè)句子時(shí)，使用A網(wǎng)絡(luò)來產(chǎn)生最終的分類結(jié)果。NETAB的表現(xiàn)非常出色，尤其在movie數(shù)據(jù)集上：

四。 領(lǐng)域情感詞典構(gòu)建

第二篇論文里提到，利用主題模型增強(qiáng)不同aspect的情感特征，當(dāng)?shù)黝}模型的缺點(diǎn)也很明顯：

（1）高頻且沒有任何情感含義的形容詞非常容易被選中

（2）分詞：由于一些情感詞更像是短語，如“多用用腦子”，“漲姿勢”，“不早點(diǎn)推（薦）”，所以主題模型的重要一環(huán)是發(fā)現(xiàn)新情感詞。

那么下面我們會(huì)介紹一些領(lǐng)域情感詞典構(gòu)建的相關(guān)研究。

《Sentiment Lexicon Construction with Representation Learning Based on Hierarchical Sentiment Supervision》

為了充分利用文本中的sentiment label，業(yè)界提出了一系列有監(jiān)督學(xué)習(xí)方法來學(xué)習(xí)情感詞。其中在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中加入Sentiment Supervision，訓(xùn)練sentiment-aware word embedding，成為主流。但文檔級(jí)情感分析中存在的否定、過渡、比較度等復(fù)雜的語言現(xiàn)象以及word representation sum up，使得很多詞語的真實(shí)情感會(huì)隨著文檔標(biāo)簽變化，導(dǎo)致模型表現(xiàn)不佳。因此，論文除了在文檔層次訓(xùn)練sentiment-aware word embedding，同時(shí)也引入了詞層次上的情感感知的詞嵌入，以提高詞嵌入和情感詞典的質(zhì)量。

（1） 詞級(jí)情感學(xué)習(xí)與標(biāo)注

論文提出了多種詞級(jí)情感標(biāo)注，如1）預(yù)定義的情感詞典；2）帶有硬情感標(biāo)注的PMI-SO詞典；3）帶有軟情感標(biāo)注的PMI-SO詞典。

（2） 情感感知詞嵌入學(xué)習(xí)

對(duì)于文檔d中的每個(gè)單詞，將其映射為一個(gè)連續(xù)表示形式e，cost function 為平均交叉熵，度量預(yù)測的情感分布和在詞水平上的情感注釋之間的差異。

為了在詞和文檔兩個(gè)層次上學(xué)習(xí)情感感知的詞表示，采用加權(quán)組合的方法來集成兩個(gè)層次的代價(jià)函數(shù)。

（3） 情感詞典構(gòu)建

利用人工標(biāo)注的125個(gè)正種子詞和109個(gè)負(fù)種子詞的嵌入作為訓(xùn)練數(shù)據(jù)。最后，利用variant-KNN classifier對(duì)種子詞進(jìn)行擴(kuò)展。

《Automatic construction of domain-specific sentiment lexicon based on constrained label propagation》

除了文檔級(jí)情感分析中存在的否定、過渡、比較度等復(fù)雜語言現(xiàn)象外，特定領(lǐng)域的情感詞極性也有很大區(qū)別，如：

電影，金融和食品所有的推文都在每條推文中使用“l(fā)ong”一詞。然而，“l(fā)ong”有完全不同的含義。在電影里“l(fā)ong”代表電影長度，意味著這部電影很無聊；在金融領(lǐng)域，投資者總是用“l(fā)ong”字來形容代表買入倉位。在食品領(lǐng)域，“l(fā)ong”字只是用來形容某物的形狀是長的。

本文提出了一種基于約束標(biāo)簽傳播的領(lǐng)域情感詞典自動(dòng)構(gòu)建策略。利用句法和先驗(yàn)泛型詞典提取候選情感詞，通過WordNet、句法規(guī)則和SOC-PMI三種不同的策略確定了整個(gè)未標(biāo)注語料庫中兩個(gè)詞的語義相似度。把詞看作節(jié)點(diǎn)，相似性作為加權(quán)邊來構(gòu)造構(gòu)詞圖。基于圖的半監(jiān)督標(biāo)簽傳播方法，將提取到的情感詞之間成對(duì)的上下文約束，作為先驗(yàn)知識(shí)用于標(biāo)簽傳播過程中。應(yīng)用約束傳播將局部約束的效果傳播到整個(gè)候選情感詞集合中，最后傳播的約束被合并到標(biāo)簽傳播中，將極性分配給未標(biāo)記詞。

詞圖可以通過不同的方式從語料庫、WordNet、web文檔等多種資源中構(gòu)建，構(gòu)建詞圖的核心思想是確定每個(gè)詞之間的相似性，作為詞圖的加權(quán)邊。論文結(jié)合了WordNet、句法規(guī)則和SOC-PMI三種不同的策略，通過聚合多個(gè)資源的發(fā)現(xiàn)情感詞之間的互補(bǔ)關(guān)系。

其中SOC-PMI（情感傾向點(diǎn)互信息算法）基于語料庫計(jì)算兩個(gè)目標(biāo)詞的情感傾向相似度。利用點(diǎn)互信息（PMI）對(duì)兩個(gè)目標(biāo)詞的重要鄰居詞進(jìn)行排序，并將其PMI值聚合。這樣盡管兩個(gè)目標(biāo)詞從未同時(shí)出現(xiàn)，SOC-PMI仍然可以通過它們共同的鄰居來計(jì)算情感傾向相似度。

構(gòu)建了詞圖之后，基于圖的半監(jiān)督傳播方法在similarity matrix 上，將極性從種子詞傳播到未標(biāo)記詞。

第一次迭代，只有與種子詞連接的節(jié)點(diǎn)才能獲得標(biāo)簽值。與種子詞越相似，得到的標(biāo)簽值就越多。第二步，將標(biāo)記數(shù)據(jù)的類矩陣固定到初始狀態(tài)。從標(biāo)記數(shù)據(jù)到未標(biāo)記數(shù)據(jù)的迭代收斂，未標(biāo)記數(shù)據(jù)在迭代過程中逐漸獲得標(biāo)記值。

除了基于單純詞共現(xiàn)或者h(yuǎn)ownet，利用Topic Model發(fā)現(xiàn)相似情感詞之間的語義關(guān)系也是一種途徑。尤其在aspect sentiment這類語料中，同一類aspect的情感詞分布相似，能夠抓住aspect或者category的情感詞分布，會(huì)使得情感詞領(lǐng)域性更強(qiáng)，且能得到不同主題下的情感詞的極性。

STCS的做法與上述方法有相似之處，在相似度特征方面，將基于共現(xiàn)的SOC-PMI換為情感關(guān)系圖增加路徑相似度，使得情感詞的上下文特征更全面。而最終情感詞的極性通過在情感關(guān)系圖上對(duì)情感詞進(jìn)行譜聚類，得到主題特定的情感詞匯。

TaSL則是直接利用LDA模型，獲取主題信息，亮點(diǎn)在于，文檔由多對(duì)主題和情感表示，每對(duì)主題和情感的是單詞多項(xiàng)式分布。由于LDA模型一定會(huì)考慮到“主題和情感對(duì)” 與 詞的分布，“主題和情感對(duì)” 與 文檔的分布，因此也算繼承了HSSWE的思想，使得TaSL可以充分捕捉不同主題中每個(gè)單詞的情感極性，并能處理復(fù)雜的語言現(xiàn)象。

通過實(shí)驗(yàn)結(jié)果可以看出，基于主題和情感關(guān)系圖構(gòu)建情感詞典用于下游情感分類任務(wù)，比Representation Learning（HSSWE）的表現(xiàn)更好。

總結(jié)

不難看出，不論是文檔句子級(jí)別的情感分析，還是aspect級(jí)別情感分析，上述研究的重點(diǎn)都在于，如何發(fā)現(xiàn)真正的情感上下文以及aspect與情感詞之間的語義關(guān)系，這一點(diǎn)在領(lǐng)域數(shù)據(jù)的情感分析任務(wù)上更加明顯。

基于LDA的方法雖然能夠發(fā)現(xiàn)aspect-sentiment之間的復(fù)雜關(guān)系，但這建立在一個(gè)好的分詞或者實(shí)體識(shí)別模型基礎(chǔ)上。

后續(xù)筆者還會(huì)繼續(xù)關(guān)注一些其他策略的情感分析模型，如遷移學(xué)習(xí)，mixup train，半監(jiān)督等。

原文標(biāo)題：從基于Aspect、Target等方向全面解讀醫(yī)療領(lǐng)域上的情感分析

文章出處：【微信公眾號(hào)：深度學(xué)習(xí)自然語言處理】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq