知識圖譜自動化構(gòu)建的探索與挑戰(zhàn)

知識圖譜自動化構(gòu)建的探索與挑戰(zhàn)｜論文分享

達觀數(shù)據(jù)

知識圖譜的自動化構(gòu)建是知識圖譜中具有極強挑戰(zhàn)性且巨大應(yīng)用價值的技術(shù)方向。就實體抽取技術(shù)，達觀數(shù)據(jù)副總裁、上海市人工智能技術(shù)標準委員會委員王文廣提到“狹義的實體抽取，即命名實體識別（NER）技術(shù)發(fā)展至今已較為成熟，能夠很好地抽取出人名、地名、機構(gòu)名等少數(shù)類型的實體。但在知識圖譜實際應(yīng)用中，則需要抽取出各式各樣各不相同的廣義實體，比如金融業(yè)中的產(chǎn)品名稱、品牌名、業(yè)務(wù)名、風險提示、觀點等，制造業(yè)中的失效模式、失效現(xiàn)象、工藝、設(shè)備、零部件、物料、方法、故障原因、改善措施等，商業(yè)中的產(chǎn)品、功能、特點、適合人群、搭配方法等等。抽取出這些廣義實體的挑戰(zhàn)巨大。”關(guān)系抽取技術(shù)也同樣問題多挑戰(zhàn)大，已有關(guān)系抽取大多基于實體對之間共現(xiàn)，而現(xiàn)實復(fù)雜的場景中，實體對共現(xiàn)既可能不存在任何關(guān)系，可能存在萬千種的關(guān)系，這就造成了關(guān)系抽取的難題。此外，在知識圖譜構(gòu)建中，還涉及實體消歧、實體融合等方面的技術(shù)要求。

除了技術(shù)發(fā)展本身并不成熟之外，在實際場景中還遇到樣本少的問題。在真實落地的項目或產(chǎn)品中， 往往存在標注樣本少的問題，其原因即可能是標注成本高導(dǎo)致樣本少，也可能是本身樣本就少，無法獲得大規(guī)模的標注樣本。這方面王文廣深有體會，他提到“在很多場景下，總的文檔數(shù)量有幾千或幾萬份，對于具體某些類型的實體或關(guān)系來說則文檔數(shù)量更少。在這種情況下要做好知識圖譜的構(gòu)建，是極大的挑戰(zhàn)，也是在實際落地中必須綜合使用十八般武器，逢山開路遇水搭橋，使用最新的技術(shù)結(jié)合業(yè)務(wù)經(jīng)驗、專家規(guī)則等來解決這些問題?！?/p>

為了促進知識圖譜自動化構(gòu)建技術(shù)的進一步發(fā)展，達觀數(shù)據(jù)在CCKS2020（2020全國知識圖譜與語義計算大會）組織了金融研報知識圖譜的自動化構(gòu)建的算法競賽。競賽選擇了樣本豐富但復(fù)雜度較高的金融研報文檔作為知識的來源，根據(jù)金融投研領(lǐng)域常見的需求，設(shè)計了簡化版的知識圖譜模式，并標注了大規(guī)模的金融研報知識圖譜數(shù)據(jù)集FR2KG。競賽任務(wù)從預(yù)定義的知識圖譜模式和少量的種子知識圖譜開始，從非結(jié)構(gòu)化的金融研報文本中抽取出符合知識圖譜模式的實體、關(guān)系和屬性值， 并進行適當?shù)膶嶓w消歧和實體融合，構(gòu)建出知識圖譜，并使用FR2KG來評估競賽參賽隊伍所提交的結(jié)果。

金融研報是各類金融研究結(jié)構(gòu)對宏觀經(jīng)濟、金融、行業(yè)、產(chǎn)業(yè)鏈以及公司的研究報告，是金融行業(yè)中最為復(fù)雜、多樣的文檔。報告通常是專業(yè)人員撰寫，對宏觀、行業(yè)和公司的數(shù)據(jù)信息搜集全面、研究深入，質(zhì)量高，內(nèi)容可靠。報告內(nèi)容往往包含產(chǎn)業(yè)、經(jīng)濟、金融、政策、社會等多領(lǐng)域的數(shù)據(jù)與知識，是構(gòu)建行業(yè)知識圖譜非常關(guān)鍵的數(shù)據(jù)來源。另一方面，由于研報本身所容納的數(shù)據(jù)與知識涉及面廣泛，專業(yè)知識眾多，不同的研究結(jié)構(gòu)和專業(yè)認識對相同的內(nèi)容的表達方式也會略有差異。這些特點導(dǎo)致了從研報自動化構(gòu)建知識圖譜困難重重，解決這些問題則能夠極大促進自動化構(gòu)建知識圖譜方面的技術(shù)進步。同時所構(gòu)建的圖譜在大金融行業(yè)、監(jiān)管部門、政府、行業(yè)研究機構(gòu)和行業(yè)公司等應(yīng)用非常廣泛，如風險監(jiān)測、智能投研、智能監(jiān)管、智能風控等，具有巨大的學(xué)術(shù)價值和產(chǎn)業(yè)價值。

數(shù)據(jù)集

達觀數(shù)據(jù)所構(gòu)建的大規(guī)模金融研報知識圖譜數(shù)據(jù)集FR2KG是用于評測知識圖譜自動化構(gòu)建技術(shù)的專業(yè)數(shù)據(jù)集，是當前最大規(guī)模的中文金融研報知識圖譜。下圖是數(shù)據(jù)集構(gòu)建過程示意圖

FR2KG的知識圖譜模式包含10個實體類型，19個關(guān)系類型和6種屬性，如下圖所示。

構(gòu)建好的金融研報知識圖譜數(shù)據(jù)集FR2KG包含17,799實體，26,798關(guān)系三元組，1,328屬性三元組，SeedKG和EvaluationKG的數(shù)據(jù)情況如下圖所示。

下圖是數(shù)據(jù)集的樣例，使用達觀數(shù)據(jù)淵海知識圖譜平臺可視化：

目前數(shù)據(jù)集已經(jīng)發(fā)布在SCIDB和OpenKG上，歡迎大家前往下載。在使用數(shù)據(jù)集進行研究時請引用本論文。

文章：Data Set and Evaluation of Automated Construction of Financial Knowledge Graph

作者：王文廣，徐永林、杜春輝、陳運文、王逸捷、文輝

引用: Wang, W.G., et al.: Data set and evaluation of automated construction of financial knowledge graph. Data Intelligence 3(3), 418-443 (2021). doi: 10.1162/dint_a_00108

競賽技術(shù)回顧

本次評測一共有740個隊伍報名，其中F1分數(shù)最高的18支隊伍中，有3支隊伍來自企業(yè)，10支隊伍來自高校，3支隊伍高校和企業(yè)的組合，另外2支隊伍未透露相關(guān)信息。本次評測的top5隊伍都梳理并提交了他們所使用的方法的簡要說明，下文對這些方法和說明進行分析總結(jié)。

所有隊伍都使用了規(guī)則或者labelling function來生產(chǎn)訓(xùn)練樣本，只有一個隊伍在自動生成樣本之外，又額外人工標注了20份的研報來作為補充和驗證的訓(xùn)練樣本。

所有隊伍在實體抽取中都使用了基于BERT的模型，并且在模型之外也都使用了基于規(guī)則的方法來對特定的實體類型進行補充。

在關(guān)系和屬性抽取方面，所有的隊伍都使用了基于共現(xiàn)的方法，共現(xiàn)是遠程監(jiān)督的基本假設(shè)，也就是說，當兩個實體共同出現(xiàn)在一個較短的一段文本時，即可假設(shè)它們存在符合相應(yīng)的關(guān)系。在基于共現(xiàn)的假設(shè)之上，三支隊伍使用了規(guī)則來判斷是否真正存在這種關(guān)系，另外兩只隊伍使用了基于BERT的模型來對關(guān)系進行分類。

其中一支隊伍使用了聚類的方法來將相似或相同主題的研報給聚在一起，對研報進行了預(yù)處理。

知識圖譜自動化構(gòu)建的挑戰(zhàn)

從本次基于知識圖譜模式的自動化構(gòu)建知識圖譜評測的結(jié)果來看，單純使用算法來構(gòu)建完全自動化地構(gòu)建知識圖譜，尚存在較多挑戰(zhàn)，這里總結(jié)了一些具有相當挑戰(zhàn)性的課題和研究方向：

在給定知識圖譜模式和種子知識圖譜來自動化的構(gòu)建知識圖譜上，現(xiàn)有的方法效果都不太好，如何實現(xiàn)端到端或者多步的框架實現(xiàn)知識圖譜的完全自動化構(gòu)建是值得繼續(xù)探索的。

通過知識圖譜及其對應(yīng)的Schema如何實現(xiàn)自動化標注語料是一個值得研究的課題，能夠?qū)崿F(xiàn)高精度的自動化標注語料可以帶來更好的抽取模型。此外，自動化標注語料方面的評測也是一件非常有意義的事情。

實體抽取方面，評測的優(yōu)秀選手都使用了基于BERT的模型，再加上基于規(guī)則的方法來實現(xiàn)，在這種真實的場景且計算力資源受限的情況下，如何在少量語料的情況下實現(xiàn)高精度的抽取。

關(guān)系和屬性抽取與識別上，目前集中在采用短文本內(nèi)共現(xiàn)并過濾的方法來實現(xiàn)，這極大的依賴于實體抽取的F1分數(shù)，高precision和高recall的實體抽取決定了關(guān)系和屬性抽取有好的效果。那么如何在噪聲較多，即不那么高的情況下來實現(xiàn)好的關(guān)系和屬性抽??？

本次評測沒有看到使用端到端的實現(xiàn)實體和關(guān)系聯(lián)合抽取的模型，可能的原因是實體和關(guān)系類型較多且沒有大量的語料，那么在這種情況下如何開發(fā)出端到端的模型也是非常具有挑戰(zhàn)性的課題。

當Schema的規(guī)模進一步擴大時，比如50種實體類型，數(shù)百種的實體屬性和實體間的關(guān)系，對這樣的知識圖譜研究其自動化構(gòu)建是一個兼具挑戰(zhàn)性與現(xiàn)實意義的課題。

多語言的知識圖譜自動化構(gòu)建技術(shù)的研究。本次評測集中在中文，以及中文中存在的少量英文的情況，特別的，沒有涉及到多語言之間實體融合的情況。但在真實場景下，多語言語料以及構(gòu)建多語言圖譜是非常重要的。這涉及了多方面的內(nèi)容，包括多語言的實體、關(guān)系和屬性的抽取，多語言之間實體的融合等等方面技術(shù)的研究。同時，組織多語言知識圖譜自動化構(gòu)建方面的評測也是非常有意義的事情。

本次評測中隱含著少量實體的消歧與融合，這塊沒有顯性的進行評測，未來可以將這塊明確的表達出來，以促進相關(guān)領(lǐng)域的研究。