詳細解讀知識圖譜的這一人工智能技術(shù)分支的概念、技術(shù)、應(yīng)用、與發(fā)展趨勢

知識圖譜（Knowledge Graph）是人工智能的重要分支技術(shù)，它在2012年由谷歌提出，成為建立大規(guī)模知識的殺手锏應(yīng)用，在搜索、自然語言處理、智能助手、電子商務(wù)等領(lǐng)域發(fā)揮著重要作用。知識圖譜與大數(shù)據(jù)、深度學(xué)習(xí)，這三大“秘密武器”已經(jīng)成為推動互聯(lián)網(wǎng)和人工智能發(fā)展的核心驅(qū)動力之一。

本期我們推薦來自清華大學(xué)人工智能研究院、北京智源人工智能研究院、清華-工程院知識智能聯(lián)合研究中心聯(lián)合推出的人工智能知識圖譜報告，詳細解讀了知識圖譜的這一人工智能技術(shù)分支的概念、技術(shù)、應(yīng)用、與發(fā)展趨勢。

知識圖譜的概念與分類

知識圖譜（Knowledge Graph）于2012年由谷歌提出并成功應(yīng)用于搜索引擎當(dāng)中。它以結(jié)構(gòu)化的形式描述客觀世界中概念、實體及其之間的關(guān)系，將互聯(lián)網(wǎng)的信息表達成更接近人類認知世界的形式，提供了一種更好地組織、管理和理解互聯(lián)網(wǎng)海量信息的能力。

知識圖譜的分類方式很多，例如可以通過知識種類、構(gòu)建方法等劃分。從領(lǐng)域上來說，知識圖譜通常分為兩種：通用知識圖譜、特定領(lǐng)域知識圖譜。

▲知識圖譜示意圖

常見的知識圖譜示意圖主要包含有三種節(jié)點：實體、概念、屬性。

實體指的是具有可區(qū)別性且獨立存在的某種事物。如某一個人、某一座城市、某一種植物、某一件商品等等。世界萬物由具體事物組成，此指實體。實體是知識圖譜中的最基本元素，不同的實體間存在不同的關(guān)系。

概念指的是具有同種特性的實體構(gòu)成的集合，如國家、民族、書籍、電腦等。

屬性則用于區(qū)分概念的特征，不同概念具有不同的屬性。不同的屬性值類型對應(yīng)于不同類型屬性的邊。如果屬性值對應(yīng)的是概念或?qū)嶓w，則屬性描述兩個實體之間的關(guān)系，稱為對象屬性；如果屬性值是具體的數(shù)值，則稱為數(shù)據(jù)屬性。

知識圖譜的三大典型應(yīng)用

現(xiàn)在以商業(yè)搜索引擎公司為首的互聯(lián)網(wǎng)巨頭已經(jīng)意識到知識圖譜的戰(zhàn)略意義，紛紛投入重兵布局知識圖譜，并對搜索引擎形態(tài)日益產(chǎn)生重要的影響。如何根據(jù)業(yè)務(wù)需求設(shè)計實現(xiàn)知識圖譜應(yīng)用，并基于數(shù)據(jù)特點進行優(yōu)化調(diào)整，是知識圖譜應(yīng)用的關(guān)鍵研究內(nèi)容。

知識圖譜的典型應(yīng)用包括語義搜索、智能問答以及可視化決策支持三種。

1、語義搜索

當(dāng)前基于關(guān)鍵詞的搜索技術(shù)在知識圖譜的知識支持下可以上升到基于實體和關(guān)系的檢索，稱之為語義搜索。

語義搜索可以利用知識圖譜可以準確地捕捉用戶搜索意圖，進而基于知識圖譜中的知識解決傳統(tǒng)搜索中遇到的關(guān)鍵字語義多樣性及語義消歧的難題，通過實體鏈接實現(xiàn)知識與文檔的混合檢索。

語義檢索需要考慮如何解決自然語言輸入帶來的表達多樣性問題，同時需要解決語言中實體的歧義性問題。同時借助于知識圖譜，語義檢索需要直接給出滿足用戶搜索意圖的答案，而不是包含關(guān)鍵詞的相關(guān)網(wǎng)頁的鏈接。

2、智能問答

問答系統(tǒng)（Question Answering，QA）是信息服務(wù)的一種高級形式，能夠讓計算機自動回答用戶所提出的問題。不同于現(xiàn)有的搜索引擎，問答系統(tǒng)返回用戶的不再是基于關(guān)鍵詞匹配的相關(guān)文檔排序，而是精準的自然語言形式的答案。

智能問答系統(tǒng)被看作是未來信息服務(wù)的顛覆性技術(shù)之一，亦被認為是機器具備語言理解能力的主要驗證手段之一。

智能問答需要針對用戶輸入的自然語言進行理解，從知識圖譜中或目標數(shù)據(jù)中給出用戶問題的答案，其關(guān)鍵技術(shù)及難點包括準確的語義解析、正確理解用戶的真實意圖、以及對返回答案的評分評定以確定優(yōu)先級順序。

3、可視化決策支持

可視化決策支持是指通過提供統(tǒng)一的圖形接口，結(jié)合可視化、推理、檢索等，為用戶提供信息獲取的入口。例如，決策支持可以通過圖譜可視化技術(shù)對創(chuàng)投圖譜中的初創(chuàng)公司發(fā)展情況、投資機構(gòu)投資偏好等信息進行解讀，通過節(jié)點探索、路徑發(fā)現(xiàn)、關(guān)聯(lián)探尋等可視化分析技術(shù)展示公司的全方位信息。

可視化決策支持需要考慮的關(guān)鍵問題包括通過可視化方式輔助用戶快速發(fā)現(xiàn)業(yè)務(wù)模式、提升可視化組件的交互友好程度、以及大規(guī)模圖環(huán)境下底層算法的效率等。

通用知識圖譜與特定領(lǐng)域知識圖譜

1、通用知識圖譜

通用知識圖譜可以形象地看成一個面向通用領(lǐng)域的“結(jié)構(gòu)化的百科知識庫”，其中包含了大量的現(xiàn)實世界中的常識性知識，覆蓋面極廣。由于現(xiàn)實世界的知識豐富多樣且極其龐雜，通用知識圖譜主要強調(diào)知識的廣度，通常運用百科數(shù)據(jù)進行自底向上（Top-Down）的方法進行構(gòu)建，下圖展示的即是常識知識庫型知識圖譜。

國外的DBpedia使用固定的模式從維基百科中抽取信息實體，當(dāng)前擁有127種語言的超過兩千八百萬實體以及數(shù)億RDF三元組；YAGO則整合維基百科與WordNet的大規(guī)模本體，擁有10種語言約459萬個實體，2400萬個事實。

國內(nèi)的Zhishi.me從開放的百科數(shù)據(jù)中抽取結(jié)構(gòu)化數(shù)據(jù)，當(dāng)前已融合了包括百度百科、互動百科、中文維基三大百科的數(shù)據(jù)，擁有1000萬個實體數(shù)據(jù)、一億兩千萬個RDF三元組。

2、領(lǐng)域知識圖譜應(yīng)用

領(lǐng)域知識圖譜常常用來輔助各種復(fù)雜的分析應(yīng)用或決策支持，在多個領(lǐng)域均有應(yīng)用，不同領(lǐng)域的構(gòu)建方案與應(yīng)用形式則有所不同。

以電商為例，電商知識圖譜以商品為核心，以人、貨、場為主要框架。目前共涉及9大類一級本體和27大類二級本體。

一級本體分別為:人、貨、場、百科知識、行業(yè)競對、品質(zhì)、類目、資質(zhì)和輿情。人、貨、場構(gòu)成了商品信息流通的閉環(huán)，其他本體主要給予商品更豐富的信息描述。

上圖描述了商品知識圖譜的數(shù)據(jù)模型，數(shù)據(jù)來源包含國內(nèi)-國外數(shù)據(jù)，商業(yè)-國家數(shù)據(jù)，線上-線下等多源數(shù)據(jù)。目前有百億級的節(jié)點和百億級的關(guān)系邊。

電商知識圖譜，這個商品“大腦”的一個應(yīng)用場景就是導(dǎo)購。而所謂導(dǎo)購，就是讓消費者更容易找到他想要的東西，比如說買家輸入“我需要一件漂亮的真絲絲巾”，“商品大腦”會通過語法詞法分析來提取語義要點“一”、“漂亮”、“真絲”、“絲巾”這些關(guān)鍵詞，從而幫買家搜索到合適的商品。

在導(dǎo)購中為讓發(fā)現(xiàn)更簡單，“商品大腦”還學(xué)習(xí)了大量的行業(yè)規(guī)范與國家標準，比如說全棉、低糖、低嘌呤等。

此外，它還有與時俱進的優(yōu)點?！吧唐反竽X”可以從公共媒體、專業(yè)社區(qū)的信息中識別出近期熱詞，跟蹤熱點詞的變化，由運營確認是否成為熱點詞，這也是為什么買家在輸入斬男色、禁忌之吻、流蘇風(fēng)等熱詞后，出現(xiàn)了自己想要的商品。

最后，智能的“商品大腦”還能通過實時學(xué)習(xí)構(gòu)建出場景。比如輸入“海邊玩買什么”，結(jié)果就會出現(xiàn)泳衣、游泳圈、防曬霜、沙灘裙等商品。

知識工程的五個發(fā)展階段

知識圖譜技術(shù)屬于知識工程的一部分。1994年，圖靈獎獲得者、知識工程的建立者費根鮑姆給出了知識工程定義——將知識集成到計算機系統(tǒng)，從而完成只有特定領(lǐng)域?qū)＜也拍芡瓿傻膹?fù)雜任務(wù)。

回顧知識工程這四十多年來的發(fā)展歷程，我們可以將知識工程分成五個標志性的階段：前知識工程時期、專家系統(tǒng)時期、萬維網(wǎng)1.0時期、群體智能時期、以及知識圖譜時期，如下圖所示。

1）1950-1970時期：圖靈測試—知識工程誕生前期

這一階段主要有兩個方法：符號主義和連結(jié)主義。符號主義認為物理符號系統(tǒng)是智能行為的充要條件，連結(jié)主義則認為大腦（神經(jīng)元及其連接機制）是一切智能活動的基礎(chǔ)。

這一時期的知識表示方法主要有邏輯知識表示、產(chǎn)生式規(guī)則、語義網(wǎng)絡(luò)等。

2）1970-1990時期：專家系統(tǒng)—知識工程蓬勃發(fā)展期

由于通用問題求解強調(diào)利用人的求解問題的能力建立智能系統(tǒng)，但是忽略了知識對智能的支持，使人工智能難以在實際應(yīng)用中發(fā)揮作用。從70年開始，人工智能開始轉(zhuǎn)向建立基于知識的系統(tǒng)，通過“知識庫+推理機”實現(xiàn)機器智能。

這一時期知識表示方法有新的演進，包括框架和腳本等80年代后期出現(xiàn)了很多專家系統(tǒng)的開發(fā)平臺，可以幫助將專家的領(lǐng)域知識轉(zhuǎn)變成計算機可以處理的知識。

3）1990-2000時期：萬維網(wǎng)1.0

在1990年到2000年期間，出現(xiàn)了很多人工構(gòu)建大規(guī)模知識庫，包括廣泛應(yīng)用的英文WordNet，采用一階謂詞邏輯知識表示的Cyc常識知識庫，以及中文的HowNet。

Web 1.0萬維網(wǎng)的產(chǎn)生為人們提供了一個開放平臺，使用HTML定義文本的內(nèi)容，通過超鏈接把文本連接起來，使得大眾可以共享信息。W3C提出的可擴展標記語言XML，實現(xiàn)對互聯(lián)網(wǎng)文檔內(nèi)容的結(jié)構(gòu)通過定義標簽進行標記，為互聯(lián)網(wǎng)環(huán)境下大規(guī)模知識表示和共享奠定了基礎(chǔ)。

4）2000-2006時期：群體智能

萬維網(wǎng)的出現(xiàn)使得知識從封閉知識走向開放知識，從集中構(gòu)建知識成為分布群體智能知識。原來專家系統(tǒng)是系統(tǒng)內(nèi)部定義的知識，現(xiàn)在可以實現(xiàn)知識源之間相互鏈接，可以通過關(guān)聯(lián)來產(chǎn)生更多的知識而非完全由固定人生產(chǎn)。

這個過程中出現(xiàn)了群體智能，最典型的代表就是維基百科，實際上是用戶去建立知識，體現(xiàn)了互聯(lián)網(wǎng)大眾用戶對知識的貢獻，成為今天大規(guī)模結(jié)構(gòu)化知識圖譜的重要基礎(chǔ)。

5）2006年至今：知識圖譜—知識工程新發(fā)展時期

“知識就是力量”，將萬維網(wǎng)內(nèi)容轉(zhuǎn)化為能夠為智能應(yīng)用提供動力的機器可理解和計算的知識是這一時期的目標。從2006年開始，大規(guī)模維基百科類富結(jié)構(gòu)知識資源的出現(xiàn)和網(wǎng)絡(luò)規(guī)模信息提取方法的進步，使得大規(guī)模知識獲取方法取得了巨大進展。

當(dāng)前自動構(gòu)建的知識庫已成為語義搜索、大數(shù)據(jù)分析、智能推薦和數(shù)據(jù)集成的強大資產(chǎn)，在大型行業(yè)和領(lǐng)域中正在得到廣泛使用。典型的例子是谷歌收購Freebase后在2012年推出的知識圖譜（Knowledge Graph），F(xiàn)acebook的圖譜搜索，Microsoft Satori以及商業(yè)、金融、生命科學(xué)等領(lǐng)域特定的知識庫。

上表中展示的是知識圖譜領(lǐng)域10個相關(guān)重要國際學(xué)術(shù)會議，這些會議為知識圖譜領(lǐng)域的研究方向、技術(shù)趨勢與學(xué)者研究成果提供重要信息。

把知識變成圖譜一共需要花幾步？

知識圖譜技術(shù)是知識圖譜建立和應(yīng)用的技術(shù)，參考中國中文信息學(xué)會語言與知識計算專委會發(fā)布的《知識圖譜發(fā)展報告2018年版》，本報告將知識圖譜技術(shù)分為知識表示與建模、知識獲取、知識融合、知識圖譜查詢和推理計算、知識應(yīng)用技術(shù)。

1、知識表示與建模

知識表示將現(xiàn)實世界中的各類知識表達成計算機可存儲和計算的結(jié)構(gòu)。機器必須要掌握大量的知識，特別是常識知識才能實現(xiàn)真正類人的智能。

目前，隨著自然語言處理領(lǐng)域詞向量等嵌入（Embedding）技術(shù)手段的出現(xiàn)，采用連續(xù)向量方式來表示知識的研究（TransE翻譯模型、SME、SLM、NTN、MLP，以及NAM神經(jīng)網(wǎng)絡(luò)模型等）正在逐漸取代與上述以符號邏輯為基礎(chǔ)知識表示方法相融合，成為現(xiàn)階段知識表示的研究熱點。更為重要的是，知識圖譜嵌入也通常作為一種類型的先驗知識輔助輸入到很多深度神經(jīng)網(wǎng)絡(luò)模型中，用來約束和監(jiān)督神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程，如下圖所示。

相比于傳統(tǒng)人工智能，知識圖譜時代基于向量的知識表示方法不僅能夠以三元組為基礎(chǔ)的較為簡單實用的知識表示方法滿足規(guī)模化擴展的要求，還能夠作為大數(shù)據(jù)分析系統(tǒng)的重要數(shù)據(jù)基礎(chǔ)，幫助這些數(shù)據(jù)更加易于與深度學(xué)習(xí)模型集成。

同時，隨著以深度學(xué)習(xí)為代表的表示學(xué)習(xí)的發(fā)展，面向知識圖譜中實體和關(guān)系的表示學(xué)習(xí)也取得了重要的進展。知識表示學(xué)習(xí)將實體和關(guān)系表示為稠密的低維向量實現(xiàn)了對實體和關(guān)系的分布式表示，已經(jīng)成為知識圖譜語義鏈接預(yù)測和知識補全的重要方法。

知識表示學(xué)習(xí)是近年來的研究熱點，研究者提出了多種模型，學(xué)習(xí)知識庫中的實體和關(guān)系的表示。不過其中關(guān)系路徑建模工作較為初步，在關(guān)系路徑的可靠性計算、語義組合操作等方面還有很多細致的考察工作需要完成。

2、知識獲取

知識獲取包括了實體識別與鏈接、實體關(guān)系學(xué)習(xí)、以及事件知識學(xué)習(xí)。

1）實體識別與鏈接是知識圖譜構(gòu)建、知識補全與知識應(yīng)用的核心技術(shù)，也是海量文本分析的核心技術(shù)，為計算機類人推理和自然語言理解提供知識基礎(chǔ)。

實體識別是文本理解意義的基礎(chǔ)，也就是識別文本中指定類別實體的過程，可以檢測文本中的新實體，并將其加入到現(xiàn)有知識庫中。

2）實體關(guān)系識別是知識圖譜自動構(gòu)建和自然語言理解的基礎(chǔ)。實體關(guān)系定義為兩個或多個實體間的某種聯(lián)系，用于描述客觀存在的事物之間的關(guān)聯(lián)關(guān)系。實體關(guān)系學(xué)習(xí)就是自動從文本中檢測和識別出實體之間具有的某種語義關(guān)系，也稱為關(guān)系抽取。

實體關(guān)系抽取分為預(yù)定義關(guān)系抽取和開放關(guān)系抽取。預(yù)定義關(guān)系抽取是指系統(tǒng)所抽取的關(guān)系是預(yù)先定義好的，如上下位關(guān)系、國家—首都關(guān)系等。開放式關(guān)系抽取不預(yù)先定義抽取的關(guān)系類別，由系統(tǒng)自動從文本中發(fā)現(xiàn)并抽取關(guān)系。

3）事件知識學(xué)習(xí)，就是將非結(jié)構(gòu)化文本中自然語言所表達的事件以結(jié)構(gòu)化的形式呈現(xiàn)，對于知識表示、理解、計算和應(yīng)用意義重大。

事件是促使事物狀態(tài)和關(guān)系改變的條件，是動態(tài)的、結(jié)構(gòu)化的知識。目前已存在的知識資源（如谷歌知識圖譜）所描述多是實體以及實體之間的關(guān)系，缺乏對事件知識的描述。

3、知識融合

知識圖譜可以由任何機構(gòu)和個人自由構(gòu)建，其背后的數(shù)據(jù)來源廣泛、質(zhì)量參差不齊，導(dǎo)致它們之間存在多樣性和異構(gòu)性。語義集成的提出就是為了能夠?qū)⒉煌闹R圖譜融合為一個統(tǒng)一、一致、簡潔的形式，為使用不同知識圖譜的應(yīng)用程序間的交互建立操作性。

常用的技術(shù)包括本體匹配（也稱為本體映射）、實力匹配（也稱為實體對齊、對象公指消解）以及知識融合等。

一個語義集成的常見流程，主要包括：輸入、預(yù)處理、匹配、知識融合和輸出5個環(huán)節(jié)，如上圖所示。

眾包和主動學(xué)習(xí)等人機協(xié)作方法是目前實例匹配的研究熱點。這些方法雇傭普通用戶，通過付出較小的人工代價來獲得豐富的先驗數(shù)據(jù)，從而提高匹配模型的性能。

隨著表示學(xué)習(xí)技術(shù)在諸如圖像、視頻、語言、自然語言處理等領(lǐng)域的成功，一些研究人員開始著手研究面向知識圖譜的表示學(xué)習(xí)技術(shù)，將實體、關(guān)系等轉(zhuǎn)換成一個低維空間中的實質(zhì)向量（即分布式語義表示），并在知識圖譜補全、知識庫問答等應(yīng)用中取得了不錯的效果。

與此同時，近年來強化學(xué)習(xí)也取得了一些列進展，如何在語義集成中運用強化學(xué)習(xí)逐漸成為新的動向。

4、知識圖譜查詢和推理計算

知識圖譜以圖（Graph）的方式來展現(xiàn)實體、事件及其之間的關(guān)系。知識圖譜存儲和查詢研究如何設(shè)計有效的存儲模式支持對大規(guī)模圖數(shù)據(jù)的有效管理，實現(xiàn)對知識圖譜中知識高效查詢。

知識推理則從給定的知識圖譜推導(dǎo)出新的實體跟實體之間的關(guān)系，在知識計算中具有重要作用，如知識分類、知識校驗、知識鏈接預(yù)測與知識補全等。

知識圖譜推理可以分為基于符號的推理和基于統(tǒng)計的推理。

在人工智能的研究中，基于符號的推理一般是基于經(jīng)典邏輯（一階謂詞邏輯或者命題邏輯）或者經(jīng)典邏輯的變異（比如說缺省邏輯）。基于符號的推理可以從一個已有的知識圖譜推理出新的實體間關(guān)系，可用于建立新知識或者對知識圖譜進行邏輯的沖突檢測。

基于統(tǒng)計的方法一般指關(guān)系機器學(xué)習(xí)方法，即通過統(tǒng)計規(guī)律從知識圖譜中學(xué)習(xí)到新的實體間關(guān)系。

發(fā)展趨勢與挑戰(zhàn)

整體而言，知識圖譜領(lǐng)域的發(fā)展將會持續(xù)呈現(xiàn)特色化、開放化、智能化的趨勢，為更好發(fā)揮現(xiàn)有知識圖譜知識表達、知識資源優(yōu)勢，需與其他技術(shù)（信息推薦、事理圖譜、機器學(xué)習(xí)、深度學(xué)習(xí)等）。

雖然當(dāng)下互聯(lián)網(wǎng)巨頭們已經(jīng)意識到知識圖譜的戰(zhàn)略意義，紛紛投入重兵布局知識圖譜，但是我們也強烈地感受到，知識圖譜還處于發(fā)展初期，大多數(shù)商業(yè)知識圖譜的應(yīng)用場景非常有限，例如搜狗、知立方更多聚焦在娛樂和健康等領(lǐng)域。

同時，根據(jù)各搜索引擎公司提供的報告來看，為了保證知識圖譜的準確率，仍然需要在知識圖譜構(gòu)建過程中采用較多的人工干預(yù)。

如何合理設(shè)計表示方案，更好地涵蓋人類復(fù)雜化、多樣化的知識？如何準確、高效地從互聯(lián)網(wǎng)大數(shù)據(jù)萃取知識？如何將存在大量噪聲和冗余的知識有機融合起來，建立更大規(guī)模的知識圖譜？如何有效實現(xiàn)知識圖譜的應(yīng)用，利用知識圖譜實現(xiàn)深度知識推理，提高大規(guī)模知識圖譜計算效率和應(yīng)用場景？

在未來的一段時間內(nèi)，知識圖譜將是大數(shù)據(jù)智能的前沿研究問題，這些重要的開放性問題亟待學(xué)術(shù)界和產(chǎn)業(yè)界協(xié)力解決。

下面兩圖是AMiner數(shù)據(jù)平臺繪制的知識圖譜領(lǐng)域近期與全局熱點詞匯。

由以上兩圖可知，知識庫、信息檢索、數(shù)據(jù)挖掘、知識表示、社會網(wǎng)絡(luò)等方向在知識圖譜領(lǐng)域的熱度長盛不衰。

除此之外，信息提取、查詢應(yīng)答、問題回答、機器學(xué)習(xí)、概率邏輯、實體消歧、實體識別、查詢處理、決策支持等方向的研究熱度在近年來逐漸上升，概念圖、搜索引擎、信息系統(tǒng)等方向的熱度逐漸消退。

在知識圖譜的驅(qū)動下，以智能客服、智能語音助手等為首的AI應(yīng)用正成為首批人工智能技術(shù)落地變現(xiàn)的先鋒部隊，知識圖譜也因此成為了各大人工智能與互聯(lián)網(wǎng)公司的兵家必爭之地，它與大數(shù)據(jù)、深度學(xué)習(xí)一起，成為推動互聯(lián)網(wǎng)和人工智能發(fā)展的核心驅(qū)動力之一。

不過正如報告中提到的，目前為了保證準確率，知識圖譜在構(gòu)建過程中仍然需要在采用較多的人工干預(yù)；同時，知識圖譜還處于發(fā)展初期，商業(yè)應(yīng)用場景有限，有待進一步開拓。