知識圖譜與圖神經(jīng)網(wǎng)絡(luò)模型相融合的方法及應(yīng)用

近幾年來，人工智能技術(shù)得到了飛速發(fā)展，其進展突出體現(xiàn)在以知識圖譜（Knowledge Graph）為代表的知識工程和以圖神經(jīng)網(wǎng)絡(luò)（Graph Neural NetWorks, GNN）為代表的深度學習等相關(guān)領(lǐng)域。融合知識圖譜與圖神經(jīng)網(wǎng)絡(luò)已然成為研究人員進一步完善知識圖譜學習與提升圖神經(jīng)網(wǎng)絡(luò)模型推理能力的重要技術(shù)思路。

知識圖譜是以圖的形式表現(xiàn)客觀世界中的實體及其之間關(guān)系的知識庫，實體可以是真實世界中的物體或抽象的概念，關(guān)系則表示了實體間的聯(lián)系。因此，知識圖譜能夠以結(jié)構(gòu)化的形式表示人類知識，通過知識表示和推理技術(shù)，可以給人工智能系統(tǒng)提供可處理的先驗知識，讓其具有與人類一樣的解決復雜任務(wù)的能力[1~3]。如何更好地構(gòu)建、表示、補全、應(yīng)用知識圖譜，已經(jīng)成為認知和人工智能領(lǐng)域重要的研究方向之一。

圖 神 經(jīng) 網(wǎng) 絡(luò) 的 概 念 最 早 于 2005 年 由 戈 里（Gori）等人[4] 提出，是一種專門用于處理圖結(jié)構(gòu)數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)模型。使用圖可以更準確和靈活地對現(xiàn)實應(yīng)用中的數(shù)據(jù)建模，如在電子商務(wù)領(lǐng)域中的用戶 – 產(chǎn)品交互圖、化學領(lǐng)域的分子圖、醫(yī)藥領(lǐng)域的藥物副作用圖等。因此，研究者們設(shè)計了多種圖神經(jīng)網(wǎng)絡(luò)模型，包括圖卷積網(wǎng)絡(luò)（Graph Convolu-tional Network，GCN）[5~7]、圖注意力網(wǎng)絡(luò)（Graph Attention Network，GAT）[8] 等。此外，由于異質(zhì)圖具有更靈活的建模和融合信息的能力[9]，研究者們還嘗試設(shè)計和應(yīng)用基于異質(zhì)圖的圖神經(jīng)網(wǎng)絡(luò)模型[10~12]。如何設(shè)計更合理的圖神經(jīng)網(wǎng)絡(luò)模型，使信息沿著圖結(jié)構(gòu)更合理地傳播，從而提升模型對圖結(jié)構(gòu)數(shù)據(jù)的擬合能力，是人工智能領(lǐng)域的一個熱點問題。

近年來，描述常識和事實的知識圖譜成為了學術(shù)界和工業(yè)界廣泛使用的知識表示方式，圖神經(jīng)網(wǎng)絡(luò)在信息傳播、關(guān)系歸納偏置上也展現(xiàn)了優(yōu)秀的性能[13]?？紤]到知識圖譜本身恰好就是一種圖結(jié)構(gòu)數(shù)據(jù)，因此采用圖構(gòu)建知識和數(shù)據(jù)之間的關(guān)聯(lián)，同時應(yīng)用圖神經(jīng)網(wǎng)絡(luò)技術(shù)，有望結(jié)合知識和數(shù)據(jù)實現(xiàn)更好的可解釋和可信人工智能技術(shù)。一方面，利用圖神經(jīng)網(wǎng)絡(luò)在學習節(jié)點、邊表示上的優(yōu)勢，可以更好地學習知識圖譜的實體、關(guān)系的嵌入表示，改善關(guān)系抽取等任務(wù)，幫助構(gòu)建知識圖譜，以及提高鏈接預測等任務(wù)，幫助補全知識圖譜 ；另一方面，利用圖神經(jīng)網(wǎng)絡(luò)在信息傳播和推理上的優(yōu)勢，可以更有效地在應(yīng)用任務(wù)中引入知識圖譜中的信息，從而改善如文本挖掘、推薦系統(tǒng)、計算機視覺等領(lǐng)域中的應(yīng)用效果，提供可解釋的模型。

本文將對知識圖譜與圖神經(jīng)網(wǎng)絡(luò)模型相融合的方法及應(yīng)用進行綜述。主要包括以下內(nèi)容：

1 基于圖神經(jīng)網(wǎng)絡(luò)的知識圖譜學習與計算

由于知識圖譜可以表征實體之間結(jié)構(gòu)化的關(guān)系，如今已經(jīng)成為認知和人工智能領(lǐng)域重要的研究方向。圖神經(jīng)網(wǎng)絡(luò)利用深度神經(jīng)網(wǎng)絡(luò)對圖數(shù)據(jù)中的拓撲結(jié)構(gòu)信息和屬性特征信息進行整合，進而提供更精細的節(jié)點或子結(jié)構(gòu)的特征表示，并能很方便地以解耦或端到端的方式與下游任務(wù)結(jié)合，巧妙地滿足了知識圖譜對學習實體、關(guān)系的屬性特征和結(jié)構(gòu)特征的要求。本節(jié)主要從知識圖譜中的5個典型任務(wù)介紹基于圖神經(jīng)網(wǎng)絡(luò)的知識圖譜學習方法。

知識圖譜表示學習

知識圖譜表示學習，即為知識圖譜中的實體和關(guān)系學習出一個低維度的向量表示，同時包含一些語義信息，從而得以在下游任務(wù)中更加方便地提取和利用知識圖譜中的信息，例如鏈接預測[10]、常識問答[1]等。通過應(yīng)用圖神經(jīng)網(wǎng)絡(luò)，在學習知識圖譜的表示時，每個實體都將利用到與其相關(guān)的其他實體中的信息，打破了彼此之間的孤立性，從而學得更完整更豐富的實體、關(guān)系表示。略

圖1 知識圖譜的表示學習方法

信息抽取

信息抽取是指從非結(jié)構(gòu)化、半結(jié)構(gòu)化文檔或句子中提取結(jié)構(gòu)化信息的技術(shù)，與知識圖譜的構(gòu)建有著密切的聯(lián)系，主要包括命名實體識別、實體消歧、關(guān)系抽取、指代消解等任務(wù)。近年來，已有許多研究將圖神經(jīng)網(wǎng)絡(luò)應(yīng)用于知識圖譜的關(guān)系抽取任務(wù)，而在其他任務(wù)上對圖神經(jīng)網(wǎng)絡(luò)的探索還較少。通過圖神經(jīng)網(wǎng)絡(luò)可以對句子內(nèi)或句間詞與詞的關(guān)聯(lián)關(guān)系進行有效建模，從而更準確地捕捉實體間的關(guān)系。略

圖2 基于圖神經(jīng)網(wǎng)絡(luò)的關(guān)系抽取

實體對齊

實體對齊是將從知識圖譜中學習到的描述同一目標的實體或概念進行合并，再將合并后的實體集與開放鏈接數(shù)據(jù)中抽取的實體進行合并，旨在融合多個知識圖譜形成一個更完整的知識圖譜。由于圖神經(jīng)網(wǎng)絡(luò)具有識別同構(gòu)子圖的能力[24]，而可對齊的實體對周圍通常有相似的鄰居，即具有一定的同構(gòu)特征，因此目前有許多研究者嘗試將圖神經(jīng)網(wǎng)絡(luò)用于實體對齊。略

圖3 基于圖神經(jīng)網(wǎng)絡(luò)的實體消歧方法GNED

鏈接預測

鏈接預測是用于預測知識圖譜中實體對之間所缺少關(guān)系的任務(wù)，具有廣泛的應(yīng)用范圍，旨在解決知識圖譜不完整的問題。鏈接預測與知識圖譜表示學習有著不可分割的聯(lián)系，一方面表示學習通常需要用鏈接預測評價優(yōu)劣[10, 15]，另一方面鏈接預測的模型通常也會學得實體和關(guān)系的表示。許多工作利用圖神經(jīng)網(wǎng)絡(luò)為實體引入鄰實體和對應(yīng)關(guān)系的信息，學得更全面的實體表示，從而更準確地預測實體之間的鏈接關(guān)系。略

知識推理

與鏈接預測相似，知識推理是從給定的知識圖譜中推導出實體與實體之間的新關(guān)系，但知識推理所獲得的關(guān)系通常需要在知識圖譜中進行多跳的推理過程。知識推理是一些下游任務(wù)的重要支撐之一，如知識庫問答[1~3]。由于圖神經(jīng)網(wǎng)絡(luò)在推理能力上的優(yōu)勢[13]，近年來被一些研究者嘗試用于知識推理任務(wù)。略

圖4 基于圖神經(jīng)網(wǎng)絡(luò)的知識推理

2基于圖神經(jīng)網(wǎng)絡(luò)的知識圖譜應(yīng)用

描述常識和事實的知識圖譜是學術(shù)界和工業(yè)界廣泛使用的知識表示方式，采用圖構(gòu)建知識和數(shù)據(jù)之間的關(guān)聯(lián)，是一種直接且有效的將知識和數(shù)據(jù)結(jié)合的方式。受益于圖神經(jīng)網(wǎng)絡(luò)技術(shù)在信息傳播和推理上的優(yōu)勢，知識圖譜中的先驗知識被有效地引入到應(yīng)用任務(wù)中。

文本挖掘

知識圖譜由自然語言構(gòu)建而來，因此與文本挖掘的聯(lián)系頗深。知識圖譜在大部分的文本挖掘任務(wù)中都有大量的應(yīng)用，其中應(yīng)用最廣泛的是知識庫問答任務(wù)。在文本分類、文本生成等任務(wù)中，知識圖譜也都扮演了非常重要的角色。略

圖5 融合知識圖譜的短文本分類方法HGAT

推薦系統(tǒng)

為了解決推薦系統(tǒng)中的稀疏性問題和冷啟動問題，一種可行的思路是將知識圖譜作為外部信息整合到推薦系統(tǒng)中，使推薦系統(tǒng)具有常識推理能力。研究者們基于圖神經(jīng)網(wǎng)絡(luò)強大的聚合信息以及推理能力，設(shè)計了基于圖神經(jīng)網(wǎng)絡(luò)和知識圖譜的推薦系統(tǒng)，有效地提升了推薦命中率。此外，圖神經(jīng)網(wǎng)絡(luò)的信息傳播與推理能力也為推薦結(jié)構(gòu)提供了一定的可解釋性。略

圖6 融合知識圖譜的推薦系統(tǒng)

計算機視覺

人類區(qū)別于現(xiàn)代計算機視覺算法的一個特征是獲得知識并使用該知識推理視覺世界的能力，從而可以通過很少的例子認知視覺世界[49]。研究者們考慮到圖神經(jīng)網(wǎng)絡(luò)在學習節(jié)點和邊的表示方面的優(yōu)勢，應(yīng)用了圖神經(jīng)網(wǎng)絡(luò)來學習利用圖像中的目標與知識圖譜之間的關(guān)聯(lián)關(guān)系。略

圖7 融合知識圖譜的圖像分類

3 總結(jié)與展望

結(jié)合知識圖譜和圖神經(jīng)網(wǎng)絡(luò)的相關(guān)研究已經(jīng)成為人工智能領(lǐng)域的一個熱點方向。知識圖譜可以為各類學習任務(wù)提供良好的先驗知識，圖神經(jīng)網(wǎng)絡(luò)則可以更好地支持圖數(shù)據(jù)的學習任務(wù)。但是，目前基于圖神經(jīng)網(wǎng)絡(luò)的知識圖譜學習、計算與應(yīng)用的研究都還相對較少，未來仍有巨大的發(fā)展空間，例如基于圖神經(jīng)網(wǎng)絡(luò)的知識圖譜自動構(gòu)建、基于異質(zhì)圖神經(jīng)網(wǎng)絡(luò)的知識融合、基于元路徑或圖神經(jīng)網(wǎng)絡(luò)的知識圖譜復雜推理、基于圖神經(jīng)網(wǎng)絡(luò)的可解釋性學習等。

自動構(gòu)建當前的知識圖譜高度依賴于人工構(gòu)建，構(gòu)建特定領(lǐng)域的知識圖譜又是企業(yè)應(yīng)用里不可或缺的現(xiàn)實需求。在學習建模實體的時間信息和實體動力學方面，已有一些基于傳統(tǒng)深度學習的工作，但通常無法將知識圖譜作為一個整體對其動態(tài)性進行建模。因而，利用最近的一些動態(tài)圖神經(jīng)網(wǎng)絡(luò)的方法例如圖時空網(wǎng)絡(luò)，同時建模并預測微觀層面上的實體以及宏觀層面上的圖譜的變化規(guī)律，是一個值得關(guān)注的方向。

融合知識采用圖構(gòu)建知識和數(shù)據(jù)之間的關(guān)聯(lián)從而引入知識圖譜，是目前研究的一種主流思路之一。通常，真實數(shù)據(jù)中的交互關(guān)系有豐富的屬性特征（如用戶–商品交互圖中用戶和商品都帶有豐富的屬性特征），而知識圖譜則是關(guān)系特征豐富的，即相對更側(cè)重于結(jié)構(gòu)性。此外，知識圖譜中的本體概念層包含大量的謂詞邏輯規(guī)則知識，如何設(shè)計更合適的圖神經(jīng)網(wǎng)絡(luò)模型彌補這三者之間的語義鴻溝，從而更好地融合知識圖譜中的先驗知識，將是一個研究難點。一種直接的思路是利用異質(zhì)圖神經(jīng)網(wǎng)絡(luò)的方法，考慮節(jié)點的異質(zhì)性和多模態(tài)性，從而用適合各類型的不同方式對不同的信息進行融合。

復雜推理由于基于嵌入的方法在復雜的邏輯推理上有局限性，因而可以進一步探討關(guān)系路徑和符號邏輯兩個方向。異質(zhì)圖上的元路徑定義了高階的語義關(guān)系，而知識圖譜可看作一種特殊的異質(zhì)圖，將基于異質(zhì)圖神經(jīng)網(wǎng)絡(luò)的消息傳遞與基于強化學習的路徑查找和約減相結(jié)合，是一種可行的處理復雜推理的思路。研究者們最近的工作將概率圖模型（如馬爾科夫網(wǎng)）與圖神經(jīng)網(wǎng)絡(luò)相結(jié)合，旨在消息傳遞時發(fā)現(xiàn)并推理邏輯規(guī)則，而利用此類模型挖掘知識圖譜上的推理規(guī)則，也是一個值得注意的研究方向。

可解釋性深度學習的黑盒問題被人詬病已久，圖神經(jīng)網(wǎng)絡(luò)的信息傳播機制相較傳統(tǒng)深度學習模型更具有可解釋性。知識圖譜提供了現(xiàn)實世界的事實知識，利用圖神經(jīng)網(wǎng)絡(luò)模型尤其是概率圖神經(jīng)網(wǎng)絡(luò)應(yīng)用在知識圖譜中實現(xiàn)邏輯推理，從而顯式地生成基于知識圖譜的推理路徑，或許可以期待打開深度學習的黑盒。