「可解釋知識(shí)圖譜推理」最新方法綜述

近年來，以深度學(xué)習(xí)模型為基礎(chǔ)的人工智能研究不斷取得突破性進(jìn)展，但其大多具有黑盒性，不 利于人類認(rèn)知推理過程，導(dǎo)致高性能的復(fù)雜算法、模型及系統(tǒng)普遍缺乏決策的透明度和可解釋性。在國(guó) 防、醫(yī)療、網(wǎng)絡(luò)與信息安全等對(duì)可解釋性要求嚴(yán)格的關(guān)鍵領(lǐng)域，推理方法的不可解釋性對(duì)推理結(jié)果及相關(guān) 回溯造成較大影響，因此，需要將可解釋性融入這些算法和系統(tǒng)中，通過顯式的可解釋知識(shí)推理輔助相關(guān) 預(yù)測(cè)任務(wù)，形成一個(gè)可靠的行為解釋機(jī)制。知識(shí)圖譜作為最新的知識(shí)表達(dá)方式之一，通過對(duì)語義網(wǎng)絡(luò)進(jìn)行 建模，以結(jié)構(gòu)化的形式描述客觀世界中實(shí)體及關(guān)系，被廣泛應(yīng)用于知識(shí)推理?；谥R(shí)圖譜的知識(shí)推理在 離散符號(hào)表示的基礎(chǔ)上，通過推理路徑、邏輯規(guī)則等輔助手段，對(duì)推理過程進(jìn)行解釋，為實(shí)現(xiàn)可解釋人工 智能提供重要途徑。針對(duì)可解釋知識(shí)圖譜推理這一領(lǐng)域進(jìn)行了全面的綜述。闡述了可解釋人工智能和知識(shí) 推理相關(guān)概念。詳細(xì)介紹近年來可解釋知識(shí)圖譜推理方法的最新研究進(jìn)展，從人工智能的 3 個(gè)研究范式角度 出發(fā)，總結(jié)了不同的知識(shí)圖譜推理方法。提出對(duì)可解釋的知識(shí)圖譜推理研究前景和未來研究方向。

1. 引 言

隨著信息技術(shù)的不斷發(fā)展，人工智能實(shí)現(xiàn)了 從能存會(huì)算的“計(jì)算智能”，到能聽會(huì)說、能看會(huì) 認(rèn)的“感知智能”[1-3]，再到下一階段具備理解、 推理和解釋能力的“認(rèn)知智能”[4-6]的逐漸演變， 這 3 個(gè)階段的實(shí)現(xiàn)難度和價(jià)值同時(shí)逐次提升。然 而，在以深度學(xué)習(xí)為主導(dǎo)的人工智能技術(shù)中，大 多數(shù)的模型是不透明的，即模型在產(chǎn)生高精度結(jié) 果的同時(shí)，不能提供必要的解釋過程。模型的不 可解釋性嚴(yán)重影響了人們對(duì)模型決策的信任程 度，其可靠性和魯棒性均受到廣泛質(zhì)疑[7]，特別 在國(guó)防、醫(yī)療和網(wǎng)絡(luò)與信息安全等領(lǐng)域的許多關(guān) 鍵應(yīng)用[8-11]中，保證系統(tǒng)所做出的決策具備透明 性和可解釋性是非常重要且必要的。

知識(shí)推理是人類智能活動(dòng)的重要組成部分， 一直以來也是人工智能的核心研究?jī)?nèi)容之一。DeepMind 指出人工智能算法必須具備推理能力， 且推理過程需要依靠人的先驗(yàn)知識(shí)[12]，對(duì)推理的 結(jié)果形成必要的解釋。作為目前知識(shí)推理最新的 知識(shí)表達(dá)方式，知識(shí)圖譜[13]技術(shù)是一種實(shí)現(xiàn)可解 釋人工智能的可能解決方案[14]，通過將不同數(shù)據(jù) 源中的數(shù)據(jù)統(tǒng)一結(jié)構(gòu)，實(shí)現(xiàn)對(duì)多源信息的語義網(wǎng) 絡(luò)建模，為真實(shí)世界的各個(gè)推理任務(wù)提供概念、 關(guān)系和屬性等可解釋因素。

以安全領(lǐng)域的知識(shí)圖譜為例，該領(lǐng)域主要包 括網(wǎng)絡(luò)空間測(cè)繪圖譜、漏洞知識(shí)圖譜、惡意樣本 知識(shí)圖譜、攻擊路徑推理圖譜等。通過威脅建模 的方式，對(duì)多源異構(gòu)的網(wǎng)絡(luò)安全領(lǐng)域信息進(jìn)行加 工、處理、整合，轉(zhuǎn)化成為結(jié)構(gòu)化的安全領(lǐng)域知 識(shí)庫(kù)，實(shí)現(xiàn)從威脅實(shí)體和關(guān)系的視角出發(fā)，識(shí)別威 脅以及對(duì)威脅進(jìn)行評(píng)估。同時(shí)，在從圖譜海量數(shù)據(jù) 中挖掘、推理威脅的實(shí)體相關(guān)信息過程中，只有通 過可解釋的知識(shí)推理方法，才能進(jìn)一步為推理結(jié)果 的安全可靠提供保證，提高威脅分析的效率。

在長(zhǎng)期的研究和實(shí)踐過程中，研究人員相繼 總結(jié)了有關(guān)知識(shí)圖譜推理的不同技術(shù)，并嘗試從 不同的角度（如推理長(zhǎng)度[15]、分布式表示[16]、圖 嵌入[17]）對(duì)推理模型進(jìn)行綜述。然而，對(duì)于推理 模型的可解釋性則缺少相關(guān)的總結(jié)與對(duì)比。同時(shí)， 人工智能的可解釋性越來越受到人們的重視，可 解釋知識(shí)推理在近幾年的學(xué)術(shù)界和工業(yè)界中逐漸 成為關(guān)注熱點(diǎn)，知識(shí)推理領(lǐng)域缺少較為全面且詳 細(xì)的針對(duì)可解釋知識(shí)圖譜推理的綜述文章。

本文通過廣泛整理與可解釋知識(shí)圖譜推理相 關(guān)的文獻(xiàn)，在介紹相關(guān)知識(shí)推理的基本概念及可 解釋性定義的基礎(chǔ)上，從人工智能研究范式的角 度出發(fā)，詳細(xì)闡述符號(hào)主義中的可解釋知識(shí)圖譜 推理方法、行為主義中的可解釋知識(shí)圖譜推理方 法、連接主義中的可解釋知識(shí)圖譜推理方法和新 型混合的可解釋知識(shí)圖譜推理方法，詳細(xì)說明了 在不同場(chǎng)景下，各類可解釋知識(shí)圖譜推理方法的 核心思想及改進(jìn)過程。本文還討論了可解釋知識(shí) 圖譜推理的未來研究方向及前景。

1 可解釋的知識(shí)圖譜推理概述

1.1 可解釋性的定義

目前業(yè)界較為認(rèn)可的可解釋性定義為“可解 釋性是一種以人類認(rèn)識(shí)、理解的方式給人類提供 解釋的能力”[5]。雖然人工智能技術(shù)不斷取得突破性進(jìn)展，高 性能的復(fù)雜算法、模型及系統(tǒng)卻普遍無法向人類 用戶解釋它們的自主決策和行為，缺乏決策邏輯 的可解釋性[18]。如圖 1 所示，很多機(jī)器學(xué)習(xí)方法 在模型性能和可解釋性之間存在不平衡現(xiàn)象，往 往模型越復(fù)雜越難以解釋[14]，這對(duì)模型后期的應(yīng) 用和優(yōu)化產(chǎn)生很大的影響，因此人們大多基于經(jīng) 驗(yàn)來調(diào)整模型參數(shù)以達(dá)到優(yōu)化模型的目的[19]，然 后通過觀察結(jié)果來判定操作的正確與否，充滿盲 目性與隨機(jī)性，忽略了模型可解釋性的重要性。

可解釋性對(duì)于用戶有效地理解、信任和管 理人工智能應(yīng)用至關(guān)重要[6]，它與深度神經(jīng)網(wǎng) 絡(luò)中“黑匣子”的概念形成鮮明對(duì)比。不可解 釋的模型在實(shí)踐中經(jīng)常出現(xiàn)難以預(yù)測(cè)正確結(jié)果 的情況，這在低風(fēng)險(xiǎn)的環(huán)境中，不會(huì)造成嚴(yán)重 后果（如視頻推薦系統(tǒng)），而對(duì)于可靠性要求較 高的系統(tǒng)則很危險(xiǎn)[20]（如醫(yī)療、法律和信息安 全領(lǐng)域），模型必須解釋如何獲得相關(guān)預(yù)測(cè)。可 解釋人工智能（XAI，explainable artificial intelligence）則提供了一種信任的基礎(chǔ)，在此基 礎(chǔ)上，人工智能才能在更大范圍發(fā)揮作用，有助 于識(shí)別潛在的錯(cuò)誤，進(jìn)而改進(jìn)模型[4]，提高信息 服務(wù)質(zhì)量，滿足道德和法律的規(guī)范要求，為用戶 提供更智能的服務(wù)。

1.2 知識(shí)圖譜及相關(guān)推理任務(wù)

知識(shí)圖譜是人工智能的核心技術(shù)之一[13]，作為 一種新型的知識(shí)表示方法，知識(shí)圖譜中包含大量的 先驗(yàn)知識(shí)，并以結(jié)構(gòu)化三元組的形式組織海量信息， 通過實(shí)體和關(guān)系的形式將不同的數(shù)據(jù)源進(jìn)行關(guān)聯(lián)和 深度融合。目前，大量的知識(shí)圖譜，如 Yago[21]、 Dbpedia[22]和 Freebase[23]已經(jīng)開發(fā)，相關(guān)技術(shù)已被廣 泛應(yīng)用在智能問答[24]、推薦系統(tǒng)[25]和信息安全[26]等 任務(wù)中，其突出表現(xiàn)在學(xué)術(shù)界與工業(yè)界均獲得了廣 泛關(guān)注[27-28]。網(wǎng)絡(luò)空間知識(shí)圖譜示例[29]如圖 2 所示。

知識(shí)推理[15]則是從已知的知識(shí)出發(fā)，經(jīng)過推 理挖掘，從中獲取所蘊(yùn)含的新事實(shí)，或者對(duì)大量 已有知識(shí)進(jìn)行歸納，從個(gè)體知識(shí)推廣到一般性知 識(shí)的過程。早期的推理研究大多在邏輯描述與知 識(shí)工程領(lǐng)域，很多學(xué)者提倡用形式化的方法來描 述客觀世界，認(rèn)為一切推理是基于已有的邏輯知 識(shí)，如一階邏輯和謂詞邏輯，如何從已知的命題 和謂詞中得出正確的結(jié)論一直是研究的重點(diǎn)。近 些年，隨著互聯(lián)網(wǎng)數(shù)據(jù)規(guī)模的爆炸式增長(zhǎng)，傳統(tǒng) 的基于人工建立知識(shí)庫(kù)的方法不能適應(yīng)大數(shù)據(jù)時(shí) 代對(duì)大量知識(shí)的挖掘需求。數(shù)據(jù)驅(qū)動(dòng)的推理方法 逐漸成為知識(shí)推理研究的主流[30]。面向知識(shí)圖譜的知識(shí)推理即在知識(shí)圖譜的圖 結(jié)構(gòu)上，結(jié)合概念、屬性和關(guān)系等知識(shí)，通過相 關(guān)推理技術(shù)，進(jìn)行知識(shí)推理的過程。知識(shí)圖譜中 所包含的概念、屬性和關(guān)系天然可用于解釋[31-32]， 且更符合人類對(duì)于解釋的認(rèn)知，方便為真實(shí)世界 的推理和解釋場(chǎng)景進(jìn)行直觀建模，因此當(dāng)前基于 知識(shí)圖譜的知識(shí)推理方法成為知識(shí)推理領(lǐng)域的典 型代表。下文中的“知識(shí)推理”如未加特別說明， 特指“面向知識(shí)圖譜的知識(shí)推理”。

知識(shí)圖譜推理任務(wù)主要包括知識(shí)圖譜補(bǔ)全和 知識(shí)圖譜去噪。前者是通過推斷出新的事實(shí)，擴(kuò) 充知識(shí)圖譜，包括實(shí)體預(yù)測(cè)、關(guān)系預(yù)測(cè)、屬性預(yù) 測(cè)等任務(wù)。其中最為核心的任務(wù)是實(shí)體預(yù)測(cè)和關(guān) 系預(yù)測(cè)，實(shí)體預(yù)測(cè)是指利用給定的頭實(shí)體和關(guān)系 （或者關(guān)系和尾實(shí)體）找出有效三元組的尾實(shí)體 （頭實(shí)體）；關(guān)系預(yù)測(cè)是指通過給定頭實(shí)體和尾實(shí) 體，推理出兩者間的關(guān)系。后者關(guān)注圖譜中已知 的知識(shí)，對(duì)于已經(jīng)構(gòu)建的圖譜中三元組的正誤進(jìn) 行評(píng)判，但從本質(zhì)上來講，兩者其實(shí)是在評(píng)估三 元組的有效性。除此之外，知識(shí)推理在下游的信 息檢索、智能問答和推薦系統(tǒng)中也發(fā)揮著重要的 作用，在智慧醫(yī)療、網(wǎng)絡(luò)與信息安全等領(lǐng)域顯現(xiàn) 出良好的應(yīng)用場(chǎng)景[27-28]。

1.3 基于知識(shí)圖譜的可解釋知識(shí)推理

知識(shí)推理的可解釋性或者可解釋的知識(shí)推理， 是人工智能可解釋性的子問題[33]。與研究深度學(xué)習(xí) 算法的可解釋性不同，可解釋知識(shí)推理的目的是從 已知的知識(shí)出發(fā)，經(jīng)過可解釋的推理方法，最終獲 取知識(shí)庫(kù)中蘊(yùn)含的新知識(shí)。目前基于知識(shí)圖譜的可解釋知識(shí)推理是該領(lǐng)域前沿的研究方向之一，其在 可解釋知識(shí)推理上有諸多優(yōu)勢(shì)，具體如下。首先，知識(shí)圖譜在表示模式上具有可解釋優(yōu) 勢(shì)。知識(shí)表示是為描述世界所做的一組約定，是 知識(shí)的符號(hào)化、形式化或模型化的過程。常見的 知識(shí)表示方法包括謂詞邏輯表示法、產(chǎn)生式表示 法和分布式知識(shí)表示法等，作為一種新型的知識(shí) 表示方法，相對(duì)于這些傳統(tǒng)的知識(shí)表示方法，如 產(chǎn)生式表示法，知識(shí)圖譜具有語義豐富、結(jié)構(gòu)友 好、知識(shí)組織結(jié)構(gòu)易于理解的優(yōu)點(diǎn)。

其次，基于知識(shí)圖譜的推理在推理過程中具 有可解釋的優(yōu)勢(shì)。人類認(rèn)識(shí)世界、理解事物的過 程，大多是在利用概念、屬性、關(guān)系進(jìn)行理解和 認(rèn)知，如對(duì)于問題“為什么鳥兒會(huì)飛？”，人類的 解釋可能是“鳥兒有翅膀”，這實(shí)質(zhì)上使用了屬性 來解釋。知識(shí)圖譜中富含實(shí)體、概念、屬性、關(guān) 系等信息，通過圖結(jié)構(gòu)形式化組織這些海量的知 識(shí)，為真實(shí)世界的各個(gè)推理場(chǎng)景直觀建模，可以 對(duì)最終的決策進(jìn)行更多元的具體解釋。

最后，知識(shí)圖譜在存儲(chǔ)和使用上具有可解釋 的優(yōu)勢(shì)，相比其他的存儲(chǔ)形式，知識(shí)圖譜以三元 組的形式對(duì)知識(shí)進(jìn)行構(gòu)建以及存儲(chǔ)，更加接近人 類通常認(rèn)識(shí)事物“主謂賓”的認(rèn)知和學(xué)習(xí)習(xí)慣， 對(duì)于人類理解會(huì)更加友好，對(duì)人們的可解釋性相 比其他知識(shí)表示方法較強(qiáng)[19]。

1.4 知識(shí)推理任務(wù)的評(píng)價(jià)指標(biāo)

1.4.1 知識(shí)推理可解釋性的評(píng)價(jià)指標(biāo)

本文采用的知識(shí)推理的可解釋性評(píng)價(jià)指標(biāo) 如下。

（1）可解釋的范圍

根據(jù)模型產(chǎn)生的可解釋性范圍，可解釋性分 為局部可解釋和全局可解釋，即解釋是面向某個(gè) 或某類實(shí)例還是面向整個(gè)模型行為。

（2）可解釋的產(chǎn)生方式

根據(jù)模型解釋產(chǎn)生的方法，推理模型可以分 為事前可解釋和事后可解釋。其中，事前可解釋 主要指不需要額外輔助的解釋方法，解釋本身就 在自身的模型架構(gòu)中，而事后可解釋指解釋本身 不在模型架構(gòu)中，而是在模型訓(xùn)練后，以人類可 理解的規(guī)則或可視化等方式，對(duì)模型做出決策的 邏輯過程進(jìn)行后驗(yàn)的解釋。

（3）可解釋的泛化性 根據(jù)解釋方法是否特定于模型，可以劃分為 特定于模型和與模型無關(guān)兩種解釋類別。

（4）可解釋在下游場(chǎng)景的適用性 根據(jù)下游實(shí)際業(yè)務(wù)需求對(duì)于知識(shí)推理方 法的可解釋性的要求，可以將推理方法分為適 用于可靠性優(yōu)先領(lǐng)域（如醫(yī)療、網(wǎng)絡(luò)與信息安 全領(lǐng)域）和適用于效率優(yōu)先領(lǐng)域（如電影推薦 系統(tǒng)）。本文在接下來綜述方法時(shí)，每類方法 根據(jù)以上 4 種評(píng)價(jià)指標(biāo)對(duì)模型的可解釋性進(jìn)行 對(duì)比分析。

1.4.2 知識(shí)推理準(zhǔn)確性的評(píng)價(jià)指標(biāo)

本文采用的知識(shí)推理的準(zhǔn)確性評(píng)價(jià)指標(biāo)包括 平均倒數(shù)排名（MRR，mean reciprocal rank）和 前 k 次命中正確預(yù)測(cè)結(jié)果的比例（Hit@k）。

2 可解釋的知識(shí)圖譜推理方法

推動(dòng)人工智能發(fā)展的 3 種主要研究范式（符 號(hào)主義、行為主義和連接主義），對(duì)知識(shí)圖譜推理 方法都有著很大的影響，但三者在研究方法和技 術(shù)路線等方面有著不同的觀點(diǎn)，導(dǎo)致不同研究范 式影響下的知識(shí)推理方法在可解釋性與效率上存 在不同的側(cè)重，所適用的應(yīng)用場(chǎng)景有所差異。如 圖 3 所示，本文從這 3 種研究范式角度出發(fā)，結(jié) 合目前新型混合的知識(shí)圖譜推理技術(shù)，分別綜述 這些分類中最新的可解釋知識(shí)圖譜推理方法研究 進(jìn)展。

2.1 符號(hào)主義中的可解釋知識(shí)圖譜推理方法

從符號(hào)主義角度，知識(shí)推理可以建模為依據(jù) 符號(hào)表征的一系列明確推論，通過顯式的定義推 理所需要的本體概念、規(guī)則等離散符號(hào)，進(jìn)行邏 輯推理的過程。其核心是從實(shí)例中推導(dǎo)出一般的 本體演繹關(guān)系或邏輯規(guī)則，通過符號(hào)體系進(jìn)行推理，同時(shí)，這些符號(hào)體系為推理結(jié)果提供顯式的 解釋。根據(jù)知識(shí)圖譜本體概念層和實(shí)體實(shí)例層的 劃分，符號(hào)推理方法可以分為基于本體的知識(shí)推 理和基于邏輯規(guī)則的知識(shí)推理，接下來分別介紹 其中有代表性的可解釋知識(shí)推理方法。

2.2 行為主義中的可解釋知識(shí)圖譜推理方法

從行為主義角度，知識(shí)圖譜推理可以建模為 在圖結(jié)構(gòu)上通過多步游走，同時(shí)對(duì)每一步進(jìn)行預(yù) 見和控制，通過序列決策逐步找到推理答案的過 程，其核心是實(shí)現(xiàn)知識(shí)圖譜圖結(jié)構(gòu)上的多跳推理。該類方法在得到推理結(jié)果的同時(shí)，顯式地推導(dǎo)出 具體的路徑推導(dǎo)過程，因此可解釋性較強(qiáng)。該研究領(lǐng)域有兩個(gè)主要方向，分別是基于隨 機(jī)游走和基于強(qiáng)化學(xué)習(xí)的知識(shí)圖譜推理方法?；?于隨機(jī)游走的知識(shí)圖譜推理方法在圖結(jié)構(gòu)上利用 隨機(jī)游走策略，結(jié)合合適的圖搜索算法獲取多條 路徑，利用這些路徑的特征預(yù)測(cè)實(shí)體間是否存在 潛在的關(guān)系；基于強(qiáng)化學(xué)習(xí)的知識(shí)圖譜推理方法 則通過智能體與環(huán)境不斷進(jìn)行交互，以反饋和交 互的方式訓(xùn)練智能體，在動(dòng)作選擇和狀態(tài)更新的 動(dòng)態(tài)過程中逐漸優(yōu)化目標(biāo)，進(jìn)而實(shí)現(xiàn)知識(shí)推理。

2.3 連接主義中的可解釋知識(shí)圖譜推理方法

從連接主義角度，知識(shí)圖譜中的實(shí)體和關(guān)系 可以通過表示學(xué)習(xí)方法嵌入低維向量空間，進(jìn)行 數(shù)值化的運(yùn)算操作，進(jìn)而實(shí)現(xiàn)知識(shí)推理。其核心是找到一種映射函數(shù)，將符號(hào)表示映射到向量空 間進(jìn)行數(shù)值表示，從而減少維數(shù)災(zāi)難，同時(shí)捕捉 實(shí)體和關(guān)系之間的隱式關(guān)聯(lián)，實(shí)現(xiàn)符號(hào)表示向量 化的直接計(jì)算。在語義的層面，很多淺層的表示模型在提升 效率的同時(shí)，考慮建模不同的關(guān)系模式（如對(duì)稱 關(guān)系、逆反關(guān)系和組合關(guān)系）、邏輯操作（如與、 或、非操作）和實(shí)體間的上下位層次關(guān)系，使模 型具有推理部分語義結(jié)構(gòu)的能力，因此，連接主 義中的部分推理模型具有一定的可解釋性。該類 方法大體可以分為 3 種，分別是基于平移距離的 模型、基于張量分解的模型和基于神經(jīng)網(wǎng)絡(luò)的模 型，本文重點(diǎn)對(duì)方法的可解釋性進(jìn)行對(duì)比分析。

2.4 新型混合的可解釋知識(shí)圖譜推理方法

主流的挖掘隱式特征的嵌入學(xué)習(xí)模型 （TransE[87]、RotatE[91]等），提升了模型的推理效 率，但極大地影響了模型的可解釋性?；趫D遍 歷搜索的顯式邏輯規(guī)則挖掘方法（AMIE+[52]、 RDF2Rule[53]等）在提升推理過程可解釋性的同 時(shí)，效率方面有明顯的欠缺。因此，通過結(jié)合兩 者的優(yōu)勢(shì)，利用符號(hào)推理在可解釋性和準(zhǔn)確性上 的優(yōu)勢(shì)以及神經(jīng)網(wǎng)絡(luò)方法在魯棒性與效率上的優(yōu) 勢(shì)，進(jìn)行混合推理[113]，可以一定程度解決傳統(tǒng)規(guī) 則方法的計(jì)算復(fù)雜度高等難題，同時(shí)提升神經(jīng)網(wǎng) 絡(luò)方法的可解釋性。根據(jù)推理的不同側(cè)重點(diǎn)，可 以將新型的混合推理方法分為符號(hào)規(guī)則增強(qiáng)神經(jīng) 網(wǎng)絡(luò)的知識(shí)推理和神經(jīng)網(wǎng)絡(luò)增強(qiáng)符號(hào)規(guī)則的知識(shí) 推理。

3 結(jié) 束 語

隨著人工智能技術(shù)的廣泛應(yīng)用，人工智能的 可解釋性受到越來越多的關(guān)注。在目前流行的深 度學(xué)習(xí)模型中，復(fù)雜的處理機(jī)制與大量的參數(shù)使 人類很難追溯與理解其推理過程，導(dǎo)致這種端到 端的黑箱學(xué)習(xí)方法可解釋性較差。知識(shí)圖譜作為知識(shí)的一種語義化和結(jié)構(gòu)化的表達(dá)方式，以人類 可理解的表達(dá)形式進(jìn)行知識(shí)推理，通過推理路徑、 邏輯規(guī)則等輔助手段，結(jié)合節(jié)點(diǎn)周圍的實(shí)體信息， 進(jìn)行顯式的可解釋知識(shí)圖譜推理，為實(shí)現(xiàn)可解釋 人工智能提供了一種解決方案，在信息檢索、信 息安全、網(wǎng)絡(luò)空間安全等領(lǐng)域都有廣泛的應(yīng)用前 景，引發(fā)了廣泛的關(guān)注。

3.1 可解釋的知識(shí)圖譜推理方法總結(jié)

本文概述了可解釋人工智能及知識(shí)推理的相 關(guān)概念，從經(jīng)典的人工智能三大研究范式的角度 出發(fā)，總結(jié)和分析了可解釋的知識(shí)推理方法。無 論是以符號(hào)主義中的本體推理和規(guī)則推理方法為 代表的具有全局模型可解釋性的模型，還是通過 將推理過程顯式地進(jìn)行學(xué)習(xí)（具體表現(xiàn)為證明、 關(guān)系路徑和邏輯規(guī)則等方式），從而為推理預(yù)測(cè)提 供可解釋性依據(jù)的具有事后過程可解釋性的模 型，都一定程度增強(qiáng)了人們對(duì)推理結(jié)果的理解， 同時(shí)實(shí)現(xiàn)對(duì)錯(cuò)誤預(yù)測(cè)原因的輔助挖掘。如表 7 所示，本文對(duì)所介紹的知識(shí)圖譜推理 方法及特點(diǎn)進(jìn)行相關(guān)的總結(jié)與對(duì)比分析。這些推 理方法根據(jù)推理目的不同，在推理準(zhǔn)確性和可解 釋性方面各有側(cè)重，所適用的推理應(yīng)用場(chǎng)景也因 此不同。符號(hào)主義中的知識(shí)推理模型有著很好的 可解釋性，推理準(zhǔn)確、遷移性好。然而，離散的 符號(hào)表示方法通常不足以描述數(shù)據(jù)之間所有內(nèi)在 關(guān)系，造成規(guī)則學(xué)習(xí)的搜索空間太大、效率較低， 且對(duì)數(shù)據(jù)中出現(xiàn)的噪聲魯棒性較差（如 AMIE+[52]、RDF2Rule[53]），因此這種推理方法適 用于數(shù)據(jù)庫(kù)知識(shí)結(jié)構(gòu)規(guī)整，要求推理精度及可解 釋程度較高的推理場(chǎng)景，如醫(yī)療和信息安全等要 求可靠性優(yōu)先的領(lǐng)域。在行為主義中的知識(shí)推理 模型中，以強(qiáng)化學(xué)習(xí)為代表，通過反饋和交互訓(xùn) 練智能體，鼓勵(lì)獲得更大的獎(jiǎng)勵(lì)，實(shí)現(xiàn)了較高的 推理效率，同時(shí)得到具體的推理路徑，可解釋性 雖然相較于邏輯規(guī)則有所降低，但得到了具體的 推理步驟，具有過程的可解釋性（如 DeepPath[73]、 MINERVA[74]），因此這種推理方法更適用針對(duì)序 列決策問題的多跳知識(shí)推理場(chǎng)景，如網(wǎng)絡(luò)安全領(lǐng) 域的攻擊路徑推理圖譜，推理效率和可解釋性均 有較大的優(yōu)勢(shì)。在連接主義中的知識(shí)推理模型中， 通過數(shù)值化運(yùn)算實(shí)現(xiàn)的模糊推理，加快了推理的速度，增強(qiáng)了模型的魯棒性和推理效率，但不能 為預(yù)測(cè)結(jié)果提供顯式的推理過程說明，對(duì)模型的 可解釋性造成了很大影響（如 TransE[87] 、 RotatE[91]），憑借其效率和魯棒性的優(yōu)勢(shì)，這種推 理方法適用在低風(fēng)險(xiǎn)但效率要求較高的效率優(yōu)先 領(lǐng)域，如電影推薦系統(tǒng)與問答系統(tǒng)等。在新型混 合的推理模型中，結(jié)合符號(hào)推理在可解釋性上的 優(yōu)勢(shì)和神經(jīng)網(wǎng)絡(luò)推理在魯棒性與效率上的優(yōu)勢(shì)進(jìn) 行的新型混合推理，無論是利用邏輯規(guī)則生成更 多實(shí)例，輔助高質(zhì)量嵌入學(xué)習(xí)，還是通過神經(jīng)網(wǎng) 絡(luò)模型輔助解決數(shù)據(jù)的歧義和不確定性，幫助歸 納出更多的顯式邏輯規(guī)則，推理的可解釋性和效 率都得到了提升（如 IterE[117]、RNNLogic[140]）， 這種推理方法則更加需要結(jié)合系統(tǒng)及應(yīng)用需求， 根據(jù)目標(biāo)任務(wù)要求的效率或可解釋性等指標(biāo)的不 同，動(dòng)態(tài)調(diào)整對(duì)應(yīng)神經(jīng)網(wǎng)絡(luò)推理方法和符號(hào)推理 方法的側(cè)重點(diǎn)，有針對(duì)性地進(jìn)行推理。

3.2 有待進(jìn)一步解決的問題和挑戰(zhàn)

雖然目前可解釋的知識(shí)圖譜推理方法在不同 的研究范式下都取得了一定進(jìn)展，但該領(lǐng)域仍處 于發(fā)展時(shí)期，各類方法在推理的準(zhǔn)確性和推理過 程的可解釋性上很難達(dá)到平衡，需要在理論和實(shí) 際應(yīng)用中進(jìn)一步完善，在未來的研究中，可解釋 的知識(shí)推理還面臨很多新的挑戰(zhàn)，主要有以下 4 個(gè) 方面值得探索。

1) 結(jié)合常識(shí)知識(shí)的可解釋推理。常識(shí)推理即 利用人類對(duì)世界和行為基本理解的常識(shí)認(rèn)知進(jìn)行 推理。結(jié)合目前人類在深度學(xué)習(xí)方面的進(jìn)展，表征并融入常識(shí)知識(shí)于推理模型，從而創(chuàng)造更加貼 近人類思維習(xí)慣的模型，將從本質(zhì)上增加模型行 為的透明度，幫助人們獲得更具可解釋性的結(jié)果。

2) 考慮復(fù)雜推理模式的可解釋知識(shí)推理。在 知識(shí)邏輯推理中，推理的規(guī)則主要遵循傳遞性約 束，即鏈狀的推理，表達(dá)能力有限。但是現(xiàn)實(shí)生 活中所要面臨的要素更加復(fù)雜，需要支持更復(fù)雜 推理模式，自適應(yīng)地挖掘更多樣、有效的推理結(jié)構(gòu)， 如實(shí)現(xiàn)對(duì)樹狀或網(wǎng)狀等結(jié)構(gòu)的邏輯規(guī)則推理[130]， 同時(shí)保證挖掘規(guī)則的可靠性和可解釋性，輔助更 多樣的決策。

3) 多模態(tài)的可解釋知識(shí)推理。解釋方法大多 通過推理文本中的邏輯規(guī)則或路徑從而實(shí)現(xiàn)可解 釋性，但隨著移動(dòng)通信技術(shù)的快速發(fā)展，如何有 效地利用語音、圖片等多模態(tài)信息進(jìn)行解釋成為 一個(gè)具有挑戰(zhàn)性的問題[141]。多模態(tài)信息顯示出其 對(duì)知識(shí)圖譜進(jìn)行可解釋推理的潛力，可以通過圖 像、聲音等多種模態(tài)對(duì)于推理的過程與結(jié)果進(jìn)行 語義增強(qiáng)的解釋。

4) 可解釋性的量化度量指標(biāo)。對(duì)于可解釋性 的優(yōu)劣并不存在非常成熟的、廣為接受的量化標(biāo) 準(zhǔn)。大多數(shù)已有的方法是主觀度量，因而只能定 性分析，無法對(duì)可解釋模型的性能進(jìn)行量化。這就造成用戶無法非常準(zhǔn)確地判斷解釋方法的 優(yōu)劣[142]，所以需要進(jìn)一步研究科學(xué)合理的可解釋 的評(píng)測(cè)指標(biāo)，對(duì)解釋方法進(jìn)行量化評(píng)價(jià)，模型 得到反饋并進(jìn)行相關(guān)優(yōu)化，從而更好地指導(dǎo)系 統(tǒng)的決策。

審核編輯 ：李倩