圖神經(jīng)網(wǎng)絡(luò)的解釋性綜述

圖神經(jīng)網(wǎng)絡(luò)的可解釋性是目前比較值得探索的方向，今天解讀的2021最新綜述，其針對(duì)近期提出的 GNN 解釋技術(shù)進(jìn)行了系統(tǒng)的總結(jié)和分析，歸納對(duì)比了該問(wèn)題的解決思路。作者還為GNN解釋性問(wèn)題提供了標(biāo)準(zhǔn)的圖數(shù)據(jù)集和評(píng)估指標(biāo)，將是這一方向非常值得參考的一篇文章。

論文標(biāo)題：Explainability in Graph Neural Networks： A Taxonomic Survey

論文地址：https://arxiv.org/pdf/2012.15445.pdf

參考文獻(xiàn)

0.Abstract近年來(lái)，深度學(xué)習(xí)模型的可解釋性研究在圖像和文本領(lǐng)域取得了顯著進(jìn)展。然而，在圖數(shù)據(jù)領(lǐng)域，既沒(méi)有針對(duì)GNN可解釋性的統(tǒng)一處理方法，也不存在標(biāo)準(zhǔn)的 benchmark 數(shù)據(jù)集和評(píng)估準(zhǔn)則。在這篇論文中，作者對(duì)目前的GNN解釋技術(shù)從統(tǒng)一和分類的角度進(jìn)行了總結(jié)，闡明了現(xiàn)有方法的共性和差異，并為進(jìn)一步的方法發(fā)展奠定了基礎(chǔ)。此外，作者專門為GNN解釋技術(shù)生成了 benchmark 圖數(shù)據(jù)集，并總結(jié)了當(dāng)前用于評(píng)估GNN解釋技術(shù)的數(shù)據(jù)集和評(píng)估方法。

1. Introduction解釋黑箱模型是十分必要的：如果沒(méi)有對(duì)預(yù)測(cè)背后的底層機(jī)制進(jìn)行推理，深層模型就無(wú)法得到完全信任，這就阻礙了深度模型在與公平性、隱私性和安全性有關(guān)的關(guān)鍵應(yīng)用程序中使用。為了安全、可信地部署深度模型，需要同時(shí)提供準(zhǔn)確的預(yù)測(cè)和人類能領(lǐng)會(huì)的解釋，特別是對(duì)于跨學(xué)科領(lǐng)域的用戶。

深層模型的解釋技術(shù)通常從研究其預(yù)測(cè)背后的潛在關(guān)系著手，解釋技術(shù)大致可分為兩類：

1）input-dependent explanations（依賴輸入的解釋方法）

該類方法從特征的角度出發(fā)，提供與輸入相關(guān)的解釋，例如研究輸入特征的重要性得分，或?qū)ι顚幽Ｐ偷囊话阈袨橛懈咚降睦斫?。論?［10］，［11］，［18］通過(guò)研究梯度或權(quán)重，分析預(yù)測(cè)結(jié)果相對(duì)于輸入特征的敏感程度。論文 ［12］，［13］，［19］ 通過(guò)將隱藏特征映射到輸入空間，從而突出重要的輸入特征。［14］ 通過(guò)遮蔽不同的輸入特征，觀察預(yù)測(cè)的變化，以識(shí)別重要的特征。

2）input-independent explanations（獨(dú)立于輸入的解釋方法）

與依賴特征的解釋方法不同，該類方法從模型角度出發(fā)，提供獨(dú)立于輸入的解釋，例如研究輸入 patterns，使某類的預(yù)測(cè)得分最大化。論文［17］，［22］通過(guò)探究隱藏神經(jīng)元的含義，進(jìn)而理解的整個(gè)預(yù)測(cè)過(guò)程。論文［23］，［24］，［25］，［26］ 對(duì)近期的方法進(jìn)行了較為系統(tǒng)的評(píng)價(jià)和分類。然而，這些研究只關(guān)注圖像和文本領(lǐng)域的解釋方法，忽略了深度圖模型的可解釋性。

GNN 的可解釋性

與圖像和文本領(lǐng)域相比，對(duì)圖模型解釋性的研究較少，然而這是理解深度圖神經(jīng)網(wǎng)絡(luò)的關(guān)鍵。近年來(lái)，人們提出了幾種解釋 GNN 預(yù)測(cè)的方法，如XGNN［41］、gnexplainer［42］、PGExplainer［43］等。這些方法是從不同的角度提供了不同層次的解釋。但至今仍然**缺乏標(biāo)準(zhǔn)的數(shù)據(jù)集和度量來(lái)評(píng)估解釋結(jié)果。**因此，需要對(duì)GNN解釋技術(shù)和其評(píng)估方法進(jìn)行系統(tǒng)的研究。

本文

本研究提供了對(duì)不同GNN解釋技術(shù)的系統(tǒng)研究，目的對(duì)不同方法進(jìn)行直觀和高水平的解釋，論文貢獻(xiàn)如下：

對(duì)現(xiàn)有的深度圖模型的解釋技術(shù)進(jìn)行了系統(tǒng)和全面的回顧。

提出了現(xiàn)有GNN解釋技術(shù)的新型分類框架，總結(jié)了每個(gè)類別的關(guān)鍵思想，并進(jìn)行了深刻的分析。

詳細(xì)介紹了每種GNN解釋方法，包括其方法論、優(yōu)勢(shì)、缺點(diǎn)，與其他方法的區(qū)別。

總結(jié)了GNN解釋任務(wù)中常用的數(shù)據(jù)集和評(píng)價(jià)指標(biāo)，討論了它們的局限性，并提出了幾點(diǎn)建議。

通過(guò)將句子轉(zhuǎn)換為圖，針對(duì)文本領(lǐng)域構(gòu)建了三個(gè)人類可理解的數(shù)據(jù)集。這些數(shù)據(jù)集即將公開(kāi)，可以直接用于GNN解釋任務(wù)。

名詞解釋：Explainability versus Interpretability

在一些研究中，“explainability” 和 “interpretability”被交替使用。本文作者認(rèn)為這兩個(gè)術(shù)語(yǔ)應(yīng)該被區(qū)分開(kāi)來(lái)，遵循論文［44］來(lái)區(qū)分這兩個(gè)術(shù)語(yǔ)。如果一個(gè)模型本身能夠?qū)ζ漕A(yù)測(cè)提供人類可理解的解釋，則認(rèn)為這個(gè)模型是 “interpretable”。注意，這樣的模型在某種程度上不再是一個(gè)黑盒子。例如，一個(gè)決策樹(shù)模型就是一個(gè) “interpretable“的模型。同時(shí)，”explainable “模型意味著該模型仍然是一個(gè)黑盒子，其預(yù)測(cè)有可能被一些事后解釋技術(shù)所理解。

2. 總體框架目前存在一系列針對(duì)深度圖模型解釋性問(wèn)題的工作，這些方法關(guān)注圖模型的不同方面，并提供不同的觀點(diǎn)來(lái)理解這些模型。它們一般都會(huì)從幾個(gè)問(wèn)題出發(fā)實(shí)現(xiàn)對(duì)圖模型的解釋：哪些輸入邊更重要？哪些輸入節(jié)點(diǎn)更重要？ 哪些節(jié)點(diǎn)特征更重要？什么樣的圖模式會(huì)最大限度地預(yù)測(cè)某個(gè)類？為了更好地理解這些方法，本文為GNNs的不同解釋技術(shù)提供了分類框架，結(jié)構(gòu)如圖1所示。根據(jù)提供什么類型的解釋，解釋性技術(shù)被分為兩大類：實(shí)例級(jí)方法和模型級(jí)方法。本文接下來(lái)的部分將針對(duì)圖1的各個(gè)分支展開(kāi)講解，并作出對(duì)比。

圖1 GNN 解釋性方法分類框架

1）實(shí)例級(jí)方法

實(shí)例級(jí)方法與特征工程的思想有些類似，旨在找到輸入數(shù)據(jù)中最能夠影響預(yù)測(cè)結(jié)果的部分特征，為每個(gè)輸入圖提供 input-dependent 的解釋。給定一個(gè)輸入圖，實(shí)例級(jí)方法旨在探究影響模型預(yù)測(cè)的重要特征實(shí)現(xiàn)對(duì)深度模型的解釋。根據(jù)特征重要性分?jǐn)?shù)的獲得方式，作者將實(shí)例級(jí)方法分為四個(gè)不同的分支：

基于梯度/特征的方法［49］，［50］，采用梯度或特征值來(lái)表示不同輸入特征的重要程度。

基于擾動(dòng)的方法［42］，［43］，［51］，［52］，［53］，監(jiān)測(cè)在不同輸入擾動(dòng)下預(yù)測(cè)值的變化，從而學(xué)習(xí)輸入特征的重要性分?jǐn)?shù)。

基于分解的方法［49］，［50］，［54］，［55］，首先將預(yù)測(cè)分?jǐn)?shù)，如預(yù)測(cè)概率，分解到最后一個(gè)隱藏層的神經(jīng)元。然后將這樣的分?jǐn)?shù)逐層反向傳播，直到輸入空間，并將分解分?jǐn)?shù)作為重要性分?jǐn)?shù)。

基于代理的方法［56］，［57］，［58］，首先從給定例子的鄰居中抽取一個(gè)數(shù)據(jù)集的樣本。接下來(lái)對(duì)采樣的數(shù)據(jù)集合擬合一個(gè)簡(jiǎn)單且可解釋的模型，如決策樹(shù)。通過(guò)解釋代理模型實(shí)現(xiàn)對(duì)原始預(yù)測(cè)的解釋。

2）模型級(jí)方法

模型級(jí)方法直接解釋圖神經(jīng)網(wǎng)絡(luò)的模型，不考慮任何具體的輸入實(shí)例。這種 input-independent 的解釋是高層次的，能夠解釋一般性行為。與實(shí)例級(jí)方法相比，這個(gè)方向的探索還比較少?，F(xiàn)有的模型級(jí)方法只有XGNN［41］，它是基于圖生成的，通過(guò)生成 graph patterns使某一類的預(yù)測(cè)概率最大化，并利用 graph patterns 來(lái)解釋這一類。

總的來(lái)說(shuō)，這兩類方法從不同的角度解釋了深度圖模型。實(shí)例級(jí)方法提供了針對(duì)具體實(shí)例的解釋，而模型級(jí)方法則提供了高層次的見(jiàn)解和對(duì)深度圖模型工作原理的一般理解。

”Type “表示提供什么類型的解釋，”Learning “表示是否涉及學(xué)習(xí)過(guò)程，”Task “表示每種方法可以應(yīng)用于什么任務(wù)（GC表示圖分類，NC表示節(jié)點(diǎn)分類），”Target “表示解釋的對(duì)象（N表示節(jié)點(diǎn)，E表示邊，NF表示節(jié)點(diǎn)特征，Walk表示圖游走），”Black-box “表示在解釋階段是否將訓(xùn)練好的GNNs作為黑盒處理，”Flow “表示解釋的計(jì)算流程，”Design “表示解釋方法是否有針對(duì)圖數(shù)據(jù)的具體設(shè)計(jì)。

3.方法介紹

3.1 基于梯度/特征的方法（Gradients/Features-Based Methods）

采用梯度或特征來(lái)解釋深度模型是最直接的解決方案，在圖像和文本任務(wù)中被廣泛使用。其關(guān)鍵思想是將梯度或隱藏的特征圖值作為輸入重要性的近似值。一般來(lái)說(shuō)，在這類方法中，梯度或特征值越大，表示重要性越高。需要注意的是，梯度和隱藏特征都與模型參數(shù)高度相關(guān)，那么這樣的解釋可以反映出模型所包含的信息。本文將介紹最近提出的幾種方法，包括：SA［49］、Guided BP［49］、CAM［50］和Grad-CAM［50］。這些方法的關(guān)鍵區(qū)別在于梯度反向傳播的過(guò)程以及如何將不同的隱藏特征圖結(jié)合起來(lái)。

1）SA

SA［49］直接采用梯度的平方值作為不同輸入特征的重要性得分。輸入特征可以是圖節(jié)點(diǎn)、邊或節(jié)點(diǎn)特征。它假設(shè)絕對(duì)梯度值越高，說(shuō)明相應(yīng)的輸入特征越重要。雖然它簡(jiǎn)單高效，但有幾個(gè)局限性：1）SA方法只能反映輸入和輸出之間的敏感程度，不能很準(zhǔn)確地表達(dá)重要性（敏感度不等于重要性）。2）還存在飽和問(wèn)題［59］。即在模型性能達(dá)到飽和的區(qū)域，其輸出相對(duì)于任何輸入變化的變化都是十分微小的，梯度很難反映輸入的貢獻(xiàn)程度。

2）Guided BP

Guided BP［49］與SA有著相似的思想，但修改了反向傳播梯度的過(guò)程。由于負(fù)梯度很難解釋，Guided BP只反向傳播正梯度，而將負(fù)梯度剪成零。因此Guided BP與SA有著相同的局限性。

3）CAM

CAM ［50］ 將最后一層的節(jié)點(diǎn)特征映射到輸入空間，從而識(shí)別重要節(jié)點(diǎn)。它要求GNN模型采用全局平均池化層和全連接層作為最終分類器。CAM將最終的節(jié)點(diǎn)嵌入，通過(guò)加權(quán)求和的方式組合不同的特征圖，從而獲得輸入節(jié)點(diǎn)的重要性分?jǐn)?shù)。權(quán)重是從與目標(biāo)預(yù)測(cè)連接的最終全連接層獲得的。該方法非常簡(jiǎn)單高效，但仍有幾大限制：1）CAM對(duì)GNN結(jié)構(gòu)有特殊要求，限制了它的應(yīng)用和推廣。2）它假設(shè)最終的節(jié)點(diǎn)嵌入可以反映輸入的重要性，這是啟發(fā)式的，可能不是真的。3）它只能解釋圖分類模型，不能應(yīng)用于節(jié)點(diǎn)分類任務(wù)中。

4）Grad-CAM

Grad-CAM ［50］ 通過(guò)去除全局平均池化層的約束，將CAM擴(kuò)展到一般圖分類模型。同樣，它也將最終的節(jié)點(diǎn)嵌入映射到輸入空間來(lái)衡量節(jié)點(diǎn)重要性。但是，它沒(méi)有使用全局平均池化輸出和全連接層輸出之間的權(quán)重，而是采用梯度作為權(quán)重來(lái)組合不同的特征圖。與CAM相比，Grad-CAM不需要GNN模型在最終的全連接層之前采用全局平均池化層。但它也是基于啟發(fā)式假設(shè)，無(wú)法解釋節(jié)點(diǎn)分類模型。

3.2 基于擾動(dòng)的方法（Perturbation-Based Methods）

基于擾動(dòng)的方法［14］，［15］，［60］被廣泛用于解釋深度圖像模型。其根本動(dòng)機(jī)是研究不同輸入擾動(dòng)下的輸出變化。當(dāng)重要的輸入信息被保留（沒(méi)有被擾動(dòng)）時(shí)，預(yù)測(cè)結(jié)果應(yīng)該與原始預(yù)測(cè)結(jié)果相似。論文 ［14］，［15］，［60］學(xué)習(xí)一個(gè)生成器來(lái)生成掩碼，以選擇重要的輸入像素來(lái)解釋深度圖像模型。然而，這種方法不能直接應(yīng)用于圖模型，圖數(shù)據(jù)是以節(jié)點(diǎn)和邊來(lái)表示的，它們不能調(diào)整大小以共享相同的節(jié)點(diǎn)和邊數(shù)，結(jié)構(gòu)信息對(duì)圖來(lái)說(shuō)至關(guān)重要，可以決定圖的功能。

圖2 基于擾動(dòng)方法的一般流程

基于擾動(dòng)的方法采用不同的掩碼生成算法來(lái)獲得不同類型的掩碼。需要注意的是，掩碼可以對(duì)應(yīng)節(jié)點(diǎn)、邊或節(jié)點(diǎn)特征。在這個(gè)例子中，我們展示了一個(gè)節(jié)點(diǎn)特征的軟掩碼，一個(gè)邊的離散掩碼和一個(gè)節(jié)點(diǎn)的近似離散掩碼。然后，將掩碼與輸入圖結(jié)合起來(lái)，得到一個(gè)包含重要輸入信息的新圖，遮蔽掉不需要的信息。

最終將新圖輸入到訓(xùn)練好的GNN中，評(píng)估掩碼并更新掩碼生成算法。本文將介紹幾種基于擾動(dòng)的方法，包括：GNNExplainer［42］、PGExplainer［43］、ZORRO［51］、GraphMask［52］，Causal Screening［53］。直觀地講，掩碼捕捉到的重要輸入特征應(yīng)該傳達(dá)關(guān)鍵的語(yǔ)義意義，從而得到與原圖相似的預(yù)測(cè)結(jié)果。這些方法的區(qū)別主要在于三個(gè)方面：掩碼生成算法、掩碼類型和目標(biāo)函數(shù)。

軟掩碼包含［0，1］之間的連續(xù)值，掩碼生成算法可以直接通過(guò)反向傳播進(jìn)行更新。但軟掩碼存在 ”introduced evidence “的問(wèn)題［14］，即掩碼中任何非零或非一的值都可能給輸入圖引入新的語(yǔ)義或新的噪聲，從而影響解釋結(jié)果。同時(shí)，離散掩碼只包含離散值0和1，由于沒(méi)有引入新的數(shù)值，可以避免 ”introduced evidence “問(wèn)題。

但是，離散掩碼總是涉及到不可微的問(wèn)題，如采樣。主流的解決方法是策略梯度技術(shù)［61］。論文［45］，［62］，［63］提出采用重參數(shù)化技巧，如Gumbel-Softmax估計(jì)和稀疏松弛，來(lái)逼近離散掩碼。需要注意的是，輸出的掩碼并不是嚴(yán)格意義上的離散掩碼，而是提供了一個(gè)很好的近似值，這不僅可以實(shí)現(xiàn)反向傳播，而且在很大程度上緩解了”introduced evidence“的問(wèn)題。

接下來(lái)將詳細(xì)的介紹目前存在的幾種基于擾動(dòng)的解釋性方法，我們可以重點(diǎn)關(guān)注它們的作用對(duì)象（節(jié)點(diǎn)或邊或節(jié)點(diǎn)特征），以及它們的掩碼生成算法、掩碼類型和目標(biāo)函數(shù)。

1）GNNExplainer

GNNExplainer ［42］ 學(xué)習(xí)邊和節(jié)點(diǎn)特征的軟掩碼，通過(guò)掩碼優(yōu)化來(lái)解釋預(yù)測(cè)。軟掩碼被隨機(jī)初始化，并被視為可訓(xùn)練變量。然后通過(guò)元素點(diǎn)乘將掩碼與原始圖結(jié)合。最大化原始圖的預(yù)測(cè)和新獲得的圖的預(yù)測(cè)之間的互信息來(lái)優(yōu)化掩碼。但得到的掩碼仍然是軟掩碼，因此無(wú)法避免 ”introduced evidence“問(wèn)題。此外，掩碼是針對(duì)每個(gè)輸入圖單獨(dú)優(yōu)化的，因此解釋可能缺乏全局視角。

2）PGExplainer

PGExplainer［43］學(xué)習(xí)邊的近似離散掩碼來(lái)解釋預(yù)測(cè)。它訓(xùn)練一個(gè)參數(shù)化的掩碼預(yù)測(cè)器來(lái)預(yù)測(cè)邊掩碼。給定一個(gè)輸入圖，首先通過(guò)拼接節(jié)點(diǎn)嵌入來(lái)獲得每個(gè)邊的嵌入，然后預(yù)測(cè)器使用邊嵌入來(lái)預(yù)測(cè)邊掩碼。預(yù)測(cè)器使用邊嵌入來(lái)預(yù)測(cè)每個(gè)邊被選中的概率（被視為重要性分?jǐn)?shù)）。通過(guò)重參數(shù)化技巧對(duì)近似的離散掩碼進(jìn)行采樣。最后通過(guò)最大化原始預(yù)測(cè)和新預(yù)測(cè)之間的相互信息來(lái)訓(xùn)練掩碼預(yù)測(cè)器。需要注意的是，即使采用了重參數(shù)化技巧，得到的掩碼并不是嚴(yán)格意義上的離散掩碼，但可以很大程度上緩解 ”introduced evidence“的問(wèn)題。由于數(shù)據(jù)集中的所有邊都共享相同的預(yù)測(cè)器，因此解釋可以提供對(duì)訓(xùn)練好的GNN的全局理解。

3）GraphMask

GraphMask［52］是一種事后解釋GNN各層中邊重要性的方法。與PGExplainer類似，它訓(xùn)練一個(gè)分類器來(lái)預(yù)測(cè)是否可以丟棄一條邊而不影響原來(lái)的預(yù)測(cè)。然而，GraphMask為每一層GNN獲取邊掩碼，而PGExplainer只關(guān)注輸入空間。此外，為了避免改變圖結(jié)構(gòu)，被丟棄的邊被可學(xué)習(xí)的基線連接所取代，基線連接是與節(jié)點(diǎn)嵌入相同維度的向量。需要注意的是，采用二進(jìn)制Concrete分布［63］和重參數(shù)化技巧來(lái)近似離散掩碼。此外，分類器使用整個(gè)數(shù)據(jù)集通過(guò)最小化一個(gè)散度項(xiàng)來(lái)訓(xùn)練，用于衡量網(wǎng)絡(luò)預(yù)測(cè)之間的差異。與PGExplainer類似，它可以很大程度上緩解 ”introduced evidence“問(wèn)題，并對(duì)訓(xùn)練后的GNN進(jìn)行全局理解。

3）ZORRO

ZORRO［51］采用離散掩碼來(lái)識(shí)別重要的輸入節(jié)點(diǎn)和節(jié)點(diǎn)特征。給定一個(gè)輸入圖，采用貪心算法逐步選擇節(jié)點(diǎn)或節(jié)點(diǎn)特征。每一步都會(huì)選擇一個(gè)fidelity score最高的節(jié)點(diǎn)或一個(gè)節(jié)點(diǎn)特征。通過(guò)固定所選節(jié)點(diǎn)/特征，并用隨機(jī)噪聲值替換其他節(jié)點(diǎn)/特征，來(lái)衡量新的預(yù)測(cè)與模型原始預(yù)測(cè)的匹配程度。由于不涉及訓(xùn)練過(guò)程，因此避免了離散掩碼的不可微限制。此外，通過(guò)使用硬掩碼，ZORRO不會(huì)受到 ”introduced evidence “問(wèn)題的影響。然而，貪婪的掩碼選擇算法可能導(dǎo)致局部最優(yōu)解釋。此外，由于掩碼是為每個(gè)圖形單獨(dú)生成的，因此解釋可能缺乏全局的理解。

4）Causal Screening

Causal Screening［53］研究輸入圖中不同邊的因果歸因。它為 explanatory subgraph 確定一個(gè)邊掩碼。關(guān)鍵思想是：研究在當(dāng)前 explanatory subgraph 中增加一條邊時(shí)預(yù)測(cè)的變化，即所謂的因果效應(yīng)。對(duì)于每一步，它都會(huì)研究不同邊的因果效應(yīng)，并選擇一條邊添加到子圖中。具體來(lái)說(shuō)，它采用個(gè)體因果效應(yīng)（ICE）來(lái)選擇邊，即測(cè)量在子圖中添加不同邊后的互信息（原圖與解釋子圖的預(yù)測(cè)之間）差異。與ZORRO類似，Causal Screening是一種貪心算法，不需要任何訓(xùn)練過(guò)程就能生成離散掩碼。因此，它不會(huì)受到 ”introduced evidence “問(wèn)題的困擾，但可能缺乏全局性的理解，而停留在局部最優(yōu)解釋上。

3.3 基于代理的方法（Surrogate Methods）

由于輸入空間和輸出預(yù)測(cè)之間的復(fù)雜和非線性關(guān)系，深度模型的解釋具有挑戰(zhàn)性。代理方法能夠?yàn)閳D像模型提供實(shí)例級(jí)解釋。其基本思想是化繁為簡(jiǎn)，既然無(wú)法解釋原始深度圖模型，那么采用一個(gè)簡(jiǎn)單且可解釋的代理模型來(lái)近似復(fù)雜的深層模型，實(shí)現(xiàn)輸入實(shí)例的鄰近區(qū)域預(yù)測(cè)。

需要注意的是，這些方法都是假設(shè)輸入實(shí)例的鄰近區(qū)域的關(guān)系不那么復(fù)雜，可以被一個(gè)較簡(jiǎn)單的代理模型很好地捕獲。然后通過(guò)可解釋的代理模型的來(lái)解釋原始預(yù)測(cè)。將代理方法應(yīng)用到圖域是一個(gè)挑戰(zhàn)，因?yàn)閳D數(shù)據(jù)是離散的，包含拓?fù)湫畔?。那么如何定義輸入圖的相鄰區(qū)域，以及什么樣的可解釋代理模型是合適的，都是不清楚的。

圖3 代理模型的一般框架

給定一個(gè)輸入圖及其預(yù)測(cè)，它們首先對(duì)一個(gè)局部數(shù)據(jù)集進(jìn)行采樣，以表示目標(biāo)數(shù)據(jù)周圍的關(guān)系。然后應(yīng)用不同的代理方法來(lái)擬合局部數(shù)據(jù)集。需要注意的是，代理模型一般都是簡(jiǎn)單且可解釋的ML模型。最后，代理模型的解釋可以看作是對(duì)原始預(yù)測(cè)的解釋。本文將介紹最近提出的幾種代理方法，包括：GraphLime［56］、RelEx［57］和PGM-Explainer［58］。

這些方法的一般流程如圖3所示。為了解釋給定輸入圖的預(yù)測(cè)，它們首先獲得一個(gè)包含多個(gè)相鄰數(shù)據(jù)對(duì)象及其預(yù)測(cè)的局部數(shù)據(jù)集。然后擬合一個(gè)可解釋模型來(lái)學(xué)習(xí)局部數(shù)據(jù)集。來(lái)自可解釋模型的解釋被視為原始模型對(duì)輸入圖的解釋。不同代理模型關(guān)鍵的區(qū)別在于兩個(gè)方面：如何獲得局部數(shù)據(jù)集和選擇什么代理模型。

1）GraphLime

GraphLime［56］將LIME［64］算法擴(kuò)展到深度圖模型，并研究不同節(jié)點(diǎn)特征對(duì)節(jié)點(diǎn)分類任務(wù)的重要性。給定輸入圖中的一個(gè)目標(biāo)節(jié)點(diǎn)，將其N-hop 鄰居節(jié)點(diǎn)及其預(yù)測(cè)值視為局部數(shù)據(jù)集，其中N的合理設(shè)置是訓(xùn)練的GNN的層數(shù)。然后采用非線性代理模型HSIC Lasso［65］來(lái)擬合局部數(shù)據(jù)集。根據(jù)HSIC Lasso中不同特征的權(quán)重，可以選擇重要的特征來(lái)解釋HSIC Lasso的預(yù)測(cè)結(jié)果。這些被選取的特征被認(rèn)為是對(duì)原始GNN預(yù)測(cè)的解釋。但是，GraphLime只能提供節(jié)點(diǎn)特征的解釋，卻忽略了節(jié)點(diǎn)和邊等圖結(jié)構(gòu)，而這些圖結(jié)構(gòu)對(duì)于圖數(shù)據(jù)來(lái)說(shuō)更為重要。另外，GraphLime是為了解釋節(jié)點(diǎn)分類預(yù)測(cè)而提出的，但不能直接應(yīng)用于圖分類模型。

2）RelEx

RelEx［57］結(jié)合代理方法和基于擾動(dòng)的方法的思想，研究節(jié)點(diǎn)分類模型的可解釋性。給定一個(gè)目標(biāo)節(jié)點(diǎn)及其計(jì)算圖（N-hop鄰居），它首先從計(jì)算圖中隨機(jī)采樣連接的子圖，獲得一個(gè)局部數(shù)據(jù)集，并將這些子圖喂入訓(xùn)練好的GNN，以獲得其預(yù)測(cè)結(jié)果。從目標(biāo)節(jié)點(diǎn)開(kāi)始，它以BFS的方式隨機(jī)選擇相鄰節(jié)點(diǎn)。采用GCN模型作為代理模型來(lái)擬合局部數(shù)據(jù)集。與GraphLime不同，RelEx中的代理模型是不可解釋的。訓(xùn)練后，它進(jìn)一步應(yīng)用前述基于擾動(dòng)的方法，如生成軟掩碼或Gumbel-Softmax掩碼來(lái)解釋預(yù)測(cè)結(jié)果。該過(guò)程包含了多個(gè)步驟的近似，比如使用代理模型來(lái)近似局部關(guān)系，使用掩碼來(lái)近似邊的重要性，從而使得解釋的說(shuō)服力和可信度降低。由于可以直接采用基于擾動(dòng)的方法來(lái)解釋原有的深度圖模型，因此沒(méi)有必要再建立一個(gè)不可解釋的深度模型作為代理模型來(lái)解釋。

3）PGM-Explainer

PGM-Explainer［58］建立了一個(gè)概率圖形模型，為GNN提供實(shí)例級(jí)解釋。局部數(shù)據(jù)集是通過(guò)隨機(jī)節(jié)點(diǎn)特征擾動(dòng)獲得的。具體來(lái)說(shuō)，給定一個(gè)輸入圖，每次PGM-Explainer都會(huì)隨機(jī)擾動(dòng)計(jì)算圖中幾個(gè)隨機(jī)節(jié)點(diǎn)的節(jié)點(diǎn)特征。然后對(duì)于計(jì)算圖中的任何一個(gè)節(jié)點(diǎn)，PGM-Explainer都會(huì)記錄一個(gè)隨機(jī)變量，表示其特征是否受到擾動(dòng)，以及其對(duì)GNN預(yù)測(cè)的影響。通過(guò)多次重復(fù)這樣的過(guò)程，就可以得到一個(gè)局部數(shù)據(jù)集。通過(guò)Grow-Shrink（GS）算法［66］選擇依賴性最強(qiáng)的變量來(lái)減小局部數(shù)據(jù)集的大小。最后采用可解釋的貝葉斯網(wǎng)絡(luò)來(lái)擬合局部數(shù)據(jù)集，并解釋原始GNN模型的預(yù)測(cè)。PGM-Explainer可以提供有關(guān)圖節(jié)點(diǎn)的解釋，但忽略了包含重要圖拓?fù)湫畔⒌膱D邊。此外，與GraphLime和RelEx不同的是，PGM-Explainer可以同時(shí)用于解釋節(jié)點(diǎn)分類和圖形分類任務(wù)。

3.4 分解方法（Decomposition Methods）

分解方法是另一種比較流行的解釋深度圖像分類器的方法，它通過(guò)將原始模型預(yù)測(cè)分解為若干項(xiàng)來(lái)衡量輸入特征的重要性。然后將這些項(xiàng)視為相應(yīng)輸入特征的重要性分?jǐn)?shù)。這些方法直接研究模型參數(shù)來(lái)揭示輸入空間中的特征與輸出預(yù)測(cè)之間的關(guān)系。需要注意的是，這些方法要求分解項(xiàng)之和等于原始預(yù)測(cè)得分。由于圖包含節(jié)點(diǎn)、邊和節(jié)點(diǎn)特征，因此將這類方法直接應(yīng)用于圖域是具有挑戰(zhàn)性的。很難將分?jǐn)?shù)分配給不同的邊，圖數(shù)據(jù)邊包含著重要的結(jié)構(gòu)信息，不容忽視。

圖5 分解方法的一般流程

本文將介紹最近提出的幾種用于解釋深層圖神經(jīng)網(wǎng)絡(luò)泛讀分解方法，包括：Layerwise Relevance Propagation（LRP）［49］、［54］、Excitation BP［50］和GNN-LRP［55］。這些算法的主要思想是建立分?jǐn)?shù)分解規(guī)則，將預(yù)測(cè)分?jǐn)?shù)分配到輸入空間。這些方法的一般流程如圖4所示。

以反向傳播的方式逐層分發(fā)預(yù)測(cè)得分，直到輸入層。從輸出層開(kāi)始，將模型的預(yù)測(cè)結(jié)果作為初始目標(biāo)分?jǐn)?shù)。然后將分?jǐn)?shù)進(jìn)行分解，并按照分解規(guī)則分配給上一層的神經(jīng)元。通過(guò)重復(fù)這樣的過(guò)程，直到輸入空間，它們可以得到節(jié)點(diǎn)特征的重要性分?jǐn)?shù)，這些分?jǐn)?shù)可以組合起來(lái)表示邊重要性、節(jié)點(diǎn)重要性和游走重要性。但是這些算法都忽略了深度圖模型中的激活函數(shù)。不同分解方法的主要區(qū)別在于分?jǐn)?shù)分解規(guī)則和解釋的目標(biāo)。

1）LRP

LRP［49］，［54］將原來(lái)的LRP算法［67］擴(kuò)展到深度圖模型。它將輸出的預(yù)測(cè)分?jǐn)?shù)分解為不同的節(jié)點(diǎn)重要性分?jǐn)?shù)。分?jǐn)?shù)分解規(guī)則是基于隱藏特征和權(quán)重制定的。對(duì)于一個(gè)目標(biāo)神經(jīng)元，其得分表示為上一層神經(jīng)元得分的線性近似。目標(biāo)神經(jīng)元激活貢獻(xiàn)度較高的神經(jīng)元獲得的目標(biāo)神經(jīng)元得分比例較大。為了滿足保守屬性，在事后解釋階段將鄰接矩陣作為GNN模型的一部分，這樣在分?jǐn)?shù)分配時(shí)就可以忽略它，否則，鄰接矩陣也會(huì)收到分解后的分?jǐn)?shù)，從而使保守屬性失效。由于LRP是直接根據(jù)模型參數(shù)開(kāi)發(fā)的，所以其解釋結(jié)果更具有可信度。但它只能研究不同節(jié)點(diǎn)的重要性，不能應(yīng)用于圖結(jié)構(gòu)，如子圖和游走。該算法需要對(duì)模型結(jié)構(gòu)有全面的了解，這就限制了它對(duì)非專業(yè)用戶的應(yīng)用，如跨學(xué)科研究人員。

2）Excitation BP

Excitation BP［50］與LRP算法有著相似的思想，但它是基于全概率法則開(kāi)發(fā)的。它定義了當(dāng)前層中一個(gè)神經(jīng)元的概率等于它輸出給下一層所有連接神經(jīng)元的總概率。那么分?jǐn)?shù)分解規(guī)則可以看作是將目標(biāo)概率分解為幾個(gè)條件概率項(xiàng)。Excitation BP的計(jì)算與LRP中的z+規(guī)則高度相似。因此它與LRP算法有著相同的優(yōu)點(diǎn)和局限性。

3）GNN-LRP

GNN-LRP［55］研究了不同圖游走的重要性。由于在進(jìn)行鄰域信息聚合時(shí)，圖游走對(duì)應(yīng)于消息流，因此它對(duì)深層圖神經(jīng)網(wǎng)絡(luò)更具有一致性。得分分解規(guī)則是模型預(yù)測(cè)的高階泰勒分解。研究表明，泰勒分解（在根零處）只包含T階項(xiàng)，其中T是訓(xùn)練的GNN的層數(shù)。那么每個(gè)項(xiàng)對(duì)應(yīng)一個(gè)T階圖游走，可以視為其重要性得分。由于無(wú)法直接計(jì)算泰勒展開(kāi)給出的高階導(dǎo)數(shù)，GNN-LRP還遵循反向傳播過(guò)程來(lái)逼近T階項(xiàng)。GNN-LRP中的反向傳播計(jì)算與LRP算法類似。然而，GNN-LRP不是將分?jǐn)?shù)分配給節(jié)點(diǎn)或邊，而是將分?jǐn)?shù)分配給不同的圖游走。它記錄了層與層之間的消息分發(fā)過(guò)程的路徑。這些路徑被認(rèn)為是不同的游走，并從它們對(duì)應(yīng)的節(jié)點(diǎn)上獲得分?jǐn)?shù)。雖然GNN-LRP具有堅(jiān)實(shí)的理論背景，但其計(jì)算中的近似值可能并不準(zhǔn)確。由于每個(gè)游走都要單獨(dú)考慮，計(jì)算復(fù)雜度很高。此外，對(duì)于非專業(yè)人員來(lái)說(shuō)，它的使用也具有挑戰(zhàn)性，尤其是對(duì)于跨學(xué)科領(lǐng)域。

4. 模型級(jí)方法與實(shí)例級(jí)方法不同，模型級(jí)方法旨在提供一般性的見(jiàn)解和高層次的理解來(lái)解釋深層圖模型。它們研究什么樣的輸入圖模式可以導(dǎo)致GNN的某種行為，例如最大化目標(biāo)預(yù)測(cè)。輸入優(yōu)化［16］是獲得圖像分類器模型級(jí)解釋的一個(gè)熱門方向。但是，由于圖拓?fù)湫畔⒌碾x散性，它不能直接應(yīng)用于圖模型，從而使GNN在模型層面的解釋更具挑戰(zhàn)性。它仍然是一個(gè)重要但研究較少的課題。據(jù)我們所知，現(xiàn)有的解釋圖神經(jīng)網(wǎng)絡(luò)的模型級(jí)方法只有XGNN［41］。

1）XGNN

XGNN［41］提出通過(guò)圖生成來(lái)解釋GNN。它不是直接優(yōu)化輸入圖，而是訓(xùn)練一個(gè)圖生成器，使生成的圖能夠最大化目標(biāo)圖預(yù)測(cè)。然后，生成的圖被視為目標(biāo)預(yù)測(cè)的解釋，并被期望包含判別性的圖模式。在XGNN中，圖形生成被表述為一個(gè)強(qiáng)化學(xué)習(xí)問(wèn)題。對(duì)于每一步，生成器都會(huì)預(yù)測(cè)如何在當(dāng)前圖中增加一條邊。然后將生成的圖輸入到訓(xùn)練好的GNN中，通過(guò)策略梯度獲得反饋來(lái)訓(xùn)練生成器。此外，還加入了一些圖規(guī)則，以鼓勵(lì)解釋既有效又能被人類理解。XGNN是一個(gè)生成模型級(jí)解釋的通用框架，因此可以應(yīng)用任何合適的圖生成算法。該解釋是通用的，并且提供了對(duì)訓(xùn)練的GNNs的全局理解。然而XGNN只證明了其在解釋圖分類模型方面的有效性，XGNN是否可以應(yīng)用于節(jié)點(diǎn)分類任務(wù)還不得而知，這是未來(lái)研究中需要探索的重要方向。

5. 評(píng)估模型由于缺乏 ground truths，因此不容易對(duì)解釋方法的結(jié)果進(jìn)行評(píng)估，作者討論并分析了幾種常用的數(shù)據(jù)集和度量標(biāo)準(zhǔn)。

5.1. Datasets

需要選擇合適的數(shù)據(jù)集來(lái)評(píng)估不同的解釋技術(shù)，并且希望數(shù)據(jù)是直觀的，易于可視化的。應(yīng)該在數(shù)據(jù)實(shí)例和標(biāo)簽之間蘊(yùn)含人類可以理解的理由，這樣專家就可以驗(yàn)證這些理由是否被解釋算法識(shí)別。為了評(píng)估不同的解釋技術(shù)，通常采用幾種類型的數(shù)據(jù)集，包括合成數(shù)據(jù)、情感圖數(shù)據(jù)和分子數(shù)據(jù)。

5.1.1. Synthetic data

利用現(xiàn)有的合成數(shù)據(jù)集來(lái)評(píng)估解釋技術(shù)［42］，［43］。在這樣的數(shù)據(jù)集中，包含了不同的 graph motifs，可以通過(guò)它們確定節(jié)點(diǎn)或圖的標(biāo)簽。數(shù)據(jù)實(shí)例和數(shù)據(jù)標(biāo)簽之間的關(guān)系由人類定義。即使經(jīng)過(guò)訓(xùn)練的GNNs可能無(wú)法完美地捕捉到這樣的關(guān)系，但graph motifs 可以作為解釋結(jié)果的ground truths 的合理近似值。這里我們介紹幾種常見(jiàn)的合成數(shù)據(jù)集。

BA-shapes：它是一個(gè)節(jié)點(diǎn)分類數(shù)據(jù)集，有4個(gè)不同的節(jié)點(diǎn)標(biāo)簽。對(duì)于每個(gè)圖形，它包含一個(gè)基礎(chǔ)圖（300個(gè)節(jié)點(diǎn)）和一個(gè)類似房子的5節(jié)點(diǎn) motif。需要注意的是，基礎(chǔ)圖是由Barab′asi-Albert（BA）模型獲得的，它可以生成具有優(yōu)先附加機(jī)制的隨機(jī)無(wú)標(biāo)度網(wǎng)絡(luò)［68］。motif 被附加到基圖上，同時(shí)添加隨機(jī)邊。每個(gè)節(jié)點(diǎn)根據(jù)其是否屬于基礎(chǔ)圖或motif 的不同空間位置進(jìn)行標(biāo)注。

BA-Community：這是一個(gè)有8個(gè)不同標(biāo)簽的節(jié)點(diǎn)分類數(shù)據(jù)集。對(duì)于每個(gè)圖，它是通過(guò)組合兩個(gè)隨機(jī)添加邊的BA-shapes圖獲得的。節(jié)點(diǎn)標(biāo)簽由BA-shapes圖的成員資格及其結(jié)構(gòu)位置決定。

Tree-Cycle：它是一個(gè)有兩個(gè)不同標(biāo)簽的節(jié)點(diǎn)分類數(shù)據(jù)集。對(duì)于每個(gè)圖，它由深度等于8的基平衡樹(shù)圖和6節(jié)點(diǎn)周期 motif 組成。這兩部分是隨機(jī)連接的?；鶊D中節(jié)點(diǎn)的標(biāo)簽為0，否則為1。

Tree-Grids：它是一個(gè)有兩個(gè)不同標(biāo)簽的節(jié)點(diǎn)分類數(shù)據(jù)集。它與 Tree-Cycle 數(shù)據(jù)集相同，只是Tree-Grids數(shù)據(jù)集采用了9節(jié)點(diǎn)網(wǎng)格 motifs 而不是周期 motifs 。

BA-2Motifs：它是一個(gè)具有2種不同圖標(biāo)簽的圖形分類數(shù)據(jù)集。有800個(gè)圖，每個(gè)圖都是通過(guò)在基礎(chǔ)BA圖上附加不同的motif來(lái)獲得的，如house-like motif 和 five-node cycle motif。不同的圖是根據(jù)motif 的類型來(lái)標(biāo)注的。

在這些數(shù)據(jù)集中，所有節(jié)點(diǎn)特征都被初始化為全1向量。訓(xùn)練好的GNNs模型要捕捉圖結(jié)構(gòu)來(lái)進(jìn)行預(yù)測(cè)。然后根據(jù)每個(gè)數(shù)據(jù)集的構(gòu)建規(guī)則，我們可以分析解釋結(jié)果。例如，在BA-2Motifs數(shù)據(jù)集中，我們可以研究解釋是否能夠捕獲motif結(jié)構(gòu)。然而，合成數(shù)據(jù)集只包含圖和標(biāo)簽之間的簡(jiǎn)單關(guān)系，可能不足以進(jìn)行綜合評(píng)估。

5.1.2 Sentiment graph data

由于人類只有有限的領(lǐng)域知識(shí)，傳統(tǒng)的圖數(shù)據(jù)集在理解上具有挑戰(zhàn)性，因此需要構(gòu)建人類可理解的圖數(shù)據(jù)集。文本數(shù)據(jù)具有人類可理解的語(yǔ)義的單詞和短語(yǔ)組成，因此可以成為圖解釋任務(wù)的合適選擇，解釋結(jié)果可以很容易地被人類評(píng)估。因此我們基于文本情感分析數(shù)據(jù)構(gòu)建了三個(gè)情感圖數(shù)據(jù)集，包括SST2［69］、SST5［69］和Twitter［70］數(shù)據(jù)集。

圖5 文本情感圖

對(duì)于每個(gè)文本序列，將其轉(zhuǎn)換為一個(gè)圖，每個(gè)節(jié)點(diǎn)代表一個(gè)單詞，而邊則反映不同單詞之間的關(guān)系。作者采用Biaffine解析器［71］來(lái)提取詞的依賴關(guān)系。圖5中展示了生成的情感圖的一個(gè)例子。生成的圖是有向的，但邊標(biāo)簽被忽略了，因?yàn)榇蠖鄶?shù)GNNs不能捕獲邊標(biāo)簽信息。用BERT［72］來(lái)學(xué)習(xí)單詞嵌入，并將這種嵌入作為圖節(jié)點(diǎn)的初始嵌入。建立一個(gè)模型，采用預(yù)訓(xùn)練好的BERT作為特征提取器，采用一層平均池化的GCN作為分類器。最后預(yù)訓(xùn)練的BERT為每個(gè)詞提取768維的特征向量，作為情感圖數(shù)據(jù)中的節(jié)點(diǎn)特征。

作者建立了三個(gè)情感圖數(shù)據(jù)集，分別為Graph-SST2、Graph-SST5和Graph-Twitter ，并即將公開(kāi)，可以直接用于研究不同的可解釋技術(shù)。這些數(shù)據(jù)集的統(tǒng)計(jì)和屬性如表2所示。為了驗(yàn)證本文生成的情感數(shù)據(jù)集具有可解釋信息，作者分別再新生成的情感數(shù)據(jù)集和原始數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。

作者展示了兩層GNNs在這些數(shù)據(jù)集上的預(yù)測(cè)精度，包括GCNs、GATs和GINs。還展示了使用原始句子數(shù)據(jù)集的預(yù)訓(xùn)練的BERT［72］的微調(diào)精度。結(jié)果表明，與原始句子數(shù)據(jù)集相比，作者構(gòu)建的情感圖數(shù)據(jù)集可以達(dá)到具有競(jìng)爭(zhēng)力的性能這些數(shù)據(jù)集是實(shí)現(xiàn)圖模型解釋的合理選擇。根據(jù)不同詞的語(yǔ)義和情感標(biāo)簽，我們可以研究可解釋方法是否能識(shí)別出具有關(guān)鍵意義的詞以及不同詞之間的關(guān)系

5.1.3 Molecule data

分子數(shù)據(jù)集也被廣泛用于解釋任務(wù)，如MUTAG［73］、BBBP和Tox21［74］。這類數(shù)據(jù)集中的每個(gè)圖對(duì)應(yīng)一個(gè)分子，其中節(jié)點(diǎn)代表原子，邊是化學(xué)鍵。分子圖的標(biāo)簽一般由分子的化學(xué)功能或性質(zhì)決定。采用這樣的數(shù)據(jù)集進(jìn)行解釋任務(wù)需要領(lǐng)域知識(shí)，例如什么化學(xué)基團(tuán)對(duì)其官能性更具有鑒別性。例如，在數(shù)據(jù)集MUTAG中，不同的圖形是根據(jù)它們對(duì)細(xì)菌的誘變作用來(lái)標(biāo)注的。例如，已知碳環(huán)和NO2化學(xué)基團(tuán)可能導(dǎo)致誘變效應(yīng)［73］，那么可以研究可解釋方法是否能識(shí)別出對(duì)應(yīng)類別的 patterns

（在不同的領(lǐng)域中，不同的局部結(jié)構(gòu)是具有區(qū)分力的，可解釋方法是否能夠識(shí)別這些模式？）

5.2 Evaluation Metrics

即使可視化的結(jié)果可以讓人理解解釋性方法是否合理，但由于缺乏 ground truths，這種評(píng)估并不完全可信。為了比較不同的解釋性方法，我們需要研究每個(gè)輸入樣例的結(jié)果，這很耗時(shí)。因此評(píng)估度量對(duì)于研究可解釋方法至關(guān)重要。好的度量方法應(yīng)該從模型的角度來(lái)評(píng)估預(yù)測(cè)結(jié)果，比如解釋是否忠實(shí)于模型［75］，［76］。作者將介紹最近提出的幾種針對(duì)解釋性問(wèn)題的評(píng)估度量方法。

5.2.1 Fidelity/Infidelity

首先，從模型的預(yù)測(cè)結(jié)果上分析解釋性方法的性能，解釋?xiě)?yīng)該忠于模型，解釋方法應(yīng)該識(shí)別對(duì)模型重要的輸入特征。為了評(píng)估這一點(diǎn)，最近提出了Fidelity［50］度量方法。關(guān)鍵思想在于如果解釋技術(shù)所識(shí)別的重要輸入特征（節(jié)點(diǎn)/邊/節(jié)點(diǎn)特征）對(duì)模型具有判別力，那么當(dāng)這些特征被移除時(shí)，模型的預(yù)測(cè)結(jié)果應(yīng)該會(huì)發(fā)生顯著變化。因此，F(xiàn)idelity被定義為原始預(yù)測(cè)與遮蔽掉重要輸入特征后的新預(yù)測(cè)之間的精度之差［50］，［77］，即衡量?jī)煞N預(yù)測(cè)結(jié)果的差異性。

可解釋方法可以看作是一個(gè)硬重要性映射 ，其中元素為 0（表示特征不重要）或1（表示特征重要）。對(duì)于現(xiàn)有方法，例如ZORRO［51］ 和 Causal Screening［53］ 等方法，生成的解釋是離散掩碼，可以直接作為重要性映射 。對(duì)于 GNNExplainer［42］ 和 GraphLime［56］ 等方法，重要性分?jǐn)?shù)是連續(xù)值，那么可以通過(guò)歸一化和閾值化得到重要性地映射。最后，預(yù)測(cè)精度的Fidelity得分可以計(jì)算為：

其中是圖的原始預(yù)測(cè)，是圖的數(shù)量。表示去掉重要輸入特征的補(bǔ)全掩碼，是將新圖輸入訓(xùn)練好的GNN 時(shí)的預(yù)測(cè)值。指示函數(shù)如果和相等則返回1，否則返回0。注意，指標(biāo)研究的是預(yù)測(cè)精度的變化。通過(guò)對(duì)預(yù)測(cè)概率的關(guān)注，概率的Fidelity可以定義為：

其中，代表基于互補(bǔ)掩碼，保留的特征得到的新圖。需要注意的是，監(jiān)測(cè)的是預(yù)測(cè)概率的變化，比更敏感。對(duì)于這兩個(gè)指標(biāo)來(lái)說(shuō)，數(shù)值越高，說(shuō)明解釋結(jié)果越好，識(shí)別出的判別特征越多。

Fidelity度量通過(guò)去除重要節(jié)點(diǎn)/邊/節(jié)點(diǎn)特征來(lái)研究預(yù)測(cè)變化。相反，Infidelity度量通過(guò)保留重要的輸入特征和去除不重要的特征來(lái)研究預(yù)測(cè)變化。直觀地講，重要特征應(yīng)該包含判別信息，因此即使去掉不重要的特征，它們也應(yīng)該導(dǎo)致與原始預(yù)測(cè)相似的預(yù)測(cè)。從形式上看，度量Infidelity可以計(jì)算為：

其中是根據(jù)映射保留的重要特征時(shí)的新圖，是新的預(yù)測(cè)值。需要注意的是，對(duì)于和來(lái)說(shuō)，數(shù)值越低，說(shuō)明去掉的特征重要信息越少，這樣解釋結(jié)果越好

5.2.2 Sparsity

從輸入圖數(shù)據(jù)的角度來(lái)分析解釋性方法的性能，解釋性方法應(yīng)該是稀疏的，這意味著它們應(yīng)該捕捉最重要的輸入特征，而忽略不相關(guān)的特征，可以用稀疏度（Sparsity）指標(biāo)衡量這樣個(gè)特性。具體來(lái)說(shuō)，它衡量的是被解釋方法選擇為重要特征的分?jǐn)?shù)［50］。形式上，給定圖和它的硬重要性映射 ，稀疏度度量可以計(jì)算為：

其中表示中識(shí)別的重要輸入特征（節(jié)點(diǎn)/邊/節(jié)點(diǎn)特征）的數(shù)量，表示原始圖 中特征的總數(shù)。請(qǐng)注意，數(shù)值越高表示解釋方法越稀疏，即往往只捕捉最重要的輸入信息。

5.2.3 Stability

好的解釋?xiě)?yīng)該是穩(wěn)定的。當(dāng)對(duì)輸入施加小的變化而不影響預(yù)測(cè)時(shí)，解釋?xiě)?yīng)該保持相似。最近提出的穩(wěn)定性度量標(biāo)準(zhǔn)來(lái)衡量一個(gè)解釋方法是否穩(wěn)定［78］。給定一個(gè)輸入圖，它的解釋被認(rèn)為是真實(shí)標(biāo)簽。然后對(duì)輸入圖進(jìn)行小的改變，比如附加新的節(jié)點(diǎn)/邊，得到一個(gè)新的圖。需要注意的是，和需要有相同的預(yù)測(cè)。然后得到的解釋，表示為 。通過(guò)比較和之間的差異，我們可以計(jì)算出穩(wěn)定性得分。請(qǐng)注意，數(shù)值越低表示解釋技術(shù)越穩(wěn)定，對(duì)噪聲信息的魯棒性越強(qiáng)。

5.2.4 Accuracy

針對(duì)合成數(shù)據(jù)集提出了精度度量方法［42］、［78］。在合成數(shù)據(jù)集中，即使不知道GNN是否按照我們預(yù)期的方式進(jìn)行預(yù)測(cè)，但構(gòu)建這些數(shù)據(jù)集的規(guī)則，如 graph motifs，可以作為 ground truths 的合理近似。然后對(duì)于任何輸入圖，我們都可以將其解釋與這樣的 ground truths進(jìn)行比較。例如，在研究重要邊的時(shí)候，可以研究解釋中的重要邊與 ground truths 的邊的匹配率。這種比較的常用指標(biāo)包括一般精度、F1得分、ROC-AUC得分。匹配率數(shù)值越高，說(shuō)明解釋結(jié)果越接近于 ground truths，認(rèn)為是較好的解釋方法。

6. Conclusion圖神經(jīng)網(wǎng)絡(luò)近來(lái)被廣泛研究，但對(duì)圖模型的可解釋性的探討還比較少。

為了研究這些黑箱的潛在機(jī)制，人們提出了幾種解釋圖模型的方法，包括XGNN、GNNExplainer等。這些方法從不同的角度和動(dòng)機(jī)來(lái)解釋圖模型，但是缺乏對(duì)這些方法的全面研究和分析。在這項(xiàng)工作中，作者對(duì)這些方法進(jìn)行了系統(tǒng)全面的調(diào)研。首先對(duì)現(xiàn)有的GNN解釋方法進(jìn)行了系統(tǒng)的分類，并介紹了每一類解釋方法背后的關(guān)鍵思想。

然后詳細(xì)討論了每一種解釋方法，包括方法、內(nèi)涵、優(yōu)勢(shì)和缺點(diǎn)，還對(duì)不同的解釋方法進(jìn)行了綜合分析。并且介紹和分析了常用的數(shù)據(jù)集和GNN解釋方法的評(píng)價(jià)指標(biāo)。最后從文本數(shù)據(jù)出發(fā)，建立了三個(gè)圖形數(shù)據(jù)集，這些數(shù)據(jù)集是人類可以理解的，可以直接用于GNN解釋任務(wù)bj

編輯：jq