圖神經(jīng)網(wǎng)絡(luò)綜述

在科學(xué)研究中，從方法論上來(lái)講，都應(yīng)“先見(jiàn)森林，再見(jiàn)樹(shù)木”。當(dāng)前，人工智能學(xué)術(shù)研究方興未艾，技術(shù)迅猛發(fā)展，可謂萬(wàn)木爭(zhēng)榮，日新月異。對(duì)于AI從業(yè)者來(lái)說(shuō)，在廣袤的知識(shí)森林中，系統(tǒng)梳理脈絡(luò)，才能更好地把握趨勢(shì)。

摘要：隨著計(jì)算機(jī)行業(yè)和互聯(lián)網(wǎng)時(shí)代的不斷發(fā)展與進(jìn)步，圖神經(jīng)網(wǎng)絡(luò)已經(jīng)成為人工智能和大數(shù)據(jù)重要研究領(lǐng)域。圖神經(jīng)網(wǎng)絡(luò)是對(duì)相鄰節(jié)點(diǎn)間信息的傳播和聚合的重要技術(shù)，可以有效地將深度學(xué)習(xí)的理念應(yīng)用于非歐幾里德空間的數(shù)據(jù)上。簡(jiǎn)述圖計(jì)算、圖數(shù)據(jù)庫(kù)、知識(shí)圖譜、圖神經(jīng)網(wǎng)絡(luò)等圖技術(shù)領(lǐng)域的相關(guān)研究歷史，分類介紹不同類型的圖結(jié)構(gòu)。分析對(duì)比不同的圖神經(jīng)網(wǎng)絡(luò)技術(shù)，重點(diǎn)從頻域和空間與的信息聚合方式上分類比較不同的圖卷積網(wǎng)絡(luò)算法。闡述圖生成和圖對(duì)抗網(wǎng)絡(luò)、圖強(qiáng)化學(xué)習(xí)、圖遷移學(xué)習(xí)、神經(jīng)任務(wù)圖和圖零樣本學(xué)習(xí)等不同的圖網(wǎng)絡(luò)與深度學(xué)習(xí)方法相結(jié)合的技術(shù)方法，并列舉不同的圖神經(jīng)網(wǎng)絡(luò)技術(shù)在文本、圖像、知識(shí)圖譜、視頻任務(wù)等領(lǐng)域的具體應(yīng)用。最后，對(duì)圖神經(jīng)網(wǎng)絡(luò)未來(lái)的發(fā)展與研究方向加以展望。

01 概述

近年來(lái)隨著計(jì)算機(jī)行業(yè)的快速發(fā)展和數(shù)據(jù)量的井噴式增長(zhǎng)，深度學(xué)習(xí)方法被提出并得到了廣泛的應(yīng)用。深度學(xué)習(xí)通過(guò)神經(jīng)網(wǎng)絡(luò)端到端的解決方案，在圖像處理、語(yǔ)音識(shí)別、語(yǔ)義理解等領(lǐng)域取得了巨大的成功，深度學(xué)習(xí)的應(yīng)用往往都是在高維特征空間上特征規(guī)則分布的歐幾里德數(shù)據(jù)。作為一種關(guān)系型數(shù)據(jù)結(jié)構(gòu)，圖（Graph）在深度學(xué)習(xí)中的應(yīng)用研究近年來(lái)受到越來(lái)越多的關(guān)注，本文將圖的演進(jìn)歷程分為數(shù)學(xué)起源、計(jì)算應(yīng)用、神經(jīng)網(wǎng)絡(luò)延伸三個(gè)階段。

圖的概念起源于18世紀(jì)著名的柯尼斯堡七橋問(wèn)題，到了20世紀(jì)中期，擬陣?yán)碚?、超圖理論、極圖理論等研究蓬勃發(fā)展，使得圖論（Graph Theory）在電子計(jì)算誕生前，就已經(jīng)成為了重要的數(shù)學(xué)研究領(lǐng)域。

隨著計(jì)算機(jī)的出現(xiàn)和機(jī)器計(jì)算時(shí)代的到來(lái)和發(fā)展，圖作為一種能夠有效且抽象地表達(dá)信息和數(shù)據(jù)中的實(shí)體以及實(shí)體之間關(guān)系的重要數(shù)據(jù)結(jié)構(gòu)被廣泛應(yīng)用，圖數(shù)據(jù)庫(kù)有效解決了傳統(tǒng)的關(guān)系型數(shù)據(jù)結(jié)構(gòu)面對(duì)大量復(fù)雜的數(shù)據(jù)所暴露出的建模缺陷多、計(jì)算速度慢等問(wèn)題，圖數(shù)據(jù)庫(kù)也成為了非常熱門(mén)的研究領(lǐng)域。圖結(jié)構(gòu)（Graph-structured Data）］可以將結(jié)構(gòu)化數(shù)據(jù)點(diǎn)通過(guò)邊的形式，依照數(shù)據(jù)間的關(guān)系將不同類型和結(jié)構(gòu)的數(shù)據(jù)節(jié)點(diǎn)連接起來(lái)，因而被廣泛地應(yīng)用在數(shù)據(jù)的存儲(chǔ)、檢索以及計(jì)算應(yīng)用中。

基于圖結(jié)構(gòu)數(shù)據(jù)，知識(shí)圖譜［4-7}可以通過(guò)點(diǎn)和邊的語(yǔ)義關(guān)系，來(lái)實(shí)現(xiàn)精確地描述現(xiàn)實(shí)世界中實(shí)體之間的關(guān)聯(lián)關(guān)系，作為人工智能非常重要的研究領(lǐng)域，知識(shí)圖譜的研究方向包括知識(shí)抽取、知識(shí)推理、知識(shí)圖譜可視化等。圖計(jì)算（Graph Computing）具有數(shù)據(jù)規(guī)模量大、局部性低、計(jì)算性能高等特性，圖計(jì)算算法}s-}}主要可以分為路徑搜索算法、中心性算法、社群發(fā)現(xiàn)算法等三類，實(shí)現(xiàn)了在關(guān)系復(fù)雜型的大規(guī)模數(shù)據(jù)上高時(shí)效性和準(zhǔn)確度的表現(xiàn)，在社交網(wǎng)絡(luò)、團(tuán)體反欺詐和用戶推薦等領(lǐng)域有著重要的應(yīng)用。

與已經(jīng)非常成熟圖計(jì)算不同，圖神經(jīng)網(wǎng)絡(luò)（ Graph Neural Network）的研究主要是集中在相鄰節(jié)點(diǎn)信息的傳播與聚合上，從圖神經(jīng)網(wǎng)絡(luò)的概念提出，到受深度學(xué)習(xí)中卷積神經(jīng)網(wǎng)絡(luò)的啟發(fā)，2013年提出的基于圖論的圖卷積神經(jīng)網(wǎng)絡(luò)研究方向吸引了大量學(xué)者關(guān)注。2018年DeepMind提出圖網(wǎng)絡(luò)（Graph NeW ork） flz}的概念，希望能夠?qū)⑸疃葘W(xué)習(xí)端到端的學(xué)習(xí)方式與圖結(jié)構(gòu)關(guān)系歸納推理的理論結(jié)合解決深度學(xué)習(xí)無(wú)法處理關(guān)系推理的問(wèn)題。針對(duì)圖神經(jīng)網(wǎng)絡(luò)存在的問(wèn)題，不同的學(xué)者們也給出了不同的方案，隨著對(duì)圖神經(jīng)網(wǎng)絡(luò)這一新興領(lǐng)域更加深入的研究與探索，人工智能領(lǐng)域的版圖將得到更大擴(kuò)展。

文獻(xiàn)［12］在關(guān)系歸納偏置和深度學(xué)習(xí)的研究基礎(chǔ)上，提出了面向關(guān)系推理的圖網(wǎng)絡(luò)概念并進(jìn)行了綜述，但未對(duì)不同圖網(wǎng)絡(luò)技術(shù)進(jìn)行分類和對(duì)比。文獻(xiàn)［13］從半監(jiān)督、無(wú)監(jiān)督方法的角度對(duì)圖結(jié)構(gòu)上的深度學(xué)習(xí)進(jìn)行了綜述，但缺少相近的分類和應(yīng)用的討論。文獻(xiàn)［14］主要從傳播規(guī)則、網(wǎng)絡(luò)結(jié)構(gòu)等角度分析了圖神經(jīng)網(wǎng)絡(luò)的不同模型以及應(yīng)用。文獻(xiàn)［15］則是詳細(xì)對(duì)比了時(shí)域和空間的不同圖卷神經(jīng)網(wǎng)絡(luò)方法結(jié)構(gòu)，但沒(méi)有對(duì)圖神經(jīng)網(wǎng)絡(luò)之于深度學(xué)習(xí)領(lǐng)域的探討，如圖強(qiáng)化學(xué)習(xí)、圖遷移學(xué)習(xí)等。本文針對(duì)圖神經(jīng)網(wǎng)絡(luò)，分析對(duì)比了六種圖神經(jīng)網(wǎng)絡(luò)方法的優(yōu)劣，首次對(duì)處理異構(gòu)圖數(shù)據(jù)的圖神經(jīng)網(wǎng)絡(luò)技術(shù)進(jìn)行了討論和研究，綜述了五類圖神經(jīng)網(wǎng)絡(luò)的研究領(lǐng)域，并對(duì)未來(lái)的發(fā)展方向進(jìn)行了展望。

02 圖結(jié)構(gòu)

2.1 圖結(jié)構(gòu)定義

圖神經(jīng)網(wǎng)絡(luò)所處理的數(shù)據(jù)為在歐氏空間內(nèi)特征表示為不規(guī)則網(wǎng)絡(luò)的圖結(jié)構(gòu)數(shù)據(jù)，這里定義基本的圖結(jié)構(gòu)為：

其中圖G由數(shù)據(jù)節(jié)點(diǎn)集合 連接節(jié)點(diǎn)集合。

映射到高維特征空間：

所得到的鄰接矩陣通過(guò)下圖表示：

表示鄰接矩陣Aij中的元素。

2.2 不同的圖結(jié)構(gòu)

從圖的構(gòu)成上來(lái)進(jìn)行區(qū)分，圖結(jié)構(gòu)主要可以分為空間和時(shí)間兩個(gè)角度。空間上圖結(jié)構(gòu)的變化可以從節(jié)點(diǎn)和邊來(lái)進(jìn)行區(qū)分，如邊異構(gòu)的有向圖、權(quán)重圖和邊信息圖，以及節(jié)點(diǎn)異構(gòu)圖。時(shí)間上引入節(jié)點(diǎn)在時(shí)序變化中的差異從而形成了時(shí)空?qǐng)D結(jié)構(gòu)。圖1中對(duì)這五種典型的圖結(jié)構(gòu)示例進(jìn)行了對(duì)比展示，表1中對(duì)不同圖結(jié)構(gòu)的結(jié)構(gòu)特征、圖模型和應(yīng)用場(chǎng)景進(jìn)行了總結(jié)和梳理。

1）有向圖是指在圖結(jié)構(gòu)中，連接節(jié)點(diǎn)之間的邊包含指向性關(guān)系，即節(jié)點(diǎn)之間的關(guān)聯(lián)就包含了方向的傳遞性關(guān)系，對(duì)于圖神經(jīng)網(wǎng)絡(luò)而言，這種傳遞關(guān)系和深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)神經(jīng)元中信號(hào)傳遞的結(jié)構(gòu)近似，有向圖的輸入是各個(gè)節(jié)點(diǎn)所對(duì)應(yīng)的參數(shù)。

針對(duì)單向圖的處理方式，Niepert等人［16］提出了適用于有向圖的無(wú)監(jiān)督判斷不同節(jié)點(diǎn)標(biāo)簽方式的理論。而就可能存在的雙向關(guān)系，Kampffmeyer等人［17］在利用知識(shí)圖譜解決零樣本學(xué)習(xí)的方法中提出了通過(guò)雙向權(quán)重對(duì)應(yīng)的雙向鄰接矩陣表示雙向關(guān)系，從而實(shí)現(xiàn)給神經(jīng)網(wǎng)絡(luò)傳遞更多的信息。

2）權(quán)重圖是指圖結(jié)構(gòu)中的邊包含權(quán)重信息，可以有效地描述節(jié)點(diǎn)之間相互作用的可靠程度，定量地表現(xiàn)關(guān)系的連接程度。對(duì)于權(quán)重圖的處理，Duan等人［18］提出了通過(guò)對(duì)動(dòng)態(tài)權(quán)重有向圖進(jìn)行歸一化處理，利用節(jié)點(diǎn)之間的關(guān)聯(lián)關(guān)系權(quán)重動(dòng)態(tài)實(shí)現(xiàn)了信息挖掘的方法。

3）邊信息圖是對(duì)于存在不同結(jié)構(gòu)邊的圖結(jié)構(gòu)，節(jié)點(diǎn)之間的關(guān)聯(lián)關(guān)系可以包含權(quán)重、方向以及異構(gòu)的關(guān)系，比如在一個(gè)復(fù)雜的社交網(wǎng)絡(luò)圖中，節(jié)點(diǎn)之間的關(guān)聯(lián)關(guān)系既可以是單向的關(guān)注關(guān)系，也可以是雙向的朋友關(guān)系。

對(duì)于包含復(fù)雜邊信息的圖結(jié)構(gòu)而言，復(fù)雜的關(guān)聯(lián)關(guān)系不能直接通過(guò)簡(jiǎn)單的權(quán)重約束來(lái)表示，G2S［19］提出了一種將原始圖轉(zhuǎn)換成二分圖的方式，在處理自然語(yǔ)言處理任務(wù)中，將每一個(gè)詞節(jié)點(diǎn)之間的關(guān)聯(lián)關(guān)系采用獨(dú)立分開(kāi)編碼方式，從而大幅提升了語(yǔ)義理解的效率。

4）節(jié)點(diǎn)異構(gòu)圖是指在圖中的節(jié)點(diǎn)屬于多個(gè)不同的類型的圖結(jié)構(gòu)，這種圖結(jié)構(gòu)往往可以根據(jù)異構(gòu)節(jié)點(diǎn)的類型，對(duì)節(jié)點(diǎn)進(jìn)行向量表示，這里可以通過(guò)獨(dú)熱編碼等編碼方式來(lái)實(shí)現(xiàn)節(jié)點(diǎn)的向量表示。

MetaGraph2Vec［20］提出了一種通過(guò)元路徑對(duì)異構(gòu)圖結(jié)構(gòu)的文本進(jìn)行編碼的方式，這種方法根據(jù)異構(gòu)節(jié)點(diǎn)的類型對(duì)鄰居節(jié)點(diǎn)進(jìn)行分組，可以應(yīng)用于節(jié)點(diǎn)分類、節(jié)點(diǎn)聚類以及相似度搜索等問(wèn)題。

5）時(shí)空?qǐng)D是一種屬性圖結(jié)構(gòu)，其特點(diǎn)是高維特征空間f*中的特征矩陣X會(huì)隨著時(shí)間而變化，這里我們定義為

圖結(jié)構(gòu)隨著時(shí)間序列的引入，可以有效地處理包含動(dòng)態(tài)和時(shí)序關(guān)系類型的任務(wù)，Yan等人［21］提出了一種基于時(shí)空?qǐng)D卷積神經(jīng)網(wǎng)絡(luò)的骨架運(yùn)動(dòng)檢測(cè)方法，You等人［22］基于視頻標(biāo)簽節(jié)點(diǎn)之間的鄰接關(guān)系相似度，利用提出了一種多標(biāo)簽視頻分類的圖神經(jīng)網(wǎng)絡(luò)方法。

03 圖神經(jīng)網(wǎng)絡(luò)

圖神經(jīng)網(wǎng)絡(luò)對(duì)于非歐幾里德數(shù)據(jù)在深度學(xué)習(xí)中的應(yīng)用有著非常重要的地位，尤其是利用圖結(jié)構(gòu)在傳統(tǒng)貝葉斯因果網(wǎng)絡(luò)上可解釋的特點(diǎn)，在定義深度神經(jīng)網(wǎng)絡(luò)關(guān)系可推理、因果可解釋的問(wèn)題上有很大的研究意義。如何利用深度學(xué)習(xí)方法對(duì)圖結(jié)構(gòu)的數(shù)據(jù)進(jìn)行分析和推理吸引了非常多的研究和關(guān)注。

這里我們將現(xiàn)有的圖神經(jīng)網(wǎng)絡(luò)的算法進(jìn)行了總結(jié)與歸納，給出一個(gè)通用的圖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，將圖神經(jīng)網(wǎng)絡(luò)推理過(guò)程通過(guò)圖節(jié)點(diǎn)預(yù)表示、圖節(jié)點(diǎn)采樣、子圖提取、子圖特征融合、圖神經(jīng)網(wǎng)絡(luò)的生成和訓(xùn)練子過(guò)程來(lái)表示，具體步驟如下：

STEP1圖節(jié)點(diǎn)預(yù)表示：通過(guò)圖嵌入（Graph Embedding）的方法對(duì)圖中每一個(gè)節(jié)點(diǎn)進(jìn)行嵌入表示;

STEP2圖節(jié)點(diǎn)采樣：對(duì)圖中每個(gè)節(jié)點(diǎn)或存在的節(jié)點(diǎn)對(duì)的正負(fù)樣本進(jìn)行采樣;

STEP3子圖提?。禾崛D中每一個(gè)節(jié)點(diǎn)的鄰節(jié)點(diǎn)構(gòu)建n階子圖，其中n表示第n層的鄰節(jié)點(diǎn)，從而形成通用的子圖結(jié)構(gòu);

STEP4子圖特征融合：對(duì)每一個(gè)輸入神經(jīng)網(wǎng)絡(luò)的子圖進(jìn)行局部或全局的特征提取;

STEPS生成圖神經(jīng)網(wǎng)絡(luò)和訓(xùn)練：定義網(wǎng)絡(luò)的層數(shù)和輸入輸出的參數(shù)，并對(duì)圖數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)訓(xùn)練。

本章將從分別頻域和空間域的GCN研究的角度，對(duì)比多種圖卷積神經(jīng)網(wǎng)絡(luò)［23］的差異效果和發(fā)展歷程;介紹門(mén)控圖神經(jīng)網(wǎng)絡(luò)［24］、利用注意力結(jié)構(gòu)替代卷積的圖注意力網(wǎng)絡(luò)［25］、針對(duì)無(wú)監(jiān)督模型的圖自動(dòng)編碼器［26］以及時(shí)域空間的圖時(shí)空網(wǎng)絡(luò)［27］;討論圖嵌入［28］作為圖神經(jīng)網(wǎng)絡(luò)的模型結(jié)構(gòu)和多種實(shí)現(xiàn)方式。最后對(duì)上述網(wǎng)絡(luò)模型從聚合方式、網(wǎng)絡(luò)基礎(chǔ)和應(yīng)用優(yōu)勢(shì)的角度對(duì)比分析圖神經(jīng)網(wǎng)絡(luò)模型之間的差異。

3.1 圖卷積神經(jīng)網(wǎng)絡(luò)

深度學(xué)習(xí)的流行與卷積神經(jīng)網(wǎng)絡(luò)的廣泛適用性密不可分，圖神經(jīng)網(wǎng)絡(luò)的研究中時(shí)間最長(zhǎng)、研究成果最多的就是圖卷積神經(jīng)網(wǎng)絡(luò)，從特征空間來(lái)看圖卷積神經(jīng)網(wǎng)絡(luò)主要可以分為頻域和空間域兩個(gè)類型。

圖卷積神經(jīng)網(wǎng)絡(luò)將原始圖結(jié)構(gòu)的數(shù)據(jù)G=（V， E）映射到一個(gè)新的特征空間：

以單層向前傳播圖卷積神經(jīng)網(wǎng)絡(luò)為例，第i層神經(jīng)網(wǎng)絡(luò)的特征用wi表示，對(duì)于圖結(jié)構(gòu)中的每一個(gè)節(jié)點(diǎn)vi在計(jì)算時(shí)，每一層神經(jīng)網(wǎng)絡(luò)的輸出H（l+1）都可以以非線性函數(shù)f（·，·）表示為

其中A為特征鄰接矩陣。

通過(guò)非線性激活函數(shù)ReLU=σ（·）實(shí)現(xiàn)一個(gè)圖卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，其分層傳播規(guī)則如下：

表示為圖結(jié)構(gòu)G= （V， E）的鄰接矩陣，I為單位矩陣：

表示矩陣A的對(duì)角矩陣，w（l）為第l層卷積神經(jīng)網(wǎng)絡(luò)的權(quán)重矩陣。通過(guò)分層傳播規(guī)則，圖卷積神經(jīng)網(wǎng)絡(luò)將卷積神經(jīng)網(wǎng)絡(luò)局部參數(shù)共享的特性帶入了圖結(jié)構(gòu)中，使得每一個(gè)節(jié)點(diǎn)的感受域的光對(duì)隨著傳播層數(shù)的增加而得更大的提升，從而獲取到更多鄰節(jié)點(diǎn)的信息。

接下來(lái)兩小節(jié)將分別從頻域和空間圖卷積的方向具體列舉分析不同類型圖卷積神經(jīng)網(wǎng)絡(luò)方法。

3.1.1 基于頻域的圖卷積神經(jīng)網(wǎng)絡(luò)

頻域的圖卷積神經(jīng)網(wǎng)絡(luò)基于圖信號(hào)處理［29］問(wèn)題，將圖神經(jīng)網(wǎng)絡(luò)的卷積層定義為一個(gè)濾波器，即通過(guò)濾波器去除噪聲信號(hào)從而得到輸入信號(hào)的分類結(jié)果實(shí)際問(wèn)題中只能用于處理無(wú)向且邊上無(wú)信息的圖結(jié)構(gòu)，將輸入信號(hào)的圖定義為可特征分解的拉普拉斯矩陣，歸一化后的特征分解可以表示為通用結(jié)構(gòu)其對(duì)角矩陣A就是特征值的λi按序排列組成的特征矩陣。

最早在頻域?qū)崿F(xiàn)的圖卷積神經(jīng)網(wǎng)絡(luò)是由Bruna［10］等人提出定義頻域圖卷積神經(jīng)網(wǎng)絡(luò)的卷積層函數(shù)。將頻域圖卷積神經(jīng)網(wǎng)絡(luò)假設(shè)在圖信號(hào)處理中的濾波器，特征分解需要至少o（n3）的計(jì)算復(fù)雜度和0 （n2）的存儲(chǔ)空間，對(duì)于輸入圖數(shù)據(jù)為稀疏矩陣的場(chǎng)景時(shí)，可以通過(guò)隨機(jī)特征分解等方法在保證精度的情況下將時(shí)間復(fù)雜度降低到0 （n2r + r3）， r為近似矩陣的秩遠(yuǎn)小于n。

Henafff［30］等人提出基于插值內(nèi)核（Interpolation Kernel）的圖卷積神經(jīng)網(wǎng)絡(luò)方法。在頻域卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上提出了無(wú)監(jiān)督和有監(jiān)督兩種新的通過(guò)圖卷積神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行推理預(yù)測(cè)的方案，從圖1圖神經(jīng)網(wǎng)絡(luò)通用結(jié)構(gòu)中可以看出，第一步圖節(jié)點(diǎn)的預(yù)表示可以根據(jù)數(shù)據(jù)預(yù)測(cè)相似性矩陣，這種方法也將應(yīng)用場(chǎng)景擴(kuò)充到了大規(guī)模圖像和文本分類等問(wèn)題中。

Dei}errad［11］等人提出了基于切比雪夫多項(xiàng)式的頻域卷積濾波器ChebNet，其中切比雪夫多項(xiàng)式的組成是由特征值對(duì)角矩陣的項(xiàng)組成的，通過(guò)切比雪夫展開(kāi)式Ti（x）替換了原始GCN中通用頻域卷積濾波器g的特征分解部分，從而有效地避免了特征分解的計(jì)算部分，將計(jì)算復(fù)雜度從o（n3）降低到了o （LE），其中E為輸入圖G中邊的數(shù)量。一階切比雪夫圖卷積神經(jīng)網(wǎng)絡(luò)［27］則是利用了一階切比雪夫展開(kāi)更好的提升網(wǎng)絡(luò)的計(jì)算效率。針對(duì)包含復(fù)雜屬性的節(jié)點(diǎn)異構(gòu)圖，可以通過(guò)圖卷積神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)節(jié)點(diǎn)的聚類。為了提升屬性圖的信息提取的性能和模型的效果，Zhang等人提出了AGC［31］自適應(yīng)圖卷積方法，利用高階圖卷積來(lái)獲取全局聚類的結(jié)構(gòu)來(lái)定義k階圖卷積，從而實(shí)現(xiàn)了對(duì)于復(fù)雜異質(zhì)圖的處理。

3.1.2 基于空間的圖卷積神經(jīng)網(wǎng)絡(luò)

與深度學(xué)習(xí)中卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像的像素點(diǎn)進(jìn)行卷積運(yùn)算類似，基于空間的圖卷積神經(jīng)網(wǎng)絡(luò)通過(guò)計(jì)算中心單一節(jié)點(diǎn)與鄰節(jié)點(diǎn)之間的卷積，來(lái)表示鄰節(jié)點(diǎn)間信息的傳遞和聚合，作為特征域的新節(jié)點(diǎn)表示。

Scarselli等人［32］提出了一種利用基于相同圖卷積結(jié)構(gòu)的循環(huán)函數(shù)遞歸地實(shí)現(xiàn)了空間圖卷積神經(jīng)網(wǎng)絡(luò)的收斂方法，該方法可以支持節(jié)點(diǎn)和邊上分別包含特定屬性契合傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)基本思想的方法。Dai等人［33］提出的隨機(jī)穩(wěn)態(tài)圖神經(jīng)網(wǎng)絡(luò)迭代算法SSE通過(guò)異步隨機(jī)的方式，對(duì)于每個(gè)擁有不同數(shù)量鄰節(jié)點(diǎn)的節(jié)點(diǎn)而言利用雙向權(quán)重矩陣w1，wz在每次卷積迭代中更新節(jié)點(diǎn)的特征表示。

隨機(jī)穩(wěn)態(tài)圖神經(jīng)網(wǎng)絡(luò)不支持邊上包含的信息，這里通過(guò)兩個(gè)權(quán)重函數(shù)分別對(duì)全部的節(jié)點(diǎn)v∈VN和包含信息的節(jié)點(diǎn)集合v∈VN進(jìn)行卷積處理，這樣從而使得圖卷積神經(jīng)網(wǎng)絡(luò)的迭代效率得到了提升。圖結(jié)構(gòu)數(shù)據(jù)中節(jié)點(diǎn)存在極多的關(guān)系導(dǎo)致參數(shù)數(shù)量過(guò)多的情況下，引入基礎(chǔ)分解和塊對(duì)角分解兩種方式可以有效解決過(guò)擬合的問(wèn)題。關(guān)系圖卷積神經(jīng)網(wǎng)絡(luò)可以有效地應(yīng)用在以節(jié)點(diǎn)為中心的實(shí)體分類問(wèn)題和以邊為中心的鏈接預(yù)測(cè)問(wèn)題上。

AtWOOCl［34］提出的基于圖結(jié)構(gòu)的傳播卷積神經(jīng)網(wǎng)絡(luò)DCNN通過(guò)傳播卷積的方式，擴(kuò)散性地掃描圖結(jié)構(gòu)中的每一個(gè)頂點(diǎn)，替代了一般圖卷積神經(jīng)網(wǎng)絡(luò)基于矩陣特征的卷積形式，DCNN的參數(shù)是根據(jù)搜索深度而不是節(jié)點(diǎn)在圖結(jié)構(gòu)中的位置決定的，可以用于節(jié)點(diǎn)、邊以及圖結(jié)構(gòu)等多種分類任務(wù)，但由于計(jì)算轉(zhuǎn)移概率的時(shí)間復(fù)雜度較高，并不適用于大規(guī)模的圖結(jié)構(gòu)數(shù)據(jù)。Zhuang和Ma［35］在傳播和鄰接矩陣兩種卷積結(jié)構(gòu)的基礎(chǔ)上提出了一種雙路圖卷積神經(jīng)網(wǎng)絡(luò)的方法，通過(guò)半監(jiān)督圖卷積［29］的和轉(zhuǎn)移概率的正逐點(diǎn)互信息（（PPMI）矩陣作為卷積運(yùn)算鄰接矩陣來(lái)更好提升模型的信息抽取的效果。

圖卷積神經(jīng)網(wǎng)絡(luò)頻域和空間兩個(gè)方向分析對(duì)比如表2所示。頻域圖卷積神經(jīng)網(wǎng)絡(luò)主要依賴于頻域矩陣的特征分解，而空間圖卷積神經(jīng)網(wǎng)絡(luò)主要是借助鄰節(jié)點(diǎn)特征信息的聚合來(lái)定義在圖數(shù)據(jù)上的卷積運(yùn)算。此外在最新的研究中，GCN的實(shí)現(xiàn)方式還包括利用子圖訓(xùn)練組合的GraphSage［36］，基于信息傳遞的MPNN［37］，以及AGCN［38］ MGCN［39］，pinSage［40］，F(xiàn)ast-GCN［41］等方法。同時(shí)關(guān)于圖卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化方式也有很多研究，針對(duì)解決高階圖卷積在空間圖卷積中性能較差問(wèn)題，引入稀疏鄰域來(lái)替代頻域圖卷積的MixHop［42］。

3.2 門(mén)控圖神經(jīng)網(wǎng)絡(luò)

目前基于門(mén)控機(jī)制的遞歸神經(jīng)網(wǎng)絡(luò)機(jī)制下的圖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的研究也有不少，例如基于門(mén)控循環(huán)單元（GRU）的門(mén)控圖神經(jīng)網(wǎng)絡(luò)（GGNN）［43］，通過(guò)門(mén)控循環(huán)單元控制網(wǎng)絡(luò)傳播過(guò)程中固定步數(shù)T的迭代循環(huán)來(lái)實(shí)現(xiàn)門(mén)控圖神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，通過(guò)節(jié)點(diǎn)二來(lái)建立鄰節(jié)點(diǎn)之間的聚合信息，然后通過(guò)循環(huán)門(mén)控單元z和r實(shí)現(xiàn)遞歸過(guò)程更新每個(gè)節(jié)點(diǎn)的隱藏狀態(tài)。

Tai等人［44］提出了基于子節(jié)點(diǎn)和的樹(shù)狀長(zhǎng)短期記憶網(wǎng)絡(luò)Tree-LSTM用于處理圖神經(jīng)網(wǎng)絡(luò)中的語(yǔ)義表示問(wèn)題。門(mén)控圖神經(jīng)網(wǎng)絡(luò)除了基于門(mén)控循環(huán)單元和LSTM的基礎(chǔ)模型外還有很多變種，You等人［45］利用分層循環(huán)遞歸網(wǎng)絡(luò)分別生成新的節(jié)點(diǎn)和節(jié)點(diǎn)對(duì)應(yīng)的邊，從而將圖遞歸神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖生成的問(wèn)題；Peng等人［46］提出了利用不同的權(quán)重矩陣，來(lái)表示不同標(biāo)簽的圖長(zhǎng)短神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)；Ma等人［47］將時(shí)間感知LSTM與圖神經(jīng)網(wǎng)絡(luò)結(jié)合，利用LSTM來(lái)更新兩個(gè)關(guān)聯(lián)節(jié)點(diǎn)和對(duì)應(yīng)的鄰居節(jié)點(diǎn)的表示，提出了動(dòng)態(tài)圖神經(jīng)網(wǎng)絡(luò)，更好地處理傳播效應(yīng)。

3.3 圖注意力網(wǎng)絡(luò)

對(duì)于圖神經(jīng)網(wǎng)絡(luò)中的注意力機(jī)制，可以簡(jiǎn)單理解為借助于注意力（attention ）模塊取代了一般圖卷積神經(jīng)網(wǎng)絡(luò)中的卷積激活器，在不同的方法中，可以結(jié)合門(mén)控信息來(lái)提升注意力機(jī)制感受域的權(quán)重參數(shù)，達(dá)到更好的推理和應(yīng)用性能。

圖卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了對(duì)圖結(jié)構(gòu)數(shù)據(jù)的節(jié)點(diǎn)分類，而注意力機(jī)制目前在自然語(yǔ)言處理領(lǐng)域有著非常好的效果和表現(xiàn)。對(duì)于圖注意力機(jī)制（Graph Attention Network）而言，鄰居節(jié)點(diǎn)的特征做累加求和的過(guò)程與圖卷積神經(jīng)網(wǎng)絡(luò)則完全不同，通過(guò)全局注意力機(jī)制替代了卷積分層傳遞的固化操作，可以有效地選擇在圖結(jié)構(gòu)中更為重要的節(jié)點(diǎn)或子圖、模型、路徑分配更大的注意力權(quán)重。

圖注意力網(wǎng)絡(luò)中的注意力權(quán)重被表示為：

對(duì)于第l層網(wǎng)絡(luò)而言，定義節(jié)點(diǎn)為：

是注意力模型中的節(jié)點(diǎn)向量表示為一個(gè)可變化的線性變換參數(shù)

那么節(jié)點(diǎn)間的注意力分?jǐn)?shù)就會(huì)根據(jù)注意力權(quán)重的不同進(jìn)行迭代。通過(guò)和圖卷積神經(jīng)網(wǎng)絡(luò)的分層傳播規(guī)則的對(duì)比，圖注意力網(wǎng)絡(luò)將原本的常數(shù)參數(shù)替換為表示鄰節(jié)點(diǎn)權(quán)重的注意力參數(shù)。

Zhang等人［49］提出了一種通過(guò)卷積子網(wǎng)絡(luò)來(lái)控制分配權(quán)重的自我注意力機(jī)制，基于循環(huán)門(mén)控單元用于解決流量速度預(yù)測(cè)的問(wèn)題。Lee等人［50］提出了結(jié)合LSTM的利用注意力機(jī)制進(jìn)行圖節(jié)點(diǎn)分類的方法，Abu-El-Haija等人［42］提出了一種注意力游走的方法，將圖注意力機(jī)制應(yīng)用到節(jié)點(diǎn)嵌入中。

現(xiàn)實(shí)中信息在被表示成節(jié)點(diǎn)和邊構(gòu)成的拓?fù)浣Y(jié)構(gòu)時(shí)往往是異構(gòu)的，廣義上被定義為異構(gòu)信息網(wǎng)絡(luò)（HIN）［51］，而現(xiàn)階段的圖神經(jīng)網(wǎng)絡(luò)方法大多是聚焦于同構(gòu)圖的處理分析上，對(duì)于在本文1.2節(jié)中提到的節(jié)點(diǎn)異構(gòu)和邊異構(gòu)的圖結(jié)構(gòu)而言，更大的信息量和更復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)帶來(lái)了更大的挑戰(zhàn)和研究?jī)r(jià)值。Xiao等人［52］提出了一種基于注意機(jī)制的異構(gòu)圖注意力網(wǎng)絡(luò)，將節(jié)點(diǎn)和邊的異構(gòu)性表達(dá)為不同類型的語(yǔ)義信息，通過(guò)節(jié)點(diǎn)層的注意力來(lái)判斷相同屬性鄰節(jié)點(diǎn)的重要性，同時(shí)利用語(yǔ)義層的注意力選擇有意義的元路徑，節(jié)點(diǎn)層利用注意力來(lái)表示不同節(jié)點(diǎn)i，j的重要性。

圖注意力網(wǎng)絡(luò)的研究還集中在圖像語(yǔ)義推理、上下文推理等方面。具體的，Yang等人［53］在處理通過(guò)自然語(yǔ)言來(lái)表示圖像中的描述對(duì)象的問(wèn)題時(shí)，通過(guò)抽取圖像中對(duì)象之間的語(yǔ)義關(guān)系建立關(guān)聯(lián)圖結(jié)構(gòu)，借助動(dòng)態(tài)圖注意力網(wǎng)絡(luò)D GA來(lái)實(shí)現(xiàn)更好的語(yǔ)義推理能力。

3.4 圖自動(dòng)編碼器

自動(dòng)編碼器（autoencoder）是深度神經(jīng)網(wǎng)絡(luò)中常用的一種無(wú)監(jiān)督學(xué)習(xí)方式，對(duì)于圖結(jié)構(gòu)數(shù)據(jù)而言，自動(dòng)編碼器可以有效處理節(jié)點(diǎn)表示問(wèn)題。最早的圖自動(dòng)編碼器是由Tian等人［［54}提出的稀疏自動(dòng)編碼器SAE，通過(guò)將圖結(jié)構(gòu)的鄰接矩陣表示為原始節(jié)點(diǎn)特征，利用自動(dòng)編碼器將其降低成低維的節(jié)點(diǎn)表示。其中稀疏自動(dòng)編碼的問(wèn)題被轉(zhuǎn)化為反向傳播的最優(yōu)解問(wèn)題，即最小化原始傳輸矩陣和重建矩陣之間的最優(yōu)解問(wèn)題。在結(jié)構(gòu)深度網(wǎng)絡(luò)嵌入［ass}中，也將損失函數(shù)表達(dá)為鄰接矩陣的形式，證明了兩個(gè)具有相似鄰節(jié)點(diǎn)的節(jié)點(diǎn)有相似的潛在特征表示。

結(jié)構(gòu)深度網(wǎng)絡(luò)嵌入引入了類似拉普拉斯特征映射來(lái)替代目標(biāo)函數(shù)。變分圖自動(dòng)編碼器（VGAE） ［56］將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到圖自動(dòng)編碼器結(jié)構(gòu)，對(duì)于非概率變體的圖自動(dòng)編碼器，定義由隨機(jī)隱藏變量zi組成的矩陣Z，那么編碼器可以表示為Z = GCN（X，A）。結(jié)合結(jié)構(gòu)深度網(wǎng)絡(luò)嵌入的方法，Zhu等人［57］提出了利用高斯分布來(lái)進(jìn)行節(jié)點(diǎn)表示的方法，并選擇EM距離（Wasserstein distance） Eij作為目標(biāo)損失函數(shù)，能夠有效地反應(yīng)他們之間的距離信息特征。

3.5 時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)

時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)作為一種引入了時(shí)間序列特征的屬性圖網(wǎng)絡(luò)，可以同時(shí)獲取圖結(jié)構(gòu)中時(shí)間和空間域的特征信息，每一個(gè)節(jié)點(diǎn)的特征都會(huì)隨著時(shí)間的變化而變化。這里我們主要討論在空間域采用圖卷積來(lái)提取空間特征依賴的時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，時(shí)域特征的獲取方法主要分為傳統(tǒng)卷積網(wǎng)絡(luò)、門(mén)控循環(huán)網(wǎng)絡(luò)和圖卷積網(wǎng)絡(luò)三種方法。圖3中展示了圖卷積神經(jīng)網(wǎng)絡(luò)、圖自動(dòng)編碼器（以變分圖卷積自動(dòng)編碼器為例）和時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)（以1D-CNN+GCN結(jié)構(gòu)為例）的網(wǎng)絡(luò)結(jié)構(gòu)對(duì)比，三種結(jié)構(gòu)的構(gòu)建基礎(chǔ)都是圖卷積計(jì)算單元。

3.6 圖嵌入

對(duì)于圖結(jié)構(gòu)的數(shù)據(jù)而言，每一個(gè)節(jié)點(diǎn)和邊對(duì)于深度神經(jīng)網(wǎng)絡(luò)而言都是不規(guī)則的抽象的數(shù)據(jù)，而通過(guò)圖嵌入（Graph Embedding）方法對(duì)節(jié)點(diǎn)和邊賦予數(shù)值張量，就可以將圖結(jié)構(gòu)類比于原本深度神經(jīng)網(wǎng)絡(luò)所處理的圖像數(shù)據(jù)，賦予的數(shù)值就如同圖像中像素?cái)?shù)量和像素對(duì)應(yīng)的值。在實(shí)現(xiàn)圖嵌入的算法中，最為基礎(chǔ)的算法就是深度隨機(jī)游走網(wǎng)絡(luò)［fill，將語(yǔ)言模型語(yǔ)義理解的任務(wù)文本分詞后得到詞視為圖結(jié)構(gòu)中的節(jié)點(diǎn)，而連接節(jié)點(diǎn)的邊則是通過(guò)隨機(jī)游走實(shí)現(xiàn)。

每一次隨機(jī)游走所連接的節(jié)點(diǎn)形成的路徑就是由經(jīng)過(guò)單詞所構(gòu)成的隨機(jī)句子，這樣的隨機(jī)圖結(jié)構(gòu)網(wǎng)絡(luò)可以通過(guò)N維矩陣的形式表示出來(lái)。在如深度隨機(jī)游走網(wǎng)絡(luò)一類的隨機(jī)游走網(wǎng)絡(luò)中，其隨機(jī)游走的長(zhǎng)度往往是需要人為確認(rèn)的超參數(shù)，為了解決這一問(wèn)題，Abu-El-Haij a等人［62］基于深度學(xué)習(xí)的理念，提出了基于反向傳播的可學(xué)習(xí)超參數(shù)，并引入了基于轉(zhuǎn)移矩陣冪級(jí)數(shù)的圖注意力網(wǎng)絡(luò)結(jié)構(gòu)。通過(guò)對(duì)上層目標(biāo)函數(shù)的分析來(lái)優(yōu)化超參數(shù)的選擇，從而實(shí)現(xiàn)了超參的可學(xué)習(xí)性。

現(xiàn)階段的空間圖卷積神經(jīng)網(wǎng)絡(luò)受限于網(wǎng)絡(luò)復(fù)雜度和節(jié)點(diǎn)表示的效果，往往只能用于處理同構(gòu)圖的問(wèn)題［15］。直接將異構(gòu)的關(guān)系抽象為同構(gòu)圖后會(huì)損失較多的特征信息。對(duì)于屬性多元異構(gòu)網(wǎng)絡(luò)嵌入Chen等人提出的HGR［63］模型有效地提取了視頻文本匹配任務(wù)中圖數(shù)據(jù)的全局和局部特征，并且應(yīng)用在抽象場(chǎng)景圖中。

表3中從網(wǎng)絡(luò)結(jié)構(gòu)和應(yīng)用場(chǎng)景的優(yōu)勢(shì)方向，具體對(duì)圖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)研究進(jìn)行了分析和對(duì)比。

04 圖神經(jīng)網(wǎng)絡(luò)的擴(kuò)展

接下來(lái)在我們將重點(diǎn)介紹五類基于圖神經(jīng)網(wǎng)絡(luò)的延伸應(yīng)用的模型結(jié)構(gòu)：圖生成和圖對(duì)抗網(wǎng)絡(luò)、圖強(qiáng)化學(xué)習(xí)、圖遷移學(xué)習(xí)、神經(jīng)任務(wù)圖和基于圖神經(jīng)網(wǎng)絡(luò)的零樣本學(xué)習(xí)。

4.1 圖生成和圖對(duì)抗網(wǎng)絡(luò)

圖生成網(wǎng)絡(luò)的目標(biāo)是基于一組可觀察圖來(lái)生成圖。其中的很多方法都是領(lǐng)域特定的。例如，在分子圖生成方面，一些研究將分子圖的表征建模為字符串［64-65］。在自然語(yǔ)言處理中，生成語(yǔ)義圖或知識(shí)圖通常需要一個(gè)給定的句子［66-67］。最近，研究人員又提出了一些通用方法，主要有兩個(gè)方向：其一是將生成過(guò)程看成節(jié)點(diǎn)或邊的形成［68］，而另一些則使用生成對(duì)抗訓(xùn)練［69］。該領(lǐng)域的方法主要使用圖卷積神經(jīng)網(wǎng)絡(luò)作為構(gòu)造塊。圖信息在風(fēng)險(xiǎn)管理領(lǐng)域很重要，可以有效地判斷兩個(gè)圖G和G’在分類語(yǔ)義下是否相等。這里選擇節(jié)點(diǎn)只需要o（E）復(fù)雜度，而選擇邊需要o （E2）的計(jì)算復(fù)雜度。

4.2 圖強(qiáng)化學(xué)習(xí)

在強(qiáng)化學(xué)習(xí)中，學(xué)習(xí)控制問(wèn)題通常采用馬爾可夫決策過(guò)程MDP，用于估計(jì)某些政策的預(yù)期長(zhǎng)期回報(bào)。根據(jù)圖中節(jié)點(diǎn)所表述的決策狀態(tài)，利用轉(zhuǎn)移概率矩陣來(lái)表示相似性矩陣。這里通過(guò)使用可學(xué)習(xí)的表示來(lái)實(shí)現(xiàn)線性逼近值函數(shù)，它們近似值函數(shù)為狀態(tài)圖上第一個(gè)拉普拉斯特征映射的線性組合。

Donnat等人［71］提出的方法采用不同的方法來(lái)學(xué)習(xí)結(jié)構(gòu)節(jié)點(diǎn)嵌入。它基于以每個(gè)節(jié)點(diǎn)為中心的譜圖小波的擴(kuò)散來(lái)學(xué)習(xí)節(jié)點(diǎn)表示。圖強(qiáng)化學(xué)習(xí)模型［72］是在上文提到的RPI是由表示學(xué)習(xí)階段，利用原始數(shù)據(jù)集構(gòu)建無(wú)向加權(quán)圖預(yù)定義的。從有限數(shù)量的樣本構(gòu)造圖結(jié)構(gòu)，其派生的原始值函數(shù)并不一定能夠反映基礎(chǔ)狀態(tài)空間。可以通過(guò)函數(shù)來(lái)測(cè)量圖函數(shù)的全局平滑度。當(dāng)來(lái)自平滑函數(shù)的值二vi，vj駐留在兩個(gè)連接良好的節(jié)點(diǎn)上，即wij很大時(shí)，則預(yù)期它們具有小的距離，即表示圖函數(shù)具有更好的平滑度。

4.3 圖遷移學(xué)習(xí)

遷移學(xué)習(xí)是運(yùn)用已有知識(shí)對(duì)不同但相關(guān)領(lǐng)域問(wèn)題進(jìn)行求解的一種機(jī)器學(xué)習(xí)方法。BOSCallll等人［73］提出的局部SCNN模型方法可以提取可變形狀的屬性。Bruna等人［ 10］提出圖卷積結(jié)構(gòu)的則是廣義SCNN模型圖遷移學(xué)習(xí)框架的一個(gè)關(guān)鍵組成部分，它從信號(hào)處理領(lǐng)域借用了傅立葉變換概念，以便將網(wǎng)格域中的CNN應(yīng)用于圖結(jié)構(gòu)域。

Lee等人［74}提出的圖遷移學(xué)習(xí)的方法由五個(gè)步驟組成，其中前三個(gè)步驟是根據(jù)輸入生成圖，并從圖結(jié)構(gòu)中識(shí)別獨(dú)特的結(jié)構(gòu)特征。最后兩步是基于學(xué)習(xí)特征和圖相似性應(yīng)用遷移學(xué)習(xí)來(lái)進(jìn)行推理。Pan和Yang［75］提出在遷移學(xué)習(xí)環(huán)境中的域由特征空間X和概率分布P（X）組成，對(duì)給定域都可以通過(guò)任務(wù)來(lái)表示具有標(biāo)簽的空間Y和訓(xùn)練數(shù)據(jù)預(yù)測(cè)函數(shù)f （‘）。這里遷移圖GS中學(xué)習(xí)到的內(nèi)在幾何信息，在兩個(gè)圖域具有相似性結(jié)構(gòu)的條件下，可以通過(guò)快速建立遷移學(xué)習(xí)T模型，利用來(lái)自異構(gòu)數(shù)據(jù)集的圖的譜特征，大幅提升了學(xué)習(xí)效率，最大限度地減少因新任務(wù)缺乏數(shù)據(jù)和不完善的結(jié)構(gòu)信息而導(dǎo)致的問(wèn)題。

4.4 神經(jīng)任務(wù)圖

對(duì)于任務(wù)圖（Task Graph）}而言，其通過(guò)表示任務(wù)的組成與時(shí)序來(lái)有效地執(zhí)行任務(wù)。而神經(jīng)任務(wù)圖網(wǎng)絡(luò)（Neural Task Graph）］將任務(wù)圖與神經(jīng)網(wǎng)絡(luò)相結(jié)合。能夠更加高效的進(jìn)行任務(wù)調(diào)度與學(xué)習(xí)。

通過(guò)視覺(jué)模擬學(xué)習(xí)方法，神經(jīng)任務(wù)圖網(wǎng)絡(luò)將任務(wù)組合結(jié)合到中間任務(wù)的表示和策略中，在涉及多種任務(wù)，如照片渲染的模擬環(huán)境和現(xiàn)實(shí)世界的視頻數(shù)據(jù)集中，神經(jīng)任務(wù)圖的表現(xiàn)比非結(jié)構(gòu)化表示的方法以及人工設(shè)計(jì)的分層結(jié)構(gòu)方法的效果更好。神經(jīng)任務(wù)圖顯著提高了復(fù)雜任務(wù)的數(shù)據(jù)效率，并通過(guò)復(fù)合性來(lái)實(shí)現(xiàn)視頻到任務(wù)的直接模仿。使用數(shù)據(jù)驅(qū)動(dòng)的任務(wù)結(jié)構(gòu)，神經(jīng)任務(wù)圖比學(xué)習(xí)非結(jié)構(gòu)化任務(wù)表示的方法和使用強(qiáng)層次結(jié)構(gòu)監(jiān)督的方法好得多。

4.5 零樣本學(xué)習(xí)圖網(wǎng)絡(luò)

圖神經(jīng)網(wǎng)絡(luò)同樣在零樣本學(xué)習(xí)領(lǐng)域的圖像和視頻分類問(wèn)題的領(lǐng)域有著非常重要的可應(yīng)用性，其通過(guò)借助圖結(jié)構(gòu)中節(jié)點(diǎn)之間的強(qiáng)關(guān)聯(lián)性，可以有效地泛化缺乏樣本導(dǎo)致情況下需要生成新的分類的問(wèn)題。基于知識(shí)圖的零樣本學(xué)習(xí)是利用現(xiàn)有的知識(shí)庫(kù)或者知識(shí)圖譜中結(jié)構(gòu)化的關(guān)系信息，在未知任何樣本數(shù)據(jù)的情況下，來(lái)推理學(xué)習(xí)解決分類的問(wèn)題。Wang等人［78］提出的基于圖卷積神經(jīng)網(wǎng)絡(luò)的零樣本圖像分類方法通過(guò)圖卷積神經(jīng)網(wǎng)絡(luò)來(lái)處理未知權(quán)重信息的知識(shí)圖，當(dāng)預(yù)測(cè)未知的分類實(shí)體，基于原始標(biāo)準(zhǔn)答案的分類結(jié)果可以通過(guò)簡(jiǎn)單的均方差損失函數(shù)來(lái)實(shí)現(xiàn)。對(duì)于圖神經(jīng)網(wǎng)絡(luò)而言，在解決零樣本學(xué)習(xí)問(wèn)題的過(guò)程中，當(dāng)知識(shí)傳播的層數(shù)較高時(shí)會(huì)造成處理效率的降低。Lee等人［79］則是提出了對(duì)于同時(shí)預(yù)測(cè)多個(gè)未知標(biāo)簽的的零樣本學(xué)習(xí)方法，有效地解決了多分類的問(wèn)題。

表4中對(duì)五種衍生圖神經(jīng)網(wǎng)絡(luò)的研究工作進(jìn)行了簡(jiǎn)要的概述和總結(jié)。

05 圖神經(jīng)網(wǎng)絡(luò)的應(yīng)用方向

圖神經(jīng)網(wǎng)絡(luò)在不同的任務(wù)和所處理的時(shí)間、空間、或頻譜域中，都具有廣泛應(yīng)用。每類圖神經(jīng)網(wǎng)絡(luò)都有廣泛的應(yīng)用，包括節(jié)點(diǎn)分類，節(jié)點(diǎn)表示學(xué)習(xí)，圖分類，圖生成和時(shí)空預(yù)測(cè)，圖神經(jīng)網(wǎng)絡(luò)也應(yīng)用于節(jié)點(diǎn)聚類，鏈接預(yù)測(cè)等。我們將圖神經(jīng)網(wǎng)絡(luò)的應(yīng)用主要分為文本處理、圖像處理、推薦系統(tǒng)、知識(shí)圖譜、生物分子圖、動(dòng)態(tài)問(wèn)題處理六個(gè)方向，具體的內(nèi)容如表5所示。

5.1 圖神經(jīng)網(wǎng)絡(luò)的文本應(yīng)用

對(duì)于文本向量化表示而言，圖神經(jīng)網(wǎng)絡(luò)可以對(duì)句子和詞級(jí)別的文本進(jìn)行處理，文獻(xiàn)［25］通過(guò)密集圖傳播模塊來(lái)實(shí)現(xiàn)距離較遠(yuǎn)的文本節(jié)點(diǎn)的關(guān)聯(lián)關(guān)系表示。文獻(xiàn)［61-62］則都是通過(guò)圖嵌入的方式，來(lái)實(shí)現(xiàn)節(jié)點(diǎn)的向量化表示，用于文本詞向量和句向量的推理。

文本分類領(lǐng)域，文獻(xiàn)［80］利用基于雙向圖長(zhǎng)短記憶網(wǎng)絡(luò)，實(shí)現(xiàn)了每個(gè)文本詞向量的雙向狀態(tài)表示，從而達(dá)到了更好文本分類效果。文獻(xiàn)［81］通過(guò)遞歸正則化的方式，更有效的獲取非連續(xù)的和長(zhǎng)距離語(yǔ)義。

圖神經(jīng)網(wǎng)絡(luò)也可以應(yīng)用于文本的序列標(biāo)注。對(duì)于文本圖結(jié)構(gòu)的詞節(jié)點(diǎn)而言，每個(gè)節(jié)點(diǎn)的序列生成可以通過(guò)圖生成網(wǎng)絡(luò)的方式來(lái)實(shí)現(xiàn)，文獻(xiàn)［79］提出了節(jié)點(diǎn)對(duì)象強(qiáng)化的圖生成網(wǎng)絡(luò)OR-GAN的方式來(lái)進(jìn)行序列生成。文獻(xiàn)［82］利用圖長(zhǎng)短記憶網(wǎng)絡(luò)可以利用句法信息中文本節(jié)點(diǎn)間的關(guān)聯(lián)關(guān)系進(jìn)行建模，得到每個(gè)詞節(jié)點(diǎn)的潛在特征用于序列標(biāo)注。

關(guān)系推理是指從復(fù)雜的語(yǔ)義信息中提取出文字節(jié)點(diǎn)之間關(guān)聯(lián)關(guān)系的相關(guān)研究。文獻(xiàn)［19}提出了通過(guò)關(guān)系圖卷積R-GCN的方法來(lái)完成文實(shí)體間之間關(guān)系的抽取和屬性分類。文獻(xiàn)［46］利用圖長(zhǎng)短記憶網(wǎng)絡(luò)提出了文本序列中跨多個(gè)句子N元關(guān)系的方法。關(guān)系推理則是通過(guò)上下文中文本實(shí)體之間的關(guān)系進(jìn)行任務(wù)推理。

5.2 圖神經(jīng)網(wǎng)絡(luò)的圖像應(yīng)用

在圖像分類的任務(wù)中，零樣本和少樣本學(xué)習(xí)的任務(wù)往往需要借助知識(shí)圖譜的先驗(yàn)知識(shí)來(lái)提升識(shí)別效果。圖神經(jīng)網(wǎng)絡(luò)有效提升知識(shí)圖譜的推理效率。文獻(xiàn)［17］中通過(guò)深度圖傳播的方法將異構(gòu)圖結(jié)構(gòu)用于知識(shí)推理，利用中間節(jié)點(diǎn)的特征信息來(lái)優(yōu)化知識(shí)的稀疏度。文獻(xiàn)［83］則是借助圖神經(jīng)網(wǎng)絡(luò)將少樣本學(xué)習(xí)的任務(wù)轉(zhuǎn)化為可以端到端訓(xùn)練的監(jiān)督學(xué)習(xí)任務(wù)。

5.3 圖神經(jīng)網(wǎng)絡(luò)的系統(tǒng)應(yīng)用

對(duì)于推薦系統(tǒng)而言，用戶與項(xiàng)目的關(guān)系可以構(gòu)成二部圖，用戶與用戶之間可以構(gòu)成社交網(wǎng)絡(luò)，項(xiàng)目與項(xiàng)目則可以構(gòu)建知識(shí)圖譜和異構(gòu)圖，通過(guò)圖神經(jīng)網(wǎng)絡(luò)可以為用戶推理出商品的重要性。文獻(xiàn)［74］利用基于上下文的圖自注意力網(wǎng)絡(luò)實(shí)現(xiàn)了高性能的會(huì)話推薦。

如何構(gòu)建和提升知識(shí)圖譜的應(yīng)用效果一直是圖領(lǐng)域備受關(guān)注的研究方向。文獻(xiàn)［23］利用知識(shí)圖譜實(shí)現(xiàn)了基于知識(shí)遷移的圖小樣本學(xué)習(xí)方法。文獻(xiàn)［78-79］都是通過(guò)知識(shí)圖譜的推理來(lái)實(shí)現(xiàn)和完成圖零樣本學(xué)習(xí)的任務(wù)。文獻(xiàn)［83］則是介紹了如何挖掘知識(shí)圖譜實(shí)現(xiàn)大規(guī)模企業(yè)級(jí)應(yīng)用實(shí)踐。

作為生物學(xué)的研究領(lǐng)域，分子的構(gòu)成是天然的圖結(jié)構(gòu)。文獻(xiàn)［20］利用端到端的圖卷積網(wǎng)絡(luò)實(shí)現(xiàn)了圓形指紋的分子特征提取方法。文獻(xiàn)［39］則是進(jìn)一步將圖卷積方法應(yīng)用到了無(wú)向圖先分子結(jié)構(gòu)領(lǐng)域。文獻(xiàn)［69］提出了基于圖生成網(wǎng)絡(luò)方法的分子圖生成方法，可以有效模擬化學(xué)分子的合成。

5.4 圖神經(jīng)網(wǎng)絡(luò)的動(dòng)作檢測(cè)應(yīng)用

通過(guò)視頻序列來(lái)實(shí)現(xiàn)任務(wù)預(yù)測(cè)是時(shí)序圖領(lǐng)域的重要應(yīng)用場(chǎng)景之一。文獻(xiàn)［77}實(shí)現(xiàn)了基于共扼任務(wù)圖結(jié)構(gòu)的策略生成方法，實(shí)現(xiàn)了基于給定的演示視頻推理完成未知的任務(wù)。文獻(xiàn)［85］提出了視覺(jué)空間注意力機(jī)制的圖卷積方法來(lái)完成視覺(jué)理解任務(wù)中人與對(duì)象交互定位HOI的任務(wù)。文獻(xiàn)［21］通過(guò)時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了基于骨節(jié)運(yùn)動(dòng)的動(dòng)作檢測(cè)。

06 未來(lái)發(fā)展與研究

隨著圖神經(jīng)網(wǎng)絡(luò)的研究和應(yīng)用不斷深入，其發(fā)展方向主要包括網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化，理論可解釋性強(qiáng)化·適用的數(shù)據(jù)結(jié)構(gòu)豐富化的趨勢(shì)，具體的未來(lái)發(fā)展方向可以歸納如下：

1）傳統(tǒng)深度學(xué)習(xí)相比，圖神經(jīng)網(wǎng)絡(luò)的研究和應(yīng)用領(lǐng)域有很大的拓展空間，對(duì)于諸如知識(shí)圖譜、推薦系統(tǒng)等大規(guī)模的系統(tǒng)性應(yīng)用中，具備了遷移性·可強(qiáng)化性等特點(diǎn)，就可以對(duì)動(dòng)態(tài)任務(wù)具有更加泛化的處理能力，實(shí)現(xiàn)將圖神經(jīng)網(wǎng)絡(luò)與現(xiàn)階段的深度學(xué)習(xí)更好的關(guān)聯(lián)，將圖結(jié)構(gòu)數(shù)據(jù)加以更加完善的應(yīng)用。

2）深度神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)本質(zhì)上是對(duì)數(shù)據(jù)不斷提取高維的抽象特征，圖結(jié)構(gòu)的關(guān)聯(lián)性特征與傳統(tǒng)貝葉斯因果關(guān)系網(wǎng)絡(luò)相結(jié)合，有望實(shí)現(xiàn)對(duì)深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)可解釋性的證明。

3）現(xiàn)階段的圖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)受限于關(guān)系型結(jié)構(gòu)在高維空間特征可解釋性，提升圖網(wǎng)絡(luò)深度的研究很少，而深度學(xué)習(xí)的巨大成功得益于其深層的網(wǎng)絡(luò)結(jié)構(gòu)能提取更高維度的特征信息。作為對(duì)特征信息在結(jié)構(gòu)上的抽象概括，圖網(wǎng)絡(luò)也需要在節(jié)點(diǎn)結(jié)構(gòu)關(guān)系創(chuàng)新的同時(shí)探索加深網(wǎng)絡(luò)結(jié)構(gòu)的方式，以實(shí)現(xiàn)對(duì)于高維特征信息提取的能力，提高網(wǎng)絡(luò)性能。

4）增加圖神經(jīng)網(wǎng)絡(luò)的感受域是有效提升圖神經(jīng)網(wǎng)絡(luò)推理性能的研究方向。神經(jīng)元的感受野可以讓網(wǎng)絡(luò)輸出的特征值更好地歸納局部和全局的特征，從而實(shí)現(xiàn)更快的學(xué)習(xí)收斂速度和更好的網(wǎng)絡(luò)預(yù)測(cè)效果。如何將這一特性引入圖神經(jīng)網(wǎng)絡(luò)并獲得優(yōu)化的效果，也是需要探索的前沿領(lǐng)域之一。

5）在網(wǎng)絡(luò)節(jié)點(diǎn)引入更多種類的數(shù)據(jù)類型，突破節(jié)點(diǎn)連接的先驗(yàn)信息來(lái)決定圖神經(jīng)網(wǎng)絡(luò)的最終學(xué)習(xí)效果。更廣泛的利用統(tǒng)計(jì)定性、離散或概率型數(shù)據(jù)，如定性、離散或概率型的數(shù)據(jù)，用圖的形式引入到圖網(wǎng)絡(luò)中，可以增強(qiáng)圖網(wǎng)絡(luò)模型對(duì)真實(shí)數(shù)據(jù)分布的刻畫(huà)能力。6）提升圖神經(jīng)網(wǎng)絡(luò)動(dòng)態(tài)性和異質(zhì)性，對(duì)于更多的關(guān)于復(fù)雜圖結(jié)構(gòu)的異質(zhì)圖和結(jié)合時(shí)序性動(dòng)態(tài)圖具有更加豐富的應(yīng)用場(chǎng)景。

07 結(jié)束語(yǔ)

本文以綜述和探索的角度梳理了圖神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程，從圖數(shù)據(jù)的結(jié)構(gòu)對(duì)圖結(jié)構(gòu)進(jìn)行了分類介紹，同時(shí)從信息聚合方法的不同，深入剖析了六種等不同圖神經(jīng)網(wǎng)絡(luò)的差異和優(yōu)劣。分析討論了圖神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)領(lǐng)域的研究方向相結(jié)合的五類研究方向以及優(yōu)缺點(diǎn)，并對(duì)不同圖神經(jīng)網(wǎng)絡(luò)技術(shù)的應(yīng)用場(chǎng)景進(jìn)行了分析介紹。根據(jù)現(xiàn)階段圖神經(jīng)網(wǎng)絡(luò)的發(fā)展，從網(wǎng)絡(luò)結(jié)構(gòu)的深度和復(fù)雜度、對(duì)異質(zhì)圖的高校分析和處理以及利用節(jié)點(diǎn)和邊的信息傳遞實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的可解釋等不同的研究和討論，未來(lái)提升圖神經(jīng)網(wǎng)絡(luò)的算法性能，增強(qiáng)可解釋性以及拓寬應(yīng)用領(lǐng)域?qū)⑹欠浅Ｖ匾难芯款I(lǐng)域和方向。

08 總結(jié)

本篇文章概述了圖神經(jīng)網(wǎng)絡(luò)的發(fā)展過(guò)程，對(duì)不同結(jié)構(gòu)的圖神經(jīng)網(wǎng)絡(luò)進(jìn)行了介紹，圖卷積、圖注意力機(jī)制等，圖卷積網(wǎng)絡(luò)又有空間和頻域兩種。并介紹了幾種圖神經(jīng)網(wǎng)絡(luò)算法的優(yōu)劣和應(yīng)用場(chǎng)景。在我們的工作里，可以將圖神經(jīng)網(wǎng)絡(luò)和異常檢測(cè)聯(lián)系在一起，制作一些圖結(jié)構(gòu)的網(wǎng)絡(luò)流量數(shù)據(jù)，這些流量數(shù)據(jù)以主機(jī)為節(jié)點(diǎn)，如果有通信則視為有連接，但是節(jié)點(diǎn)包含哪些特征需要進(jìn)一步研究。

審核編輯 ：李倩