圖神經(jīng)網(wǎng)絡(luò)背后的原理和其強(qiáng)大的表征能力

圖網(wǎng)絡(luò)領(lǐng)域的大牛、斯坦福大學(xué)Jure Leskovec教授在ICLR 2019就圖深度生成模型做了演講，闡述了圖生成模型的方法和應(yīng)用，并詳細(xì)介紹了他的最新成果

斯坦福大學(xué)教授Jure Leskovec是圖網(wǎng)絡(luò)領(lǐng)域的專家，圖表示學(xué)習(xí)方法 node2vec 和 GraphSAGE 作者之一。

Jure Leskovec

在今年 ICLR，Jure Leskovec 教授及斯坦福、MIT 的多名研究者發(fā)表論文How Powerful Are Graph Neural Networks?(https://cs.stanford.edu/people/jure/pubs/gin-iclr19.pdf)，詳細(xì)闡述了圖神經(jīng)網(wǎng)絡(luò)背后的原理和其強(qiáng)大的表征能力，認(rèn)為圖神經(jīng)網(wǎng)絡(luò)在因果推理方面有巨大的潛力，有望成為 AI 的下一個(gè)拐點(diǎn)。

此外，在 ICLR 受邀演講上，Jure Leskovec 教授還就圖深度生成模型做了演講。在這次演講中，Jure 闡述了圖生成模型的方法和應(yīng)用，并詳細(xì)介紹了他的最新成果，GraphRNN 和 Graph Convolutional Policy Network。

本文帶來(lái)該演講的 PPT。

下載鏈接 (或點(diǎn)擊閱讀原文下載）：

http://i.stanford.edu/~jure/pub/talks2/graph_gen-iclr-may19-long.pdf

主要內(nèi)容：

為什么圖網(wǎng)絡(luò)很重要？

圖生成任務(wù)

GraphRNN：RNN 的兩個(gè)層次

圖卷積策略網(wǎng)絡(luò)：將圖表示和強(qiáng)化學(xué)習(xí)結(jié)合起來(lái)

為什么圖網(wǎng)絡(luò)很重要？

為什么圖網(wǎng)絡(luò)很重要？

深入了解圖的形成過程

異常檢測(cè) - 異常行為，進(jìn)化

預(yù)測(cè) —— 根據(jù)過去預(yù)測(cè)未來(lái)

新的圖結(jié)構(gòu)的模擬

圖補(bǔ)全 - 很多圖都是部分可觀察的

“如果” 場(chǎng)景

圖生成任務(wù)

任務(wù) 1：生成逼真的圖

生成與給定數(shù)據(jù)集相似的圖

任務(wù) 2：目標(biāo)導(dǎo)向的圖生成

生成優(yōu)化給定目標(biāo) / 約束的圖

藥物分子生成 / 優(yōu)化

關(guān)鍵的見解

通過順序添加節(jié)點(diǎn) / 邊來(lái)生成圖

好處：

表示具有不同大小、不同序列長(zhǎng)度的圖

將不同的節(jié)點(diǎn)順序?qū)?yīng)于不同的生成軌跡

捕獲節(jié)點(diǎn)之間的復(fù)雜依賴關(guān)系

GraphRNN：RNN 的兩個(gè)層次

GraphRNN：RNN 的兩個(gè)層次

目標(biāo)：將模型圖生成作為序列生成

需要對(duì)兩個(gè)流程建模：

為新節(jié)點(diǎn)生成狀態(tài) (節(jié) Node-level RNN)

根據(jù)新節(jié)點(diǎn)的狀態(tài)生成新節(jié)點(diǎn)的邊 (Edge-level RNN)

圖卷積策略網(wǎng)絡(luò)

圖卷積策略網(wǎng)絡(luò)：目標(biāo)導(dǎo)向的圖生成 (GCPN)

將圖表示 + RL 結(jié)合起來(lái)

圖表示 (Graph representation) 捕獲復(fù)雜的結(jié)構(gòu)信息，并在每個(gè)狀態(tài)轉(zhuǎn)換中啟用有效性檢查 (Valid)

強(qiáng)化學(xué)習(xí) (RL) 優(yōu)化中間 / 最終獎(jiǎng)勵(lì) (High scores)

對(duì)抗性訓(xùn)練 (Adversarial training) 模仿給定數(shù)據(jù)集中的例子 (Realistic)

總結(jié)

通過序列生成，可以成功生成復(fù)雜的圖

每一步?jīng)Q策都是基于隱藏狀態(tài)做出的

顯式：中間生成圖，用 GCN 解碼

隱式：向量表示，RNN 解碼

任務(wù)：

模仿一組給定的圖

按照既定目標(biāo)優(yōu)化圖