什么是圖神經(jīng)網(wǎng)絡(luò) 誰(shuí)在使用圖神經(jīng)網(wǎng)絡(luò)

圖神經(jīng)網(wǎng)絡(luò)將深度學(xué)習(xí)的預(yù)測(cè)能力應(yīng)用于豐富的數(shù)據(jù)結(jié)構(gòu)中，這些數(shù)據(jù)結(jié)構(gòu)將物體及其對(duì)應(yīng)關(guān)系描述為圖中用線(xiàn)連成的點(diǎn)。

當(dāng)兩種技術(shù)相融合，就可以創(chuàng)造出一些新的和奇妙的事物，比如手機(jī)和瀏覽器融合成了智能手機(jī)。

當(dāng)今，開(kāi)發(fā)者正在將 AI 發(fā)現(xiàn)規(guī)律的能力應(yīng)用于大型圖數(shù)據(jù)庫(kù)，這些數(shù)據(jù)庫(kù)存儲(chǔ)著包含各數(shù)據(jù)點(diǎn)之間關(guān)系的信息。兩者組合成被稱(chēng)為圖神經(jīng)網(wǎng)絡(luò)（GNN）的強(qiáng)大新工具。

什么是圖神經(jīng)網(wǎng)絡(luò)

圖神經(jīng)網(wǎng)絡(luò)將深度學(xué)習(xí)的預(yù)測(cè)能力應(yīng)用于豐富的數(shù)據(jù)結(jié)構(gòu)中，這些數(shù)據(jù)結(jié)構(gòu)將物體及其對(duì)應(yīng)關(guān)系描述為圖中用線(xiàn)連成的點(diǎn)。

在圖神經(jīng)網(wǎng)絡(luò)中，被稱(chēng)為“節(jié)點(diǎn)”的數(shù)據(jù)點(diǎn)通過(guò)被稱(chēng)為“邊”的線(xiàn)連接，各種元素均以數(shù)學(xué)形式表達(dá)，這使機(jī)器學(xué)習(xí)算法可以在節(jié)點(diǎn)、邊或整個(gè)圖的層面做出有用的預(yù)測(cè)。

圖神經(jīng)網(wǎng)絡(luò)能做什么

越來(lái)越多的公司正在使用 GNN 改進(jìn)藥物研發(fā)、欺詐檢測(cè)和推薦系統(tǒng)。這些以及更多其他應(yīng)用都依賴(lài)于尋找數(shù)據(jù)點(diǎn)之間的關(guān)系規(guī)律。

研究人員正在探索 GNN 在計(jì)算機(jī)圖形學(xué)、網(wǎng)絡(luò)安全、基因組學(xué)和材料科學(xué)中的用例。近期的一篇論文描述了 GNN 如何利用圖形式的交通地圖改進(jìn)對(duì)到達(dá)時(shí)間的預(yù)測(cè)。

許多科學(xué)和工業(yè)領(lǐng)域已在圖數(shù)據(jù)庫(kù)中儲(chǔ)存了有價(jià)值的數(shù)據(jù)。通過(guò)深度學(xué)習(xí)，他們可以訓(xùn)練預(yù)測(cè)模型，從圖中挖掘出新穎的洞察。

許多科學(xué)和工業(yè)領(lǐng)域的知識(shí)都可以用圖來(lái)表達(dá)

亞馬遜云科技（AWS）高級(jí)首席科學(xué)家 George Karypis 在今年早些時(shí)候的講座中表示：“GNN 是深度學(xué)習(xí)研究中最熱門(mén)的領(lǐng)域。越來(lái)越多的應(yīng)用正在使用 GNN 來(lái)提高其性能?！?/p>

很多人都深表贊同。斯坦福大學(xué)副教授 Jure Leskovec 表示：“GNN 正在引得越來(lái)越多的關(guān)注，它們可以靈活地建立復(fù)雜關(guān)系的模型，而這是傳統(tǒng)神經(jīng)網(wǎng)絡(luò)所做不到的?！彼谘葜v中展示了下面的這張 AI 論文圖表，里面提到了 GNN。

誰(shuí)在使用圖神經(jīng)網(wǎng)絡(luò)？

亞馬遜在 2017 年表示正在使用 GNN 來(lái)檢測(cè)欺詐。2020 年，亞馬遜推出了供外部用戶(hù)用于欺詐檢測(cè)、推薦系統(tǒng)等應(yīng)用的公共 GNN 服務(wù)。

為了維持客戶(hù)的高度信任，亞馬遜搜索引擎采用 GNN 來(lái)檢測(cè)惡意賣(mài)家、買(mǎi)家和產(chǎn)品。借助 NVIDIA GPU，該搜索引擎能夠探索具有數(shù)千萬(wàn)個(gè)節(jié)點(diǎn)和數(shù)億條邊的圖，并同時(shí)將訓(xùn)練時(shí)間從 24 小時(shí)縮短到 5 小時(shí)。

葛蘭素史克 AI 全球負(fù)責(zé)人 Kim Branson 在 GNN 研討會(huì)的某場(chǎng)小組討論會(huì)上表示，生物制藥公司葛蘭素史克維護(hù)著擁有近 5000 億個(gè)節(jié)點(diǎn)的知識(shí)圖譜，該圖譜被用于該公司的許多機(jī)器語(yǔ)言模型中。

LinkedIn 高級(jí)軟件工程師 Jaewon Yang 在該研討會(huì)的另一場(chǎng)座談會(huì)上表示，LinkedIn 使用 GNN 提供社交推薦，并了解人的技能與其工作職位之間的關(guān)系

NVIDIA 杰出工程師 Joe Eaton 表示：“GNN 是通用工具，我們每年都會(huì)開(kāi)發(fā)一些新的 GNN 應(yīng)用。”目前 Joe Eaton 正在領(lǐng)導(dǎo)將加速計(jì)算應(yīng)用于 GNN 的團(tuán)隊(duì)。他表示“我們甚至都還沒(méi)有觸及到 GNN 的表層功能?！?/p>

另一個(gè)跡象也表明了人們對(duì) GNN 的興趣——Leskovec 在斯坦福大學(xué)教授 GNN 的課程視頻已突破 70 萬(wàn)次瀏覽量。

GNN 如何工作？

到目前為止，深度學(xué)習(xí)主要集中在圖像和文本上。這兩種結(jié)構(gòu)化數(shù)據(jù)可以被描述為單詞序列或像素網(wǎng)格。相比之下，圖是非結(jié)構(gòu)化的，因此可以是任何形狀或尺寸，并包含圖像、文本等任何類(lèi)型的數(shù)據(jù)。

GNN 使用被稱(chēng)為信息傳遞的流程將圖組織起來(lái)，以便機(jī)器學(xué)習(xí)算法的使用。

信息傳遞將關(guān)于鄰近節(jié)點(diǎn)的信息嵌入到每個(gè)節(jié)點(diǎn)中。AI 模型利用嵌入的信息來(lái)尋找規(guī)律并進(jìn)行預(yù)測(cè)。

三類(lèi) GNN 中的數(shù)據(jù)流示例

例如，推薦系統(tǒng)使用將節(jié)點(diǎn)嵌入 GNN 的方式來(lái)匹配客戶(hù)和產(chǎn)品；欺詐檢測(cè)系統(tǒng)使用邊緣嵌入來(lái)發(fā)現(xiàn)可疑交易；藥物發(fā)現(xiàn)模型通過(guò)比較整個(gè)分子圖來(lái)找出它們之間的反應(yīng)。

GNN 還有兩個(gè)獨(dú)特之處：它們使用稀疏數(shù)學(xué)，而且模型通常只有兩到三層。其他 AI 模型通常使用密集數(shù)學(xué)并且有數(shù)百個(gè)神經(jīng)網(wǎng)絡(luò)層。

GNN 流程在輸入圖后輸出預(yù)測(cè)

GNN 的發(fā)展史

意大利研究人員在 2009 年發(fā)表的論文中首次將這種神經(jīng)網(wǎng)絡(luò)命名為“圖神經(jīng)網(wǎng)絡(luò)”。但直到八年之后，阿姆斯特丹的兩位研究人員才使用被稱(chēng)為“圖卷積網(wǎng)絡(luò)”（GCN）的圖神經(jīng)網(wǎng)絡(luò)變體展示了這種神經(jīng)網(wǎng)絡(luò)的力量。GCN 也是當(dāng)今最流行的 GNN 之一。

GCN 啟發(fā)了 Leskovec 和他的兩個(gè)斯坦福大學(xué)研究生創(chuàng)造出 GraphSage——一個(gè)展示信息傳遞功能新工作方式的 GNN。2017 年夏天，擔(dān)任 Pinterest 首席科學(xué)家的 Leskovec 對(duì)此 GNN 進(jìn)行了測(cè)試。

GraphSage 開(kāi)創(chuàng)了在 GNN 中傳遞信息的強(qiáng)大聚合技術(shù)

他們所創(chuàng)建的 PinSage 是包含 30 億節(jié)點(diǎn)和 180 億邊的推薦系統(tǒng)，這超過(guò)了當(dāng)時(shí)的其他 AI 模型。

如今，Pinterest 將 PinSage 應(yīng)用于整個(gè)公司的 100 多個(gè)用例。該公司高級(jí)機(jī)器學(xué)習(xí)工程師 Andrew Zhai 于在線(xiàn)座談會(huì)上表示：“沒(méi)有 GNN，Pinterest 就不會(huì)有今天的吸引力。”

與此同時(shí)，其他變體和混合體也紛紛出現(xiàn)，包括圖循環(huán)網(wǎng)絡(luò)、圖注意力網(wǎng)絡(luò)等。GAT 借用 Transformer 模型中定義的注意力機(jī)制，幫助 GNN 專(zhuān)注于數(shù)據(jù)集中最相關(guān)的部分。

GNN 變體家族樹(shù)概覽圖

擴(kuò)展圖神經(jīng)網(wǎng)絡(luò)

展望未來(lái)，GNN 需要進(jìn)行全方位的擴(kuò)展。

還未維護(hù)圖數(shù)據(jù)庫(kù)的企業(yè)機(jī)構(gòu)需要使用工具來(lái)減輕創(chuàng)建這些復(fù)雜數(shù)據(jù)結(jié)構(gòu)的工作負(fù)擔(dān)。

使用圖數(shù)據(jù)庫(kù)的人都知道在某些情況下這些數(shù)據(jù)庫(kù)會(huì)不斷擴(kuò)大，單個(gè)節(jié)點(diǎn)或邊緣會(huì)被嵌入成千上萬(wàn)個(gè)特征。這為通過(guò)網(wǎng)絡(luò)將存儲(chǔ)于子系統(tǒng)中的海量數(shù)據(jù)集高效加載到處理器中帶來(lái)了挑戰(zhàn)。

Eaton 表示：“我們正在提供各種產(chǎn)品來(lái)最大程度地提高加速系統(tǒng)的內(nèi)存、計(jì)算帶寬與吞吐量，以便解決此類(lèi)數(shù)據(jù)加載和擴(kuò)展問(wèn)題?！?/p>

作為這項(xiàng)工作的內(nèi)容之一，NVIDIA 在 GTC 上宣布，除了深度圖庫(kù)（DGL）之外，公司現(xiàn)在還支持 PyTorch Geometric（PyG）。這是當(dāng)下最流行的兩個(gè) GNN 軟件框架。

NVIDIA 提供多種工具加快 GNN 的構(gòu)建

經(jīng)過(guò) NVIDIA 優(yōu)化的 DGL 和 PyG 容器針對(duì) NVIDIA GPU 進(jìn)行了性能調(diào)整和測(cè)試。它們?yōu)殚_(kāi)始使用 GNN 開(kāi)發(fā)應(yīng)用的人提供了方便的平臺(tái)。
審核編輯：郭婷