Introduction

無(wú)監(jiān)督多重圖表示學(xué)習(xí)（UMGRL）受到越來(lái)越多的關(guān)注，但很少有工作同時(shí)關(guān)注共同信息和私有信息的提取。在本文中，我們認(rèn)為，為了進(jìn)行有效和魯棒的 UMGRL，提取完整和干凈的共同信息以及更多互補(bǔ)性和更少噪聲的私有信息至關(guān)重要。

為了實(shí)現(xiàn)這一目標(biāo)，我們首先研究了用于多重圖的解纏表示學(xué)習(xí)，以捕獲完整和干凈的共同信息，并設(shè)計(jì)了對(duì)私有信息進(jìn)行對(duì)比約束，以保留互補(bǔ)性并消除噪聲。此外，我們?cè)诶碚撋戏治隽宋覀兎椒▽W(xué)到的共同和私有表示可以被證明是解纏的，并包含更多與任務(wù)相關(guān)和更少與任務(wù)無(wú)關(guān)的信息，有利于下游任務(wù)。大量實(shí)驗(yàn)證實(shí)了所提方法在不同下游任務(wù)方面的優(yōu)越性。

論文標(biāo)題：

Disentangled Multiplex Graph Representation Learning

論文鏈接：

https://openreview.net/pdf?id=lYZOjMvxws

代碼鏈接：

https://github.com/YujieMo/DMG

Motivation

以前的 UMGRL 方法旨在隱式提取不同圖之間的共同信息，這對(duì)于揭示樣本的身份是有效和魯棒的。然而，它們通常忽視了每個(gè)圖的私有信息中的互補(bǔ)性，并可能失去節(jié)點(diǎn)之間的重要屬性。

例如，在多重圖中，其中論文是節(jié)點(diǎn)，邊代表兩個(gè)不同圖中的共同主題或共同作者。如果一個(gè)私有邊（例如，共同主題關(guān)系）僅存在于某個(gè)圖中，并連接來(lái)自相同類別的兩篇論文，它有助于通過(guò)提供互補(bǔ)信息來(lái)降低類內(nèi)差距，從而識(shí)別論文。因此，有必要同時(shí)考慮共同信息和私有信息，以實(shí)現(xiàn) UMGRL 的有效性和魯棒性。

基于有助于識(shí)別樣本的共同信息，捕獲不同圖之間的所有共同信息（即完整的）是直觀的。此外，這種完整的共同信息應(yīng)該僅包含共同信息（即干凈的）。相反，如果共同信息包含其他混淆的內(nèi)容，共同信息的質(zhì)量可能會(huì)受到損害。

因此，第一個(gè)問(wèn)題出現(xiàn)了：如何獲得完整和干凈的共同信息？另一方面，私有信息是互補(bǔ)性和噪聲的混合?？紤]引文網(wǎng)絡(luò)的同一個(gè)示例，如果私有邊連接來(lái)自不同類別的兩篇論文，它可能會(huì)干擾消息傳遞，應(yīng)該作為噪聲被刪除。因此，第二個(gè)問(wèn)題出現(xiàn)了：如何保留私有信息中的互補(bǔ)性并去除噪聲？

然而，以前的 UMGRL 方法很少探討了上述問(wèn)題。最近，已經(jīng)開(kāi)發(fā)了解耦表示學(xué)習(xí)方法，以獲得共同和私有表示，但由于多重圖中節(jié)點(diǎn)之間的復(fù)雜關(guān)系以及圖結(jié)構(gòu)中的互補(bǔ)性和噪聲，將它們應(yīng)用于解決 UMGRL 中的上述問(wèn)題是具有挑戰(zhàn)性的。為此，我們提出了一種新的解耦多重圖表示學(xué)習(xí)框架，以回答上述兩個(gè)問(wèn)題。

Method

Notations

表示多重圖，表示多重圖中的第 張圖，表示圖的數(shù)量。

本文模型 DMG 首先通過(guò)一個(gè)共同變量 學(xué)習(xí)到經(jīng)過(guò)解耦的共同表示以及私有表示，接著獲取到融合表示。

3.1 Common Information Extraction

以前的 UMGRL 方法（例如，圖之間的對(duì)比學(xué)習(xí)方法）通常通過(guò)最大化兩個(gè)圖之間的互信息來(lái)隱式捕獲不同圖之間的共同模式。例如，為了提取共同信息，STENCIL（Zhu等人，2022）最大化每個(gè)圖與聚合圖之間的互信息，而 CKD（Zhou等人，2022）最大化不同圖中區(qū)域表示和全局表示之間的互信息。

然而，由于它們未能將共同信息與私有信息解耦，因此這些努力不能明確地捕獲完整且干凈的共同信息。為了解決這個(gè)問(wèn)題，本文研究了解耦表示學(xué)習(xí)，以獲得完整且 clean 的共同信息。

具體地，首先使用圖卷積層 生成節(jié)點(diǎn)表示 ：

表示一個(gè)帶權(quán)重的自環(huán)； 表示度矩陣； 表示卷積層 的權(quán)重矩陣。

接著使用 MLP 來(lái)促進(jìn)每張圖共同和私有信息的解耦過(guò)程，分別將節(jié)點(diǎn)嵌入 映射為共同表示和私有表示 。 給定每張圖的共同表示 ，對(duì)齊這些表示最簡(jiǎn)單的方法使讓它們彼此相等。然而這樣做會(huì)影響共同表示的質(zhì)量。在本文中，我們通過(guò)奇異值分解操作引入了一個(gè)具有正交性和零均值的公共變量 到共同表示中。然后，我們對(duì)公共表示 與公共變量 之間進(jìn)行匹配損失，旨在逐漸對(duì)齊來(lái)自不同圖的共同表示，以捕獲它們之間的完整共同信息。匹配損失的公式如下：的作用是作為所有圖共同表示之間的一個(gè)橋梁，使得這些表示具有較好的一致性：。

然后，為了解耦公共和私有表示，我們必須強(qiáng)化它們之間的統(tǒng)計(jì)獨(dú)立性。值得注意的是，如果公共和私有表示在統(tǒng)計(jì)上是獨(dú)立的，那么必須滿足：

顯然，通過(guò)最小化 之間的相關(guān)性，可以實(shí)現(xiàn)公共和私有表示之間的獨(dú)立性。特別是，相關(guān)性損失是通過(guò)計(jì)算 Pearson 相關(guān)系數(shù)來(lái)獲得的，即：我們期望通過(guò)匹配損失（即獲得完整的共同信息）和相關(guān)性損失（即獲得干凈的共同信息）來(lái)獲得清晰的共同表示 中的共同信息。然而，在無(wú)監(jiān)督框架下，學(xué)得的共同和私有表示可能是微不足道的解決方案。 常見(jiàn)的解決方案包括對(duì)比學(xué)習(xí)方法和自編碼器方法。對(duì)比學(xué)習(xí)方法引入大量負(fù)樣本以避免微不足道的解決方案，但可能會(huì)引入大量的內(nèi)存開(kāi)銷。自編碼器方法采用自編碼器框架，通過(guò)重構(gòu)損失來(lái)促進(jìn)編碼器的可逆性，以防止微不足道的解決方案。然而，現(xiàn)有的圖自編碼器旨在重構(gòu)直接的邊緣，忽略了拓?fù)浣Y(jié)構(gòu)，并且計(jì)算成本高昂。 為了解決上述問(wèn)題，我們研究了一種新的重構(gòu)損失，以同時(shí)重構(gòu)節(jié)點(diǎn)特征和拓?fù)浣Y(jié)構(gòu)。具體而言，我們首先將共同和私有表示連接在一起，然后使用重構(gòu)網(wǎng)絡(luò) 獲得重構(gòu)的節(jié)點(diǎn)表示 。我們進(jìn)一步進(jìn)行特征重構(gòu)和拓?fù)渲貥?gòu)損失，以分別重構(gòu)節(jié)點(diǎn)特征和局部拓?fù)浣Y(jié)構(gòu)。因此，重構(gòu)損失可以表述為：

， 表示采樣的鄰居數(shù)。

在上式中第一項(xiàng)鼓勵(lì) 重構(gòu)原始節(jié)點(diǎn)特征，第二項(xiàng)鼓勵(lì) 重構(gòu)拓?fù)浣Y(jié)構(gòu)。

3.2 Private Information Constraint

私有信息是補(bǔ)充信息和噪音的混合物。因此，鑒于學(xué)習(xí)到的私有表示，我們希望進(jìn)一步回答 3.1 節(jié)中的第二個(gè)問(wèn)題，即保留補(bǔ)充信息并消除私有信息中的噪聲。此外，多重圖的私有信息主要位于每個(gè)圖的圖結(jié)構(gòu)中，因?yàn)椴煌瑘D的節(jié)點(diǎn)特征是從共享特征矩陣 X 生成的。因此，我們研究了在每個(gè)圖結(jié)構(gòu)中保留互補(bǔ)邊并去除噪聲邊。

首先提供了以下有關(guān)圖結(jié)構(gòu)中補(bǔ)充信息和噪聲的定義：

• 對(duì)圖 上的任意私有邊，即 ，若節(jié)點(diǎn)對(duì) 所屬的類別相同，那么 將是圖 的一條補(bǔ)充邊，否則是一條噪聲邊。

根據(jù)定義 3.2，每個(gè)圖中的私有信息分為兩部分，即補(bǔ)充邊和噪聲邊，根據(jù)節(jié)點(diǎn)對(duì)的類別。然而，在無(wú)監(jiān)督方式下，節(jié)點(diǎn)標(biāo)簽不可用。為解決這個(gè)問(wèn)題，在這項(xiàng)工作中，我們將節(jié)點(diǎn)對(duì)（vi, vj）的標(biāo)簽信息近似為共同變量 之間的余弦相似度： ?給定邊集 中所有節(jié)點(diǎn)對(duì)的余弦相似度，進(jìn)一步假設(shè)具有最高相似度的節(jié)點(diǎn)對(duì)屬于同一類，具有低相似度的節(jié)點(diǎn)對(duì)屬于不同類。因此，對(duì)于連接節(jié)點(diǎn)的高相似性邊是補(bǔ)充邊，表示為 ，而對(duì)于連接節(jié)點(diǎn)的低相似性邊是噪聲邊，表示為 。直觀地，應(yīng)保留補(bǔ)充邊，而應(yīng)刪除噪聲邊。

設(shè)計(jì)了一個(gè)對(duì)比模塊，用于進(jìn)行對(duì)比損失：

3.3 Objective Function

經(jīng)過(guò)優(yōu)化，預(yù)計(jì)所提出的 DMG 將獲得完整且干凈的公共表示，以及更多互補(bǔ)性和更少噪聲的私有表示，以實(shí)現(xiàn)有效且穩(wěn)健的 UMGRL）。然進(jìn)行平均池化（LeCun等人，1989）來(lái)融合所有圖的私有表示，以獲得總體的私有表示 P，即

最后，我們將總體的私有表示 P 與共同變量 S 連接起來(lái)，獲得最終的表示 Z。

Experiments

4.1 Node Classification

4.2 Node Clustering

4.3 Single-view graph datasets

Conclusion

本文提出了一個(gè)用于多重圖的解耦表示學(xué)習(xí)框架。為實(shí)現(xiàn)這一目標(biāo)，我們首先解耦了共同表示和私有表示，以捕獲完整和干凈的共同信息。我們進(jìn)一步設(shè)計(jì)了對(duì)私有信息進(jìn)行對(duì)比約束，以保留互補(bǔ)性并消除噪聲。理論分析表明，我們方法學(xué)到的共同和私有表示可以被證明是解耦的，包含更多與任務(wù)相關(guān)的信息和更少與任務(wù)無(wú)關(guān)的信息，有利于下游任務(wù)。廣泛的實(shí)驗(yàn)結(jié)果表明，所提出的方法在不同的下游任務(wù)中在有效性和魯棒性方面始終優(yōu)于現(xiàn)有方法。

·