訓(xùn)練表示學(xué)習(xí)函數(shù)（即編碼器）以最大化其輸入和輸出之間的互信息

許多表示學(xué)習(xí)算法使用像素級(jí)的訓(xùn)練目標(biāo)，當(dāng)只有一小部分信號(hào)在語(yǔ)義層面上起作用時(shí)是不利的。在這篇論文中，Bengio 等研究者假設(shè)應(yīng)該更直接地根據(jù)信息內(nèi)容和統(tǒng)計(jì)或架構(gòu)約束來(lái)學(xué)習(xí)表示，據(jù)此提出了 Deep INFOMAX（DIM）。該方法可用于學(xué)習(xí)期望特征的表示，并且在分類任務(wù)上優(yōu)于許多流行的無(wú)監(jiān)督學(xué)習(xí)方法。他們認(rèn)為，這是學(xué)習(xí)「好的」和更條理的表示的一個(gè)重要方向，有利于未來(lái)的人工智能研究。

引言

在意識(shí)層面上，智能體并不在像素和其他傳感器的層面上進(jìn)行預(yù)測(cè)和規(guī)劃，而是在抽象層面上進(jìn)行預(yù)測(cè)。因?yàn)檎Z(yǔ)義相關(guān)的比特?cái)?shù)量（在語(yǔ)音中，例如音素、說(shuō)話者的身份、韻律等）只是原始信號(hào)中總比特?cái)?shù)的一小部分，所以這樣可能更合適。

然而，大多數(shù)無(wú)監(jiān)督機(jī)器學(xué)習(xí)（至少是部分地）基于定義在輸入空間中的訓(xùn)練目標(biāo)。由于無(wú)需捕獲少數(shù)語(yǔ)義相關(guān)的比特，就可以很好地優(yōu)化這些目標(biāo)，因此它們可能不會(huì)產(chǎn)生好的表示。深度學(xué)習(xí)的核心目標(biāo)之一是發(fā)現(xiàn)「好的」表示，所以我們會(huì)問(wèn)：是否有可能學(xué)習(xí)輸入空間中未定義的訓(xùn)練目標(biāo)的表示呢？本文探討的簡(jiǎn)單想法是訓(xùn)練表示學(xué)習(xí)函數(shù)（即編碼器）以最大化其輸入和輸出之間的互信息。

互信息是出了名的難計(jì)算，特別是在連續(xù)和高維設(shè)置中。幸運(yùn)的是，在神經(jīng)估計(jì)的最新進(jìn)展中，已經(jīng)能夠有效計(jì)算深度神經(jīng)網(wǎng)絡(luò)的高維輸入/輸出對(duì)之間的互信息。而在本項(xiàng)研究中，研究人員利用這些技術(shù)進(jìn)行表示學(xué)習(xí)。然而，最大化完全輸入與其表示之間的互信息（即全局互信息）不足以學(xué)習(xí)有用的表示，這依賴于下游任務(wù)。相反，最大化輸入的表示和局部區(qū)域之間的平均互信息可以極大地改善例如分類任務(wù)的表示質(zhì)量，而全局互信息在給定表示的重建完整輸入上能發(fā)揮更大的作用。

表示的作用不僅僅體現(xiàn)在信息內(nèi)容的問(wèn)題上，架構(gòu)等表示特征也非常重要。因此，研究者以類似于對(duì)抗性自編碼器或 BiGAN 的方式將互信息最大化與先驗(yàn)匹配相結(jié)合，以獲得具有期望約束的表示，以及良好的下游任務(wù)表現(xiàn)。該方法接近 INFOMAX 優(yōu)化原則，因此研究者們將他們的方法稱為深度 INFOMAX（DIM）。

本研究貢獻(xiàn)如下：

規(guī)范化的深度 INFOMAX（DIM），它使用互信息神經(jīng)估計(jì)（MINE）來(lái)明確地最大化輸入數(shù)據(jù)和學(xué)習(xí)的高級(jí)表示之間的互信息。

互信息最大化可以優(yōu)先考慮全局或局部一致的信息，這些信息可以用于調(diào)整學(xué)習(xí)表示的適用性，以進(jìn)行分類或風(fēng)格重建的任務(wù)。

研究者使用對(duì)抗學(xué)習(xí)來(lái)約束「具有特定于先驗(yàn)的期望統(tǒng)計(jì)特征」的表示。

引入了兩種新的表示質(zhì)量的度量，一種基于 MINE，另一種是 Brakel＆Bengio 研究的的依賴度量，研究者用它們來(lái)比較不同無(wú)監(jiān)督方法的表示。

論文：Learning deep representations by mutual information estimation and maximization

論文地址：https://arxiv.org/abs/1808.06670v2

摘要：許多流行的表示學(xué)習(xí)算法使用在觀察數(shù)據(jù)空間上定義的訓(xùn)練目標(biāo)，我們稱之為像素級(jí)。當(dāng)只有一小部分信號(hào)在語(yǔ)義層面上起作用時(shí)，這可能是不利的。我們假設(shè)應(yīng)該更直接地根據(jù)信息內(nèi)容和統(tǒng)計(jì)或架構(gòu)約束來(lái)學(xué)習(xí)和估計(jì)表示。為了解決第一個(gè)質(zhì)量問(wèn)題，研究者考慮通過(guò)最大化部分或全部輸入與高級(jí)特征向量之間的互信息來(lái)學(xué)習(xí)無(wú)監(jiān)督表示。為了解決第二個(gè)問(wèn)題，他們通過(guò)對(duì)抗地匹配先驗(yàn)來(lái)控制表示特征。他們稱之為 Deep INFOMAX（DIM）的方法可用于學(xué)習(xí)期望特征的表示，并且在分類任務(wù)按經(jīng)驗(yàn)結(jié)果優(yōu)于許多流行的無(wú)監(jiān)督學(xué)習(xí)方法。DIM 開(kāi)辟了無(wú)人監(jiān)督學(xué)習(xí)表示的新途徑，是面向特定最終目標(biāo)而靈活制定表征學(xué)習(xí)目標(biāo)的重要一步。

實(shí)驗(yàn)

我們使用以下指標(biāo)來(lái)評(píng)估表示。下面編碼器都固定不變，除非另有說(shuō)明：

使用支持向量機(jī)（SVM）進(jìn)行線性分類。它同時(shí)代表具有線性可分性的表示的互信息。

使用有 dropout 的單個(gè)隱藏層神經(jīng)網(wǎng)絡(luò)（200 個(gè)單元）進(jìn)行非線性分類。這同樣代表表示的互信息，其中標(biāo)簽與線性可分性分開(kāi)，如上面的 SVM 所測(cè)的。

半監(jiān)督學(xué)習(xí)，即通過(guò)在最后一個(gè)卷積層（有標(biāo)準(zhǔn)分類器的匹配架構(gòu)）上添加一個(gè)小型神經(jīng)網(wǎng)絡(luò)來(lái)微調(diào)整個(gè)編碼器，以進(jìn)一步評(píng)估半監(jiān)督任務(wù)（STL-10）。

MS-SSIM，使用在 L2 重建損失上訓(xùn)練的解碼器。這代表輸入和表示之間的全部互信息，并且可以表明編碼的像素級(jí)信息的數(shù)量。

通過(guò)訓(xùn)練參數(shù)為ρ的判別器來(lái)最大化 KL 散度的 DV 表示，來(lái)表示輸入 X 和輸出表示 Y 之間的互信息神經(jīng)估計(jì)（MINE），I_ρ（X，Y）。

神經(jīng)依賴度量（NDM）使用第二判別器來(lái)度量 Y 和分批再組（batch-wise shuffled）的 Y 之間的 KL 散度，使得不同的維度相互獨(dú)立。

表 1：CIFAR10 和 CIFAR100 的分類準(zhǔn)確率（top-1）結(jié)果。DIM（L）（僅局部目標(biāo)）顯著優(yōu)于之前提出的所有其他無(wú)監(jiān)督方法。此外，DIM（L）接近甚至超過(guò)具有類似架構(gòu)的全監(jiān)督分類器。具有全局目標(biāo)的 DIM 表現(xiàn)與任務(wù)中的某些模型相似，但不如 CIFAR100 上的生成模型和 DIM（L）。表中提供全監(jiān)督分類結(jié)果用于比較。

表 2：Tiny ImageNet 和 STL-10 的分類準(zhǔn)確率（top-1）結(jié)果。對(duì)于 Tiny ImageNet，具有局部目標(biāo)的 DIM 優(yōu)于所有其他模型，并且接近全監(jiān)督分類器的準(zhǔn)確率，與此處使用的 AlexNet 架構(gòu)類似。

圖 5：使用 DIM（G）和 DIM（L）在編碼的 Tiny ImageNet 圖像上使用 L1 距離的最近鄰。最左邊的圖像是來(lái)自訓(xùn)練集的隨機(jī)選擇的參考圖像（查詢）以及在表示中測(cè)量的來(lái)自測(cè)試集的最近鄰的四個(gè)圖像，按照接近度排序。來(lái)自 DIM（L）的最近鄰比具有純粹全局目標(biāo)的近鄰更容易理解。

圖 7：描繪判別器非歸一化輸出分布的直方圖，分別是標(biāo)準(zhǔn) GAN、具有-log D 損失的 GAN、最小二乘 GAN、Wasserstein GAN 以及作者提出的以 50：1 訓(xùn)練率訓(xùn)練的方法。

方法：深度 INFOMAX

圖 1：圖像數(shù)據(jù)上下文中的基本編碼器模型。將圖像（在這種情況下）編碼到卷積網(wǎng)絡(luò)中，直到有一個(gè) M×M 特征向量的特征圖與 M×M 個(gè)輸入塊對(duì)應(yīng)。將這些矢量（例如使用額外的卷積和全連接層）歸一化到單個(gè)特征向量 Y。目標(biāo)是訓(xùn)練此網(wǎng)絡(luò)，以便從高級(jí)特征中提取有關(guān)輸入的相關(guān)信息。

圖 2：具有全局 MI（X; Y）目標(biāo)的深度 INFOMAX（DIM）。研究者通過(guò)由額外的卷積層、flattening 層和全連接層組成的判別器來(lái)傳遞高級(jí)特征向量 Y 和低級(jí) M×M 特征圖（參見(jiàn)圖 1）以獲得分?jǐn)?shù)。通過(guò)將相同的特征向量與來(lái)自另一圖像的 M×M 特征圖結(jié)合來(lái)繪制偽樣本。

結(jié)論

在這項(xiàng)研究中，研究者們介紹了 Deep INFOMAX（DIM），這是一種通過(guò)最大化互信息來(lái)學(xué)習(xí)無(wú)監(jiān)督表示的新方法。DIM 允許在架構(gòu)「位置」（如圖像中的塊）中包含局部一致信息的表示。這提供了一種直接且靈活的方式來(lái)學(xué)習(xí)在各種任務(wù)上有優(yōu)良表現(xiàn)的表示。他們認(rèn)為，這是學(xué)習(xí)「好的」和更條理的表示的一個(gè)重要方向，這將利于未來(lái)的人工智能研究。