自編碼器是什么?有什么用

自動編碼器是一種無監(jiān)督的神經(jīng)網(wǎng)絡(luò)模型，它可以學(xué)習(xí)到輸入數(shù)據(jù)的隱含特征，這稱為編碼(coding)，同時用學(xué)習(xí)到的新特征可以重構(gòu)出原始輸入數(shù)據(jù)，稱之為解碼(decoding)。從直觀上來看，自動編碼器可以用于特征降維，類似主成分分析PCA，但是其相比PCA其性能更強(qiáng)，這是由于神經(jīng)網(wǎng)絡(luò)模型可以提取更有效的新特征。

自編碼器由兩部分組成：

編碼器：這部分能將輸入壓縮成潛在空間表征，可以用編碼函數(shù)h=f(x)表示。

解碼器：這部分能重構(gòu)來自潛在空間表征的輸入，可以用解碼函數(shù)r=g(h)表示。

△自編碼器結(jié)構(gòu)

因此，整個自編碼器可以用函數(shù)g(f(x)) = r來描述，其中輸出r與原始輸入x相近。

自編碼器用來干什么？

目前，自編碼器的應(yīng)用主要有兩個方面，第一是數(shù)據(jù)去噪，第二是為進(jìn)行可視化而降維。設(shè)置合適的維度和稀疏約束，自編碼器可以學(xué)習(xí)到比PCA等技術(shù)更有意思的數(shù)據(jù)投影。

自編碼器能從數(shù)據(jù)樣本中進(jìn)行無監(jiān)督學(xué)習(xí)，這意味著可將這個算法應(yīng)用到某個數(shù)據(jù)集中，來取得良好的性能，且不需要任何新的特征工程，只需要適當(dāng)?shù)赜?xùn)練數(shù)據(jù)。

但是，自編碼器在圖像壓縮方面表現(xiàn)得不好。由于在某個給定數(shù)據(jù)集上訓(xùn)練自編碼器，因此它在處理與訓(xùn)練集相類似的數(shù)據(jù)時可達(dá)到合理的壓縮結(jié)果，但是在壓縮差異較大的其他圖像時效果不佳。這里，像JPEG這樣的壓縮技術(shù)在通用圖像壓縮方面會表現(xiàn)得更好。

自動編碼器是神經(jīng)網(wǎng)絡(luò)的一種，經(jīng)過訓(xùn)練后能嘗試將輸入復(fù)制到輸出，換句話說，就是使輸出的內(nèi)容和輸入的內(nèi)容一樣。自動編碼器內(nèi)部有一個隱含層h，可以產(chǎn)生編碼來表示輸入。該網(wǎng)絡(luò)可以看作由兩部分組成：一個編碼器h=f(x)和一個生成重構(gòu)的解碼器r=g(h)。最后使得x約等于g(f(x))?？刹豢梢酝ㄟ^設(shè)計網(wǎng)絡(luò)使得x=g(f(x))，理論上可以的，但通常不會這么做。

自動編碼器應(yīng)該設(shè)計成不能學(xué)會完美地復(fù)制，通過強(qiáng)加一些約束，使自動編碼器只能近似地復(fù)制，因些它能學(xué)習(xí)到數(shù)據(jù)的有用特性，自編碼器根據(jù)不同的約束，有著不同的屬性。