基于圖嵌入和最大互信息組合的降維

在特征降維方面，圖嵌入框架統(tǒng)一了PCA, LDA 等一系列特征降維算法，方便求解，
但相似度矩陣計算有賴于人為假設。而最大互信息(MMI)從信息論的角度得到有效的特征降維變換，但是求解復雜。針對這種情況，本文指出了圖嵌入和最大互信息的聯(lián)系，給出了基于兩者組合的新算法GE-MMI。該算法繼承了兩者的優(yōu)點，是一種有效的特征降維方法。
關鍵字：圖嵌入, 互信息，特征提取，降維，GE-MMI
特征降維是模式識別任務中一個重要的預處理步驟，它把高維測量空間的數(shù)據(jù)投影到低
維特征空間，同時保持高維測量空間里數(shù)據(jù)的本征信息。通過這一變換，可以實現(xiàn)數(shù)據(jù)壓縮和去燥，特征提取, 如PCA[1,8]，提取適合分類的判別特征，如LDA[1], 或者使相近的點在低維特征空間相近，如LPP[2]。最近，Yan 等人將提出了圖嵌入框架[3]，將PCA，LDA，LPP 等各種算法統(tǒng)一, 并且為新的特征降維方法提供了指導方向。Torkkola 等人[4]從信息論的角度提出了最大互信息(MMI)的算法，利用訓練樣本的二階以及更高階的統(tǒng)計量，得到比PCA，LDA 更優(yōu)的特征。但是，MMI 算法求解十分復雜。
本文指出了 MMI 算法和圖嵌入框架的聯(lián)系，提出了一種基于圖嵌入和MMI 組合的新
算法，記作GE-MMI。該算法繼承了圖嵌入框架和MMI 算法的優(yōu)點，可以得到判別能力較強的特征，它規(guī)避了LDA, LPP 算法對樣本分布需要人為假設，克服了它們的缺陷，同時求解方便。