機(jī)器學(xué)習(xí)如何進(jìn)行特征選擇

　　1、特征選擇介紹

　　（1）特征選擇的定義

　　對(duì)當(dāng)前學(xué)習(xí)任務(wù)有價(jià)值的屬性稱為是“相關(guān)特征”，沒(méi)有價(jià)值的屬性稱為是“無(wú)關(guān)特征”，從給定的特征集中選擇出相關(guān)特征子集的過(guò)程，就稱為是“特征選擇”。

　　其中還有一種特征稱為是“冗余特征”，這些特征指的是可以從其他特征中推演出來(lái)的特征。

　　（2）特征選擇的重要性

　　特征選擇是一個(gè)“數(shù)據(jù)預(yù)處理”過(guò)程，它的重要性體現(xiàn)在兩個(gè)方面：

　　1）減輕維度災(zāi)難問(wèn)題。

　　2）去除無(wú)關(guān)特征可以降低學(xué)習(xí)的難度。

　　2、子集搜索與評(píng)價(jià)

　　想要找一個(gè)最好的特征子集，最簡(jiǎn)單最笨的方法就是把所有的特征排列組合，遍歷每一個(gè)子集從中選擇里面最好的一個(gè)，這種方法必然不可取。對(duì)這種方法的一種改進(jìn)就是使用子集搜索與評(píng)價(jià)，它的思想就是先產(chǎn)生一個(gè)特征子集，然后對(duì)它進(jìn)行評(píng)價(jià)，之后根據(jù)評(píng)價(jià)結(jié)果選擇下一個(gè)特征子集，再進(jìn)行移動(dòng)學(xué)習(xí)評(píng)價(jià)，……，直到無(wú)法找到更好的候選子集。

　　可以看出該算法是子集搜索與子集評(píng)價(jià)的一個(gè)迭代過(guò)程，下面分別對(duì)這兩部分進(jìn)行介紹：

　　（1）子集搜索

　　子集搜索分為“前向”（forwardforward）搜索、“后向”（backwardbackward）搜索和“雙向”（bidirectional）搜索。

　　前向搜索就是從只一個(gè)特征開始，每次增加一個(gè)特征，直到某次的特征子集不如上一輪的子集為止。

　　后向搜索就是從完整的特征集合開始，每次去掉一個(gè)無(wú)關(guān)的特征，直到去掉一個(gè)特征就會(huì)使效果明顯下降為止。

　　雙向搜索就是將前兩種方法結(jié)合在一起，每一輪逐漸增加選定的相關(guān)特征（這些特征在后續(xù)迭代中不會(huì)被去掉），同時(shí)減少無(wú)關(guān)特征。