機(jī)器學(xué)習(xí)特征選擇常用算法

1. 綜述

(1) 什么是特征選擇

特征選擇 ( Feature Selection )也稱特征子集選擇( Feature Subset Selection , FSS ) ，或?qū)傩赃x擇( Attribute Selection ) ，是指從全部特征中選取一個特征子集，使構(gòu)造出來的模型更好。

(2) 為什么要做特征選擇

在機(jī)器學(xué)習(xí)的實際應(yīng)用中，特征數(shù)量往往較多，其中可能存在不相關(guān)的特征，特征之間也可能存在相互依賴，容易導(dǎo)致如下的后果：

特征個數(shù)越多，分析特征、訓(xùn)練模型所需的時間就越長。

特征個數(shù)越多，容易引起“維度災(zāi)難”，模型也會越復(fù)雜，其推廣能力會下降。

特征選擇能剔除不相關(guān)(irrelevant)或亢余(redundant )的特征，從而達(dá)到減少特征個數(shù)，提高模型精確度，減少運行時間的目的。另一方面，選取出真正相關(guān)的特征簡化了模型，使研究人員易于理解數(shù)據(jù)產(chǎn)生的過程。

2. 特征選擇過程

2.1 特征選擇的一般過程
特征選擇的一般過程可用圖1表示。首先從特征全集中產(chǎn)生出一個特征子集，然后用評價函數(shù)對該特征子集進(jìn)行評價，評價的結(jié)果與停止準(zhǔn)則進(jìn)行比較，若評價結(jié)果比停止準(zhǔn)則好就停止，否則就繼續(xù)產(chǎn)生下一組特征子集，繼續(xù)進(jìn)行特征選擇。選出來的特征子集一般還要驗證其有效性。

綜上所述，特征選擇過程一般包括產(chǎn)生過程，評價函數(shù)，停止準(zhǔn)則，驗證過程，這4個部分。

(1) 產(chǎn)生過程( Generation Procedure )
產(chǎn)生過程是搜索特征子集的過程，負(fù)責(zé)為評價函數(shù)提供特征子集。搜索特征子集的過程有多種，將在2.2小節(jié)展開介紹。

(2) 評價函數(shù)( Evaluation Function )
評價函數(shù)是評價一個特征子集好壞程度的一個準(zhǔn)則。評價函數(shù)將在2.3小節(jié)展開介紹。

(3) 停止準(zhǔn)則( Stopping Criterion )
停止準(zhǔn)則是與評價函數(shù)相關(guān)的，一般是一個閾值，當(dāng)評價函數(shù)值達(dá)到這個閾值后就可停止搜索。

(4) 驗證過程( Validation Procedure )
在驗證數(shù)據(jù)集上驗證選出來的特征子集的有效性。

?

圖1. 特征選擇的過程 ( M. Dash and H. Liu 1997 )

2.2 產(chǎn)生過程
產(chǎn)生過程是搜索特征子空間的過程。搜索的算法分為完全搜索(Complete)，啟發(fā)式搜索(Heuristic)，隨機(jī)搜索(Random) 3大類，如圖2所示。

?

圖2. 產(chǎn)生過程算法分類 ( M. Dash and H. Liu 1997 )

下面對常見的搜索算法進(jìn)行簡單介紹。

2.2.1完全搜索
完全搜索分為窮舉搜索(Exhaustive)與非窮舉搜索(Non-Exhaustive)兩類。

(1) 廣度優(yōu)先搜索( Breadth First Search )
算法描述：廣度優(yōu)先遍歷特征子空間。
算法評價：枚舉了所有的特征組合，屬于窮舉搜索，時間復(fù)雜度是O(2n)，實用性不高。

(2)分支限界搜索( Branch and Bound )
算法描述：在窮舉搜索的基礎(chǔ)上加入分支限界。例如：若斷定某些分支不可能搜索出比當(dāng)前找到的最優(yōu)解更優(yōu)的解，則可以剪掉這些分支。

(3) 定向搜索 (Beam Search )
算法描述：首先選擇N個得分最高的特征作為特征子集，將其加入一個限制最大長度的優(yōu)先隊列，每次從隊列中取出得分最高的子集，然后窮舉向該子集加入1個特征后產(chǎn)生的所有特征集，將這些特征集加入隊列。

(4) 最優(yōu)優(yōu)先搜索 ( Best First Search )
算法描述：與定向搜索類似，唯一的不同點是不限制優(yōu)先隊列的長度。