支持向量機(jī)（兵（車）王問題程序設(shè)計(jì)）

兵（車）王問題的樣本數(shù)據(jù)集包含六個維度，六個維度代表三個棋子在棋盤中的位置。總樣本數(shù)為28056個，其中，正樣本（和棋）數(shù)量為2796個，負(fù)樣本（白方勝）數(shù)量為25260個。

一、數(shù)據(jù)預(yù)處理

28056個樣本中的隨機(jī)5000個樣本被用于樣本訓(xùn)練（即此5000個樣本為訓(xùn)練樣本），其余樣本被用于測試（即其余樣本為測試樣本）。

然后，求出訓(xùn)練樣本每個維度的均值和方差，并將訓(xùn)練樣本和測試樣本歸一化，各個維度歸一化后的值與原值的等量關(guān)系為：

newX=(X-meanX)/std(X) 樣本歸一化可將數(shù)據(jù)集的每個維度的值限定于一個固定范圍內(nèi)，從而減少因各個維度取值范圍的差異而導(dǎo)致的訓(xùn)練誤差。

二、設(shè)置支持向量機(jī)的參數(shù)

（1）-s “-s”表示支持向量機(jī)不同的形式。因?yàn)楸ㄜ嚕┩鯁栴}屬于二分類問題，且最優(yōu)化問題的目標(biāo)函數(shù)為1/2||ω||2+C∑δi（式①），所以-s的取值為0。-s的數(shù)值處于1~4所分別對應(yīng)支持向量機(jī)的形式可查詢LIBSVM工具包或其他資料。



圖片來源：中國慕課大學(xué)《機(jī)器學(xué)習(xí)概論》

（2）-t “-t”參數(shù)確定支持向量機(jī)的核函數(shù)K(X1,X2)。LIBSVM工具包支持的核函數(shù)包括：LInear（線性內(nèi)核，-t=0）、Ploy（多項(xiàng)式核，-t=1）、Rbf（高斯徑向基函數(shù)核，-t=2）、Tanh（sigmoid核，-t=3）、自定義核（，-t=4）。



圖片來源：中國慕課大學(xué)《機(jī)器學(xué)習(xí)概論》

1）線性內(nèi)核 線性內(nèi)核的表達(dá)式為K(x,y)=xTy。線性內(nèi)核具有理論意義，但因?yàn)槭褂镁€性內(nèi)核求解支持向量機(jī)與不使用核函數(shù)求解支持向量機(jī)無差別（個人理解：因?yàn)榫€性內(nèi)核的核函數(shù)都可以求出其對應(yīng)的φ(x)，所以不使用核函數(shù)也可以求解），所以線性內(nèi)核不具有實(shí)際使用價值。

2）多項(xiàng)式核 多項(xiàng)式核的表達(dá)式為K(x,y)=(xTy+1)d。多項(xiàng)式核是維度可以調(diào)節(jié)的函數(shù)，表達(dá)式中的d越大，對應(yīng)的φ(x)維度越高。

3）高斯徑向基函數(shù)核 高斯徑向基函數(shù)核的表達(dá)式為K(x,y)=e-(||x-y||2)/σ2。表達(dá)式中的σ是人為設(shè)置的超參數(shù)，該函數(shù)的維度是無限的。課程中建議：若處理實(shí)際問題中不知道選擇哪種核函數(shù)，則首選該函數(shù)。

4）sigmoid核 sigmoid核的表達(dá)式為K(x,y)=tanh(βxTy+b)，其中，tanh(x)=(ex-e-x)/(ex+e-x)。表達(dá)式中β、b均是人為設(shè)置的超參數(shù)，該函數(shù)的維度是無限的。

5）自定義核 因?yàn)橹С窒蛄繖C(jī)通過求解其優(yōu)化問題的對偶問題： 最大化：θ(α,β)=∑αi-1/2∑∑yiyjαiαjφ(Xi)Tφ(Xj)；

限制條件：

（1）0≤αi≤C，i=1~N；

（2）∑αiyi=0，i=1~N。（式②） 的αi求解可用于樣本分類的超平面，所以若開發(fā)人員已知圖一核函數(shù)矩陣的具體形式，則其可通過輸入該核函數(shù)矩陣求解用于樣本分類的超平面（個人理解：將核函數(shù)矩陣中各個核函數(shù)值替換φ(Xi)Tφ(Xj)即可求解超平面）。



圖片來源：中國慕課大學(xué)《機(jī)器學(xué)習(xí)概論》

（3）-c “-c”代表式①和式②中C的值（式①和式②中C為同一參數(shù)）。

（4）-g（gamma） “-g”所代表的值與所選擇的核函數(shù)有關(guān)，例如：若選擇Rbf為核函數(shù)，則-g代表1/σ2。

審核編輯：劉清