支持向量機(jī)（多類問(wèn)題之1類對(duì)另1類）

假設(shè)測(cè)試樣本需被分為三類，首先需構(gòu)建三個(gè)支持向量機(jī)模型，分別為：

（1）第一個(gè)支持向量機(jī)模型將樣本分類為類別1和類別2， （2）第二個(gè)支持向量機(jī)模型將樣本分類為類別1和類別3， （3）第三個(gè)支持向量機(jī)模型將樣本分類為類別2和類別3。

然后將每個(gè)訓(xùn)練數(shù)據(jù)輸入至上述三個(gè)支持向量機(jī)的模型中，并采用“投票”的方式確定每個(gè)測(cè)試樣本的類別。例如，對(duì)于某一測(cè)試樣本，若第一個(gè)支持向量機(jī)模型將該樣本分類至類別1，第二個(gè)支持向量機(jī)模型將該樣本分類至類別1，第三個(gè)支持向量機(jī)模型將該樣本分類至類別2，此時(shí)，類別1“被投兩票”，類別2“被投一票”，類別3“被投零票”，因此，該樣本最終被分類為得票數(shù)最高的類別1。

但上述“投票”方式可能出現(xiàn)“平票”的情況。例如，對(duì)于某一測(cè)試樣本，若第一個(gè)支持向量機(jī)模型將該樣本分類至類別1，第二個(gè)支持向量機(jī)模型將該樣本分類至類別3，第三個(gè)支持向量機(jī)模型將該樣本分類至類別2。

“平票”情況可導(dǎo)致不能分類問(wèn)題，1類對(duì)另1類的方式可通過(guò)將測(cè)試樣本在上述三個(gè)支持向量機(jī)模型中各類別的分?jǐn)?shù)加和，并將該樣本歸類于分?jǐn)?shù)和最大的類別的方式解決上述不能分類的問(wèn)題。

測(cè)試樣本所獲得的分?jǐn)?shù)可通過(guò)支持向量機(jī)判別式計(jì)算得出，即： socre=∑αiyiK(Xi,X)+b 例如，對(duì)于某一測(cè)試樣本，若： 其在第一個(gè)支持向量機(jī)模型（類別1VS類別2）獲得的分?jǐn)?shù)為0.5， 其在第二個(gè)支持向量機(jī)模型（類別1VS類別3）獲得的分?jǐn)?shù)為-0.2， 其在第三個(gè)支持向量機(jī)模型（類別2VS類別3）獲得的分?jǐn)?shù)為0.4。

則該樣本在上述三個(gè)支持向量機(jī)模型中： 對(duì)類別1的分?jǐn)?shù)和為0.5-0.2=0.3， 對(duì)類別2的分?jǐn)?shù)和為-0.5+0.4=-0.1， 對(duì)類別3的分?jǐn)?shù)和為0.2-0.4=-0.2。 即該樣本對(duì)類別1的分?jǐn)?shù)最大，因此該樣本被歸類于類別1。

1類對(duì)另1類的方式可解決機(jī)器學(xué)習(xí)相關(guān)介紹（20）——支持向量機(jī)（多類問(wèn)題之1類對(duì)K-1類方式）中1類對(duì)K-1類方式訓(xùn)練樣本不平衡的問(wèn)題，但1類對(duì)另1類方法需訓(xùn)練的支持向量機(jī)的數(shù)量為K(K-1)/2（K為類別數(shù)），當(dāng)K較大時(shí)，訓(xùn)練和測(cè)試時(shí)間較長(zhǎng)。

因此，支持向量機(jī)可綜合1類對(duì)K-1類和1類對(duì)另1類的方式，得出如圖一所示的樹(shù)狀方式（下文簡(jiǎn)稱“樹(shù)狀方式”）。該樹(shù)狀方式處理的是一個(gè)8分類問(wèn)題，在處理該問(wèn)題時(shí)，需構(gòu)建7個(gè)分類器（支持向量機(jī)模型），每個(gè)分類器區(qū)分兩個(gè)類別。



圖一，圖片來(lái)源：中國(guó)慕課大學(xué)《機(jī)器學(xué)習(xí)概論》

該樹(shù)狀方式在減少分類器數(shù)量的同時(shí)兼顧了類別樣本數(shù)量的平衡。該樹(shù)狀方式需保證每個(gè)分類器所區(qū)分的兩類差別是顯著的，例如“1、2、3、4VS5、6、7、8”兩類的差別是顯著的。






審核編輯：劉清