支持向量機（多類問題之1類對K-1類方式）

支持向量機可求解二分類問題。當需要求解多分類問題時，支持向量機可將二分類問題的求解方式轉化為多分類問題的求解方式。

多分類問題的求解方式：1類對K-1類、1類對另1類。

下文主要介紹1類對K-1類的具體方式 假設樣本需要被分為K類，則需要構造K個支持向量機模型，即：

（1）第1個支持向量機模型將類別1分為一類，將2、3、4...K分為一類；

（2）第2個支持向量機模型將類別2分為一類，將1、3、4...K分為一類；

（3）第3個支持向量機模型將類別3分為一類，將1、2、4...K分為一類； …… （K）第K個支持向量機模型將類別K分為一類，將1、2、3...K-1分為一類；

再假設上述K個支持向量機模型，單一類別的標簽為+1，其他K-1類構成的一類的標簽為-1。

對上述K個支持向量機模型求解，可得出K個α和b的組合，可記為： {αi(k)}i=1~N，b(k)，k=1~K 對某一樣本X的分類，根據(jù)如下判別式： kmax=argmax∑αi(k)yiK(Xi,X)+b(k)，k=1~K 其中，argmax函數(shù)值為使argmax右側函數(shù)取最大值時自變量的值，即argmax∑αi(k)yiK(Xi,X)+b(k)的值為使∑αi(k)yiK(Xi,X)+b(k)最大時k的取值，即若x0= argmax(f(x))，則當x=x0時，f(x)取得最大值。（根據(jù)百度百科理解）

上述判別式的含義是：將測試樣本輸入到K個支持向量模型進行計算，并在k個支持向量模型中，篩選出某1類與該類對應的K-1類間隔最大情況的支持向量模型（即篩選{αi(k)}i=1~N，b(k)的值）。

將此支持向量模型計算出∑αiyiK(Xi,X)+b值所對應的標簽作為測試樣本的標簽。（含個人理解）

例如：經(jīng)過計算對比后，若某一測試樣本的第2個支持向量機模型所對應的類別2與包含1、3、4...K類的類間隔最大（其兩類間隔均大于第1、3、4…K個支持向量機所對應兩類的間隔），則第2個支持向量機模型所對應的{αi(k)}i=1~N，b(k)的值為該測試樣本的計算標簽值的αi、b的值，最后，通過∑αiyiK(Xi,X)+b計算出該樣本的標簽。（個人理解）

1類對K-1類的策略容易導致訓練樣本不平衡的問題。

該問題出現(xiàn)的原因是：K個支持向量所分得的兩類均為某1類和包含其他K-1個類的類，其他K-1個類的類的樣本數(shù)量一般遠多于某1類的樣本數(shù)量，當兩類樣本數(shù)量處于較大不平衡的情況下，支持向量機會更傾向將樣本分類至數(shù)量多的一類。

審核編輯：劉清