如何利用一些小技巧實現(xiàn)SVM的增量式訓練

老樹發(fā)新芽SVM的增量式訓練

大家是不是以為我們的SVM篇就這樣結束了？nonono，對于這樣一位資深的老前輩來說，寥寥幾篇怎能敘說盡，換句話來說，歷經(jīng)幾十年的歷練，還能屹立于ML之巔，必定擁有卓越的技術實力和深厚的專業(yè)底蘊。

不過，大家在用SVM時一定也注意到過SVM本身只支持單次訓練，要怎么解釋呢？意思就是說我們在訓練一個SVM模型前，要事先指定好想要識別的類別或是任務，這樣訓練好之后，模型就只能針對所指定的任務了。如果想要再添加新的需求，那不好意思了，需要再重新制定任務，并且這個任務必須包含老任務，不然SVM就會喜新厭舊了，只能完成新任務。

這樣一來是不是有點麻煩？有伙伴要問了，我們CNN就能支持增量學習，你這SVM看起來還是不太行啊。那么為了給我們的SVM大佬正名，今天小編就給大家?guī)硪黄?，利用一些小技巧實現(xiàn)SVM的增量式訓練。直接上代碼！！

繼續(xù)使用我們的鳶尾花數(shù)據(jù)集，不過這次我們做點特殊的。我們將其作為一個單分類的數(shù)據(jù)集來使用，具體怎么做呢？讓我們一步步來看：

鳶尾花數(shù)據(jù)集一共有150組樣本，我們先選取前50組出來，訓練一個單分類模型，目的是讓其只能夠識別一種樣本，代碼片段：

測試結果打?。?/p>

好的，接下來就是至關重要的一步了，我們知道SVM全稱是支持向量機，那么其原理就是在訓練樣本重抽取一部分當作支持向量，即挑選出能夠代表全體數(shù)據(jù)的靈魂數(shù)據(jù)。換句話說，這些支持向量本身就能代表當前類別的所有數(shù)據(jù)，通過和支持向量間的對比即可認定新數(shù)據(jù)是否屬于同一類別。那么好，我們要做的就是將這些支持向量提取出來，并將其與新數(shù)據(jù)拼接在一起作為新的訓練數(shù)據(jù)：

這里提前看一下支持向量，針對于第一個類別，支持向量有4個：

繼續(xù)訓練，并測試：

?

?

測試結果：

再來看下新的支持向量：

可以看到，在第一次支持向量的基礎上，又增加了針對第二個類別的。同時根據(jù)測試精度，可以看出，通過添加第一次訓練多得到的支持向量，而非將全體數(shù)據(jù)進行二次訓練，能夠達到同樣的效果。也驗證了我們的猜測：支持向量本身其實就是數(shù)據(jù)集的代表，只將其作為訓練樣本，完全能夠替代全部數(shù)據(jù)。并以此為基礎實現(xiàn)SVM模型的增量式訓練。

審核編輯：黃飛

?