機器學(xué)習(xí)相關(guān)介紹：支持向量機(低維到高維的映射)

本文主要來源于中國慕課大學(xué)《機器學(xué)習(xí)概論》學(xué)習(xí)筆記

根據(jù)機器學(xué)習(xí)相關(guān)介紹(9)——支持向量機(線性不可分情況)，通過引入松弛變量δi將支持向量機推廣至解決非線性可分訓(xùn)練樣本分類的方式不能解決所有非線性可分訓(xùn)練樣本的分類問題。因此，支持向量機的可選函數(shù)范圍需被擴展以提升其解決非線性可分訓(xùn)練樣本分類問題的能力。

支持向量機可選函數(shù)范圍被擴大的方式與其他機器學(xué)習(xí)算法可選函數(shù)范圍的被擴大方式不同。

其他算法(包括：人工神經(jīng)網(wǎng)絡(luò)、決策樹等)可選函數(shù)范圍被擴大的方式是直接產(chǎn)生更多可選函數(shù)。例如：人工神經(jīng)網(wǎng)絡(luò)可通過多層非線性函數(shù)的組合產(chǎn)生類似橢圓的曲線，以解決類似圖一的分類問題。

圖一，圖片來源：中國慕課大學(xué)《機器學(xué)習(xí)概論》

支持向量機則通過將特征空間由低維映射至高維，并在高維度中采用線性超平面分類數(shù)據(jù)。下文通過案例介紹該數(shù)據(jù)分類方式。

如圖二所示，圓圈和叉對應(yīng)的向量分別為X1=[0，0]T(左下叉)，X2=[1，1]T(右上叉)，X3=[1，0]T(右下圓圈)，X4=[0，1]T(左上圓圈)，即X1、X2屬于同一類別，X3、X4屬于同一類別。圖二所示分類問題為線性不可分分類問題，機器學(xué)習(xí)算法或人類均不能找到一條直線將圓圈和叉完全分類。

圖二，圖片來源：中國慕課大學(xué)《機器學(xué)習(xí)概論》

但若構(gòu)造一個二維特征空間到五維特征空間的映射φ(x)，該案例可能轉(zhuǎn)化為線性可分分類問題。

二維特征空間到五維特征空間映射的一種方式如下：

當(dāng)在二維特征空間向量x=[a，b]T時，其五維特征空間向量φ(x)=[a2，b2，a，b，ab]T。

根據(jù)此映射方式，二維特征空間向量X1、X2、X3、X4對應(yīng)的五維特征空間向量分別為φ(X1)=[0，0，0，0，0]T，φ(X2)=[1，1，1，1，1]T，φ(X3)=[1，0，1，0，0]T，φ(X4)=[0，1，0，1，0]T。

設(shè)：ω=[-1，-1，-1，-1，6]T，b=1，則：ωTφ(X1)+b=1>0，ωTφ(X2)+b=3>0，ωTφ(X3)+b=-1<0，ωTφ(X4)+b=-1<0，根據(jù)線性可分的定義，此時ωTφ(X1)+b=0所代表的函數(shù)在五維特征空間中將圓圈和叉完全分類。

支持向量機通過將特征空間由低維映射至高維解決非線性分類問題的方式可基于以下定理理解：

在一個M維空間上隨機取N個訓(xùn)練樣本，隨機對每個訓(xùn)練樣本賦予標簽+1或-1，同時假設(shè)這些訓(xùn)練樣本線性可分的概率為P(M)，當(dāng)M趨于無窮大時，P(M)=1。

即增加特征空間維度M時，帶估計參數(shù)ω和b的維度也會增加，算法模型的自由度增加。因此，算法模型更可能將低維時無法完全分類的問題在高維完全分類。

綜上，支持向量機的優(yōu)化問題可改寫為：

最小化：1/2||ω||2+C∑δi或1/2||ω||2+C∑δi2，

限制條件：(1)δi≥0，i=1~N;(2)yi(ωTφ(Xi)+b)≥1-δi，i=1~N。

其中，ω的維度與φ(Xi)的維度相同。

審核編輯：湯梓紅