支持向量學習的多參數同時調節(jié)

　　模型選擇是支持向量學習的關鍵問題．已有模型選擇方法采用嵌套的雙層優(yōu)化框架，內層執(zhí)行支持向量學習，外層通過最小化泛化誤差的估計進行模型選擇．該框架過程復雜。計算效率低．簡化傳統的雙層優(yōu)化框架，提出一個支持向量學習的多參數同時調節(jié)方法，在同一優(yōu)化過程中實現模型選擇和學習器訓練．首先，將支持向量學習中的參數和超參數合并為一個參數向量，利用序貫無約束極小化技術（sequential unconstrained minimization technique，簡稱SUMT）分別改寫支持向量分類和回歸的有約束優(yōu)化問題，得到多參數同時調節(jié)模型的多元無約束形式定義；然后，證明多參數同時調節(jié)模型目標函數的局部Lipschitz連續(xù)性及水平集有界性．在此基礎上，應用變尺度方法（variable metric method，簡稱VMM）設計并實現了多參數同時調節(jié)算法，進一步地，基于多參數同時調節(jié)模型的性質，證明了算法收斂性，對比分析了算法復雜性．最后，實驗驗證同時調節(jié)算法的收斂性，并實驗對比同時調節(jié)算法的有效性．理論證明和實驗分析表明，同時調節(jié)方法是一種堅實、高效的支持向量模型選擇方法．
?