六種常見機(jī)器學(xué)習(xí)普遍錯誤

機(jī)器學(xué)習(xí)很大程度上就像軟件工程一樣，比如我現(xiàn)在要實現(xiàn)一個key-value的數(shù)據(jù)庫，那么有很多種模式都可以實現(xiàn)，但是他們最終所達(dá)到的效果卻是千差萬別的。同樣，在機(jī)器學(xué)習(xí)領(lǐng)域，如果我想實現(xiàn)一個分類器，也有很多種算法，但是每種算法都對數(shù)據(jù)做了不同的前提假設(shè)。

曾經(jīng)當(dāng)我們處理少量數(shù)據(jù)的時候，我們往往可以先設(shè)計若干種算法，然后每種都測試一下，選擇一種最優(yōu)的方法，但是當(dāng)面對大數(shù)據(jù)時，我們就需要轉(zhuǎn)變一下思路，首先對數(shù)據(jù)進(jìn)行分析，然后選擇一種模型對數(shù)據(jù)進(jìn)行處理。

在過去，我們經(jīng)常會發(fā)現(xiàn)，很多人都沉迷于某一種模型，無論遇到任何問題他們都會選擇同樣的模型來解決問題，而原因僅僅是他們擅長這個模型，而不是數(shù)據(jù)適合這個模型。在這篇文章中，主要會來陳述下在機(jī)器學(xué)習(xí)時常見的幾種錯誤。

1. 使用模型默認(rèn)的損失函數(shù)

損失函數(shù)是一個機(jī)器學(xué)習(xí)算法的核心，損失函數(shù)決定了最終優(yōu)化后得到的參數(shù)以及模型本身。在不同的業(yè)務(wù)場景下，優(yōu)化的目標(biāo)應(yīng)該是不同的。例如我在珍愛網(wǎng)做付費(fèi)用戶預(yù)測時，由于付費(fèi)用戶本身數(shù)量級就不大，所以我寧可誤判十個，也不能錯過一個。所以這個時候我們就需要去修改分類器模型的損失函數(shù)。

2. 無根據(jù)地選擇線性模型

這個同樣是我很常遇到的同事會犯的錯誤。遇到一個分類問題，二話不說就上邏輯回歸，其實原因很簡單，就是因為邏輯回歸效率高，實現(xiàn)容易。但是大家往往都忽略了一點，邏輯回歸本身就是一個線性模型，但是真實數(shù)據(jù)是否線性可分卻是我們未知的情況。其實我個人認(rèn)為，由于高維數(shù)據(jù)下判斷數(shù)據(jù)是否線性可分幾乎是一個不現(xiàn)實的任務(wù)，所以我個人的經(jīng)驗往往是先使用邏輯回歸做一次分類，但是同時也會采用決策樹，或者SVM等非線性模型來對該數(shù)據(jù)進(jìn)行重新的分類比對。（我不知道是否有更好的方法）

話說在大數(shù)據(jù)情況下，很多人都來和我講現(xiàn)在都提倡海量數(shù)據(jù)+線性模型，但是我個人認(rèn)為這句話是有誤的，線性模型的成立并非建立在海量數(shù)據(jù)的基礎(chǔ)上，而是建立在海量特征的基礎(chǔ)上，說的更恰當(dāng)些，應(yīng)該是建立在更好的特征工程的基礎(chǔ)之上。

3. 忽視異常值的意義

異常值是個很有趣的事情，讓你又愛又恨。我記得之前在統(tǒng)計之都上看過一篇文章對我啟發(fā)很大，說曾經(jīng)我們都愿意把異常值直接給丟掉，但是我們卻忘記了異常值并非錯誤值，而同樣是真實情況的表現(xiàn)，我們之所以認(rèn)為異常，只是因為我們的數(shù)據(jù)量不足夠大而已。文中還舉了一個例子，說我們用計算機(jī)來模擬高斯分布，也一樣會模擬出一些數(shù)據(jù)點落在N個標(biāo)準(zhǔn)差之外，而我們并不能說這是異常點，因為如果我們把這些點刪除掉，這就不是一個高斯分布了。所以異常值很多情況下非但不能丟掉，還需要引起我們的足夠重視和分析，例如網(wǎng)站的收入突然增長。

但是我們又要注意這個異常值是否是錯誤值，如果是錯誤值，這個時候我們就應(yīng)該想辦法把這些錯誤值去掉，因為這些錯誤往往會影響我們實際的模型效果。如果當(dāng)訓(xùn)練數(shù)據(jù)中包含一些異常值的時候，我們就需要考慮模型的敏感性了，例如AdaBoost, Kmeans這種就屬于對異常值很敏感的機(jī)器學(xué)習(xí)模型。

4. 不考慮n和p的關(guān)系

n: 訓(xùn)練數(shù)據(jù)的數(shù)量。p: 特征的數(shù)量。SVM核函數(shù)的一個關(guān)鍵概念就是維度提升，如果當(dāng)n << p的時候，還依然采用SVM來選定模型，那么就必然會導(dǎo)致p進(jìn)一步增加，于是導(dǎo)致特征的參數(shù)中自由變量增加，必然會對分類的效果產(chǎn)生很大的影響。

5. L1 / L2 正則化之前并沒有對特征進(jìn)行標(biāo)準(zhǔn)化

這個道理很簡單，如果你的每個特征是處在不同的區(qū)間時，你是沒辦法去做L1/L2的正則化的，舉個例子，x1 代表年齡，x2 代表收入，如果我采用一個廣義的線性模型，比如 Y = f(ax1 + bx2)，然后x1大小范圍是10-50，x2大小范圍是5000 - 100000，a和b根本就沒辦法在一個量級上，這時正則化一定是有問題的。

6. 變量之間的共線性問題

當(dāng)特征變量之間產(chǎn)生共線性時，產(chǎn)生最大的問題就是讓線性模型的參數(shù)是無法解釋的，正常來說線性模型的參數(shù)權(quán)重基本就代表了該特征變量的重要性，但是如果共線性，那么這個意義就失效了。但是我也并不知道這個有什么特別好的解決方法，因為當(dāng)特征增加時，特征之間的共線性（或者說相關(guān)性吧，這樣更泛一些）幾乎是不可避免的。