機(jī)器學(xué)習(xí)所負(fù)責(zé)的任務(wù)的分類方法介紹

機(jī)器學(xué)習(xí)算法的分類是棘手的，有幾種合理的分類，他們可以分為生成/識別，參數(shù)/非參數(shù)，監(jiān)督/無監(jiān)督等。

例如，Scikit-Learn的文檔頁面通過學(xué)習(xí)機(jī)制對算法進(jìn)行分組。這產(chǎn)生類別如：1，廣義線性模型，2，支持向量機(jī)，3，最近鄰居法，4，決策樹，5，神經(jīng)網(wǎng)絡(luò)，等等…

但是，從我們的經(jīng)驗來看，這并不總是算法分組最為實用的方法。那是因為對于應(yīng)用機(jī)器學(xué)習(xí)，你通常不會想，“今天我要訓(xùn)練一個支持向量機(jī)！”相反，你心里通常有一個最終目標(biāo)，如利用它來預(yù)測結(jié)果或分類觀察。

所以在機(jī)器學(xué)習(xí)中，有一種叫做“沒有免費(fèi)的午餐”的定理。簡而言之，它的意思就是說沒有任何一種算法可以完美地解決每個問題，這對于監(jiān)督式學(xué)習(xí)（即預(yù)測性建模）尤其重要。

例如，你不能說神經(jīng)網(wǎng)絡(luò)總是比決策樹好，反之亦然。有很多因素在起作用，比如數(shù)據(jù)集的大小和結(jié)構(gòu)。因此，您應(yīng)該為您的問題嘗試許多不同的算法，同時使用數(shù)據(jù)的“測試集”來評估性能并選擇優(yōu)勝者。

當(dāng)然，你嘗試的算法必須適合你的問題，這就是選擇正確的機(jī)器學(xué)習(xí)算法的重要性之所在。打個比方，如果你需要清理你的房子，你可以使用真空吸塵器，掃帚或拖把，但是你不會拿出一把鏟子然后開始挖掘。

因此，我們想要介紹另一種分類算法的方法，即通過機(jī)器學(xué)習(xí)所負(fù)責(zé)的任務(wù)來分類。

機(jī)器學(xué)習(xí)的任務(wù)

1.回歸

回歸是一種用于建模和預(yù)測連續(xù)數(shù)值變量的監(jiān)督學(xué)習(xí)任務(wù)。例如預(yù)測房地產(chǎn)價格，股價變動或?qū)W生考試分?jǐn)?shù)。

回歸任務(wù)的特征是具有數(shù)字目標(biāo)變量的標(biāo)記數(shù)據(jù)集。換句話說，對于每個可用于監(jiān)督算法的觀察結(jié)果，您都有一些“基于事實”的數(shù)值。

1.1。 （正則化）線性回歸

線性回歸是回歸任務(wù)中最常用的算法之一。它最簡單的形式是試圖將一個直的超平面整合到你的數(shù)據(jù)集中（即當(dāng)你只有兩個變量的時候，你只能得到一條直線）。正如您可能猜到的那樣，當(dāng)數(shù)據(jù)集的變量之間存在線性關(guān)系時，它的效果是非常好的。

實際上，簡單的線性回歸經(jīng)常被正則化的同類算法（LASSO，Ridge和Elastic-Net）所忽略。正則化是一種懲罰大系數(shù)的技術(shù)，以避免過度擬合，它應(yīng)該調(diào)整其懲罰的力度。

優(yōu)點：線性回歸可以直觀地理解和解釋，并且可以正則化以避免過度擬合。另外，使用隨機(jī)梯度下降的新數(shù)據(jù)可以很容易地更新線性模型。

缺點：當(dāng)存在非線性關(guān)系時，線性回歸表現(xiàn)不佳。它們本身并不具有足夠的靈活性來捕捉更為復(fù)雜的模式，對于添加正確的交互作用項或者多項式來說可能會非常棘手和耗時。

實現(xiàn)：Python/ R

1.2?；貧w樹（集成）

回歸樹（決策樹的一種）是通過將數(shù)據(jù)集反復(fù)分割成單獨(dú)的分支來實現(xiàn)分層化學(xué)習(xí)，從而最大化每個分割信息的增益效果。這種分支結(jié)構(gòu)允許回歸樹自然地學(xué)習(xí)非線性關(guān)系。

隨機(jī)森林（RF）和梯度增強(qiáng)樹（GBM）等集成方法結(jié)合了許多單獨(dú)樹的特性。我們不會在這里介紹他們的基本機(jī)制，但是在實踐中，隨機(jī)森林通常表現(xiàn)地非常好，而梯度增強(qiáng)樹則很難調(diào)整，但是后者往往會有更高的性能上限。

優(yōu)點：回歸樹可以學(xué)習(xí)非線性關(guān)系，并且對異常值相當(dāng)敏銳。在實踐中，回歸樹也表現(xiàn)地非常出色，贏得了許多經(jīng)典（即非深度學(xué)習(xí)）的機(jī)器學(xué)習(xí)比賽。

缺點：無約束的單個樹很容易過擬合，因為它們可以保持分支直到它們記住了所有的訓(xùn)練數(shù)據(jù)。但是，這個問題可以通過使用集成的方式來緩解。

實現(xiàn)：隨機(jī)森林 - Python / R，梯度增強(qiáng)樹 - Python / R

1.3。深度學(xué)習(xí)

深度學(xué)習(xí)是指能學(xué)習(xí)極其復(fù)雜模式的多層神經(jīng)網(wǎng)絡(luò)。他們使用輸入和輸出之間的“隱藏層”來模擬其他算法難以學(xué)習(xí)的數(shù)據(jù)中介碼。

他們有幾個重要的機(jī)制，如卷積和丟棄，使他們能夠有效地從高維數(shù)據(jù)中學(xué)習(xí)。然而，與其他算法相比，深度學(xué)習(xí)仍然需要更多的數(shù)據(jù)來訓(xùn)練，因為這些模型需要更多的參數(shù)來實現(xiàn)其更準(zhǔn)確的推測。

優(yōu)點：深度學(xué)習(xí)是在諸如計算機(jī)視覺和語音識別等領(lǐng)域內(nèi)，目前可以被利用的最先進(jìn)的方法。深度神經(jīng)網(wǎng)絡(luò)在圖像，音頻和文本數(shù)據(jù)上表現(xiàn)地非常出色，可以輕松地使用成批量的傳播方法來更新數(shù)據(jù)。它的體系結(jié)構(gòu)（即層的數(shù)量和結(jié)構(gòu)）可以適應(yīng)許多類型的問題，并且它們的隱藏層減少了對特征工程的需要。