NN內(nèi)部問題處理 - 機器學(xué)習(xí)算法發(fā)展歷程詳解

不僅在外部遭到了巨大的挑戰(zhàn)，NN內(nèi)部也發(fā)生了問題。1991年的Hochreiter[40]和2001年的Hochreiter[11]的工作，都表明在使用BP算法時，NN單元飽和之后會發(fā)生梯度損失。簡單來說，訓(xùn)練NN模型時，超過一定的迭代次數(shù)后，再迭代NN模型就很容易過擬合。

再往前一點點，另一個堅實的ML模型AdaBoost在1997被Freund和Schapire提出，該算法最大的特點在于組合弱分類器形成強分類器。這個成果為它的作者贏得了Godel獎。Adaboost通過給那些難的樣例更高的權(quán)重來對那些容易訓(xùn)練的分類器進行訓(xùn)練。該模型在臉部識別和檢測方面應(yīng)用的很廣。它還是PAC（概率近似正確理論）的一種實現(xiàn)。通常來說，所謂的弱分類器都被Adaboost用來當(dāng)樹樁——即單個的決策樹節(jié)點。他們這樣來描述Adaboost：

作為一個良好的在線預(yù)測模型的抽象擴展，Adaboost可以被解釋為一個通用的決策理論設(shè)置…[11]

另外一個可以將多個決策樹組合起來的模型在2001年被Breiman[12]提出。該模型被稱為隨機森林(RF)，因為它的每個組成節(jié)點都是隨機的選擇一組示例和一組特征。RF也擁有理論上和實驗上的抗過擬合的證據(jù)。甚至有些數(shù)據(jù)Adaboost都不能很好的克服過擬合和離群點的時候，RF都能有很好的魯棒性。RF在很多其他不同領(lǐng)域比如Kaggle比賽上都有很成功的表現(xiàn)。

隨機森林是一個樹預(yù)測器的組合體，每棵樹都取決于一個獨立同分布的隨機向量。因而整個森林的泛化誤差隨著森林數(shù)目的增多而收斂[12]。

時間終于走到了當(dāng)下，一個新的NN領(lǐng)域——深度學(xué)習(xí)出現(xiàn)了。在這個階段，NN模型可以擁有多層。3層的NN模型在2005年被Hinton,LeCun, Bengio, Andrew Ng等諸多大師一一實現(xiàn)。下面列舉了一些深度學(xué)習(xí)上的重要概念：

GPU programming

Convolutional NNs [18][20][40]

Deconvolutional Networks [21]

Optimization algorithms

Stochastic Gradient Descent [19][22]

BFGS and L-BFGS [23]

Conjugate Gradient Descent [24]

Backpropagation [40][19]

Rectifier Units

Sparsity [15][16]

Dropout Nets [26]

Maxout Nets [25]

Unsupervised NN models [14]

Deep Belief Networks [13]

Stacked Auto-Encoders [16][39]

Denoising NN models [17]

將上面列舉的這些技術(shù)和想法綜合到一起，NN模型迎來了又一個春天，在物體識別、語音識別、自然語言處理等方面，均擊敗之前的最高水平的技術(shù)。但重要的事，這并不意味著其他ML流派的終結(jié)，即使現(xiàn)在深度學(xué)習(xí)的成功故事還在一個接一個的上演，仍然有著參數(shù)眾多、訓(xùn)練花費巨大的缺陷。而且，SVM由于其簡單性仍然被廣泛使用。

在結(jié)束之前，我們再介紹一個相對年輕的ML趨勢，隨著www和社會媒體的發(fā)展，大數(shù)據(jù)出現(xiàn)且影響了很多ML的研究。因為大數(shù)據(jù)中的問題數(shù)據(jù)量都極大，很多強大的ML算法在機器性能的限制下都變得有些無用（對大公司來說自然不是這樣）。因此，研究人員提出了一套簡單模型——dubbed Bandit Algorithms[27-38]，這些算法都是在線學(xué)習(xí)算法，都能適應(yīng)大規(guī)模問題。

這只是一個簡單的ML歷史的介紹，若有問題，歡迎指出。