深度學(xué)習(xí)的發(fā)展歷程

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)分支，它除了可以學(xué)習(xí)特征和任務(wù)之間的關(guān)聯(lián)以外，還能自動(dòng)從簡單特征中提取更加復(fù)雜的特征。2012年以后，深度學(xué)習(xí)（DeepLearning，DL）的熱度呈指數(shù)上升，深度學(xué)習(xí)最具代表性的一類方法是深度神經(jīng)網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)試圖模擬大腦神經(jīng)元層的活動(dòng)，以學(xué)習(xí)如何識(shí)別數(shù)據(jù)中的復(fù)雜模式。深度學(xué)習(xí)的前身為人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork，ANN），ANN的歷史可以追溯到上世紀(jì)50年代。目前深度學(xué)習(xí)最最成熟的技術(shù)本質(zhì)上依然是人工神經(jīng)網(wǎng)絡(luò)。

1958年Rosenblatt發(fā)明了感知器（Perceptron）算法。該算法使用MCP模型（MCP是作者名字的縮寫）對(duì)輸入的多維數(shù)據(jù)進(jìn)行二分類，且能夠使用梯度下降法從訓(xùn)練樣本中自動(dòng)學(xué)習(xí)更新權(quán)值。1962年，該方法被證明能夠收斂，理論與實(shí)踐效果引起第一次神經(jīng)網(wǎng)絡(luò)的研究浪潮。1969年，美國數(shù)學(xué)家及人工智能先驅(qū)Minsky在其著作中證明感知器本質(zhì)上是一種線性模型，只能處理線性分類問題，就連最簡單的XOR（亦或）問題都無法正確分類，這間接宣判了感知器的死刑，神經(jīng)網(wǎng)絡(luò)的研究因此陷入了近20年的停滯。

直到上世紀(jì)80年代，Hinton在1986年發(fā)明了適用于多層感知器（Multi-layersperceptron）的反向傳播算法，并采用Sigmoid函數(shù)進(jìn)行非線性映射，有效解決了非線性分類和學(xué)習(xí)的問題，該方法引起了神經(jīng)網(wǎng)絡(luò)的第二次熱潮。YanLecun等人于1998年發(fā)明了深度卷積神經(jīng)網(wǎng)絡(luò)LeNet-5，該網(wǎng)絡(luò)引入了卷積層，下采樣層和全連接層，是現(xiàn)在大部分深度卷積神經(jīng)網(wǎng)絡(luò)的雛形，LeNet-5成功地運(yùn)用到手寫數(shù)字（MNIST）識(shí)別任務(wù)。然而由于神經(jīng)網(wǎng)絡(luò)一直缺少相應(yīng)的嚴(yán)格的數(shù)學(xué)理論支持，神經(jīng)網(wǎng)絡(luò)的研究進(jìn)入第二次低潮期。隨后決策樹方法、SVM、樸素貝葉斯等統(tǒng)計(jì)學(xué)方法成為機(jī)器學(xué)習(xí)研究的主流。

2006年，Hinton等人在其研究中提出了深度學(xué)習(xí)的概念，之后在眾多研究者努力下，隨機(jī)梯度下降法（StochasticGradientDescent，SGD），Dropout等網(wǎng)絡(luò)優(yōu)化策略被相繼提出，尤其是GPU并行計(jì)算技術(shù)解決了深度網(wǎng)絡(luò)參數(shù)多優(yōu)化時(shí)間長的難題后，全世界范圍內(nèi)掀起了研究深度學(xué)習(xí)的熱潮并持續(xù)至今。10多年來，許多經(jīng)典的深度學(xué)習(xí)架構(gòu)被提出，如典型的深度卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)AlexNet，循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetworks，RNN）、長短期記憶網(wǎng)絡(luò)（LongShort-TermMemory，LSTM）、生成式對(duì)抗網(wǎng)絡(luò)（GenerativeAdversarialNetwork，GAN）等。

責(zé)任編輯人：CC