深度學(xué)習(xí)優(yōu)化器方法及學(xué)習(xí)率衰減方式的詳細(xì)資料概述

　　深度學(xué)習(xí)作為現(xiàn)今機(jī)器學(xué)習(xí)領(lǐng)域中的重要的技術(shù)手段，在圖像識(shí)別、機(jī)器翻譯、自然語(yǔ)言處理等領(lǐng)域都已經(jīng)很成熟，并獲得了很好的成果。文中針對(duì)深度學(xué)習(xí)模型優(yōu)化器的發(fā)展進(jìn)行了梳理，介紹了常用的梯度下降、動(dòng)量的梯度下降、Adagrad、RMSProp、Adadelta、Adam、Nadam、ANGD等優(yōu)化方法，也對(duì)學(xué)習(xí)率的衰減方式有分段常數(shù)衰減、多項(xiàng)式衰減、指數(shù)衰減、自然指數(shù)衰減、余弦衰減、線性余弦衰減、噪聲線性余弦衰減等方法進(jìn)行了總結(jié)，對(duì)深度學(xué)習(xí)現(xiàn)階段存在的問(wèn)題以及對(duì)未來(lái)的發(fā)展趨勢(shì)進(jìn)行了闡述，為入門深度學(xué)習(xí)的研究者提供了較為完整的最優(yōu)化學(xué)習(xí)材料以及文獻(xiàn)支持。

　　幾十年來(lái)，人工智能一直是公眾的熱點(diǎn)話題。從20 世紀(jì)50 年代開始，人們一直希望，基于邏輯、知識(shí)表示、推理和計(jì)劃的經(jīng)典人工智能技術(shù)將產(chǎn)生革命性的軟件，它可以理解語(yǔ)言，控制機(jī)器人，并提供專家建議。隨著大數(shù)據(jù)時(shí)代的到來(lái)，深度學(xué)習(xí)技術(shù)已經(jīng)成為研究中的熱點(diǎn)，深度學(xué)習(xí)的發(fā)展為人工智能的實(shí)現(xiàn)提供了很大的幫助，不論是推薦系統(tǒng)、圖像識(shí)別、機(jī)器翻譯等，都已獲得很大的成功。但是這些系統(tǒng)的實(shí)現(xiàn)，都是基于深度神經(jīng)網(wǎng)絡(luò)模型的建立及訓(xùn)練，它同時(shí)也伴隨著最小化損失函數(shù)的目標(biāo)，故而如何尋找到最小值或極小值成為優(yōu)化模型的一個(gè)重點(diǎn)。

?

　　當(dāng)研究者試圖提高深度學(xué)習(xí)系統(tǒng)的性能時(shí)，大致可以從三個(gè)方面入手解決。第一是提高模型的結(jié)構(gòu)，比如增加神經(jīng)網(wǎng)絡(luò)的層數(shù)，或者將簡(jiǎn)單的神經(jīng)元單位換成復(fù)雜的LSTM 神經(jīng)元，比如在自然語(yǔ)言處理領(lǐng)域內(nèi)，利用LSTM 模型挖掘語(yǔ)法分析的優(yōu)勢(shì)。第二個(gè)方法是改進(jìn)模型的初始化方式，保證早期梯度具有某些有益的性質(zhì)，或者具備大量的稀疏性，或者利用線性代數(shù)原理的優(yōu)勢(shì)。最后的方法就是選擇更強(qiáng)大的學(xué)習(xí)算法，比如對(duì)度梯度更新的方式，也可以是采用除以先前梯度L2 范數(shù)來(lái)更新所有參數(shù)，甚至還可以選用計(jì)算代價(jià)較大的二階算法。

　　在梯度下降中，原始算法是使用給定的學(xué)習(xí)率，全局進(jìn)行更新參數(shù)。在最優(yōu)化的初期，學(xué)習(xí)率可以大一點(diǎn)，讓參數(shù)以較大的步伐進(jìn)行更新，在后期則需要減小學(xué)習(xí)率，以免較大步長(zhǎng)越過(guò)最優(yōu)值，而來(lái)回動(dòng)蕩。故而研究者對(duì)學(xué)習(xí)率有了新的更新方式，甚至是自適應(yīng)學(xué)習(xí)率。

　　本文就將針對(duì)模型優(yōu)化器的方法梯度下降、動(dòng)量的梯度下降、Adagrad、RMSProp、Adadelta、Adam、Nadam 等方法以及學(xué)習(xí)率的衰減方式分段常數(shù)衰減、多項(xiàng)式衰減、指數(shù)衰減、自然指數(shù)衰減、余弦衰減、線性余弦衰減、噪聲線性余弦衰減等研究進(jìn)行了系統(tǒng)的梳理，并對(duì)深度學(xué)習(xí)發(fā)展存在的問(wèn)題進(jìn)行了分析，以及對(duì)未來(lái)的發(fā)展進(jìn)行了展望，有助于剛?cè)腴T深度學(xué)習(xí)的研究者系統(tǒng)地學(xué)習(xí)，對(duì)進(jìn)一步優(yōu)化方法的研究及應(yīng)用也奠定了一定的基礎(chǔ)。