神經(jīng)網(wǎng)絡(luò)是在許多用例中提供了精確狀態(tài)的機(jī)器學(xué)習(xí)算法

神經(jīng)網(wǎng)絡(luò)是在許多用例中提供了精確狀態(tài)的機(jī)器學(xué)習(xí)算法。但是，很多時(shí)候，我們正在構(gòu)建的網(wǎng)絡(luò)的準(zhǔn)確性可能并不令人滿意，也可能不會(huì)讓我們?cè)跀?shù)據(jù)科學(xué)競(jìng)賽中處于領(lǐng)先地位。因此，我們一直在尋找更好的方法來(lái)提高我們的模型的性能。有很多技術(shù)可以幫助我們實(shí)現(xiàn)這一點(diǎn)。

檢查過(guò)度擬合

確保你的神經(jīng)網(wǎng)絡(luò)在測(cè)試數(shù)據(jù)上表現(xiàn)良好的第一步是驗(yàn)證你的神經(jīng)網(wǎng)絡(luò)不會(huì)過(guò)度擬合。什么是過(guò)度擬和?當(dāng)模型開(kāi)始從訓(xùn)練數(shù)據(jù)中記憶數(shù)值而不是從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)時(shí)，就會(huì)發(fā)生過(guò)擬合。因此，當(dāng)您的模型遇到以前從未見(jiàn)過(guò)的數(shù)據(jù)時(shí)，它不能很好地執(zhí)行它們。

為了讓你更好的理解，讓我們來(lái)打個(gè)比方。我們都會(huì)有一個(gè)善于記憶的同學(xué)，假設(shè)數(shù)學(xué)考試即將來(lái)臨。你和你擅長(zhǎng)記憶的朋友從課本上開(kāi)始學(xué)習(xí)。你的朋友決定背誦課本上的每個(gè)公式、問(wèn)題和答案，但你比他聰明，所以你決定建立在直覺(jué)的基礎(chǔ)上，解決問(wèn)題，學(xué)習(xí)這些公式是如何發(fā)揮作用的。測(cè)試一天到來(lái),如果試卷的問(wèn)題是采取直接從課本,那么你的朋友會(huì)做得更好,但如果問(wèn)題涉及新的應(yīng)用知識(shí),你會(huì)做得更好，而你依賴記憶的朋友會(huì)失敗得很慘。

如何鑒別你的模型是否過(guò)度擬和？你只需要交叉檢驗(yàn)訓(xùn)練準(zhǔn)確度和測(cè)試準(zhǔn)確度如果訓(xùn)練準(zhǔn)確度遠(yuǎn)遠(yuǎn)高于測(cè)試準(zhǔn)確度，那么你就可以假設(shè)你的模型過(guò)度擬和了。你也可以將預(yù)測(cè)點(diǎn)畫在圖表上來(lái)驗(yàn)證。以下是一些防止過(guò)度擬和的技術(shù)：

數(shù)據(jù)規(guī)范化(L1或L2)。

退出——在神經(jīng)元之間隨機(jī)刪除連接，迫使網(wǎng)絡(luò)找到新的路徑并進(jìn)行歸納。

早期停止——加速神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，減少測(cè)試集的誤差。

超參數(shù)調(diào)優(yōu)

超參數(shù)是必須初始化到網(wǎng)絡(luò)的值，這些值是神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)無(wú)法學(xué)習(xí)到的。例如:在卷積神經(jīng)網(wǎng)絡(luò)中，一些超參數(shù)是內(nèi)核大小、神經(jīng)網(wǎng)絡(luò)中的層數(shù)、激活函數(shù)、丟失函數(shù)、使用的優(yōu)化器(梯度下降、RMSprop)、批處理大小、要訓(xùn)練的周期數(shù)等。

每一個(gè)神經(jīng)網(wǎng)絡(luò)都將有其最好的超參數(shù)集，以達(dá)到致最大的準(zhǔn)確性。你可能會(huì)問(wèn)，“有這么多超參數(shù)，我如何選擇?”不幸的是，沒(méi)有直接的方法來(lái)辨別出每一個(gè)神經(jīng)網(wǎng)絡(luò)的最佳超參數(shù)集，所以它主要是通過(guò)反復(fù)試驗(yàn)得到的。但是，對(duì)于下面提到的超參數(shù)有一些實(shí)踐技巧：

學(xué)習(xí)速率

選擇一個(gè)最優(yōu)的學(xué)習(xí)速率很重要，因?yàn)樗鼪Q定了你的網(wǎng)絡(luò)是否收斂到全局最小值。選擇一個(gè)高學(xué)習(xí)率幾乎不會(huì)讓你達(dá)到全局最優(yōu)，因?yàn)槟愫苡锌赡艹^(guò)它。因此，你總是在全局最小點(diǎn)附近，但從不收斂于它。選擇一個(gè)低的學(xué)習(xí)速率可以幫助神經(jīng)網(wǎng)絡(luò)收斂到全局最小值，但是需要花費(fèi)大量的時(shí)間。因此，你必須對(duì)網(wǎng)絡(luò)進(jìn)行長(zhǎng)時(shí)間的訓(xùn)練。一個(gè)低的學(xué)習(xí)速率也會(huì)使網(wǎng)絡(luò)容易陷入局部最小值，例如，網(wǎng)絡(luò)會(huì)收斂到局部最小值，由于學(xué)習(xí)速率小，無(wú)法從中掙脫出來(lái)。因此，在設(shè)置學(xué)習(xí)率時(shí)必須小心。

網(wǎng)絡(luò)架構(gòu)

在所有的測(cè)試用例中，沒(méi)有一個(gè)永遠(yuǎn)帶來(lái)高準(zhǔn)確性的標(biāo)準(zhǔn)的體系結(jié)構(gòu)。你必須進(jìn)行實(shí)驗(yàn)，嘗試不同的架構(gòu)，從結(jié)果中獲得推斷，然后再嘗試。我的一個(gè)建議是使用經(jīng)過(guò)驗(yàn)證的架構(gòu)，而不是構(gòu)建自己的架構(gòu)。例如：對(duì)于圖像識(shí)別任務(wù)，你可以使用VGG net, Resnet，谷歌的Inceptionnetwork等。這些都是開(kāi)源的，并且已經(jīng)被證明非常準(zhǔn)確，因此，你可以復(fù)制他們的架構(gòu)并根據(jù)你的目的調(diào)整它們。

優(yōu)化器和損失函數(shù)

有無(wú)數(shù)可供選擇的選項(xiàng)。事實(shí)上，你甚至可以在必要時(shí)定義自定義損失函數(shù)。常用的優(yōu)化方法有RMSprop、Stochastic Gradient Descent和Adam。這些優(yōu)化器似乎適用于大多數(shù)用例。如果你的用例是一個(gè)分類任務(wù)，那么通常使用的損失函數(shù)是分類交叉熵。如果您正在執(zhí)行一個(gè)回歸任務(wù)，均方誤差是常用的損失函數(shù)?？梢宰杂傻貒L試這些優(yōu)化器的超參數(shù)，也可以使用不同的優(yōu)化器和損失函數(shù)。

批處理大小和epoch的數(shù)量

同樣，對(duì)于所有用例來(lái)說(shuō)，沒(méi)有標(biāo)準(zhǔn)的批處理大小和epoch數(shù)量。你必須嘗試不同的方法。在一般的實(shí)踐中，批量大小的值設(shè)置為8、16、32，而epoch的數(shù)量取決于開(kāi)發(fā)人員的偏好和他擁有的計(jì)算能力。

激活函數(shù)——激活函數(shù)將非線性函數(shù)的輸入映射到輸出。激活函數(shù)非常重要,且選擇正確的激活函數(shù)有助于你的模型更好地學(xué)習(xí)。如今,糾正線性單元(ReLU)是使用最廣泛的激活函數(shù),因?yàn)樗鉀Q了梯度消失的問(wèn)題。早些時(shí)候S狀彎曲和雙曲正切是使用最廣泛的激活函數(shù)。但是,他們?cè)馐芰颂荻认У膯?wèn)題，例如：梯度反向傳播的過(guò)程中,當(dāng)他們到達(dá)開(kāi)始層時(shí)梯度的數(shù)值就開(kāi)始減少。這阻止了神經(jīng)網(wǎng)絡(luò)擴(kuò)展到更大的規(guī)模與更多的層。ReLU能夠克服這個(gè)問(wèn)題,從而使神經(jīng)網(wǎng)絡(luò)能有更大的規(guī)模。

整體算法

如果單個(gè)神經(jīng)網(wǎng)絡(luò)并不像你預(yù)期中那么準(zhǔn)確，你可以創(chuàng)建一個(gè)神經(jīng)網(wǎng)絡(luò)的集合并結(jié)合它們的預(yù)測(cè)能力。你可以選擇不同的神經(jīng)網(wǎng)絡(luò)架構(gòu)，在數(shù)據(jù)的不同部分對(duì)它們進(jìn)行訓(xùn)練，并對(duì)它們進(jìn)行集成，使用它們的集體預(yù)測(cè)能力來(lái)獲得測(cè)試數(shù)據(jù)的高準(zhǔn)確度。假設(shè)，你正在構(gòu)建一個(gè)貓與狗的分類器，0表示貓，1表示狗。當(dāng)將不同的貓和狗的分類器組合在一起時(shí)，基于各個(gè)分類器之間的皮爾遜相關(guān)性，集成算法的精度得到了提高。讓我們來(lái)看一個(gè)例子，取3個(gè)模型并測(cè)量它們各自的準(zhǔn)確性：

Ground Truth: 1111111111Classifier 1: 1111111100 = 80% accuracyClassifier 2: 1111111100 = 80% accuracyClassifier 3: 1011111100 = 70% accuracy

三種模型的皮爾遜相關(guān)系數(shù)很高。因此，組合它們并不能提高準(zhǔn)確性。如果我們使用多數(shù)投票對(duì)上述三個(gè)模型進(jìn)行組合，我們將得到以下結(jié)果：

Ensemble Result: 1111111100 = 80% accuracy

現(xiàn)在讓我們來(lái)看看皮爾遜相關(guān)系數(shù)很低的3個(gè)模型：

Ground Truth: 1111111111Classifier 1: 1111111100 = 80% accuracyClassifier 2: 0111011101 = 70% accuracyClassifier 3: 1000101111 = 60% accuracy

當(dāng)我們把這三個(gè)模型合在一起時(shí)，我們得到了以下的結(jié)果：

Ensemble Result: 1111111101 = 90% accuracy

由此可見(jiàn)，低皮爾遜相關(guān)系數(shù)的模型組合能夠得出比高皮爾遜相關(guān)系數(shù)組合更精確的結(jié)果。

數(shù)據(jù)不足的問(wèn)題

在執(zhí)行上述所有技巧之后，如果你的模型在測(cè)試數(shù)據(jù)集中仍然沒(méi)有表現(xiàn)得更好，那么可以將其歸因于缺少訓(xùn)練數(shù)據(jù)。在許多用例中，可用的培訓(xùn)數(shù)據(jù)的數(shù)量是有限的。如果你無(wú)法收集更多的數(shù)據(jù)，那么可以使用數(shù)據(jù)增強(qiáng)技術(shù)。

如果你正在處理一個(gè)圖像數(shù)據(jù)集，您可以通過(guò)剪切圖像、翻轉(zhuǎn)圖像、隨機(jī)剪切圖像等方式來(lái)增加訓(xùn)練數(shù)據(jù)的新圖像。這可以為神經(jīng)網(wǎng)絡(luò)提供不同的示例。