導(dǎo)讀
這篇文章提供了可以采取的切實(shí)可行的步驟來(lái)識(shí)別和修復(fù)機(jī)器學(xué)習(xí)模型的訓(xùn)練、泛化和優(yōu)化問(wèn)題。
眾所周知,調(diào)試機(jī)器學(xué)習(xí)代碼非常困難。即使對(duì)于簡(jiǎn)單的前饋神經(jīng)網(wǎng)絡(luò)也是這樣,你經(jīng)常會(huì)在網(wǎng)絡(luò)體系結(jié)構(gòu)做出一些決定,重初始化和網(wǎng)絡(luò)優(yōu)化——所有這些會(huì)都導(dǎo)致在你的機(jī)器學(xué)習(xí)代碼中出現(xiàn)bug。
正如Chase Roberts在一篇關(guān)于“How to unit test machine learning code”的優(yōu)秀文章中所寫(xiě)的,他遇到的麻煩來(lái)自于常見(jiàn)的陷阱:
代碼不會(huì)崩潰,不會(huì)引發(fā)異常,甚至不會(huì)變慢。
訓(xùn)練網(wǎng)絡(luò)仍在運(yùn)行,損失仍將下降。
幾個(gè)小時(shí)后,數(shù)值收斂了,但結(jié)果很差
那么我們?cè)撛趺醋瞿兀?/p>
本文將提供一個(gè)框架來(lái)幫助你調(diào)試神經(jīng)網(wǎng)絡(luò):
從最簡(jiǎn)單的開(kāi)始
確認(rèn)你的損失
檢查中間輸出和連接
對(duì)參數(shù)進(jìn)行診斷
跟蹤你的工作
請(qǐng)隨意跳轉(zhuǎn)到特定的部分或通讀下面的內(nèi)容!請(qǐng)注意:我們不包括數(shù)據(jù)預(yù)處理或特定的模型算法選擇。對(duì)于這些主題,網(wǎng)上有很多很好的資源。
1. 從最簡(jiǎn)單的開(kāi)始
一個(gè)具有復(fù)雜結(jié)構(gòu)和正則化以及學(xué)習(xí)率調(diào)度程序的神經(jīng)網(wǎng)絡(luò)將比一個(gè)簡(jiǎn)單的網(wǎng)絡(luò)更難調(diào)試。我們?cè)诘谝稽c(diǎn)上有點(diǎn)欺騙性,因?yàn)樗c調(diào)試你已經(jīng)構(gòu)建的網(wǎng)絡(luò)沒(méi)有什么關(guān)系,但是它仍然是一個(gè)重要的建議!
從最簡(jiǎn)單的開(kāi)始:
首先建立一個(gè)更簡(jiǎn)單的模型
在單個(gè)數(shù)據(jù)點(diǎn)上訓(xùn)練模型
首先,構(gòu)建一個(gè)更簡(jiǎn)單的模型
首先,構(gòu)建一個(gè)只有一個(gè)隱藏層的小型網(wǎng)絡(luò),并驗(yàn)證一切正常。然后逐步增加模型的復(fù)雜性,同時(shí)檢查模型結(jié)構(gòu)的每個(gè)方面(附加層、參數(shù)等),然后再繼續(xù)。
在單個(gè)數(shù)據(jù)點(diǎn)上訓(xùn)練模型
作為一個(gè)快速的完整性檢查,你可以使用一兩個(gè)訓(xùn)練數(shù)據(jù)點(diǎn)來(lái)確認(rèn)你的模型是否能夠過(guò)擬合。神經(jīng)網(wǎng)絡(luò)應(yīng)該立即過(guò)擬合,訓(xùn)練精度為100%,驗(yàn)證精度與你的模型隨機(jī)猜測(cè)相匹配。如果你的模型不能對(duì)這些數(shù)據(jù)點(diǎn)進(jìn)行過(guò)擬合,那么要么是它太小,要么就是存在bug。
即使你已經(jīng)驗(yàn)證了模型是有效的,在繼續(xù)之前也可以嘗試訓(xùn)練一個(gè)(或幾個(gè))epochs。
2. 確認(rèn)你的損失
你的模型的損失是評(píng)估你的模型性能的主要方法,也是模型評(píng)估的重要參數(shù),所以你要確保:
損失適合于任務(wù)(對(duì)于多分類問(wèn)題使用類別交叉熵?fù)p失或使用focal loss來(lái)解決類不平衡)
你的損失函數(shù)在以正確的尺度進(jìn)行測(cè)量。如果你的網(wǎng)絡(luò)中使用了不止一種類型的損失,例如MSE、adversarial、L1、feature loss,那么請(qǐng)確保所有損失都按正確的順序進(jìn)行了縮放
注意,你最初的損失也很重要。如果模型一開(kāi)始就隨機(jī)猜測(cè),檢查初始損失是否接近預(yù)期損失。在Stanford CS231n coursework中,Andrej Karpathy提出了以下建議:
在隨機(jī)表現(xiàn)上尋找正確的損失。確保在初始化小參數(shù)時(shí)得到預(yù)期的損失。最好先單獨(dú)檢查數(shù)據(jù)的loss(將正則化強(qiáng)度設(shè)置為零)。例如,對(duì)于使用Softmax分類器的CIFAR-10,我們期望初始損失為2.302,因?yàn)槲覀兤谕總€(gè)類的隨機(jī)概率為0.1(因?yàn)橛?0個(gè)類),而Softmax損失是正確類的負(fù)對(duì)數(shù)概率,因此:-ln(0.1) = 2.302。
對(duì)于二分類的例子,只需對(duì)每個(gè)類執(zhí)行類似的計(jì)算。假設(shè)數(shù)據(jù)是20%的0和80%的1。預(yù)期的初始損失是- 0.2ln(0.5) - 0.8ln(0.5) = 0.693147。如果你的初始損失比1大得多,這可能表明你的神經(jīng)網(wǎng)絡(luò)權(quán)重不平衡(即初始化很差)或者你的數(shù)據(jù)沒(méi)有標(biāo)準(zhǔn)化。
3. 檢查內(nèi)部的輸出和連接
要調(diào)試神經(jīng)網(wǎng)絡(luò),通常了解神經(jīng)網(wǎng)絡(luò)內(nèi)部的動(dòng)態(tài)以及各個(gè)中間層所起的作用以及這些中間層之間如何連接是很有用的。你可能會(huì)遇到以下錯(cuò)誤:
梯度更新的表達(dá)式不正確
權(quán)重更新沒(méi)有應(yīng)用
梯度消失或爆炸
如果梯度值為零,這可能意味著優(yōu)化器中的學(xué)習(xí)率可能太小,或者你遇到了上面的錯(cuò)誤#1,其中包含梯度更新的不正確的表達(dá)式。
除了查看梯度更新的絕對(duì)值之外,還要確保監(jiān)視激活的大小、權(quán)重的大小和每個(gè)層的更新相匹配。例如,參數(shù)更新的大小(權(quán)重和偏差)應(yīng)該是1-e3。
有一種現(xiàn)象叫做“死亡的ReLU”或“梯度消失問(wèn)題”,ReLU神經(jīng)元在學(xué)習(xí)了一個(gè)表示權(quán)重的大的負(fù)偏置項(xiàng)后,會(huì)輸出一個(gè)零。這些神經(jīng)元再也不會(huì)在任何數(shù)據(jù)點(diǎn)上被激活。
你可以使用梯度檢查來(lái)檢查這些錯(cuò)誤,通過(guò)使用數(shù)值方法來(lái)近似梯度。如果它接近計(jì)算的梯度,則正確地實(shí)現(xiàn)了反向傳播。
Faizan Shaikh描述了可視化神經(jīng)網(wǎng)絡(luò)的三種主要方法:
初步方法- 向我們展示訓(xùn)練模型整體結(jié)構(gòu)的簡(jiǎn)單方法。這些方法包括打印出神經(jīng)網(wǎng)絡(luò)各層的形狀或濾波器以及各層的參數(shù)。
基于激活的方法- 在這些方法中,我們解碼單個(gè)神經(jīng)元或一組神經(jīng)元的激活情況,以直觀地了解它們?cè)谧鍪裁?/p>
基于梯度的方法- 這些方法傾向于在訓(xùn)練模型時(shí)操作由前向和后向傳遞形成的梯度(包括顯著性映射和類激活映射)。
有許多有用的工具可以可視化單個(gè)層的激活和連接,比如ConX和Tensorboard。
使用ConX生成的動(dòng)態(tài)呈現(xiàn)可視化示例
4. 參數(shù)診斷
神經(jīng)網(wǎng)絡(luò)有大量的參數(shù)相互作用,使得優(yōu)化變得困難。請(qǐng)注意,這是一個(gè)活躍的研究領(lǐng)域,所以下面的建議只是簡(jiǎn)單的出發(fā)點(diǎn)。
Batch size- 你希望batch size足夠大,能夠準(zhǔn)確地估計(jì)錯(cuò)誤梯度,但又足夠小,以便小批隨機(jī)梯度下降(SGD)能夠使你的網(wǎng)絡(luò)歸一化。小的batch size將導(dǎo)致學(xué)習(xí)過(guò)程以訓(xùn)練過(guò)程中的噪聲為代價(jià)快速收斂,并可能導(dǎo)致優(yōu)化困難。論文On Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima描述了:
在實(shí)踐中已經(jīng)觀察到,當(dāng)使用一個(gè)較大的batch size時(shí),模型的質(zhì)量會(huì)下降,這可以通過(guò)它的泛化能力來(lái)衡量。我們研究了在大批量情況下泛化下降的原因,并給出了支持large-batch方法趨向于收斂于訓(xùn)練和測(cè)試函數(shù)的sharp的極小值這一觀點(diǎn)的數(shù)值證據(jù)——眾所周知,sharp的極小值導(dǎo)致較差的泛化。相比之下,小batch size的方法始終收斂于平坦的最小值,我們的實(shí)驗(yàn)支持一個(gè)普遍的觀點(diǎn),即這是由于梯度估計(jì)中的固有噪聲造成的。
學(xué)習(xí)速率- 學(xué)習(xí)率過(guò)低將導(dǎo)致收斂速度慢或陷入局部最小值的風(fēng)險(xiǎn),而學(xué)習(xí)速率過(guò)大導(dǎo)致優(yōu)化分歧,因?yàn)槟阌刑^(guò)損失函數(shù)的更深但是更窄部分的風(fēng)險(xiǎn)。考慮將學(xué)習(xí)率策略也納入其中,以隨著訓(xùn)練的進(jìn)展降低學(xué)習(xí)率。CS231n課程有一大部分是關(guān)于實(shí)現(xiàn)退火學(xué)習(xí)率的不同技術(shù)。
梯度裁剪- 在反向傳播期間的通過(guò)最大值或最大范數(shù)對(duì)梯度進(jìn)行裁剪。對(duì)于處理可能在上面的步驟3中遇到的任何梯度爆炸非常有用。
Batch normalization- Batch normalization用于對(duì)每一層的輸入進(jìn)行歸一化,以解決內(nèi)部協(xié)變量移位問(wèn)題。如果你同時(shí)使用Dropout和Batch Norm,請(qǐng)確保在Dropout上閱讀下面的要點(diǎn)。
本文來(lái)自Dishank Bansal的”TensorFlow中batch norm的陷阱和訓(xùn)練網(wǎng)絡(luò)的健康檢查“,里面包括了很多使用batch norm的常見(jiàn)錯(cuò)誤。
隨機(jī)梯度下降(SGD)- 有幾種使用動(dòng)量,自適應(yīng)學(xué)習(xí)率的SGD,和Nesterov相比并沒(méi)有訓(xùn)練和泛化性能上的優(yōu)勝者。一個(gè)推薦的起點(diǎn)是Adam或使用Nesterov動(dòng)量的純SGD。
正則化- 正則化對(duì)于構(gòu)建可泛化模型至關(guān)重要,因?yàn)樗黾恿四P蛷?fù)雜度或極端參數(shù)值的代價(jià)。它顯著降低了模型的方差,而沒(méi)有顯著增加其偏差。如CS231n課程所述:
通常情況下,損失函數(shù)是數(shù)據(jù)損失和正則化損失的總和(例如L2對(duì)權(quán)重的懲罰)。需要注意的一個(gè)危險(xiǎn)是正則化損失可能會(huì)超過(guò)數(shù)據(jù)損失,在這種情況下,梯度將主要來(lái)自正則化項(xiàng)(它通常有一個(gè)簡(jiǎn)單得多的梯度表達(dá)式)。這可能會(huì)掩蓋數(shù)據(jù)損失的梯度的不正確實(shí)現(xiàn)。
為了檢查這個(gè)問(wèn)題,應(yīng)該關(guān)閉正則化并獨(dú)立檢查數(shù)據(jù)損失的梯度。
Dropout- Dropout是另一種正則化你的網(wǎng)絡(luò),防止過(guò)擬合的技術(shù)。在訓(xùn)練過(guò)程中,只有保持神經(jīng)元以一定的概率p(超參數(shù))活動(dòng),否則將其設(shè)置為零。因此,網(wǎng)絡(luò)必須在每個(gè)訓(xùn)練批中使用不同的參數(shù)子集,這減少了特定參數(shù)的變化成為主導(dǎo)。
這里需要注意的是:如果您同時(shí)使用dropout和批處理規(guī)范化(batch norm),那么要注意這些操作的順序,甚至要同時(shí)使用它們。這仍然是一個(gè)活躍的研究領(lǐng)域,但你可以看到最新的討論:
來(lái)自Stackoverflow的用戶MiloMinderBinder:Dropout是為了完全阻斷某些神經(jīng)元的信息,以確保神經(jīng)元不相互適應(yīng)。因此,batch norm必須在dropout之后進(jìn)行,否則你將通過(guò)標(biāo)準(zhǔn)化統(tǒng)計(jì)之后的數(shù)據(jù)傳遞信息?!?/p>
來(lái)自arXiv:Understanding the Disharmony between Dropout and Batch Normalization by Variance Shift — 從理論上講,我們發(fā)現(xiàn),當(dāng)我們將網(wǎng)絡(luò)狀態(tài)從訓(xùn)練狀態(tài)轉(zhuǎn)移到測(cè)試狀態(tài)時(shí),Dropout會(huì)改變特定神經(jīng)單元的方差。但是BN在測(cè)試階段會(huì)保持其統(tǒng)計(jì)方差,這是在整個(gè)學(xué)習(xí)過(guò)程中積累的。當(dāng)在BN之前的使用Dropout時(shí),該方差的不一致性(我們將此方案命名為“方差漂移”)導(dǎo)致不穩(wěn)定的推斷數(shù)值行為,最終導(dǎo)致更多的錯(cuò)誤預(yù)測(cè)。
5. 跟蹤你的網(wǎng)絡(luò)
你很容易忽視記錄實(shí)驗(yàn)的重要性,直到你忘記你使用的學(xué)習(xí)率或分類權(quán)重。通過(guò)更好的跟蹤,你可以輕松地回顧和重現(xiàn)以前的實(shí)驗(yàn),以減少重復(fù)的工作(也就是說(shuō),遇到相同的錯(cuò)誤)。
然而,手工記錄信息對(duì)于多個(gè)實(shí)驗(yàn)來(lái)說(shuō)是很困難的。工具如Comet.ml可以幫助自動(dòng)跟蹤數(shù)據(jù)集、代碼更改、實(shí)驗(yàn)歷史和生產(chǎn)模型(這包括關(guān)于模型的關(guān)鍵信息,如超參數(shù)、模型性能指標(biāo)和環(huán)境細(xì)節(jié))。
你的神經(jīng)網(wǎng)絡(luò)對(duì)數(shù)據(jù)、參數(shù)甚至版本中的細(xì)微變化都非常敏感,這會(huì)導(dǎo)致模型性能的下降。跟蹤你的工作是開(kāi)始標(biāo)準(zhǔn)化你的環(huán)境和建模工作流的第一步。
快速回顧
我們希望這篇文章為調(diào)試神經(jīng)網(wǎng)絡(luò)提供了一個(gè)堅(jiān)實(shí)的起點(diǎn)。要總結(jié)要點(diǎn),你應(yīng)該:
從簡(jiǎn)單的開(kāi)始— 先建立一個(gè)更簡(jiǎn)單的模型,然后通過(guò)對(duì)幾個(gè)數(shù)據(jù)點(diǎn)的訓(xùn)練進(jìn)行測(cè)試
確認(rèn)您的損失— 檢查是否使用正確的損失,并檢查初始損失
檢查中間輸出和連接— 使用梯度檢查和可視化檢查看圖層是否正確連接,以及梯度是否如預(yù)期的那樣更新
診斷參數(shù)— 從SGD到學(xué)習(xí)率,確定正確的組合(或找出錯(cuò)誤的)
跟蹤您的工作— 作為基線,跟蹤你的實(shí)驗(yàn)過(guò)程和關(guān)鍵的建模組件
-
神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
42文章
4717瀏覽量
99996 -
機(jī)器學(xué)習(xí)
+關(guān)注
關(guān)注
66文章
8306瀏覽量
131838
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論