Dropout怎么體現(xiàn)正則化作用？

“ 在學(xué)習(xí)CNN的時候，我讀到Dropout具有正則化的作用時，不明白正則化的意思，查看了很多資料，寫的都很深奧，這里我用簡單的語言來記錄一下。。”

01

—

正則化定義

百度百科的定義寫的非常的學(xué)術(shù)化，我用我的理解來敘述一遍：通俗的意義來講就是我們想要通過一條光滑曲線（圖中綠色的曲線）來最大程度的擬合另外一條歪七扭八的曲線（圖中的藍色曲線），這樣我們就可以將這條歪七扭八存在諸多奇點的曲線通過方程的形式表達出來，這種做法就叫做正則化。

這樣做后，我們通過曲線來預(yù)測或者表示原圖像的時候，結(jié)果勢必就會有誤差，如果沒有誤差會是什么呢？那就是說我們找了一條和圖中藍色曲線一模一樣的線來表示藍色的線，也就是說我們把一些有噪音的點也表示出來了，這種行為放在卷積中就叫做 過擬合 ，而在卷積中，相比較于過擬合曲線，我們更希望有一條正則化的曲線。換句話說，正則化的作用就是為了防止過擬合。那么Dropout是怎么實現(xiàn)過擬合的呢？

02

—

Dropout怎么防止過擬合

在第一眼看到Dropout的時候，我本來認為只是簡單地舍棄了一些神經(jīng)元而已，經(jīng)過研究，我發(fā)現(xiàn)其中的原理并沒有我想的那么簡單。

我們從圖中看到，Dropout在每一層中通過概率來隨機的舍棄一些神經(jīng)元，注意！??！這些舍棄的神經(jīng)元只是在這一次訓(xùn)練中被舍棄，而不是永久的被舍棄，也就是說，等到下一波數(shù)據(jù)到來的時候，其中一些神經(jīng)元依然會參與訓(xùn)練，最后整個網(wǎng)絡(luò)被訓(xùn)練完成后，圖中所有的神經(jīng)元都是被訓(xùn)練過的！那這么做有什么好處呢？

在左圖的標準神經(jīng)網(wǎng)絡(luò)中，這只是一個神經(jīng)網(wǎng)絡(luò)在參與訓(xùn)練，而且容易發(fā)生過擬合。但是在右圖中，每一次訓(xùn)練的時候，都是不同的神經(jīng)元在參與訓(xùn)練，也就是說， 右圖不僅僅是一個神經(jīng)網(wǎng)絡(luò)?。?！而是具有數(shù)十個神經(jīng)網(wǎng)絡(luò)在一起訓(xùn)練?。?！這就是Dropout的偉大之處！ 這種方法就相當于，原來你是自己出謀劃策，現(xiàn)在多了數(shù)十個軍師為你出謀劃策，每一次都只聽取一個軍師的意見，這種方法當然可以防止過擬合，而CNN的原理就是擬合一條曲線來表示每個輸入，在我們解決了過擬合問題后，我們就認為Dropout具有正則化的作用！