深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)是什么樣的？

怎樣理解非線性變換和多層網(wǎng)絡(luò)后的線性可分，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)就是學(xué)習(xí)如何利用矩陣的線性變換加激活函數(shù)的非線性變換。

線性可分：

一維情景：以分類為例，當(dāng)要分類正數(shù)、負(fù)數(shù)、零，三類的時候，一維空間的直線可以找到兩個超平面（比當(dāng)前空間低一維的子空間。當(dāng)前空間是直線的話，超平面就是點(diǎn)）分割這三類。但面對像分類奇數(shù)和偶數(shù)無法找到可以區(qū)分它們的點(diǎn)的時候，我們借助 x % 2（除2取余）的轉(zhuǎn)變，把x變換到另一個空間下來比較0和非0，從而分割奇偶數(shù)。

二維情景：平面的四個象限也是線性可分。但下圖的紅藍(lán)兩條線就無法找到一超平面去分割。

神經(jīng)網(wǎng)絡(luò)的解決方法依舊是轉(zhuǎn)換到另外一個空間下，用的是所說的5種空間變換操作。比如下圖就是經(jīng)過放大、平移、旋轉(zhuǎn)、扭曲原二維空間后，在三維空間下就可以成功找到一個超平面分割紅藍(lán)兩線 (同SVM的思路一樣)。

上面是一層神經(jīng)網(wǎng)絡(luò)可以做到的空間變化。若把y?y→ 當(dāng)做新的輸入再次用這5種操作進(jìn)行第二遍空間變換的話，網(wǎng)絡(luò)也就變?yōu)榱硕?。最終輸出是y?y→=a2(W2?(a1(W1?x→+b1))+b2)。設(shè)想當(dāng)網(wǎng)絡(luò)擁有很多層時，對原始輸入空間的“扭曲力”會大幅增加，如下圖，最終我們可以輕松找到一個超平面分割空間。

當(dāng)然也有如下圖失敗的時候，關(guān)鍵在于“如何扭曲空間”。所謂監(jiān)督學(xué)習(xí)就是給予神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)大量的訓(xùn)練例子，讓網(wǎng)絡(luò)從訓(xùn)練例子中學(xué)會如何變換空間。每一層的權(quán)重WW就控制著如何變換空間，我們最終需要的也就是訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)的所有層的權(quán)重矩陣。。這里有非常棒的可視化空間變換demo，一定要打開嘗試并感受這種扭曲過程。

線性可分視角：神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)就是學(xué)習(xí)如何利用矩陣的線性變換加激活函數(shù)的非線性變換，將原始輸入空間投向線性可分/稀疏的空間去分類/回歸。

增加節(jié)點(diǎn)數(shù)：增加維度，即增加線性轉(zhuǎn)換能力。

增加層數(shù)：增加激活函數(shù)的次數(shù)，即增加非線性轉(zhuǎn)換次數(shù)。

數(shù)學(xué)表達(dá)式

上面數(shù)學(xué)思維角度學(xué)習(xí)了神經(jīng)網(wǎng)絡(luò)的原理。下面推到數(shù)學(xué)表達(dá)式

神經(jīng)網(wǎng)絡(luò)如下圖：

因?yàn)槊恳粋€節(jié)點(diǎn)都是一個神經(jīng)元。有 Y=a*(W*X+b) a 是激活函數(shù)。w是權(quán)值，b是偏移量。

對于a4有如下

y1有如下的表達(dá)式

所以有如下表達(dá)式：

然后：令

代入上面的的方程得到

再帶入帶入

得到y(tǒng)1 = f(w8*a8)其中w8= [w84 w85 w86 w87 w8b]a = [a4,a5,a6,a7,1]所以對于多次網(wǎng)絡(luò)

可以寫成

訓(xùn)練參數(shù)

因?yàn)樗械膮?shù)都不能通過求解獲得，而是根據(jù)不同的輸入和輸出的比較訓(xùn)練出來的，所以都是監(jiān)督學(xué)習(xí)。

結(jié)論：（這里在下節(jié)會介紹推理過程，為什么要這樣調(diào)整權(quán)值呢？因?yàn)樵綖椋篧ji(新)<-Wji(舊)-（步長*（誤差函數(shù)對權(quán)值的偏導(dǎo)數(shù)）））

過程如圖：注意里面的變量符號：＆

從輸出層到&有如下表達(dá)式：推倒過程下一個節(jié)分析

其中，&是節(jié)i的誤差項(xiàng)，是節(jié)點(diǎn)的輸出值，是樣本對應(yīng)于節(jié)點(diǎn)的目標(biāo)值。舉個例子，根據(jù)上圖，對于輸出層節(jié)點(diǎn)8來說，它的輸出值是，而樣本的目標(biāo)值是，帶入上面的公式得到節(jié)點(diǎn)8的誤差項(xiàng)應(yīng)該是：

同時對于隱含層有

所以有

將③和④合并，然后求出w有所以有：

有

這個過程叫做BP過程。