深度學(xué)習(xí)基礎(chǔ)知識(shí)(1)

一、深度學(xué)習(xí)基礎(chǔ)

1、首先，我們簡(jiǎn)單了解什么是感知器，感知器就是單個(gè)神經(jīng)元。

深度學(xué)習(xí)模擬的是人體的大腦，神經(jīng)元的樹(shù)突在接收到特定的輸入刺激后，其胞體就會(huì)被激活，并通過(guò)軸突向其它神經(jīng)元輸出興奮，從而導(dǎo)致更多的神經(jīng)元被激活，這是大腦思考的基礎(chǔ)。 這個(gè)過(guò)程簡(jiǎn)化為當(dāng)神經(jīng)遞質(zhì)的濃度達(dá)到一個(gè)特定的閾值，就可以通過(guò)電信號(hào)傳導(dǎo)興奮。

在深度學(xué)習(xí)中，生物學(xué)中的過(guò)程建模為上圖，神經(jīng)元可以表示成圖中的?，當(dāng)接受到輸入信號(hào)時(shí)，會(huì)乘以權(quán)重w1和w2，神經(jīng)元計(jì)算出總和，超過(guò)閾值θ時(shí)被激活，輸出1。 θ稱(chēng)為偏置，w1和w2稱(chēng)為權(quán)重。

令b=-θ，公式可以改寫(xiě)為下圖：

偏置和權(quán)重的作用是：w1和w2表示輸入對(duì)激活的重要性，b用來(lái)調(diào)整激活的難易程度。

2、邏輯門(mén)的實(shí)現(xiàn)

我們來(lái)看一下硬件中的邏輯電路是如何通過(guò)神經(jīng)元實(shí)現(xiàn)的。

1'與門(mén)

(w1,w2,θ)=(0.5,0.5,0.7)滿(mǎn)足與門(mén) (x1,x2,y)=000,010,100,111

2'與非門(mén)

(w1,w2,θ)=(-0.5,-0.5,-0.7)滿(mǎn)足與非門(mén) (x1,x2,y)=001,011,101,110

3’或門(mén)

(w1,w2,θ)=(0.5,0.5,0.3)滿(mǎn)足或門(mén) (x1,x2,y)=000,011,101,111

調(diào)整權(quán)重和閾值可以從硬件底層實(shí)現(xiàn)不同的邏輯門(mén)。 但是同時(shí)我們會(huì)發(fā)現(xiàn)，無(wú)論如何調(diào)整參數(shù)都無(wú)法實(shí)現(xiàn)異或門(mén)。

(w1,w2,b)=(1,1,-0.5)時(shí)x1+x2-0.5>=0?，在坐標(biāo)系中畫(huà)出x2=0.5-x1的直線(xiàn)，直線(xiàn)右側(cè)表示神經(jīng)元被激活時(shí)的輸入。 左圖表示或門(mén)，右圖表示異或門(mén)，異或門(mén)的對(duì)角表示激活，沒(méi)有直線(xiàn)可以分隔開(kāi)。 由此可見(jiàn)，神經(jīng)元實(shí)現(xiàn)的是線(xiàn)性化的運(yùn)算，如果要實(shí)現(xiàn)異或門(mén)這種非線(xiàn)性的運(yùn)算，就只能用多層感知器。

3、多層感知器

在數(shù)字電路中，異或門(mén)為y=AB'+A'B=AA'+AB'+A'B+A'B'=(A+B)(A'+B')=(A+B)(AB)'，左圖用三個(gè)基本邏輯門(mén)可以實(shí)現(xiàn)異或。 右圖是多個(gè)神經(jīng)元的表現(xiàn)方式。

對(duì)于復(fù)雜函數(shù)，感知器有實(shí)現(xiàn)的可能性，但是參數(shù)需要手動(dòng)設(shè)置。 為了解決這個(gè)問(wèn)題，神經(jīng)網(wǎng)絡(luò)應(yīng)運(yùn)而生，它可以自動(dòng)學(xué)習(xí)到參數(shù)。 那么，神經(jīng)網(wǎng)絡(luò)如何自動(dòng)學(xué)習(xí)呢？ 隨著學(xué)習(xí)的深入，后面會(huì)慢慢揭曉！