如何構(gòu)建神經(jīng)網(wǎng)絡(luò)

一.項(xiàng)目背景

    神經(jīng)網(wǎng)絡(luò)是模擬人體生物神經(jīng)元原理構(gòu)建的，比較基礎(chǔ)的有M-P模型，它按照生物
神經(jīng)元的結(jié)構(gòu)和工作原理構(gòu)造出來的一個(gè)抽象和簡化的模型。簡單來說，他是對一個(gè)生
物神經(jīng)元建模，下圖是一個(gè)M-P模型示意圖。

    跟人體生物神經(jīng)元類似，神經(jīng)元激活與否取決于某一閾值電平，即只有大當(dāng)其總和閾值θ
時(shí)，神經(jīng)元才會被激活而發(fā)放脈沖，否則整個(gè)神經(jīng)元不會發(fā)生輸出信號。整個(gè)過程用下面函數(shù)
來表示。

   上圖中f我們稱為激活函數(shù)，常見的激活函數(shù)可以分為兩種類型，線性與非線性函數(shù)，具體見下圖。
常用激活函數(shù)有S形函數(shù)，雙曲正切函數(shù)等,后期我們會講到。對于M-P模型而言，神經(jīng)元只有興奮和抑
制狀態(tài)，因此這里的激活函數(shù)定義為單位階躍函數(shù)，輸出y只有0和1兩種信號

二.搭建網(wǎng)絡(luò)

該網(wǎng)絡(luò)含有一個(gè)輸入層，兩個(gè)隱藏層和一個(gè)輸出層的神經(jīng)網(wǎng)絡(luò)，接下來我們手動實(shí)現(xiàn)它。

import numpy as np

#定義Sigmod激活函數(shù)
def sigmod(z):
    return 1/(1+np.exp(-z))

#Z1=X*W1+b1,A1=sigmod(Z1)

#輸入數(shù)據(jù)，形狀為(1,2)
X=np.array([
    [0.1,0.5]
])

#(2,3)
W1=np.array([
    [0.1,0.3,0.5],
    [0.2,0.4,0.6]
])

#(1,3)
b1=np.array([
    [0.1,0.2,0.3]
])

#進(jìn)行線性運(yùn)算
Z1=np.dot(X,W1)+b1
#經(jīng)過sigmod激活函數(shù)，將線性函數(shù)轉(zhuǎn)換為非線性函數(shù)
A1=sigmod(Z1)

print('Z1 shape',Z1.shape)
print('A1 shape',A1.shape)

#第2層
#Z2=W2*A1+b2，A2=sigmod(Z2)

#(3,2)
W2=np.array([
    [0.1,0.2],
    [0.3,0.4],
    [0.5,0.6]
])

#(1,2)
b2=np.array([[0.1,0.2]])
#進(jìn)行線性運(yùn)算
Z2=np.dot(A1,W2)+b2
#經(jīng)過sigmod激活函數(shù)，將線性函數(shù)轉(zhuǎn)換為非線性函數(shù)
A2=sigmod(Z2)

print('Z2 shape',Z2.shape)
print('A2 shape',A2.shape)

#第3層
#Z3=W3*A2+b3，A3=sigmod(Z3)

#(2,2)
W3=np.array([
    [0.1,0.3],
    [0.2,0.4]
])

#(1,2)
b3=np.array([[0.1,0.2]])
#線性運(yùn)算
Z3=np.dot(A2,W3)+b3
#輸出Y
Y=sigmod(Z3)
#表示一個(gè)樣本兩個(gè)輸出值
Y