搭建一個(gè)神經(jīng)網(wǎng)絡(luò)的基本思路和步驟

筆記1中我們利用 numpy 搭建了神經(jīng)網(wǎng)絡(luò)最簡(jiǎn)單的結(jié)構(gòu)單元：感知機(jī)。筆記2將繼續(xù)學(xué)習(xí)如何手動(dòng)搭建神經(jīng)網(wǎng)絡(luò)。我們將學(xué)習(xí)如何利用 numpy 搭建一個(gè)含單隱層的神經(jīng)網(wǎng)絡(luò)。單隱層顧名思義，即僅含一個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò)，抑或是成為兩層網(wǎng)絡(luò)。

繼續(xù)回顧一下搭建一個(gè)神經(jīng)網(wǎng)絡(luò)的基本思路和步驟：

定義網(wǎng)絡(luò)結(jié)構(gòu)（指定輸出層、隱藏層、輸出層的大?。?/p>

初始化模型參數(shù)

循環(huán)操作：執(zhí)行前向傳播/計(jì)算損失/執(zhí)行后向傳播/權(quán)值更新

定義網(wǎng)絡(luò)結(jié)構(gòu)

假設(shè) X 為神經(jīng)網(wǎng)絡(luò)的輸入特征矩陣，y 為標(biāo)簽向量。則含單隱層的神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如下所示：

網(wǎng)絡(luò)結(jié)構(gòu)的函數(shù)定義如下：

def layer_sizes(X, Y): n_x = X.shape[0] # size of input layer n_h = 4 # size of hidden layer n_y = Y.shape[0] # size of output layer return (n_x, n_h, n_y)

其中輸入層和輸出層的大小分別與 X 和 y 的 shape 有關(guān)。而隱層的大小可由我們手動(dòng)指定。這里我們指定隱層的大小為4。

初始化模型參數(shù)

假設(shè) W1 為輸入層到隱層的權(quán)重?cái)?shù)組、b1 為輸入層到隱層的偏置數(shù)組；W2 為隱層到輸出層的權(quán)重?cái)?shù)組，b2 為隱層到輸出層的偏置數(shù)組。于是我們定義參數(shù)初始化函數(shù)如下：

def initialize_parameters(n_x, n_h, n_y): W1 = np.random.randn(n_h, n_x)*0.01 b1 = np.zeros((n_h, 1)) W2 = np.random.randn(n_y, n_h)*0.01 b2 = np.zeros((n_y, 1)) assert (W1.shape == (n_h, n_x)) assert (b1.shape == (n_h, 1)) assert (W2.shape == (n_y, n_h)) assert (b2.shape == (n_y, 1)) parameters = {"W1": W1, "b1": b1, "W2": W2, "b2": b2} return parameters

其中對(duì)權(quán)值的初始化我們利用了 numpy 中的生成隨機(jī)數(shù)的模塊 np.random.randn ，偏置的初始化則使用了 np.zero 模塊。通過(guò)設(shè)置一個(gè)字典進(jìn)行封裝并返回包含初始化參數(shù)之后的結(jié)果。

前向傳播

在定義好網(wǎng)絡(luò)結(jié)構(gòu)并初始化參數(shù)完成之后，就要開始執(zhí)行神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程了。而訓(xùn)練的第一步則是執(zhí)行前向傳播計(jì)算。假設(shè)隱層的激活函數(shù)為 tanh 函數(shù)， 輸出層的激活函數(shù)為 sigmoid 函數(shù)。則前向傳播計(jì)算表示為：

定義前向傳播計(jì)算函數(shù)為：

def forward_propagation(X, parameters): # Retrieve each parameter from the dictionary "parameters" W1 = parameters['W1'] b1 = parameters['b1'] W2 = parameters['W2'] b2 = parameters['b2'] # Implement Forward Propagation to calculate A2 (probabilities) Z1 = np.dot(W1, X) + b1 A1 = np.tanh(Z1) Z2 = np.dot(W2, Z1) + b2 A2 = sigmoid(Z2) assert(A2.shape == (1, X.shape[1])) cache = {"Z1": Z1, "A1": A1, "Z2": Z2, "A2": A2} return A2, cache

從參數(shù)初始化結(jié)果字典里取到各自的參數(shù)，然后執(zhí)行一次前向傳播計(jì)算，將前向傳播計(jì)算的結(jié)果保存到 cache 這個(gè)字典中， 其中 A2 為經(jīng)過(guò) sigmoid 激活函數(shù)激活后的輸出層的結(jié)果。

計(jì)算當(dāng)前訓(xùn)練損失

前向傳播計(jì)算完成后我們需要確定以當(dāng)前參數(shù)執(zhí)行計(jì)算后的的輸出與標(biāo)簽值之間的損失大小。與筆記1一樣，損失函數(shù)同樣選擇為交叉熵?fù)p失：

定義計(jì)算損失函數(shù)為：

def compute_cost(A2, Y, parameters): m = Y.shape[1] # number of example # Compute the cross-entropy cost logprobs = np.multiply(np.log(A2),Y) + np.multiply(np.log(1-A2), 1-Y) cost = -1/m * np.sum(logprobs) cost = np.squeeze(cost) # makes sure cost is the dimension we expect. assert(isinstance(cost, float)) return cost

執(zhí)行反向傳播

當(dāng)前向傳播和當(dāng)前損失確定之后，就需要繼續(xù)執(zhí)行反向傳播過(guò)程來(lái)調(diào)整權(quán)值了。中間涉及到各個(gè)參數(shù)的梯度計(jì)算，具體如下圖所示：

根據(jù)上述梯度計(jì)算公式定義反向傳播函數(shù)：

def backward_propagation(parameters, cache, X, Y): m = X.shape[1] # First, retrieve W1 and W2 from the dictionary "parameters". W1 = parameters['W1'] W2 = parameters['W2'] # Retrieve also A1 and A2 from dictionary "cache". A1 = cache['A1'] A2 = cache['A2'] # Backward propagation: calculate dW1, db1, dW2, db2. dZ2 = A2-Y dW2 = 1/m * np.dot(dZ2, A1.T) db2 = 1/m * np.sum(dZ2, axis=1, keepdims=True) dZ1 = np.dot(W2.T, dZ2)*(1-np.power(A1, 2)) dW1 = 1/m * np.dot(dZ1, X.T) db1 = 1/m * np.sum(dZ1, axis=1, keepdims=True) grads = {"dW1": dW1, "db1": db1, "dW2": dW2, "db2": db2} return grads

將各參數(shù)的求導(dǎo)計(jì)算結(jié)果放入字典 grad 進(jìn)行返回。

這里需要提一下的是涉及到的關(guān)于數(shù)值優(yōu)化方面的知識(shí)。在機(jī)器學(xué)習(xí)中，當(dāng)所學(xué)問(wèn)題有了具體的形式之后，機(jī)器學(xué)習(xí)就會(huì)形式化為一個(gè)求優(yōu)化的問(wèn)題。不論是梯度下降法、隨機(jī)梯度下降、牛頓法、擬牛頓法，抑或是 Adam 之類的高級(jí)的優(yōu)化算法，這些都需要花時(shí)間掌握去掌握其數(shù)學(xué)原理。

權(quán)值更新

迭代計(jì)算的最后一步就是根據(jù)反向傳播的結(jié)果來(lái)更新權(quán)值了，更新公式如下：

由該公式可以定義權(quán)值更新函數(shù)為：

def update_parameters(parameters, grads, learning_rate = 1.2): # Retrieve each parameter from the dictionary "parameters" W1 = parameters['W1'] b1 = parameters['b1'] W2 = parameters['W2'] b2 = parameters['b2'] # Retrieve each gradient from the dictionary "grads" dW1 = grads['dW1'] db1 = grads['db1'] dW2 = grads['dW2'] db2 = grads['db2'] # Update rule for each parameter W1 -= dW1 * learning_rate b1 -= db1 * learning_rate W2 -= dW2 * learning_rate b2 -= db2 * learning_rate parameters = {"W1": W1, "b1": b1, "W2": W2, "b2": b2} return parameters

這樣，前向傳播-計(jì)算損失-反向傳播-權(quán)值更新的神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程就算部署完成了。當(dāng)前了，跟筆記1一樣，為了更加 pythonic 一點(diǎn)，我們也將各個(gè)模塊組合起來(lái)，定義一個(gè)神經(jīng)網(wǎng)絡(luò)模型：

def nn_model(X, Y, n_h, num_iterations = 10000, print_cost=False): np.random.seed(3) n_x = layer_sizes(X, Y)[0] n_y = layer_sizes(X, Y)[2] # Initialize parameters, then retrieve W1, b1, W2, b2. Inputs: "n_x, n_h, n_y". Outputs = "W1, b1, W2, b2, parameters". parameters = initialize_parameters(n_x, n_h, n_y) W1 = parameters['W1'] b1 = parameters['b1'] W2 = parameters['W2'] b2 = parameters['b2'] # Loop (gradient descent) for i in range(0, num_iterations): # Forward propagation. Inputs: "X, parameters". Outputs: "A2, cache". A2, cache = forward_propagation(X, parameters) # Cost function. Inputs: "A2, Y, parameters". Outputs: "cost". cost = compute_cost(A2, Y, parameters) # Backpropagation. Inputs: "parameters, cache, X, Y". Outputs: "grads". grads = backward_propagation(parameters, cache, X, Y) # Gradient descent parameter update. Inputs: "parameters, grads". Outputs: "parameters". parameters = update_parameters(parameters, grads, learning_rate=1.2) # Print the cost every 1000 iterations if print_cost and i % 1000 == 0: print ("Cost after iteration %i: %f" %(i, cost)) return parameters

以上便是本節(jié)的主要內(nèi)容，利用 numpy 手動(dòng)搭建一個(gè)含單隱層的神經(jīng)網(wǎng)路。從零開始寫起，打牢基礎(chǔ)，待到結(jié)構(gòu)熟練，原理吃透，再去接觸一些主流的深度學(xué)習(xí)框架才是學(xué)習(xí)深度學(xué)習(xí)的最佳途徑。