用TensorFlow寫(xiě)個(gè)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)

這次就用TensorFlow寫(xiě)個(gè)神經(jīng)網(wǎng)絡(luò)，這個(gè)神經(jīng)網(wǎng)絡(luò)寫(xiě)的很簡(jiǎn)單，就三種層，輸入層--隱藏層----輸出層；

首先導(dǎo)入我們要使用的包

# -*- coding: utf-8 -*-import tensorflow as tfimport matplotlib.pyplot as pltimport numpy as npimport matplotlibfrom sklearn import datasetsfrom matplotlib.font_manager import FontProperties

然后在設(shè)定一下我們畫(huà)圖的時(shí)候要顯示中文的字體，因?yàn)?a href="http://www.ttokpm.com/tags/python/" target="_blank">Python自帶的不支持中文的解釋

#設(shè)置中文font = FontProperties(fname=r"c:\windows\fonts\simsun.ttc", size=14)zhfont1 = matplotlib.font_manager.FontProperties(fname=r'c:\windows\fonts\simsun.ttc')

定義一個(gè)會(huì)話，因?yàn)閳D是必須在會(huì)話中啟動(dòng)的

#定義一個(gè)圖會(huì)話sess=tf.Session()

這里我選用公開(kāi)的數(shù)據(jù)鶯尾花的數(shù)據(jù)集，這個(gè)數(shù)據(jù)集雖然都被大家 玩爛了，不過(guò)這個(gè)是一個(gè)學(xué)習(xí)代碼，就不計(jì)較那么多了；

#鶯尾花數(shù)據(jù)集iris=datasets.load_iris()x_vals=np.array([x[0:3] for x in iris.data])y_vals=np.array([x[3] for x in iris.data])

這里設(shè)置一個(gè)隨機(jī)種子，為了可以讓大家把結(jié)果復(fù)現(xiàn)出來(lái)

#設(shè)置一個(gè)種子求結(jié)果seed=211tf.set_random_seed(seed)8np.random.seed(seed)

開(kāi)始有模有樣的劃分?jǐn)?shù)據(jù)集了，一個(gè)是訓(xùn)練集，一個(gè)是測(cè)試集，訓(xùn)練集占80%，測(cè)試集占20%

#劃分測(cè)試機(jī)和訓(xùn)練集train_indices=np.random.choice(len(x_vals),round(len(x_vals)*0.8),replace=True)test_indices=np.array(list(set(range(len(x_vals)))-set(train_indices)))x_vals_train=x_vals[train_indices]x_vals_test = x_vals[test_indices]y_vals_train = y_vals[train_indices]y_vals_test = y_vals[test_indices]

在這里我們?cè)趯⑻卣鬟M(jìn)行一個(gè)歸一化，也就是將數(shù)值型特征全部都轉(zhuǎn)換為0-1之間的數(shù)值，用特征最大距離作為分母；還有一些其他的標(biāo)準(zhǔn)化方法，有興趣可以了解，這個(gè)好處就是能夠讓迭代更加快速，還有就是消除量綱，就是單位之間影響；

使用nan_to_num這個(gè)函數(shù)主要是為了消除None值帶來(lái)的計(jì)算影響

#歸一化函數(shù)def normalize_cols(m): col_max = m.max(axis=0) col_min = m.min(axis=0) return (m - col_min) / (col_max - col_min)#數(shù)據(jù)歸一化并轉(zhuǎn)空集x_vals_train=np.nan_to_num(normalize_cols(x_vals_train))x_vals_test=np.nan_to_num(normalize_cols(x_vals_test))

好了，上面已經(jīng)生成了我們想要的數(shù)據(jù)集；在這里我們?cè)谠O(shè)置一次訓(xùn)練的數(shù)據(jù)集多大，一般是選擇2^N倍數(shù)，因?yàn)槭怯?jì)算機(jī)是二進(jìn)制存儲(chǔ)，這樣就快，這里我就隨意選擇了個(gè)25，因?yàn)閿?shù)據(jù)集比較小，沒(méi)什么影響

batch_size=25

在這里定義一下訓(xùn)練變量Y和X,順便設(shè)置為浮點(diǎn)類型

x_data=tf.placeholder(shape=[None,3],dtype=tf.float32)y_target=tf.placeholder(shape=[None,1],dtype=tf.float32)

在這里我們?cè)O(shè)置一下隱藏層連接數(shù)

#設(shè)置隱藏層hidden_layer_nodes=5

開(kāi)始定義各層的參數(shù)變量，因?yàn)檩斎胱兞渴侨齻€(gè)

#定義各層變量，初始變量為3個(gè)A1=tf.Variable(tf.random_normal(shape=[3,hidden_layer_nodes]))b1=tf.Variable(tf.random_normal(shape=[hidden_layer_nodes]))A2=tf.Variable(tf.random_normal(shape=[hidden_layer_nodes,1]))b2=tf.Variable(tf.random_normal(shape=[1]))

這里我們使用relu函數(shù)作為激活函數(shù)，以及輸出結(jié)果也使用relu函數(shù)

#定義隱藏層的輸出和輸出層的輸出hidden_output=tf.nn.relu(tf.add(tf.matmul(x_data,A1),b1))final_output = tf.nn.relu(tf.add(tf.matmul(hidden_output, A2),b2))

這里我們?cè)诙x一下?lián)p失函數(shù)，有用最大似然估計(jì)的，這里我們使用均方誤差方式

loss=tf.reduce_mean(tf.square(y_target-final_output))

定義一下參數(shù)的更新方式和學(xué)習(xí)速率，這里我們使用梯度下降方法更新，下一次我們講解用其他方式更新，和學(xué)習(xí)速率隨著迭代次數(shù)減少，tfboys就是那么任性

#聲明算法初始變量opt=tf.train.GradientDescentOptimizer(0.005)train_step=opt.minimize(loss)#變量進(jìn)行初始化init=tf.initialize_all_variables()sess.run(init)

定義兩個(gè)list,用來(lái)存放在訓(xùn)練中的測(cè)試集和訓(xùn)練集的誤差

#訓(xùn)練過(guò)程loss_vec=[]test_loss=[]

開(kāi)始迭代，這里我們?cè)O(shè)置迭代次數(shù)為5000

for i in range(5000): #選取batch_size大小的數(shù)據(jù)集 rand_index=np.random.choice(len(x_vals_train),size=batch_size) #選取出數(shù)據(jù)集 rand_x=x_vals_train[rand_index] rand_y=np.transpose([y_vals_train[rand_index]]) #開(kāi)始訓(xùn)練步驟 sess.run(train_step,feed_dict={x_data:rand_x,y_target:rand_y}) #保存損失結(jié)果 temp_loss=sess.run(loss,feed_dict={x_data:rand_x,y_target:rand_y}) #保存損失函數(shù) loss_vec.append(np.sqrt(temp_loss)) test_temp_loss = sess.run(loss, feed_dict={x_data: x_vals_test, y_target: np.transpose([y_vals_test])}) test_loss.append(np.sqrt(test_temp_loss)) #打印損失函數(shù),沒(méi)五十次打印一次 if (i+1)%50==0: print('Generation: ' + str(i + 1) + '. Train_Loss = ' + str(temp_loss)+ '. test_Loss = ' + str(test_temp_loss))

迭代最后結(jié)果為

接下來(lái)我們?cè)诳纯凑`差隨著迭代變化的趨勢(shì)，下降的還不夠快，這些代碼其實(shí)還是很粗糙，太多地方需要優(yōu)化了；下次在寫(xiě)個(gè)優(yōu)化版本的

#畫(huà)圖plt.plot(loss_vec, '', label='訓(xùn)練 Loss')plt.plot(test_loss, 'r--', label='測(cè)試 Loss')plt.title('均方誤差分布', fontproperties=font)plt.xlabel('迭代步數(shù)', fontproperties=font)plt.ylabel('Loss')plt.legend(prop=zhfont1)plt.show()