10分鐘快速了解神經(jīng)網(wǎng)絡（Neural Networks）

Sadaf Saleem| 作者

羅伯特|編輯

神經(jīng)網(wǎng)絡是深度學習算法的基本構建模塊。神經(jīng)網(wǎng)絡是一種機器學習算法，旨在模擬人腦的行為。它由相互連接的節(jié)點組成，也稱為人工神經(jīng)元，這些節(jié)點組織成層次結構。

神經(jīng)網(wǎng)絡與機器學習有何不同？

神經(jīng)網(wǎng)絡是一種機器學習算法，但它們與傳統(tǒng)機器學習在幾個關鍵方面有所不同。最重要的是，神經(jīng)網(wǎng)絡可以自行學習和改進，無需人的干預。它可以直接從數(shù)據(jù)中學習特征，因此更適合處理大型數(shù)據(jù)集。然而，在傳統(tǒng)機器學習中，特征需要手動提供。

為什么使用深度學習？

深度學習的一個關鍵優(yōu)勢是其處理大數(shù)據(jù)的能力。隨著數(shù)據(jù)量的增加，傳統(tǒng)機器學習技術在性能和準確性方面可能變得低效。而深度學習則能夠持續(xù)表現(xiàn)出色，因此是處理數(shù)據(jù)密集型應用的理想選擇。

有人會問，為什么我們要費心研究深度學習的結構，而不是簡單地依賴計算機為我們生成輸出結果，這是一個合理的問題。然而，深入了解深度學習的底層結構可以帶來更好的結果，這其中有很多令人信服的理由。

研究深度學習結構的好處是什么？

通過分析神經(jīng)網(wǎng)絡的結構，我們可以找到優(yōu)化性能的方法。例如，我們可以調整層數(shù)或節(jié)點的數(shù)量，或者調整網(wǎng)絡處理輸入數(shù)據(jù)的方式。我們還可以開發(fā)更適合分析醫(yī)學圖像或預測股市的神經(jīng)網(wǎng)絡。如果我們知道網(wǎng)絡中的哪些節(jié)點對于特定輸入被激活，我們可以更好地理解網(wǎng)絡是如何做出決策或預測的。

神經(jīng)網(wǎng)絡如何工作？

每個神經(jīng)元代表一個計算單元，接收一組輸入，執(zhí)行一系列計算，并產(chǎn)生一個輸出，該輸出傳遞給下一層。

就像我們大腦中的神經(jīng)元一樣，神經(jīng)網(wǎng)絡中的每個節(jié)點都接收輸入，處理它，并將輸出傳遞給下一個節(jié)點。隨著數(shù)據(jù)在網(wǎng)絡中傳遞，節(jié)點之間的連接會根據(jù)數(shù)據(jù)中的模式而加強或減弱。這使得網(wǎng)絡可以從數(shù)據(jù)中學習，并根據(jù)其學到的知識進行預測或決策。

想象一個28x28的網(wǎng)格，其中某些像素比其他像素更暗。通過識別較亮的像素，我們可以解讀出在網(wǎng)格上寫的數(shù)字。這個網(wǎng)格作為神經(jīng)網(wǎng)絡的輸入。

網(wǎng)格的行排列成水平的一維數(shù)組，然后轉化為垂直數(shù)組，形成第一層神經(jīng)元，就像這樣；

在第一層的情況下，每個神經(jīng)元對應于輸入圖像中的一個像素，每個神經(jīng)元內的值代表該像素的激活或強度。神經(jīng)網(wǎng)絡的輸入層負責接收原始數(shù)據(jù)（在本例中是圖像）并將其轉化為可以被網(wǎng)絡其余部分處理的格式。

在這種情況下，我們有28x28個輸入像素，這給了我們784個輸入層的神經(jīng)元。每個神經(jīng)元的激活值要么是0，要么是1，這取決于輸入圖像中相應的像素是黑色還是白色。

神經(jīng)網(wǎng)絡的輸出層在這種情況下包括10個神經(jīng)元，每個代表一個可能的輸出類別（在本例中是數(shù)字0到9）。輸出層中每個神經(jīng)元的輸出代表輸入圖像屬于該特定類別的概率。最高概率值確定了對于該輸入圖像的預測類別。

隱藏層

在輸入層和輸出層之間，我們有一個或多個隱藏層，對輸入數(shù)據(jù)執(zhí)行一系列非線性變換。這些隱藏層的目的是從輸入數(shù)據(jù)中提取對當前任務更有意義的高級特征。您可以決定在網(wǎng)絡中添加多少隱藏層。

隱藏層中的每個神經(jīng)元都從前一層的所有神經(jīng)元接收輸入，并在將結果通過非線性激活函數(shù)之前，對這些輸入應用一組權重和偏差。這個過程在隱藏層的所有神經(jīng)元上重復，直到達到輸出層。

前向傳播

前向傳播是將輸入數(shù)據(jù)通過神經(jīng)網(wǎng)絡生成輸出的過程。它涉及計算網(wǎng)絡每一層中每個神經(jīng)元的輸出，通過將權重和偏差應用于輸入并通過激活函數(shù)傳遞結果來完成。

數(shù)學公式：或 其中， 是神經(jīng)網(wǎng)絡的輸出， 是非線性激活函數(shù)，是第 個輸入特征或輸入變量， 是與第個輸入特征或變量相關聯(lián)的權重， 是偏差項，它是一個常數(shù)值，加到輸入的線性組合上。 ：這是輸入特征和它們相關權重的線性組合。有時這個術語也被稱為輸入的“加權和”。

反向傳播

反向傳播是訓練神經(jīng)網(wǎng)絡中常用的算法。它涉及計算梯度，即損失函數(shù)相對于網(wǎng)絡中每個權重的變化的度量。損失函數(shù)衡量了神經(jīng)網(wǎng)絡在給定輸入下能夠正確預測輸出的能力。通過計算損失函數(shù)的梯度，反向傳播允許神經(jīng)網(wǎng)絡以減小訓練過程中的整體誤差或損失的方式更新其權重。

該算法通過將來自輸出層的誤差沿著網(wǎng)絡的層傳播回去，使用微積分的鏈式法則計算損失函數(shù)相對于每個權重的梯度。然后，這個梯度用于梯度下降優(yōu)化，以更新權重并最小化損失函數(shù)。

神經(jīng)網(wǎng)絡中使用的術語

神經(jīng)網(wǎng)絡的訓練是根據(jù)輸入數(shù)據(jù)和期望輸出來調整神經(jīng)網(wǎng)絡權重的過程，以提高網(wǎng)絡預測的準確性。權重：權重是在訓練過程中學到的參數(shù)，它們決定了神經(jīng)元之間連接的強度。每個神經(jīng)元之間的連接被分配一個權重，該權重與輸入值相乘，以確定其輸出。

偏差（Bias）：偏差是另一個在給定層中神經(jīng)元的加權和上添加的學習參數(shù)。它是神經(jīng)元的附加輸入，有助于調整激活函數(shù)的輸出。

非線性激活函數(shù)（Non-linear activation function）：非線性激活函數(shù)應用于神經(jīng)元的輸出，引入了網(wǎng)絡中的非線性。非線性很重要，因為它允許網(wǎng)絡建模輸入和輸出之間的復雜、非線性關系。在神經(jīng)網(wǎng)絡中常用的激活函數(shù)包括 Sigmoid 函數(shù)、ReLU（修正線性單元）函數(shù)和 softmax 函數(shù)。損失函數(shù)（Loss function）：這是一個數(shù)學函數(shù)，用于衡量神經(jīng)網(wǎng)絡的預測輸出與真實輸出之間的誤差或差異。經(jīng)驗損失度量了整個數(shù)據(jù)集上的總損失。交叉熵損失常用于輸出概率在0和1之間的模型，而均方誤差損失用于輸出連續(xù)實數(shù)的回歸模型。目標是在訓練過程中最小化損失函數(shù)，以提高網(wǎng)絡預測的準確性。損失優(yōu)化（Loss optimization）：這是在神經(jīng)網(wǎng)絡進行預測時，最小化神經(jīng)網(wǎng)絡所產(chǎn)生的誤差或損失的過程。這是通過調整網(wǎng)絡的權重來完成的。

梯度下降（Gradient descent）：這是一種用于尋找函數(shù)最小值的優(yōu)化算法，例如神經(jīng)網(wǎng)絡的損失函數(shù)。它涉及迭代地調整權重，沿著損失函數(shù)的負梯度方向。其思想是不斷將權重朝著減小損失的方向移動，直到達到最小值。

讓我們通過實際例子記住這些術語：

1. 想象一家公司希望通過銷售產(chǎn)品來最大化利潤。他們可能有一個基于各種因素如價格、營銷支出等來預測利潤的模型。偏差可能指的是影響產(chǎn)品利潤但與價格或營銷支出無直接關系的任何固定因素。例如，如果產(chǎn)品是季節(jié)性物品，可能在一年中的某些時段存在對更高利潤的偏差。實際利潤與預測利潤之間的差異就是損失函數(shù)。梯度下降涉及計算損失函數(shù)相對于每個輸入特征的梯度，并使用這個梯度迭代地調整特征值，直到找到最佳值的過程，而涉及找到最小化損失函數(shù)的輸入特征的最佳值的過程就是損失優(yōu)化。利潤預測模型可能會使用非線性激活函數(shù)將輸入特征（例如價格、營銷支出）轉化為預測的利潤值。這個函數(shù)可以用來引入輸入特征和輸出利潤之間的非線性關系。2. 想象你正在玩一個視頻游戲，你是一個角色試圖到達一個目的地，但你只能在二維平面上移動（前后和左右）。你知道目的地的確切坐標，但不知道如何到達那里。你的目標是找到到達目的地的最短路徑。在這種情況下，損失函數(shù)可以是你當前位置與目的地之間的距離。損失函數(shù)的梯度將是通往目的地最陡坡度的方向和大小，你可以使用它來調整你的移動，靠近目的地。隨著你靠近目的地，損失函數(shù)減?。ㄒ驗槟汶x目標更近了），梯度也相應改變。通過反復使用梯度來調整你的移動，最終你可以以最短路徑到達目的地。希望你在了解神經(jīng)網(wǎng)絡方面有了更深入的了解。為了更好地理解這一概念，請參考文章中提到的視頻。