如何訓練這些神經(jīng)網(wǎng)絡來解決問題？

　　本文介紹了如何訓練這些神經(jīng)網(wǎng)絡來解決問題。

　　神經(jīng)網(wǎng)絡的訓練過程

　　本系列第一部分將討論的CIFAR網(wǎng)絡由不同層的神經(jīng)元組成，如圖1所示。來自 32 像素× 32 像素的圖像數(shù)據(jù)被呈現(xiàn)給網(wǎng)絡并通過網(wǎng)絡層。CNN的第一步是檢測和研究要區(qū)分的對象的獨特特征和結構。為此使用過濾器矩陣。一旦設計人員對CIFAR等神經(jīng)網(wǎng)絡進行了建模，這些濾波器矩陣最初仍未確定，并且此階段的網(wǎng)絡仍然無法檢測模式和對象。

　　為此，首先需要確定矩陣的所有參數(shù)和元素，以最大限度地提高檢測對象的精度或最小化損失函數(shù)。這個過程被稱為神經(jīng)網(wǎng)絡訓練。對于本系列第一部分所述的常見應用程序，網(wǎng)絡在開發(fā)和測試期間進行一次訓練。之后，它們就可以使用了，不再需要調(diào)整參數(shù)。如果系統(tǒng)正在對熟悉的對象進行分類，則無需進行額外培訓。只有當系統(tǒng)需要對全新的對象進行分類時，才需要進行訓練。

　　訓練網(wǎng)絡需要訓練數(shù)據(jù)，然后使用一組類似的數(shù)據(jù)來測試網(wǎng)絡的準確性。例如，在我們的 CIFAR-10 網(wǎng)絡數(shù)據(jù)集中，數(shù)據(jù)是十個對象類別中的一組圖像：飛機、汽車、鳥、貓、鹿、狗、青蛙、馬、船和卡車。然而，這是人工智能應用程序整體開發(fā)中最復雜的部分，在訓練CNN之前，必須對這些圖像進行命名。本文將討論的訓練過程根據(jù)反向傳播原理工作;網(wǎng)絡連續(xù)顯示大量圖像，每次同時傳達一個目標值。在我們的示例中，此值是關聯(lián)的對象類。每次顯示圖像時，都會優(yōu)化篩選器矩陣，以便對象類的目標值和實際值匹配。完成此過程后，網(wǎng)絡還可以檢測圖像中在訓練期間未看到的對象。

　　2.由前饋和反向傳播組成的訓練循環(huán)。

　　過擬合和欠擬合

　　在神經(jīng)網(wǎng)絡建模中，經(jīng)常會出現(xiàn)關于神經(jīng)網(wǎng)絡應該有多復雜的問題，即它應該有多少層，或者它的濾波器矩陣應該有多大。這個問題沒有簡單的答案。與此相關，討論網(wǎng)絡過擬合和欠擬合非常重要。過擬合是模型過于復雜且參數(shù)過多的結果。我們可以通過比較訓練數(shù)據(jù)損失和測試數(shù)據(jù)損失來確定預測模型對訓練數(shù)據(jù)的擬合是太差還是太好。如果訓練期間的損失很低，而當網(wǎng)絡呈現(xiàn)以前從未顯示過的測試數(shù)據(jù)時，損失會過度增加，這強烈表明網(wǎng)絡已經(jīng)記住了訓練數(shù)據(jù)，而不是泛化了模式識別。這主要發(fā)生在網(wǎng)絡有太多的參數(shù)存儲或太多卷積層時。在這種情況下，應減小網(wǎng)絡大小。

　　損失函數(shù)和訓練算法

　　學習分兩步完成。在第一步中，向網(wǎng)絡顯示一個圖像，然后由神經(jīng)元網(wǎng)絡處理以生成輸出向量。輸出向量的最大值表示檢測到的對象類，就像我們示例中的狗一樣，在訓練情況下，它不一定是正確的。此步驟稱為前饋。

　　輸出端產(chǎn)生的目標值和實際值之間的差值稱為損耗，相關函數(shù)稱為損耗函數(shù)。網(wǎng)絡的所有元素和參數(shù)都包含在損失函數(shù)中。神經(jīng)網(wǎng)絡學習過程的目標是以最小化損失函數(shù)的方式定義這些參數(shù)。這種最小化是通過一個過程實現(xiàn)的，在這個過程中，輸出端產(chǎn)生的偏差（損耗=目標值減去實際值）通過網(wǎng)絡的所有組件向后反饋，直到到達網(wǎng)絡的起始層。學習過程的這一部分也稱為反向傳播。

　　因此，在訓練過程中會產(chǎn)生一個循環(huán)，該循環(huán)以逐步方式確定濾波器矩陣的參數(shù)。重復此前饋和反向傳播過程，直到損耗值降至先前定義的值以下。

　　優(yōu)化算法、梯度和梯度下降方法

　　為了說明我們的訓練過程，圖 3 顯示了一個僅由兩個參數(shù) x 和 y 組成的損失函數(shù)。z 軸對應于損失。函數(shù)本身在這里不起作用，僅用于說明目的。如果我們更仔細地觀察三維函數(shù)圖，我們可以看到該函數(shù)具有全局最小值和局部最小值。

　　可以使用大量的數(shù)值優(yōu)化算法來確定權重和偏差。最簡單的一種是梯度下降法。梯度下降方法基于這樣一種想法，即在使用梯度的逐步過程中，從損失函數(shù)中隨機選擇的起點找到一條路徑，該起點導致全局最小值。梯度作為數(shù)學運算符，描述了物理量的進程。它在損失函數(shù)的每個點上都提供一個向量（也稱為梯度向量），該向量指向函數(shù)值最大變化的方向。向量的大小與變化量相對應。在圖 3 中的函數(shù)中，梯度向量將指向右下角某處的最小值（紅色箭頭）。由于表面的平坦度，幅度會很低。在接近進一步區(qū)域的峰值時，情況會有所不同。在這里，矢量（綠色箭頭）陡峭地向下指向，并且由于地勢很大，因此具有較大的幅度。

　　3.使用梯度下降法到達目標的不同路徑。

　　使用梯度下降方法，從任意選擇的點開始，迭代地尋找通往最陡峭下降山谷的路徑。這意味著優(yōu)化算法在起點處計算梯度，并在最陡峭的下降方向上邁出一小步。在這個中間點，重新計算坡度，并繼續(xù)進入山谷的路徑。這樣，就創(chuàng)建了一條從起點到山谷中某個點的路徑。這里的問題是起點不是預先定義的，而是必須隨機選擇的。在我們的二維地圖中，細心的讀者會將起點放在函數(shù)圖左側的某個地方。這將確保（例如，藍色）路徑的末尾處于全局最小值。另外兩條路徑（黃色和橙色）要么要長得多，要么以局部最小值結束。由于優(yōu)化算法不僅要優(yōu)化兩個參數(shù)，還要優(yōu)化數(shù)十萬個參數(shù)，因此很快就會發(fā)現(xiàn)，起點的選擇只能是偶然的正確。在實踐中，這種方法似乎沒有幫助。這是因為，根據(jù)所選的起點、路徑，訓練時間可能很長，或者目標點可能不在全局最小值，在這種情況下，網(wǎng)絡的精度會降低。

　　因此，在過去幾年中，已經(jīng)開發(fā)了許多優(yōu)化算法來繞過上述兩個問題。一些替代方案包括隨機梯度下降法、動量、AdaGrad、RMSProp 和 Adam，僅舉幾例。實踐中使用的算法由網(wǎng)絡開發(fā)人員確定，因為每種算法都有特定的優(yōu)點和缺點。

　　訓練數(shù)據(jù)

　　如前所述，在訓練過程中，我們向網(wǎng)絡提供標有正確對象類別（如汽車、船舶等）的圖像。在我們的示例中，我們使用了已經(jīng)存在的 CIFAR-10 數(shù)據(jù)集。在實踐中，人工智能的應用可能超出了貓、狗和汽車的識別范圍。例如，如果必須開發(fā)一個新的應用程序來檢測制造過程中螺釘?shù)馁|(zhì)量，那么網(wǎng)絡也必須使用來自好螺釘和壞螺釘?shù)挠柧殧?shù)據(jù)進行訓練。創(chuàng)建這樣的數(shù)據(jù)集可能非常費力和耗時，并且通常是開發(fā) AI 應用程序中最昂貴的步驟。編譯數(shù)據(jù)集后，將其分為訓練數(shù)據(jù)和測試數(shù)據(jù)。如前所述，訓練數(shù)據(jù)用于訓練。測試數(shù)據(jù)在開發(fā)過程結束時用于檢查經(jīng)過訓練的網(wǎng)絡的功能。

　　結論

　　在本系列的第一部分“理解卷積神經(jīng)網(wǎng)絡”中，我們描述了一個神經(jīng)網(wǎng)絡，并詳細研究了它的設計和功能。現(xiàn)在我們已經(jīng)定義了函數(shù)所需的所有權重和偏差，我們可以假設網(wǎng)絡可以正常工作。在本系列的最后一篇文章中，我們將通過將神經(jīng)網(wǎng)絡轉(zhuǎn)換為硬件來測試我們的神經(jīng)網(wǎng)絡來識別貓。為此，我們將使用MAX78000人工智能微控制器和ADI公司開發(fā)的基于硬件的CNN加速器。

　　審核編輯：黃飛