神經(jīng)網(wǎng)絡(luò)模型的優(yōu)缺點

這里將神經(jīng)網(wǎng)絡(luò)大體分為4個部分：結(jié)構(gòu)，算子，參數(shù)，標(biāo)簽。

隨著技術(shù)的發(fā)展，神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)越來越復(fù)雜，能處理的邏輯也越來越多，比如不同的神經(jīng)網(wǎng)絡(luò)模型能處理圖像類、目標(biāo)檢測、圖像分割、關(guān)鍵點檢測、圖像生成、場景文字識別、度量學(xué)習(xí)、視頻分類和動作定位等多種任務(wù)。
受到生物神經(jīng)元的啟發(fā)，1943年，美國數(shù)學(xué)邏輯學(xué)家沃爾特·皮茨和心理學(xué)家沃倫·麥克洛克提出了人工神經(jīng)元結(jié)構(gòu)，如圖所示。輸入的數(shù)據(jù)X1，X2，…，X{經(jīng)過加權(quán)和偏置后，由激活函數(shù)處理后得到輸出。

現(xiàn)在的神經(jīng)網(wǎng)絡(luò)模型大多采用分層結(jié)構(gòu)，包含輸入層、隱含層和輸出層。其中，輸入層用于數(shù)據(jù)的輸入，輸出層用于推理結(jié)果的輸出，隱含層則是神經(jīng)網(wǎng)絡(luò)中的合成層，介于輸人層(即特征)和輸出層(即預(yù)測)之間。神經(jīng)網(wǎng)絡(luò)包含一個或多個隱含層。含有隱含層的神經(jīng)網(wǎng)絡(luò)，隱含層的數(shù)量和節(jié)點越多，在非線性的激活函數(shù)下，神經(jīng)網(wǎng)絡(luò)就可以學(xué)習(xí)更深層次的特征。

算子
神經(jīng)網(wǎng)絡(luò)模型中各層每個節(jié)點的操作都是一個算子，也叫作函數(shù)。這些算子是神經(jīng)網(wǎng)絡(luò)的核心單元，用于將上一層的輸出數(shù)據(jù)作為輸人，計算后輸出到下一層節(jié)點。算子的種類非常多，總的來說分為激活函數(shù)、計算類算子、歸一化函數(shù)、特征提取函數(shù)、防過擬合算子、損失函數(shù)等。
激活函數(shù)
激活函數(shù)能對上一層的所有輸人求加權(quán)和，然后生成一個輸出值(通常為非線性值)，并將其傳遞給下一層，目標(biāo)是為神經(jīng)網(wǎng)絡(luò)引人非線性。典型的激活函數(shù)包括ReLU、Sigmoid等。計算類算子
計算類算子用于張量計算。張量是人工智能計算使用的主要數(shù)據(jù)結(jié)構(gòu)，最常見的是標(biāo)量、向量或矩陣。計算類算子包括張量間的加、減、乘、除，BiasAdd，矩陣乘等多種運算。
歸一化函數(shù)
歸一化函數(shù)用于將不同表征的數(shù)據(jù)歸約到相同的尺度內(nèi)，來進一步獲得高頻特征。主要的歸一化函數(shù)包括 BatchNorm、LRN等

特征提取

函數(shù)能提取待檢測目標(biāo)部分或全部的特征值，用于神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練和推理，主要的特征提取函數(shù)包括 Convolution、FullConnection、Correlation和DeConvolution等口防過擬合算子
特征提取函數(shù)
防過擬合算子用于神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練和推理，主要的防過擬合算子包括Pooling、Mean、ROIPooling 等。
參數(shù)
參數(shù)是指機器學(xué)習(xí)系統(tǒng)自行訓(xùn)練的模型變量。權(quán)重和偏置就是神經(jīng)網(wǎng)絡(luò)模型中的重要參數(shù)。假設(shè)輸入為義，X，···，，輸出為Y，則函數(shù)Y為
Y=ZwX+b則權(quán)重為 w，偏置為b，它們的值是機器學(xué)習(xí)系統(tǒng)通過連續(xù)的訓(xùn)練迭代逐漸學(xué)習(xí)到的。神經(jīng)網(wǎng)絡(luò)模型在訓(xùn)練過程中通過不斷修改權(quán)重和偏置來減小損失函數(shù)值，最終達到訓(xùn)練效果訓(xùn)練完成后，這些參數(shù)將被保存到神經(jīng)網(wǎng)絡(luò)模型中用于推理計算。
標(biāo)簽
標(biāo)簽用于神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練和推理，表示神經(jīng)網(wǎng)絡(luò)模型可推理的范圍。嚴(yán)格意義上標(biāo)簽不屬于神經(jīng)網(wǎng)絡(luò)模型本身的組成部分，主要用于配合進行結(jié)果的判斷，通常是一個單獨的文件。比如一個用于圖像分類模型的標(biāo)簽文件的內(nèi)容可能包括貓、狗、樹木等不同物品及其對應(yīng)的編號，而用于目標(biāo)分類模型的標(biāo)簽文件可能還包括具體物品在圖片中所處的區(qū)域參數(shù)。一般情況下，神經(jīng)網(wǎng)絡(luò)模型的輸出為一個編號，這就需要通過標(biāo)簽文件的編號來匹配最終的推理結(jié)果。