來源:青榴實驗室
1、引子
深度神經(jīng)網(wǎng)絡(luò)(DNNs)最近在圖像分類或語音識別等復(fù)雜機器學(xué)習(xí)任務(wù)中表現(xiàn)出的優(yōu)異性能令人印象深刻。
在本文中,我們將了解深度神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)知識和三個最流行神經(jīng)網(wǎng)絡(luò):多層神經(jīng)網(wǎng)絡(luò)(MLP),卷積神經(jīng)網(wǎng)絡(luò)(CNN)和遞歸神經(jīng)網(wǎng)絡(luò)(RNN)。
2、什么是深度神經(jīng)網(wǎng)絡(luò)
機器學(xué)習(xí)是一門多領(lǐng)域交叉學(xué)科,專門研究計算機怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為,以獲取新的知識或技能,重新組織已有的知識結(jié)構(gòu)使之不斷改善自身的性能。它是人工智能的核心,是使計算機具有智能的根本途徑。如果論及哪一個機器學(xué)習(xí)的領(lǐng)域最為熱門,非人工智能莫屬,這就是深度學(xué)習(xí)。深度學(xué)習(xí)框架又名深度神經(jīng)網(wǎng)絡(luò),一個復(fù)雜的模式識別系統(tǒng),在過去的幾十年里,機器學(xué)習(xí)給我們的日常生活帶來了巨大的影響,包括高效的網(wǎng)絡(luò)搜索、自動駕駛系統(tǒng)、計算機視覺和光學(xué)字符識別。
深度神經(jīng)網(wǎng)絡(luò)模型已經(jīng)成為機器學(xué)習(xí)和人工智能的有力工具。深度神經(jīng)網(wǎng)絡(luò)(DNN)的輸入層和輸出層之間有多層的人工神經(jīng)網(wǎng)絡(luò)(ANN)。
深層神經(jīng)網(wǎng)絡(luò)的迅速發(fā)展應(yīng)用致使語音識別錯誤率上較傳統(tǒng)語音識別方法錯誤率減少30%(20年來最大降幅),同時也大幅削減了圖像識別的錯誤率,自2011年以來深度學(xué)習(xí)圖像識別的錯誤率從26%到3.5%,而人類是5%。
3、深度神經(jīng)網(wǎng)絡(luò)的基本原理
深度神經(jīng)網(wǎng)絡(luò)模型最初是基于神經(jīng)生物學(xué)的啟發(fā)。生物神經(jīng)元通過與樹突的突觸接觸接收多個信號,并通過軸突發(fā)送單一的動作電位流。通過對輸入模式進行分類,可以降低多個輸入的復(fù)雜性。受這種輸入輸出方式的啟發(fā),人工神經(jīng)網(wǎng)絡(luò)模型由組合多個輸入和單一的輸出單元組成。神經(jīng)網(wǎng)絡(luò)以模擬人類大腦的功能為目標(biāo),并基于一個簡單的人工神經(jīng)元:輸入信號的加權(quán)和的非線性函數(shù)(如max(0, value))。這些偽神經(jīng)元被聚合成層,一層的輸出成為序列中下一層的輸入。
4、深度神經(jīng)網(wǎng)絡(luò)的“深”
深度神經(jīng)網(wǎng)絡(luò)在神經(jīng)網(wǎng)絡(luò)中采用了深度結(jié)構(gòu)?!吧睢笔侵冈趯哟螖?shù)和單層單元數(shù)的深兼具較高復(fù)雜性的功能。云計算中的大型數(shù)據(jù)集可以通過使用額外的和更大的層來捕獲更高級數(shù)據(jù)模式來構(gòu)建更精確的模型。神經(jīng)網(wǎng)絡(luò)的兩個階段被稱為訓(xùn)練(或?qū)W習(xí))和推斷(或預(yù)測),它們指的是發(fā)展和生產(chǎn)。開發(fā)人員選擇神經(jīng)網(wǎng)絡(luò)的層數(shù)和類型,訓(xùn)練確定權(quán)值。
5、目前流行的深度神經(jīng)網(wǎng)絡(luò)有三種
5.1 多層感知器(MLP)
多層感知器(MLP)是一類前饋人工神經(jīng)網(wǎng)絡(luò)(ANN)。MLPs模型是最基本的深度神經(jīng)網(wǎng)絡(luò),其將輸入的多個數(shù)據(jù)集映射到單一的輸出的數(shù)據(jù)集上,由一系列全連接層組成。每一層都是一組非線性函數(shù),它們是前一層所有輸出(完全連通)的加權(quán)和。功能函數(shù):
5.2 卷積神經(jīng)網(wǎng)絡(luò)(CNN)
卷積神經(jīng)網(wǎng)絡(luò)(CNN,或ConvNet)是另一類深度神經(jīng)網(wǎng)絡(luò)。CNN最常用于計算機視覺。給定一系列來自現(xiàn)實世界的圖像或視頻,AI系統(tǒng)利用CNN學(xué)習(xí)自動提取這些輸入的特征來完成特定的任務(wù),如圖像分類、人臉認(rèn)證、圖像語義分割等。
與MLP中的完全連接層不同,在CNN模型中,一個或多個卷積層通過執(zhí)行卷積操作從輸入中提取簡單特征。每一層都是一組非線性函數(shù),這些函數(shù)的加權(quán)和位于前一層輸出的空間附近子集的不同坐標(biāo)上,允許權(quán)重被重用。
應(yīng)用各種卷積濾波器,CNN模型可以高水平準(zhǔn)確地捕獲輸入數(shù)據(jù),使其成為最受歡迎的計算機視覺應(yīng)用技術(shù),如圖像分類(例如,AlexNet, VGG網(wǎng)絡(luò),ResNet, MobileNet)和目標(biāo)檢測(例如,F(xiàn)ast R-CNN, Mask R-CNN, YOLO, SSD)。 AlexNet。在圖像分類方面,作為2012年第一個贏得ImageNet挑戰(zhàn)賽的CNN, AlexNet由5個卷積層和3個全連接層組成。AlexNet需要6100萬個權(quán)重和7.24億個mac(乘法加法計算)來對大小為227×227的圖像進行分類。
VGG-16。為了達(dá)到更高的精度,vg -16被訓(xùn)練為一個更深層次的16層結(jié)構(gòu),由13個卷積層和3個全連通層組成,需要1.38億權(quán)值和15.5G mac對大小為224×224的圖像進行分類。
GoogleNet。為了提高準(zhǔn)確性,同時減少DNN推理的計算,GoogleNet引入了一個由不同大小的過濾器組成的初始模塊。google et比vg -16具有更好的精度性能,而處理相同大小的圖像只需要700萬權(quán)重和1.43G mac。
ResNet。最新的研究成果ResNet使用了“快捷”結(jié)構(gòu),達(dá)到了人類平均水平的準(zhǔn)確率,前5名的錯誤率低于5%。“捷徑”模塊用于解決訓(xùn)練過程中的梯度消失問題,使訓(xùn)練具有更深結(jié)構(gòu)的DNN模型成為可能。
近年來CNN的準(zhǔn)確率和性能逐漸提高,應(yīng)用于人們?nèi)斯ぶ悄芤曈X任務(wù)的,超過了人類視覺的平均水平錯誤率低于5%。5.3遞歸神經(jīng)網(wǎng)絡(luò)(RNN)遞歸神經(jīng)網(wǎng)絡(luò)(RNN)是另一類使用順序數(shù)據(jù)輸入的人工神經(jīng)網(wǎng)絡(luò)。RNN是用來解決序列輸入數(shù)據(jù)的時間序列問題的。RNN的輸入由當(dāng)前輸入和之前的樣本組成。因此,節(jié)點之間的連接沿時間序列形成有向圖。RNN中的每個神經(jīng)元都有一個內(nèi)部存儲器,它保存著來自前一個樣本的計算信息。RNN模型在處理輸入長度不固定的數(shù)據(jù)方面具有優(yōu)勢,因此在自然語言處理中得到了廣泛的應(yīng)用。人工智能的任務(wù)是建立一個能夠理解人類說的自然語言的系統(tǒng),例如自然語言建模、單詞嵌入和機器翻譯。
在RNN中,每一層都是輸出和前一層狀態(tài)的加權(quán)和的非線性函數(shù)集合。RNN的基本單元稱為“Cell”,每個Cell層由一系列的Cell組成,層層傳遞處理使RNN模型能夠進行順序處理。
6、深度神經(jīng)網(wǎng)絡(luò)應(yīng)用
深度學(xué)習(xí)現(xiàn)在已經(jīng)應(yīng)用到生活各領(lǐng)域:
1.深度學(xué)習(xí)應(yīng)用在音視頻的識別上,幾乎所有的商用語音識別都是深度學(xué)習(xí)來完成的,如自然語言理解方面,主要是使用一種叫做LSTM的深度學(xué)習(xí)方法。
2.深度學(xué)習(xí)應(yīng)用于圖像識別,目前識別準(zhǔn)確率已經(jīng)超越人類,深度學(xué)習(xí)成了圖像識別的標(biāo)配。其中圖像識別中,應(yīng)用最廣的是人臉識別。
總之深度神經(jīng)網(wǎng)絡(luò)已經(jīng)深入便捷了人們生活,各類自動駕駛車輛,各種類型的人工智能機器人,智能回答,智能翻譯,天氣預(yù)報,股票預(yù)測,人臉比對,聲紋比對,等其他許多有趣的應(yīng)用,比如智能插畫,自動作詩,自動寫作文,等都可以通過深度學(xué)習(xí)來完成深度神經(jīng)網(wǎng)絡(luò)。
-
神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
42文章
4717瀏覽量
100009 -
機器學(xué)習(xí)
+關(guān)注
關(guān)注
66文章
8306瀏覽量
131843
發(fā)布評論請先 登錄
相關(guān)推薦
評論