通過時(shí)間的反向傳播BPTT - 深度學(xué)習(xí)的57個(gè)名詞解釋及相關(guān)論文資料

通過時(shí)間的反向傳播是應(yīng)用于循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）的反向傳播算法，可被看作是應(yīng)用于 RNN 的標(biāo)準(zhǔn)反向傳播算法，其中的每一個(gè)時(shí)間步驟（time step）都代表一個(gè)計(jì)算層，而且它的參數(shù)是跨計(jì)算層共享的。

RNN?在所有的時(shí)間步驟中都共享了同樣的參數(shù)，一個(gè)時(shí)間步驟的錯(cuò)誤必然能「通過時(shí)間」反向到之前所有的時(shí)間步驟，該算法因此得名。處理長(zhǎng)序列（數(shù)百個(gè)輸入）時(shí)，為降低計(jì)算成本常常使用一種刪節(jié)版的 BPTT。刪節(jié)的 BPTT 會(huì)在固定數(shù)量的步驟之后停止反向傳播錯(cuò)誤。

論文：

Backpropagation Through Time: What It Does and How to Do It

十二、分批標(biāo)準(zhǔn)化（BN：Batch Normalization）

分批標(biāo)準(zhǔn)化是一種按小批量的方式標(biāo)準(zhǔn)化層輸入的技術(shù)。它能加速訓(xùn)練過程，允許使用更高的學(xué)習(xí)率，還可用作規(guī)范器（regularizer）。分批標(biāo)準(zhǔn)化在卷積和前饋神經(jīng)網(wǎng)絡(luò)中應(yīng)用較多，但尚未應(yīng)用到循環(huán)神經(jīng)網(wǎng)絡(luò)上。

論文：分批標(biāo)準(zhǔn)化：通過減少內(nèi)部協(xié)變量位移（Covariate Shift）加速深度網(wǎng)絡(luò)訓(xùn)練（Batch Normalization: Accelerating Deep Network Training by ReducingInternal Covariate Shift）

論文：使用分批標(biāo)準(zhǔn)化的循環(huán)神經(jīng)網(wǎng)絡(luò)（Batch Normalized Recurrent NeuralNetworks）

十三、雙向循環(huán)神經(jīng)網(wǎng)絡(luò)（Bidirectional RNN）

雙向循環(huán)神經(jīng)網(wǎng)絡(luò)是一類包含兩個(gè)方向不同的 RNN 的神經(jīng)網(wǎng)絡(luò)。其中的前向 RNN 從起點(diǎn)向終點(diǎn)讀取輸入序列，而反向 RNN 則從終點(diǎn)向起點(diǎn)讀取。這兩個(gè) RNN 互相彼此堆疊，它們的狀態(tài)通常通過附加兩個(gè)矢量的方式進(jìn)行組合。雙向 RNN 常被用在自然語(yǔ)言問題中，因?yàn)樵谧匀徽Z(yǔ)言中我們需要同時(shí)考慮話語(yǔ)的前后上下文以做出預(yù)測(cè)。

論文：雙向循環(huán)神經(jīng)網(wǎng)絡(luò)（Bidirectional Recurrent Neural Networks）

十四、Caffe

Caffe?是由伯克利大學(xué)視覺和學(xué)習(xí)中心開發(fā)的一種深度學(xué)習(xí)框架。在視覺任務(wù)和卷積神經(jīng)網(wǎng)絡(luò)模型中，Caffe應(yīng)用較多。

十五、分類交叉熵?fù)p失（Categorical Cross-Entropy Loss）

分類交叉熵?fù)p失也被稱為負(fù)對(duì)數(shù)似然（negative log likelihood）。這是一種用于解決分類問題的流行的損失函數(shù)，可用于測(cè)量?jī)煞N概率分布（通常是真實(shí)標(biāo)簽和預(yù)測(cè)標(biāo)簽）之間的相似性。它可用 L = -sum(y * log(y_prediction)) 表示，其中 y 是真實(shí)標(biāo)簽的概率分布（通常是一個(gè)one-hot vector），y_prediction 是預(yù)測(cè)標(biāo)簽的概率分布，通常來自一個(gè) softmax。

十六、信道（Channel）

深度學(xué)習(xí)模型的輸入數(shù)據(jù)可以有多個(gè)信道。圖像就是個(gè)典型的例子，它有紅、綠和藍(lán)三個(gè)顏色信道。一個(gè)圖像可以被表示成一個(gè)三維的張量（Tensor），其中的維度對(duì)應(yīng)于信道、高度和寬度。自然語(yǔ)言數(shù)據(jù)也可以有多個(gè)信道。

十七、卷積神經(jīng)網(wǎng)絡(luò)（CNN/ConvNet：ConvolutionalNeural Network）

CNN?使用卷積連接從輸入的局部區(qū)域提取特征。大部分 CNN 都包含了卷積層、池化層和仿射層的組合。CNN 憑借其在視覺識(shí)別任務(wù)的卓越性能而獲得普及，它已經(jīng)在該領(lǐng)域保持了好幾年的領(lǐng)先地位。

十八、深度信念網(wǎng)絡(luò)（DBN：Deep Belief Network）

DBN?是一類以無監(jiān)督的方式學(xué)習(xí)數(shù)據(jù)的分層表征的概率圖形模型。DBN 由多個(gè)隱藏層組成，這些隱藏層每一對(duì)連續(xù)層之間的神經(jīng)元相互連接。DBN 通過堆疊多個(gè) RBN（限制波爾茲曼機(jī)）并一個(gè)接一個(gè)地訓(xùn)練而創(chuàng)建。

論文：深度信念網(wǎng)絡(luò)的一種快速學(xué)習(xí)算法

（A fast learning algorithm for deep belief nets）

十九、Deep Dream

這是谷歌發(fā)明的試圖用來提煉深度卷積神經(jīng)網(wǎng)絡(luò)獲取知識(shí)的技術(shù)。這種技術(shù)可以生成新的圖像或轉(zhuǎn)換已有的圖片從而給它們一種幻夢(mèng)般的感覺。

二十、Dropout