什么是RNN （循環(huán)神經(jīng)網(wǎng)絡(luò)）？

什么是 RNN？

循環(huán)神經(jīng)網(wǎng)絡(luò) (RNN) 是一種用于深度學(xué)習(xí)的網(wǎng)絡(luò)架構(gòu)，它可以對時(shí)間序列或順序數(shù)據(jù)進(jìn)行預(yù)測。 RNN 特別適合處理長度不同的順序數(shù)據(jù)以及解決自然信號分類、語言處理和視頻分析等問題。

RNN 的工作原理 循環(huán)神經(jīng)網(wǎng)絡(luò) (RNN) 是一種深度學(xué)習(xí)結(jié)構(gòu)，它使用過去的信息來提高網(wǎng)絡(luò)處理當(dāng)前和將來輸入的性能。RNN 的獨(dú)特之處在于該網(wǎng)絡(luò)包含隱藏狀態(tài)和循環(huán)。循環(huán)結(jié)構(gòu)支持網(wǎng)絡(luò)以隱藏狀態(tài)存儲過去的信息，并對序列進(jìn)行運(yùn)算。 RNN 怎么知道如何將過去的信息應(yīng)用于當(dāng)前輸入？該網(wǎng)絡(luò)有兩組權(quán)重：一組用于隱藏狀態(tài)向量，另一組用于輸入。在訓(xùn)練期間，網(wǎng)絡(luò)會學(xué)習(xí)輸入和隱藏狀態(tài)的權(quán)重。在實(shí)現(xiàn)時(shí)，輸出基于當(dāng)前輸入以及隱藏狀態(tài)，而隱藏狀態(tài)基于以前的輸入。 RNN 中單個(gè)單元的展開圖，顯示信息如何通過數(shù)據(jù)序列的網(wǎng)絡(luò)。該單元的隱藏狀態(tài)作用于輸入以產(chǎn)生輸出，并且隱藏狀態(tài)會傳遞給下一個(gè)時(shí)間步。

展開的單個(gè) RNN 單元，顯示信息如何通過數(shù)據(jù)序列的網(wǎng)絡(luò)。該單元的隱藏狀態(tài)作用于輸入以產(chǎn)生輸出，并且隱藏狀態(tài)會傳遞給下一個(gè)時(shí)間步。

LSTM 實(shí)際上，簡單的 RNN 在學(xué)習(xí)長期依存關(guān)系時(shí)會遇到問題。RNN 通常通過反向傳播來訓(xùn)練，在反向傳播中，它們可能遇到梯度的“消失”或“爆炸”問題。這些問題會導(dǎo)致網(wǎng)絡(luò)權(quán)重變得非常小或非常大，從而限制學(xué)習(xí)長期依存關(guān)系的有效性。 一種特殊類型的 RNN——長短期記憶 (LSTM) 網(wǎng)絡(luò)可克服此類問題。LSTM 網(wǎng)絡(luò)使用額外的門來控制隱藏狀態(tài)中的哪些信息可以輸出，并傳遞到下一個(gè)隱藏狀態(tài)。這就使網(wǎng)絡(luò)能夠更高效地學(xué)習(xí)數(shù)據(jù)中長期關(guān)系。LSTM 是一種常用的 RNN。

RNN（左）和 LSTM 網(wǎng)絡(luò)（右）的比較。 雙向 LSTM 可學(xué)習(xí)時(shí)間序列數(shù)據(jù)或序列數(shù)據(jù)的時(shí)間步的雙向依存關(guān)系。當(dāng)您希望網(wǎng)絡(luò)在每個(gè)時(shí)間步都從完整時(shí)間序列中學(xué)習(xí)時(shí)，這些依存關(guān)系會很有用。另一個(gè)學(xué)習(xí)長期依存關(guān)系的 RNN 變體是門控 RNN。您可以在 MATLAB 中訓(xùn)練和使用雙向 LSTM 和門控 RNN。

RNN 為何重要 RNN 是許多應(yīng)用中的關(guān)鍵技術(shù)，例如： 信號處理 ? 信號天然就是順序數(shù)據(jù)，因?yàn)樗鼈兺ǔＪ?a href="http://www.ttokpm.com/v/tag/117/" target="_blank">傳感器隨著時(shí)間的推移采集的。對大型信號數(shù)據(jù)集的自動(dòng)分類和回歸使得實(shí)時(shí)預(yù)測成為可能。原始信號數(shù)據(jù)可以饋入深度網(wǎng)絡(luò)，或進(jìn)行預(yù)處理以關(guān)注特定特征，如頻率分量。特征提取可以大大提高網(wǎng)絡(luò)性能。

文本分析

語言天然就是順序數(shù)據(jù)，文本片段的長度也各不相同。RNN 非常適合自然語言處理任務(wù)，如文本分類、文本生成、機(jī)器翻譯和情緒分析（對單詞和短語的含義進(jìn)行分類），因?yàn)樗鼈兛梢詫W(xué)習(xí)根據(jù)語境處理句子中的字詞。

何時(shí)應(yīng)使用 RNN？

當(dāng)您使用序列和時(shí)間序列數(shù)據(jù)執(zhí)行分類和回歸任務(wù)時(shí)，請考慮使用 RNN。RNN 也非常適合處理視頻，因?yàn)橐曨l本質(zhì)上是一個(gè)圖像序列。與處理信號類似，在將序列饋送到 RNN 之前進(jìn)行特征提取會很有幫助。利用 CNN（例如 GoogLeNet）對每幀進(jìn)行特征提取。

用于分類、回歸和視頻分類任務(wù)的 RNN 網(wǎng)絡(luò)架構(gòu)。

使用 MATLAB 實(shí)現(xiàn) RNN

使用 MATLAB 和 Deep Learning Toolbox，您能夠設(shè)計(jì)、訓(xùn)練和部署 RNN。您可以使用 Text Analytics Toolbox 或 Signal Processing Toolbox 將 RNN 應(yīng)用于文本或信號分析。 設(shè)計(jì)和訓(xùn)練網(wǎng)絡(luò) 您可以僅用幾行 MATLAB 代碼以編程方式創(chuàng)建和訓(xùn)練 RNN。使用循環(huán)層（LSTM 層、雙向 LSTM 層、門控循環(huán)層和 LSTM 投影層）構(gòu)建 RNN。在 RNN 網(wǎng)絡(luò)中使用單詞嵌入層將單詞映射到數(shù)值序列中。 您還可以使用深度網(wǎng)絡(luò)設(shè)計(jì)器以交互方式創(chuàng)建和訓(xùn)練 RNN。通過準(zhǔn)確度、損失和驗(yàn)證度量圖監(jiān)控訓(xùn)練。 部署網(wǎng)絡(luò) 您可以在嵌入式系統(tǒng)、企業(yè)系統(tǒng)、FPGA 設(shè)備或云上部署經(jīng)過訓(xùn)練的 RNN。您還可以使用 Intel、NVIDIA 和 ARM 庫生成代碼，以創(chuàng)建具有高性能推斷速度的可部署模型。

深度網(wǎng)絡(luò)設(shè)計(jì)器，用于以交互方式構(gòu)建、可視化和編輯 RNN 網(wǎng)絡(luò)。

將經(jīng)過訓(xùn)練的深度學(xué)習(xí)網(wǎng)絡(luò)快速部署到生產(chǎn)中。

審核編輯：黃飛

?