長期短期記憶網(wǎng)絡：它是什么以及它是如何工作的？

機器學習是一種強大的技術(shù)，它通過開發(fā)算法從其經(jīng)驗中學習和改進。算法是計算、訪問和處理輸入數(shù)據(jù)并預測結(jié)果的程序。機器學習模型旨在計算復雜的計算和學習模式，并在此基礎(chǔ)上提供相關(guān)的輸出。該模型適用于數(shù)字、二元、多變量、分類和相關(guān)數(shù)據(jù)集等普通數(shù)據(jù)集。

然而，截至今天，由于理解輸入數(shù)據(jù)的上下文的局限性，大多數(shù)機器學習模型都面臨著預測時間序列數(shù)據(jù)的挑戰(zhàn)。這就是遞歸神經(jīng)網(wǎng)絡，其中長短期記憶網(wǎng)絡（LSTM）——一種人工神經(jīng)網(wǎng)絡。LSTM 可以識別數(shù)據(jù)序列中的模式，例如來自傳感器、文本、基因組、手寫和口語的數(shù)字時間序列數(shù)據(jù)。

什么是 LSTM 網(wǎng)絡？

LSTM – 長期短期記憶網(wǎng)絡，是一種特殊類型的RNN（遞歸神經(jīng)網(wǎng)絡）。RNN是一個神經(jīng)網(wǎng)絡，它將前一個狀態(tài)的輸出作為下一階段的輸入，這樣它就可以記住前一個狀態(tài)的數(shù)據(jù)。它將借助先前的數(shù)據(jù)精確預測最終輸出。

然而，RNN存在梯度消失問題，即信息在較長的序列中褪色，因此在較長時間內(nèi)持久化數(shù)據(jù)時面臨困難。此問題可以通過 LSTM 解決。LSTM已經(jīng)表現(xiàn)出擺脫了長期依賴問題并消除了RNN的缺點。

LSTM的重要性

在這個現(xiàn)代時代，機器正在使用機器學習智能地執(zhí)行任務?，F(xiàn)在，每個行業(yè)都有大量的設(shè)備歷史數(shù)據(jù)，這些數(shù)據(jù)必須以機器學習模型能夠有效預測數(shù)據(jù)的方式使用。

作為人類，我們總是非常規(guī)地選擇一些重要的關(guān)鍵字，而忽略其他有助于我們理解任何句子或段落上下文的單詞。例如，在閱讀電影評論時，大腦只試圖記住或?qū)Ｗ⒂谝恍╆P(guān)鍵詞，如“動感十足”、“令人嘆為觀止”、“無聊”和“驚人”。每次我們不必思考，記住并重新開始。LSTM的行為也類似。此外，LSTM 專為傳統(tǒng)神經(jīng)網(wǎng)絡失敗的順序數(shù)據(jù)集而設(shè)計。LSTM 允許數(shù)據(jù)持久化。

在每個行業(yè)中，當局都會根據(jù)過去的重要數(shù)據(jù)做出任何決定，這將提供更好的結(jié)果。與機器學習模型相同，與其他模型相比，LSTM 展示了準確的結(jié)果，因為它在整個模型學習過程中只記住相關(guān)數(shù)據(jù)。它可以輕松保留重要信息以進行預測。

LSTM 如何工作？

LSTM 使用一系列不同的邏輯門。借助這一點，它可以調(diào)節(jié)信息流并解決RNN中的消失梯度問題。梯度消失問題發(fā)生在訓練機器學習模型的反向傳播期間。梯度是可用于更新神經(jīng)網(wǎng)絡權(quán)重的值。在反向傳播時，梯度將變得如此之小，以至于在更新權(quán)重方面可以忽略不計。

這最終將停止學習該層，以便這些層不會學習。因此，RNN 會在更長的時間內(nèi)忘記數(shù)據(jù)，因為 RNN 只有短期記憶。

LSTM和RNN在控制流方面是相似的。兩者都在傳遞和向前傳播時處理信息。唯一的區(qū)別是每個單元格內(nèi)的操作。LSTM的主要概念是在整個網(wǎng)絡中傳遞相關(guān)信息。根據(jù)輸入，它會將該數(shù)據(jù)添加到內(nèi)存中，如果不需要數(shù)據(jù)，則忘記或刪除數(shù)據(jù)，如果信息不相關(guān)，則忽略信息。這就是 LSTM 不僅將信息傳遞到下一個狀態(tài)，而且還為以后的狀態(tài)保留數(shù)據(jù)的方式。

LSTM的工作分為三個部分，每個部分執(zhí)行以下單獨的功能：

第一部分確定來自前一個時間戳的信息是相關(guān)的，然后記住它，如果它不相關(guān)，它可以被遺忘。這部分稱為遺忘門。

在第二部分中，單元格嘗試從單元格的當前輸入中學習新數(shù)據(jù)，這稱為輸入門。

最后，在第三部分中，單元格將更新的信息從當前時間戳傳遞到下一個時間戳。這部分稱為輸出門。

這就是 LSTM 在訓練過程中有選擇地忘記和記住信息的方式。

LSTM的應用

工業(yè)物聯(lián)網(wǎng)：每個行業(yè)的深刻本質(zhì)是始終如一地提高產(chǎn)品質(zhì)量。在制造單位中，有許多設(shè)備、傳感器和機器，每個設(shè)備、傳感器和機器都有大量的數(shù)據(jù)。這些受到的關(guān)注非常少，這可能導致該行業(yè)陷入磨損情況。

LSTM將在上述情況下發(fā)揮至關(guān)重要的作用?；趫?zhí)行器、振動、溫度、噪聲、用電量等不同參數(shù)的歷史數(shù)據(jù)，該模型可以提前預測機器的早期維護和異常檢測。這將有助于制造單元進行及時維護。最終，它將提高效率并減少機器的停機時間。提高設(shè)備的利用率很有用。因此，生產(chǎn)產(chǎn)品的時間更少，數(shù)量更多。對于大型電力行業(yè)，它可以使用過去的電力供應數(shù)據(jù)預測特定州、城市或街道即將到來的電力需求。電力負荷預測將有助于減輕能源損失，并根據(jù)預測管理和傳輸電力。

家庭自動化：在家庭自動化中，有兩個最重要的事情：

準確性

處理和執(zhí)行操作的速度

在智能建筑中，HVAC供暖，通風和空調(diào)系統(tǒng)將有助于預測能源消耗以及室內(nèi)空氣溫度，并根據(jù)外部天氣進行控制。基于人類行為，設(shè)備應執(zhí)行預定義的任務，其中可以通過逐個分析視頻幀來識別人類活動。在這里，LSTM將根據(jù)早期行動精確預測下一步行動。

任何與音頻分析相關(guān)的應用程序，例如預測用于竊賊檢測的玻璃破碎、語音識別和預測語音命令。這些具有基于時間序列的數(shù)據(jù)，其中每個信息都帶有其頻率和時間。

在語音命令或語音識別中，了解 LSTM 的優(yōu)勢的實際上下文非常重要。

汽車：每個行業(yè)都有關(guān)于各自市場的大量數(shù)據(jù)，借助這些數(shù)據(jù)，LSTM將分析即將到來的市場趨勢并預測即將到來的產(chǎn)品需求。

這將幫助汽車制造商根據(jù)需求預測管理其供應鏈和庫存，并制定計劃以加速需求并減少不必要的成本。它可以幫助組織根據(jù)市場需求發(fā)現(xiàn)新的機會。它還向零售客戶推薦使用過去訂單的相關(guān)產(chǎn)品，從而提供更好的用戶體驗并促進銷售。LSTM 在預測時間序列數(shù)據(jù)方面令人滿意。

醫(yī)療保?。涸卺t(yī)療保健行業(yè)中，心跳、神經(jīng)模式、血壓和氧氣水平對于嚴重入院的患者至關(guān)重要。如果這些參數(shù)中的任何一個發(fā)生變化，那么患者可能會死亡。這些參數(shù)應在早期階段準確預測，這有助于相應地治療患者。

最重要的是，所有參數(shù)都具有LSTM優(yōu)于其他模型的時間序列數(shù)據(jù)。它還可以使用健康報告提前診斷任何健康問題，例如檢測癌癥或任何重大疾病。在智能可穿戴設(shè)備的幫助下，它可以提前預測心臟病發(fā)作，并向相關(guān)人員發(fā)送其健康狀況的信息。它會建議根據(jù)他們的健康狀況咨詢醫(yī)生，并提醒他們定期檢查。

審核編輯：郭婷