人工智能學(xué)會(huì)戰(zhàn)略性遺忘：三種方法

人的遺忘是策略式的，而機(jī)器的遺忘是計(jì)算式的。

人工智能越來越頻繁地出現(xiàn)在人們的生活中，而其技術(shù)上的重大進(jìn)步仍然不曾明朗。本文作者Natalie Fratto在“Machine Un-Learning: Why Forgetting Might Be the Key to AI”一文中講述了實(shí)現(xiàn)人工智能戰(zhàn)略性遺忘的三個(gè)方法。

讓我們先直面那些事情一團(tuán)糟的情況。你不記得自己把鑰匙放在了哪里，你不記得剛剛在雜貨店遇到的同事的名字因而只能磕磕絆絆地說著話，這都令你異常沮喪。然而，遺忘是人類得以生存的核心。事實(shí)上，我們必須對(duì)自己有能力做到這一點(diǎn)感到幸運(yùn)。

對(duì)于人類來說，遺忘不僅僅意味著記憶的遺失，也意味著這也是一個(gè)幫助大腦吸收新知識(shí)并有效做出決策的積極過程。

現(xiàn)在，數(shù)據(jù)科學(xué)家正在應(yīng)用神經(jīng)科學(xué)原理改進(jìn)機(jī)器學(xué)習(xí)技術(shù)，他們相信人類的大腦是完全揭開人工智能面紗的關(guān)鍵。

根據(jù)最近發(fā)表在《神經(jīng)元》（Neuron）雜志上的一篇論文所言，人們的大腦充當(dāng)著信息過濾器的角色。它能輸入一大堆亂七八糟的數(shù)據(jù)，再過濾出有用的數(shù)據(jù)，然后清除所有無關(guān)的細(xì)節(jié)，從而使人們能夠成功講述一個(gè)故事或者是做出決定。這種刪除未使用信息，以便為接受新信息騰出空間的行為，就如同清理計(jì)算機(jī)上的磁盤空間。用神經(jīng)生物學(xué)術(shù)語表示，當(dāng)神經(jīng)元之間的連接隨著時(shí)間的推移變得減弱甚至是消失時(shí)，遺忘就會(huì)發(fā)生，而隨著新神經(jīng)元的出現(xiàn)，它們會(huì)重新連接海馬體的回路并覆蓋現(xiàn)有記憶。

對(duì)于人類來說，遺忘的發(fā)生帶來兩個(gè)好處：

它通過減少過時(shí)信息對(duì)人們產(chǎn)生的影響來提高決策靈活性。

它能夠預(yù)防人們過度沉浸于某些過去的特定事件，提高適應(yīng)能力。

人們?yōu)榱擞行нm應(yīng)發(fā)展，必須具備戰(zhàn)略性遺忘的能力。

但是電腦又能如何呢？

這即是人工智能所面臨的最大挑戰(zhàn)之一，計(jì)算機(jī)的遺忘邏輯與人類的情況不同。深度神經(jīng)網(wǎng)絡(luò)是一系列機(jī)器學(xué)習(xí)任務(wù)中完成度最高的技術(shù)，但是它不會(huì)像人們那樣去遺忘。

舉個(gè)簡(jiǎn)單的例子，如果你要教一個(gè)會(huì)說英語的孩子學(xué)習(xí)西班牙語，那么他會(huì)將學(xué)習(xí)英語過程中的相關(guān)經(jīng)驗(yàn)應(yīng)用到學(xué)習(xí)西班牙語的過程中，這有可能是名詞、動(dòng)詞時(shí)態(tài)和句子結(jié)構(gòu)等，同時(shí)忽略掉那些不相關(guān)的部分，比如口音、晦澀詞語和語調(diào)等。孩子們可以基于戰(zhàn)略性遺忘策略不斷地學(xué)習(xí)與重建。

神經(jīng)網(wǎng)絡(luò)的邏輯與此不同，如果一個(gè)神經(jīng)網(wǎng)絡(luò)被訓(xùn)練學(xué)習(xí)英語，那么其會(huì)通過調(diào)用參數(shù)解決英語問題。如果你想教它學(xué)習(xí)西班牙語，那么神經(jīng)網(wǎng)絡(luò)對(duì)于西班牙語的認(rèn)知就會(huì)覆蓋掉之前為英語學(xué)習(xí)所儲(chǔ)備的知識(shí)，有效清空所有內(nèi)容并從零開始。我們將其稱為“災(zāi)難性遺忘”，“這是神經(jīng)網(wǎng)絡(luò)所面臨的基本局限之一。”

攻克這一局限是一個(gè)全新領(lǐng)域，但是科學(xué)家已經(jīng)在關(guān)于如何克服這種局限性所涉及的潛在理論的探索上取得了長足的進(jìn)步。

人工智能學(xué)會(huì)戰(zhàn)略性遺忘：三種方法

一. 長短期記憶網(wǎng)絡(luò)（LSTM，Long Short Term Memory Networks）

長短期記憶網(wǎng)絡(luò)是一種遞歸式神經(jīng)網(wǎng)絡(luò)，它通過特定的學(xué)習(xí)機(jī)制決定在什么時(shí)候記住哪些信息，更新哪些信息，注意哪些信息。

用電影類比來解釋長短期記憶網(wǎng)絡(luò)工作的邏輯十分簡(jiǎn)單易懂。想象這么一種場(chǎng)景，一臺(tái)電腦通過分析之前的場(chǎng)景來預(yù)測(cè)電影接下來會(huì)發(fā)生什么。在某個(gè)場(chǎng)景中，一個(gè)女人拿著一把刀，電腦會(huì)猜她是廚師還是殺人犯？在另一個(gè)場(chǎng)景中，這個(gè)女人在一個(gè)金色拱門下面同一個(gè)男人一起吃著壽司，他們是在日本還是在麥當(dāng)勞？或者是能確定他們?cè)谑ヂ芬姿梗?/p>

這的確非常難以預(yù)測(cè)。

長短期記憶網(wǎng)絡(luò)則在這一過程中幫助神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)1）遺忘/記憶，2）保存，3）聚焦。

1. 遺忘/記憶：“例如，在一個(gè)場(chǎng)景結(jié)束后，模型應(yīng)該忘記當(dāng)前的位置信息、時(shí)間信息，并重置任何有關(guān)場(chǎng)景的特定信息。但是，如果某個(gè)角色在某個(gè)場(chǎng)景中死去了，那么它需要記住這個(gè)人已經(jīng)不再會(huì)出現(xiàn)。因此，我們希望模型能夠?qū)W習(xí)一種單獨(dú)的遺忘/記憶機(jī)制：當(dāng)新的信息出現(xiàn)時(shí)，它需要知道哪些信息需要保留而哪些信息需要丟棄?！?/p>

2. 保存：當(dāng)模型看到一個(gè)新圖像時(shí)，它需要了解這個(gè)圖像的信息是否值得使用和保存。如果某個(gè)場(chǎng)景中一個(gè)女人走過了一個(gè)廣告牌，是記住這個(gè)廣告牌，還是僅僅將其視為冗余？

3. 聚集：模型需要記住電影中的這位女性是一個(gè)母親，因?yàn)橹蟮膱?chǎng)景會(huì)出現(xiàn)她孩子的畫面。但是如果在某個(gè)場(chǎng)景中女人并沒有出現(xiàn)，那么這一信息就顯得不甚重要，所以在這個(gè)場(chǎng)景中模型不需要關(guān)注這一信息。同樣，并非所有存儲(chǔ)在神經(jīng)網(wǎng)絡(luò)長期記憶中的東西每一次都會(huì)發(fā)揮直接相關(guān)的作用。因此，長短期記憶網(wǎng)絡(luò)需要幫助確定模型在某個(gè)特定時(shí)間需要關(guān)注哪些部分，同時(shí)將所有信息妥善保管。

二 彈性權(quán)重固化（EWC，Elastic Weight Consolidation）

彈性權(quán)重固化是谷歌旗下DeepMind的研究人員于2017年3月創(chuàng)建的一種算法，該算法模擬了一種叫做“突觸整合”的神經(jīng)科學(xué)過程。在突觸整合過程中，人們的大腦會(huì)進(jìn)行任務(wù)評(píng)估，計(jì)算眾多用于執(zhí)行任務(wù)的神經(jīng)元的重要性，并確認(rèn)一些神經(jīng)元所扮演的重要角色使其對(duì)正確執(zhí)行任務(wù)發(fā)揮更加重要的作用。這些關(guān)鍵性神經(jīng)元被標(biāo)記上重要程度并使其在后續(xù)任務(wù)中被覆蓋的幾率減小。在神經(jīng)網(wǎng)絡(luò)中也有多個(gè)如神經(jīng)元的連接用于執(zhí)行任務(wù)。彈性權(quán)重固化將某些連接編碼標(biāo)注上關(guān)鍵性，從而保護(hù)其不被過度寫入遺忘/記憶程序。

三. 瓶頸理論（Bottleneck Theory）

2017年秋天，在人工智能社區(qū)的一次演講中，來自耶路撒冷希伯來大學(xué)的計(jì)算機(jī)科學(xué)家與神經(jīng)學(xué)家納夫塔利·提斯比講述了其稱之為“瓶頸理論”的觀點(diǎn)?！捌渌枷胧?，一個(gè)網(wǎng)絡(luò)會(huì)排除掉那些無關(guān)重要的嘈雜的輸入數(shù)據(jù)，這就如同通過瓶頸向其中壓縮信息，只保留與一般概念最相關(guān)的特性。”

正如提斯比所解釋的那樣，神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)過程中需要經(jīng)歷兩個(gè)階段，擬合與壓縮。在擬合過程中，網(wǎng)絡(luò)對(duì)其訓(xùn)練數(shù)據(jù)進(jìn)行標(biāo)記。而在更為復(fù)雜的壓縮過程中，其“將基于標(biāo)記的數(shù)據(jù)信息只追蹤那些具備巨大特征的信息?！倍@一過程對(duì)于之后的概化過程極為重要。在此過程中，壓縮是一種策略上的遺忘方式，人工智能研究人員可以在未來用其構(gòu)建更強(qiáng)大的神經(jīng)網(wǎng)絡(luò)和框架。

正如提斯比所言，“學(xué)習(xí)過程中最重要的環(huán)節(jié)是遺忘?！?/p>

人類的大腦可能蘊(yùn)藏著創(chuàng)造強(qiáng)大人工智能的圖解，而如今科學(xué)家們?nèi)匀煌Ａ粼谌绾谓庾x這些可能的層面。