自然語(yǔ)言生成的演變史

摘要：自科幻電影誕生以來(lái)，社會(huì)一直對(duì)人工智能著迷。

每當(dāng)我們聽(tīng)到“AI”一詞時(shí)，我們的第一個(gè)想法通常是電影中的未來(lái)機(jī)器人，如終結(jié)者和黑客帝國(guó)。盡管我們距離可以自己思考的機(jī)器人還有幾年的時(shí)間，但在過(guò)去幾年中，機(jī)器學(xué)習(xí)和自然語(yǔ)言理解領(lǐng)域已經(jīng)取得了重大進(jìn)展。 個(gè)人助理（Siri / Alexa），聊天機(jī)器人和問(wèn)答機(jī)器人a等應(yīng)用程序真正徹底改變了我們與機(jī)器和開(kāi)展日常生活的方式。自然語(yǔ)言理解（NLU）和自然語(yǔ)言生成（NLG）是人工智能發(fā)展最快的應(yīng)用之一，因?yàn)槿藗冊(cè)絹?lái)越需要理解和從語(yǔ)言中獲得意義，其中含有大量含糊不清的結(jié)構(gòu)。 根據(jù)Gartner的說(shuō)法，“到2019年，自然語(yǔ)言生成將成為90％的現(xiàn)代BI和分析平臺(tái)的標(biāo)準(zhǔn)功能”。 在這篇文章中，我們將討論NLG成立初期的簡(jiǎn)短歷史，以及它在未來(lái)幾年的發(fā)展方向。

什么是自然語(yǔ)言生成

語(yǔ)言生成的目標(biāo)是通過(guò)預(yù)測(cè)句子中的下一個(gè)單詞來(lái)傳達(dá)信息。 可以通過(guò)使用語(yǔ)言模型來(lái)解決。語(yǔ)言模型是對(duì)詞序列的概率分布。 語(yǔ)言模型可以在字符級(jí)別，短語(yǔ)級(jí)別，句子級(jí)別甚至段落級(jí)別構(gòu)建。 例如，為了預(yù)測(cè)“我需要學(xué)習(xí)如何___”之后出現(xiàn)的下一個(gè)單詞，模型為下一個(gè)可能的單詞分配概率，這些單詞可以是“寫(xiě)作”，“開(kāi)車”等。神經(jīng)網(wǎng)絡(luò)的最新進(jìn)展如RNN和LSTM允許處理長(zhǎng)句，顯著提高語(yǔ)言模型的準(zhǔn)確性。

馬爾可夫鏈

馬爾可夫鏈?zhǔn)亲钤缬糜谡Z(yǔ)言生成的算法之一。 它通過(guò)使用當(dāng)前單詞來(lái)預(yù)測(cè)句子中的下一個(gè)單詞。 例如，如果模型僅使用以下句子進(jìn)行訓(xùn)練：“我早上喝咖啡”和“我吃三明治加茶”。 有100％的可能性預(yù)測(cè)“咖啡”跟隨“飲酒”，而“我”有50％的機(jī)會(huì)跟著“喝”，50％跟隨“吃”。 馬爾可夫鏈考慮每個(gè)獨(dú)特單詞之間的關(guān)系來(lái)計(jì)算下一個(gè)單詞的概率。 它們?cè)谠缙诎姹镜?a target="_blank">智能手機(jī)鍵盤(pán)中使用，為句子中的下一個(gè)單詞生成建議。

遞歸神經(jīng)網(wǎng)絡(luò)（RNN）

神經(jīng)網(wǎng)絡(luò)是受人類大腦運(yùn)作啟發(fā)的模型，通過(guò)建模輸入和輸出之間的非線性關(guān)系提供另一種計(jì)算方法 - 它們用于語(yǔ)言建模被稱為神經(jīng)語(yǔ)言建模。

RNN是一種可以利用輸入的順序性質(zhì)的神經(jīng)網(wǎng)絡(luò)。 它通過(guò)前饋網(wǎng)絡(luò)傳遞序列的每個(gè)項(xiàng)目，并將模型的輸出作為序列中下一項(xiàng)的輸入，允許存儲(chǔ)前面步驟中的信息。 RNN擁有的“記憶”使它們非常適合語(yǔ)言生成，因?yàn)樗鼈兛梢噪S時(shí)記住對(duì)話的背景。 RNN與馬爾可夫鏈不同，因?yàn)樗鼤?huì)查看先前看到的單詞來(lái)進(jìn)行預(yù)測(cè)。

用于語(yǔ)言生成的RNN

在RNN的每次迭代中，模型在其存儲(chǔ)器中存儲(chǔ)遇到的先前單詞并計(jì)算下一單詞的概率。 例如，如果模型生成了文本“我們需要租用___”，那么它現(xiàn)在必須弄清楚句子中的下一個(gè)單詞。 對(duì)于字典中的每個(gè)單詞，模型根據(jù)它看到的前一個(gè)單詞分配概率。 在我們的例子中，“house”或“car”這個(gè)詞比“river”或“dinner”這樣的詞有更高的概率。 選擇具有最高概率的單詞并將其存儲(chǔ)在存儲(chǔ)器中，然后模型繼續(xù)進(jìn)行下一次迭代。

RNN受到梯度消失的限制。 隨著序列的長(zhǎng)度增加，RNN不能存儲(chǔ)在句子中遠(yuǎn)處遇到的單詞，并且僅基于最近的單詞進(jìn)行預(yù)測(cè)。 這限制了RNN用于產(chǎn)生聽(tīng)起來(lái)連貫的長(zhǎng)句子的應(yīng)用。

LSTM

基于LSTM的神經(jīng)網(wǎng)絡(luò)是RNN的變體，旨在更準(zhǔn)確地處理輸入序列中的長(zhǎng)程依賴性。 LSTM具有與RNN類似的鏈?zhǔn)浇Y(jié)構(gòu); 然而，它們包括四層神經(jīng)網(wǎng)絡(luò)而不是RNN的單層網(wǎng)絡(luò)。 LSTM由4個(gè)部分組成：?jiǎn)卧?，輸入門(mén)，輸出門(mén)和忘記門(mén)。 這些允許RNN通過(guò)調(diào)節(jié)單元的信息流來(lái)記住或忘記任意時(shí)間間隔的單詞。

考慮以下句子作為模型的輸入：“我來(lái)自西班牙。我精通____?！盀榱苏_預(yù)測(cè)下一個(gè)單詞為”西班牙語(yǔ)“，該模型在前面的句子中側(cè)重于”西班牙“一詞，并使用單元格的記憶”記住“它。該信息在處理序列時(shí)由單元存儲(chǔ)，然后在預(yù)測(cè)下一個(gè)字時(shí)使用。當(dāng)遇到句號(hào)時(shí)，遺忘門(mén)意識(shí)到句子的上下文可能有變化，并且可以忽略當(dāng)前的單元狀態(tài)信息。這允許網(wǎng)絡(luò)選擇性地僅跟蹤相關(guān)信息，同時(shí)還最小化消失的梯度問(wèn)題，這允許模型在更長(zhǎng)的時(shí)間段內(nèi)記住信息。

LSTM及其變體似乎是消除漸變以產(chǎn)生連貫句子的問(wèn)題的答案。然而，由于仍存在從先前單元到當(dāng)前單元的復(fù)雜順序路徑，因此可以節(jié)省多少信息存在限制。這將LSTM記憶的序列長(zhǎng)度限制為幾百個(gè)單詞。另一個(gè)缺陷是LSTM由于高計(jì)算要求而非常難以訓(xùn)練。由于它們的順序性，它們難以并行化，限制了它們利用諸如GPU和TPU之類的現(xiàn)代計(jì)算設(shè)備的能力。

Transformer

Transformer最初是在2017年Google論文“Attention is all you need”中引入的，它提出了一種稱為“自注意力機(jī)制”的新方法。變形金剛目前正在各種NLP任務(wù)中使用，例如語(yǔ)言建模，機(jī)器翻譯和文本生成。變換器由一堆編碼器組成，用于處理任意長(zhǎng)度的輸入和另一堆解碼器，以輸出生成的句子。

與LSTM相比，Transformer僅執(zhí)行小的，恒定數(shù)量的步驟，同時(shí)應(yīng)用自注意力機(jī)制，該機(jī)制直接模擬句子中所有單詞之間的關(guān)系，而不管它們各自的位置如何。當(dāng)模型處理輸入序列中的每個(gè)單詞時(shí)，自注意力允許模型查看輸入序列的其他相關(guān)部分以更好地編碼單詞。它使用多個(gè)注意頭，擴(kuò)展了模型聚焦在不同位置的能力，無(wú)論它們?cè)谛蛄兄械木嚯x如何。

最近，對(duì)普通Transformer架構(gòu)進(jìn)行了一些改進(jìn)，顯著提高了它們的速度和精度。在2018年，谷歌發(fā)布了一篇關(guān)于變形金剛雙向編碼器表示的論文（BERT），該論文為各種NLP任務(wù)提供了最先進(jìn)的結(jié)果。同樣，在2019年，OpenAI發(fā)布了一個(gè)基于變換器的語(yǔ)言模型，其中包含大約15億個(gè)參數(shù)，只需幾行輸入文本即可生成長(zhǎng)篇連貫的文章。

用于語(yǔ)言生成的Transformer

最近，Transformer也被用于語(yǔ)言生成。 用于語(yǔ)言生成的Transformer最著名的例子之一是OpenAI，他們的GPT-2語(yǔ)言模型。 該模型通過(guò)使用注意力集中于先前在模型中看到的與預(yù)測(cè)下一個(gè)單詞相關(guān)的單詞來(lái)學(xué)習(xí)預(yù)測(cè)句子中的下一個(gè)單詞。

使用變形金剛生成文本的基礎(chǔ)與機(jī)器翻譯所遵循的結(jié)構(gòu)類似。如果我們采用一個(gè)例句“她的禮服有粉紅色，白色和___點(diǎn)。”該模型將預(yù)測(cè)藍(lán)色，通過(guò)使用自注意力分析列表中的前一個(gè)單詞作為顏色（白色和粉紅色）并理解期望的詞也需要是一種顏色。自我關(guān)注允許模型選擇性地關(guān)注每個(gè)單詞的句子的不同部分，而不是僅僅記住循環(huán)塊（在RNN和LSTM中）的一些特征，這些特征通常不會(huì)用于幾個(gè)塊。這有助于模型回憶起前一句的更多特征，并導(dǎo)致更準(zhǔn)確和連貫的預(yù)測(cè)。與以前的模型不同，Transformer可以在上下文中使用所有單詞的表示，而無(wú)需將所有信息壓縮為單個(gè)固定長(zhǎng)度表示。這種架構(gòu)允許變換器在更長(zhǎng)的句子中保留信息，而不會(huì)顯著增加計(jì)算要求。它們?cè)诳缬虻男阅芤矁?yōu)于以前的模型，無(wú)需特定領(lǐng)域的修改。

語(yǔ)言生成的未來(lái)

在這篇博客中，我們看到了語(yǔ)言生成的演變，從使用簡(jiǎn)單的馬爾可夫鏈生成句子到使用自我注意模型生成更長(zhǎng)距離的連貫文本。然而，我們正處于生成語(yǔ)言建模的曙光，而變形金剛只是向真正自主文本生成方向邁出的一步。還針對(duì)其他類型的內(nèi)容（例如圖像，視頻和音頻）開(kāi)發(fā)了生成模型。這開(kāi)啟了將這些模型與生成文本模型集成的可能性，以開(kāi)發(fā)具有音頻/視覺(jué)界面的高級(jí)個(gè)人助理。

然而，作為一個(gè)社會(huì)，我們需要謹(jǐn)慎對(duì)待生成模型的應(yīng)用，因?yàn)樗鼈優(yōu)樯杉傩侣?，虛假評(píng)論和在線冒充人們開(kāi)辟了多種可能性。 OpenAI決定拒絕發(fā)布他們的GPT-2語(yǔ)言模型，因?yàn)樗赡鼙徽`用，這證明了我們現(xiàn)在已經(jīng)進(jìn)入了一個(gè)語(yǔ)言模型足夠引起關(guān)注的時(shí)代。

生成模型有可能改變我們的生活;然而，它們是一把雙刃劍。通過(guò)對(duì)這些模型進(jìn)行適當(dāng)?shù)膶彶椋瑹o(wú)論是通過(guò)研究界還是政府法規(guī)，未來(lái)幾年在這一領(lǐng)域肯定會(huì)取得更多進(jìn)展。無(wú)論結(jié)果如何，都應(yīng)該有激動(dòng)人心的時(shí)刻！

未來(lái)智能實(shí)驗(yàn)室是人工智能學(xué)家與科學(xué)院相關(guān)機(jī)構(gòu)聯(lián)合成立的人工智能，互聯(lián)網(wǎng)和腦科學(xué)交叉研究機(jī)構(gòu)。

未來(lái)智能實(shí)驗(yàn)室的主要工作包括：建立AI智能系統(tǒng)智商評(píng)測(cè)體系，開(kāi)展世界人工智能智商評(píng)測(cè)；開(kāi)展互聯(lián)網(wǎng)（城市）云腦研究計(jì)劃，構(gòu)建互聯(lián)網(wǎng)（城市）云腦技術(shù)和企業(yè)圖譜，為提升企業(yè)，行業(yè)與城市的智能水平服務(wù)。