在自然語(yǔ)言處理領(lǐng)域，深度學(xué)習(xí)將給予最大的幫助，深度學(xué)習(xí)方法主要依靠一下這五個(gè)關(guān)鍵優(yōu)勢(shì)，閱讀本文將進(jìn)一步了解自然語(yǔ)言處理的重要深度學(xué)習(xí)方法和應(yīng)用。

在自然語(yǔ)言處理領(lǐng)域，深度學(xué)習(xí)的承諾是：給新模型帶來(lái)更好的性能，這些新模型可能需要更多數(shù)據(jù)，但不再需要那么多的語(yǔ)言學(xué)專(zhuān)業(yè)知識(shí)。

關(guān)于深度學(xué)習(xí)方法有很多炒作和大話，但除了炒作之外，深度學(xué)習(xí)方法正在為挑戰(zhàn)性問(wèn)題取得最先進(jìn)的結(jié)果，特別是在自然語(yǔ)言處理領(lǐng)域。

在這篇文章中，您將看到深度學(xué)習(xí)方法應(yīng)對(duì)自然語(yǔ)言處理問(wèn)題的具體前景?？赐赀@篇文章后，你會(huì)知道：

1. 自然語(yǔ)言處理深度學(xué)習(xí)的承諾。

2. 深度學(xué)習(xí)從業(yè)人員和研究科學(xué)家對(duì)自然語(yǔ)言處理深度學(xué)習(xí)的承諾有什么說(shuō)法。

3. 自然語(yǔ)言處理的重要深度學(xué)習(xí)方法和應(yīng)用。

深度學(xué)習(xí)的承諾

深度學(xué)習(xí)的方法很受歡迎，主要是因?yàn)樗鼈儍冬F(xiàn)了當(dāng)初的承諾。

這并不是說(shuō)在技術(shù)上沒(méi)有任何炒作，而是說(shuō)，這種炒作是基于非常真實(shí)的成果。這些成果正在從計(jì)算機(jī)視覺(jué)和自然語(yǔ)言處理的一系列極具挑戰(zhàn)性的人工智能問(wèn)題中得到證實(shí)。

深度學(xué)習(xí)力量的第一次大型展現(xiàn)，就是在自然語(yǔ)言處理領(lǐng)域，特別是在語(yǔ)音識(shí)別方面。 最近的進(jìn)展則是在機(jī)器翻譯方面。

在這篇文章中，我們將看到，自然語(yǔ)言處理領(lǐng)域的深度學(xué)習(xí)方法的五個(gè)具體承諾。這些承諾是這個(gè)領(lǐng)域的研究人員和從業(yè)人者最近所強(qiáng)調(diào)的，而這些人面對(duì)這些承諾的態(tài)度比一般的新聞報(bào)道要克制得多。

總而言之，這些承諾是：

深度學(xué)習(xí)插入替換現(xiàn)有模型 。深度學(xué)習(xí)方法可以插入現(xiàn)有的自然語(yǔ)言系統(tǒng)，由此產(chǎn)生的新模型可以實(shí)現(xiàn)同等或更好的性能。

新NLP模型 。深度學(xué)習(xí)方法提供了新的建模方法以挑戰(zhàn)自然語(yǔ)言問(wèn)題（如序列-序列預(yù)測(cè)）。

特征學(xué)習(xí) 。深度學(xué)習(xí)方法可以從模型所需的自然語(yǔ)言中學(xué)習(xí)特征，而不需要專(zhuān)家指定、提取特征。、

持續(xù)改進(jìn)。自然語(yǔ)言處理中的深度學(xué)習(xí)的表現(xiàn)是基于真實(shí)世界的結(jié)果，并且所帶來(lái)的改進(jìn)正在持續(xù)，還可能加速。

端對(duì)端模型 。大型端對(duì)端深度學(xué)習(xí)模型可以適應(yīng)自然語(yǔ)言問(wèn)題，提供更一般和更好的方法。

我們現(xiàn)在將仔細(xì)看看這些承諾中的每一個(gè)。其實(shí)自然語(yǔ)言處理深度學(xué)習(xí)還有一些其他承諾;，這些只是我從中選擇的最突出的五個(gè)。

深度學(xué)習(xí)插入替換現(xiàn)有模型

自然語(yǔ)言處理中的深度學(xué)習(xí)的第一個(gè)承諾是，能夠用具有更好性能的模型替代現(xiàn)有的線性模型，能夠?qū)W習(xí)和利用非線性關(guān)系。

Yoav Goldberg在他的《NLP研究人員神經(jīng)網(wǎng)絡(luò)入門(mén)》中強(qiáng)調(diào)，深度學(xué)習(xí)方法取得了令人印象深刻的成果，他說(shuō)在此文中說(shuō)：“最近，神經(jīng)網(wǎng)絡(luò)模型也開(kāi)始應(yīng)用于文本自然語(yǔ)言信號(hào)，并再次帶來(lái)了非常有希望的結(jié)果?！?/p>

他還繼續(xù)強(qiáng)調(diào)，這些方法易于使用，有時(shí)可用于批量地替代現(xiàn)有的線性方法。他說(shuō)：“最近，該領(lǐng)域在從稀疏輸入的線性模型切換到稠密數(shù)據(jù)的非線性神經(jīng)網(wǎng)絡(luò)模型方面取得了一些成功。大多數(shù)神經(jīng)網(wǎng)絡(luò)技術(shù)都很容易應(yīng)用，有時(shí)候幾乎可以替代舊的線性分類(lèi)器；不過(guò)，在許多情況下仍存在著使用神經(jīng)網(wǎng)絡(luò)的障礙?！?/p>

新NLP模型

另一個(gè)承諾是，深度學(xué)習(xí)方法有助于開(kāi)發(fā)全新的模型。

一個(gè)很好的例子是，使用能夠?qū)W習(xí)和判斷超長(zhǎng)序列輸出的循環(huán)神經(jīng)網(wǎng)絡(luò)。 這種方法與從前的完全不同，因?yàn)樗鼈冊(cè)试SNLP從業(yè)者擺脫傳統(tǒng)的建模假設(shè)，并實(shí)現(xiàn)最先進(jìn)的結(jié)果。

Yoav Goldberg在其N(xiāo)LP深度學(xué)習(xí)的專(zhuān)著《自然語(yǔ)言處理的神經(jīng)網(wǎng)絡(luò)方法》第xvii頁(yè)指出，像循環(huán)神經(jīng)網(wǎng)絡(luò)這樣復(fù)雜神經(jīng)網(wǎng)絡(luò)模型可以帶來(lái)全新的NLP建模機(jī)會(huì)。他說(shuō)，“在2014年左右，該領(lǐng)域已經(jīng)開(kāi)始看到，在從稀疏輸入的線性模型到稠密輸入的非線性神經(jīng)網(wǎng)絡(luò)模型的轉(zhuǎn)換方面，已取得了一些成功。 。……其他的變化更高級(jí)，需要研究者改變思維，并能帶來(lái)新的建模機(jī)會(huì)。特別是，基于循環(huán)神經(jīng)網(wǎng)絡(luò)（RNNs）的一系列方法減輕了對(duì)序列模型中普遍存在的馬爾可夫假設(shè)的依賴(lài)，允許以任意長(zhǎng)序列為條件，并產(chǎn)生了有效的特征提取器。 這些進(jìn)步導(dǎo)致了語(yǔ)言建模、自動(dòng)機(jī)器翻譯和其他應(yīng)用的突破?！?/p>

特征學(xué)習(xí)

深度學(xué)習(xí)方法具有學(xué)習(xí)特征表示的能力，不必要求專(zhuān)家從自然語(yǔ)言中人工指定和提取特征。

NLP研究員Chris Manning在自然語(yǔ)言處理深度學(xué)習(xí)課程的第一次講座中突出了這方面的觀點(diǎn)。

他描述了人工定義輸入特征的局限性：按照這種方法，在之前的應(yīng)用中，機(jī)器學(xué)習(xí)只是在統(tǒng)計(jì)NLP中證明人類(lèi)事先定義的特征，并且計(jì)算機(jī)幾乎沒(méi)有學(xué)習(xí)。

Chris 認(rèn)為，深度學(xué)習(xí)方法帶來(lái)的承諾是自動(dòng)特征學(xué)習(xí)。 他強(qiáng)調(diào)，特征學(xué)習(xí)是自動(dòng)的，而不是人工；它易于適應(yīng)，不脆弱，并可以不斷自動(dòng)地改善。

Chris Mining 在2017年的《自然語(yǔ)言處理與深度學(xué)習(xí)》講座第一講幻燈片中說(shuō)，“一般來(lái)說(shuō)，我們?nèi)斯ぴO(shè)計(jì)的特征往往被過(guò)度地指定，它們不完整，需要很長(zhǎng)時(shí)間才能設(shè)計(jì)和驗(yàn)證，會(huì)讓你忙活一天后只能達(dá)到有限的性能水平。而深度學(xué)習(xí)到的特征易于適應(yīng)，能快速訓(xùn)練，它們可以持續(xù)學(xué)習(xí)，以便達(dá)到以前未能實(shí)現(xiàn)的、更好的性能水平。

持續(xù)改進(jìn)

NLP的深度學(xué)習(xí)的另一個(gè)承諾是，在挑戰(zhàn)性問(wèn)題上持續(xù)快速改進(jìn)。

在《自然語(yǔ)言處理與深度學(xué)習(xí)》講座第一講中，Chris Manning表示，深度學(xué)習(xí)的方法很受歡迎，因?yàn)樗鼈兒芄苡?。他說(shuō)，“深度學(xué)習(xí)對(duì)大多數(shù)人來(lái)說(shuō)如此令人興奮的真正原因是，它確實(shí)管用?！?/p>

他強(qiáng)調(diào)，深度學(xué)習(xí)的初步結(jié)果令人印象深刻。深度學(xué)習(xí)在語(yǔ)音領(lǐng)域的表現(xiàn)比過(guò)去30年中任何其他方法的表現(xiàn)都更好。

Chris 提到，深度學(xué)習(xí)帶來(lái)的不僅是最先進(jìn)的成果，而且是不斷改進(jìn)的進(jìn)步速度。他說(shuō)，”……在過(guò)去的六七年中，非常令人驚嘆的是，深度學(xué)習(xí)方法一直在不斷改進(jìn)，并以驚人的速度變得更好。 我其實(shí)想說(shuō)，這是前所未有的，我看到這個(gè)領(lǐng)域飛速地進(jìn)展，每個(gè)月都會(huì)推出更好的方法。“

端對(duì)端模型的承諾

深度學(xué)習(xí)的最終承諾是，開(kāi)發(fā)和訓(xùn)練自然語(yǔ)言問(wèn)題的端對(duì)端模型能力，而不是為專(zhuān)門(mén)模型開(kāi)發(fā)流程。

端對(duì)端模型不僅能改進(jìn)模型的性能，也能帶來(lái)更好的開(kāi)發(fā)速度和簡(jiǎn)潔性。

神經(jīng)機(jī)器翻譯（簡(jiǎn)稱(chēng)NMT）是指，嘗試學(xué)習(xí)將一種語(yǔ)言翻譯成另一種語(yǔ)言的大型神經(jīng)網(wǎng)絡(luò)。 傳統(tǒng)上，這是由一系列手工調(diào)整的模型組成的流程來(lái)處理的，而流程中的每個(gè)模型都需要專(zhuān)業(yè)語(yǔ)言知識(shí)。

Chris Manning 在斯坦福大學(xué)NLP深度學(xué)習(xí)課程第十講《神經(jīng)機(jī)器翻譯和注意模型》中描述了這一點(diǎn)。他說(shuō)：”神經(jīng)機(jī)器翻譯是指，我們想要做的是構(gòu)建一個(gè)大型神經(jīng)網(wǎng)絡(luò)，在這個(gè)網(wǎng)絡(luò)中我們可以對(duì)訓(xùn)練整個(gè)端到端機(jī)器翻譯過(guò)程并進(jìn)行優(yōu)化?！@種遠(yuǎn)離人工定制模型、朝向端到端、序列到序列預(yù)測(cè)模型的趨勢(shì)，一直是語(yǔ)音識(shí)別的趨勢(shì)。 這樣做的系統(tǒng)被稱(chēng)為NMT （神經(jīng)機(jī)器翻譯）系統(tǒng)。

設(shè)計(jì)端到端模型，而非為專(zhuān)門(mén)系統(tǒng)設(shè)計(jì)流程，這也是語(yǔ)音識(shí)別的一個(gè)趨勢(shì)。

在斯坦福NLP課程第十二講《語(yǔ)音處理的端到端模型》中，目前就職于Nvidia的 NLP研究員Navdeep Jaitly強(qiáng)調(diào)，語(yǔ)音識(shí)別的每個(gè)組成部分都可以用神經(jīng)網(wǎng)絡(luò)來(lái)代替。自動(dòng)語(yǔ)音識(shí)別流程中的幾大組塊是語(yǔ)音處理，聲學(xué)模型，發(fā)音模型和語(yǔ)言模型。問(wèn)題是，每個(gè)組塊的屬性和錯(cuò)誤類(lèi)型是不同的。這激發(fā)了開(kāi)發(fā)一個(gè)神經(jīng)網(wǎng)絡(luò)來(lái)端到端地學(xué)習(xí)整個(gè)問(wèn)題的需要。

他說(shuō)，“隨著時(shí)間的推移，人們開(kāi)始注意到，如果我們使用神經(jīng)網(wǎng)絡(luò)，這些組件中的每一個(gè)都可以做得更好。 ……但是，仍然有一個(gè)問(wèn)題。 每個(gè)組件都有各自的神經(jīng)網(wǎng)絡(luò)，但是每個(gè)組件中的錯(cuò)誤都是不同的，所以它們可能無(wú)法很好地協(xié)同工作。 所以這讓我們擁有動(dòng)機(jī)，嘗試去把整個(gè)語(yǔ)音識(shí)別當(dāng)作一個(gè)大模型來(lái)訓(xùn)練。”

自然語(yǔ)言處理深度學(xué)習(xí)網(wǎng)絡(luò)的類(lèi)型

深度學(xué)習(xí)是一個(gè)很大的學(xué)習(xí)領(lǐng)域，并不是它的所有內(nèi)容都與自然語(yǔ)言處理相關(guān)。

哪些類(lèi)型的深度學(xué)習(xí)模型能提升性能？學(xué)習(xí)者在具體優(yōu)化方法上很容易陷入泥沼。

從較高層次看，深度學(xué)習(xí)中有5種方法在自然語(yǔ)言處理中應(yīng)用最為廣泛。

他們是：

嵌入圖層

多層感知器（MLP）

卷積神經(jīng)網(wǎng)絡(luò)（CNN）

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNNs）

遞歸神經(jīng)網(wǎng)絡(luò)（ReNNs）

NLP中的問(wèn)題類(lèi)型

深度學(xué)習(xí)不會(huì)徹底解決自然語(yǔ)言處理問(wèn)題或人工智能問(wèn)題。

迄今為止，在自然語(yǔ)言處理的一系列廣泛?jiǎn)栴}中，已經(jīng)對(duì)深度學(xué)習(xí)方法進(jìn)行了評(píng)估，并在其中一些問(wèn)題上取得了成功。這些成功表明，使用深度學(xué)習(xí)能獲得高于以往的表現(xiàn)或能力。

重要的是，深度學(xué)習(xí)方法取得最大成功的領(lǐng)域，恰恰是一些更加面對(duì)終端用戶(hù)、更具挑戰(zhàn)性也更有趣的問(wèn)題。

深度學(xué)習(xí)取得成功的5個(gè)例子包括：

詞表示和詞含義

文本分類(lèi)

語(yǔ)言建模

機(jī)器翻譯

語(yǔ)音識(shí)別