- 深入機(jī)器學(xué)習(xí)之自然語(yǔ)言處理

?  統(tǒng)計(jì)機(jī)器翻譯
也是基于雙語(yǔ)語(yǔ)料庫(kù)的,但與基于實(shí)例的方法在翻譯過(guò)程中直接使用翻譯 實(shí)例不同,統(tǒng)計(jì)方法通過(guò)事先的訓(xùn)練過(guò)程將雙語(yǔ)語(yǔ)料庫(kù)中隱含的翻譯知識(shí)抽象成統(tǒng)計(jì)模型, 而翻譯過(guò)程通常就是基于這些統(tǒng)計(jì)模型的解碼過(guò)程。

?  神經(jīng)機(jī)器翻譯
神經(jīng)機(jī)器翻譯與傳統(tǒng)的統(tǒng)計(jì)機(jī)器翻譯不同,神經(jīng)機(jī)器翻譯的目的是建立一個(gè)單一的神經(jīng)網(wǎng)絡(luò),可以聯(lián)合調(diào)整,以最大限度地提高翻譯性能。最近提出的用于神經(jīng)機(jī)器翻譯的模型通常屬于編碼器-解碼器族，且將源語(yǔ)句編碼成固定長(zhǎng)度向量，解碼器從該向量生成翻譯。

2. 信息檢索

?  信息檢索(Information retrieval):信息檢索也稱(chēng)為情報(bào)檢索,就是利用計(jì)算機(jī)從大量文檔中找到符合用戶(hù)需要的相關(guān)信息。

?  面向多語(yǔ)言的信息檢索稱(chēng)為跨語(yǔ)言的信息檢索,如google,baidu等。

?  早期的信息檢索系統(tǒng)采用“布爾查詢(xún)”的方法來(lái)進(jìn)行全文檢索。這種方法無(wú)疑將構(gòu)造一個(gè)合適的查詢(xún)的責(zé)任推到用戶(hù)身上。用戶(hù)必須詳細(xì)的規(guī)劃自己的查詢(xún)，其復(fù)雜程度不亞于編程語(yǔ)言。這種檢索方式并不提供任何的文檔相關(guān)性測(cè)度，對(duì)于文檔與查詢(xún)的評(píng)價(jià)就只有“匹配“、“不匹配”兩種而已。這兩點(diǎn)問(wèn)題決定了布爾查詢(xún)不能被廣泛應(yīng)用。但是，由于布爾檢索能夠給用戶(hù)提供更多的可控制性，今天我們?nèi)匀豢梢栽谒阉饕娴摹案呒?jí)搜索”中找到布爾查詢(xún)的身影。

?  對(duì)于大規(guī)模的語(yǔ)料庫(kù)，任何檢索都可能返回?cái)?shù)量眾多的結(jié)果，因此對(duì)檢索結(jié)果進(jìn)行排序是必須的。因此，一個(gè)好的信息檢索模型必須提供文檔相關(guān)性測(cè)度。一個(gè)好的測(cè)度應(yīng)該使與用戶(hù)查詢(xún)需求最相關(guān)的那些結(jié)果，排在最前面，同時(shí)允許盡可能多的，與用戶(hù)查詢(xún)有一定關(guān)系的結(jié)果被包括進(jìn)來(lái)。目前，最為常用的信息檢索模型有三種：
    -  向量空間模型 (Vector Space Model, VSM)
    -  概率模型 (Probabilistic Model)
    -  推理網(wǎng)絡(luò)模型 (Inference Network Model)

3. 自動(dòng)文摘

?  TextRank 算法是一種用于文本的基于圖的排序算法。其基本思想來(lái)源于谷歌的 PageRank算法，通過(guò)把文本分割成若干組成單元(單詞、句子)并建立圖模型, 利用投票機(jī)制對(duì)文本中的重要成分進(jìn)行排序，僅利用單篇文檔本身的信息即可實(shí)現(xiàn)關(guān)鍵詞提取、文摘。

?  傳統(tǒng)的摘要生成系統(tǒng)大部分都是抽取型的，這類(lèi)方法從給定的文章中，抽取關(guān)鍵的句子或者短語(yǔ), 并重新拼接成一小段摘要，而不對(duì)原本的內(nèi)容做創(chuàng)造性的修改。深度學(xué)習(xí)是一個(gè)生成方法，它會(huì)創(chuàng)造性的生成摘要。最新的方法是神經(jīng)注意力模型(Neural attention model)。

4. 文檔分類(lèi)

?  文檔分類(lèi)：其目的就是利用計(jì)算機(jī)系統(tǒng)對(duì)大量的文檔按照一定的分類(lèi)標(biāo)準(zhǔn)實(shí)現(xiàn)自動(dòng)歸類(lèi)。
  ?  文檔分類(lèi)的方法有基于機(jī)器學(xué)習(xí)的方法(如svm,decision tree)和基于深度學(xué)習(xí)(如cnn,rnn)的方法。
  ?  流程：樣本處理 — 特征選擇 — 分類(lèi)。
  ?  應(yīng)用：圖書(shū)管理、內(nèi)容管理、情感分析等。

5. 問(wèn)答系統(tǒng)

?  問(wèn)答系統(tǒng)(Question answer system)：通過(guò)計(jì)算機(jī)對(duì)人提出的問(wèn)題的理解，利用自動(dòng)推理等手段，在有關(guān)知識(shí)資源中自動(dòng)求解答案并作出相應(yīng)的回答。問(wèn)答技術(shù)有時(shí)與語(yǔ)音技術(shù)、人機(jī)交互技術(shù)等相結(jié)合，構(gòu)成人機(jī)對(duì)話(huà)系統(tǒng)。
  ?  問(wèn)答系統(tǒng)模型通常分為基于檢索的模型和基于生成的模型。
  ?  基于檢索的模型回答是提前定義的，使用規(guī)則引擎、正則匹配或者深度學(xué)習(xí)訓(xùn)練好的分類(lèi)器從數(shù)據(jù)庫(kù)中挑選一個(gè)最佳的回復(fù)。
  ?  基于生成的模型多使用深度學(xué)習(xí)的方法。最流行的方法是seq2seq attention model。

6. 文字識(shí)別

?  文字識(shí)別(Character Recognition)：通過(guò)計(jì)算機(jī)系統(tǒng)對(duì)印刷體或手寫(xiě)體等文字進(jìn)行自動(dòng)識(shí)別，將其轉(zhuǎn)換為計(jì)算機(jī)可以出來(lái)的電子文本。
  ?  傳統(tǒng)的文字識(shí)別方法就是特征工程+分類(lèi)器的方法。深度學(xué)習(xí)的方法主要有rcnn,yolo等。
  ?  流程：預(yù)處理—特征提取和降維—分類(lèi)器—后處理。

7. 語(yǔ)音識(shí)別

?  語(yǔ)音識(shí)別(Speech Recognition):將輸入計(jì)算機(jī)的語(yǔ)音信號(hào)轉(zhuǎn)換成書(shū)面語(yǔ)表示。
  ?  應(yīng)用：文字錄入、人機(jī)通訊、語(yǔ)音翻譯等
  ?  難點(diǎn)：大量存在同音詞、近音詞、集外詞、又音等等。
  ?  輸入：美中貿(mào)易摩擦升級(jí)
  ?  識(shí)別結(jié)果：美中貿(mào)易摩擦生機(jī)
  ?  早期的語(yǔ)音識(shí)別系統(tǒng)主要采用隱馬爾科夫模型來(lái)建模。
  ?  現(xiàn)在的語(yǔ)音識(shí)別系統(tǒng)多采用end2end的方法。

8. 語(yǔ)音生成