計(jì)算機(jī)是如何理解人類語(yǔ)言的?

面向用戶：對(duì)NLP感興趣，想學(xué)習(xí)處理問(wèn)題思路并通過(guò)實(shí)例代碼練手

Adam Geitgey畢業(yè)于佐治亞理工學(xué)院，曾在團(tuán)購(gòu)網(wǎng)站Groupon擔(dān)任軟件工程師總監(jiān)。目前是軟件工程和機(jī)器學(xué)習(xí)顧問(wèn)，課程作者，Linkedin Learning的合作講師。

計(jì)算機(jī)是如何理解人類語(yǔ)言的?

讓機(jī)器理解人類語(yǔ)言，是一件非常困難的事情。計(jì)算機(jī)的專長(zhǎng)在處理結(jié)構(gòu)化數(shù)據(jù)，但人類語(yǔ)言是非常復(fù)雜的，碎片化，松散，甚至不合邏輯、心口不一。

既然直男不能明白為什么女朋友會(huì)生氣，那計(jì)算機(jī)當(dāng)然無(wú)法理解A叫B為孫子的時(shí)候，是在喊親戚、罵街，或只是朋友間的玩笑。

面對(duì)人類，計(jì)算機(jī)相當(dāng)于是金剛隕石直男。

正是由于人工智能技術(shù)的發(fā)展，不斷讓我們相信，計(jì)算機(jī)總有一天可以聽(tīng)懂人類表達(dá)，甚至像真人一樣和人溝通。那么，就讓我們開(kāi)始這算美好的教程吧。

創(chuàng)建一個(gè)NLP Pipeline

London is the capital and most populous city of England and the United Kingdom. Standing on the River Thames in the south east of the island of Great Britain, London has been a major settlement for two millennia. It was founded by the Romans, who named it Londinium.

倫敦，是英國(guó)的首都，人口居全國(guó)之首。位于大不列顛島東南方泰晤士河流域，在此后兩個(gè)世紀(jì)內(nèi)為這一地區(qū)最重要的定居點(diǎn)之一。它于公元50年由羅馬人建立，取名為倫蒂尼恩。

-- 維基百科

Step 1：斷句（句子切分）

上面介紹倫敦的一段話，可以切分成3個(gè)句子：

倫敦是大不列顛的首都，人口居全國(guó)之首（London is the capital and most populous city of England and the United Kingdom）

位于泰晤士河流域（Standing on the River Thames in the south east of the island of Great Britain, London has been a major settlement for two millennia）

它于公元50年由羅馬人建立，取名為倫蒂尼恩（It was founded by the Romans, who named it Londinium）

Step 2：分詞

由于中文的分詞邏輯和英文有所不同，所以這里就直接使用原文了。接下來(lái)我們一句一句的處理。首先第一句：

“London”, “is”, “ the”, “capital”, “and”, “most”, “populous”, “city”, “of”, “England”, “and”, “the”, “United”, “Kingdom”, “.”

英文的分詞相對(duì)簡(jiǎn)單一些，兩個(gè)空格之間可以看做一個(gè)詞（word），標(biāo)點(diǎn)符號(hào)也有含義，所以把標(biāo)點(diǎn)符號(hào)也看做一個(gè)詞。

Step 3：區(qū)分單詞的角色

我們需要區(qū)分出一個(gè)詞在句子中的角色，是名詞？動(dòng)詞？還是介詞。我們使用一個(gè)預(yù)先經(jīng)過(guò)幾百萬(wàn)英文句子訓(xùn)練、被調(diào)教好的詞性標(biāo)注（POS: Part Of Speech）分類模型：

這里有一點(diǎn)一定要記?。耗Ｐ椭皇腔诮y(tǒng)計(jì)結(jié)果給詞打上標(biāo)簽，它并不了解一個(gè)詞的真實(shí)含義，這一點(diǎn)和人類對(duì)詞語(yǔ)的理解方式是完全不同的。

處理結(jié)果：

可以看到。我們等到的信息中，名詞有兩個(gè)，分別是倫敦和首都。倫敦是個(gè)獨(dú)特的名稱，首都是個(gè)通用的稱謂，因此我們就可以判斷，這句話很可能是在圍繞倫敦這個(gè)詞說(shuō)事兒。

Step 4： 文本詞形還原

很多基于字母拼寫(xiě)的語(yǔ)言，像英語(yǔ)、法語(yǔ)、德語(yǔ)等，都會(huì)有一些詞形的變化，比如單復(fù)數(shù)變化、時(shí)態(tài)變化等。比如：

I had a pony（我有過(guò)一匹矮馬）

I have two ponies （我有兩匹矮馬）

其實(shí)兩個(gè)句子的關(guān)鍵點(diǎn)都是矮馬pony。Ponies和pony、had和have只是同一個(gè)詞的不同詞形，計(jì)算機(jī)因?yàn)椴⒉恢榔渲械暮x，所以在它眼里都是完全不一樣的東西，

讓計(jì)算機(jī)明白這個(gè)道理的過(guò)程，就叫做詞形還原。對(duì)之前有關(guān)倫敦介紹的第一句話進(jìn)行詞形還原后，得到下圖

Step 5：識(shí)別停用詞

停用詞：在信息檢索中，為節(jié)省存儲(chǔ)空間和提高搜索效率，在處理自然語(yǔ)言數(shù)據(jù)（或文本）之前或之后會(huì)自動(dòng)過(guò)濾掉某些字或詞，這些字或詞即被稱為Stop Words(停用詞)。這些停用詞都是人工輸入、非自動(dòng)化生成的，生成后的停用詞會(huì)形成一個(gè)停用詞表。但是，并沒(méi)有一個(gè)明確的停用詞表能夠適用于所有的工具。甚至有一些工具是明確地避免使用停用詞來(lái)支持短語(yǔ)搜索的。

-- 維基百科

還是來(lái)看第一句話：

其中灰色的字，僅僅是起到銜接和輔助表述的作用。他們的存在，對(duì)計(jì)算機(jī)來(lái)說(shuō)更多是噪音。所以我們需要把這些詞識(shí)別出來(lái)。

正如維基所說(shuō)，現(xiàn)在雖然停用詞列表很多，但一定要根據(jù)實(shí)際情況進(jìn)行配置。比如英語(yǔ)的the，通常情況是停用詞，但很多樂(lè)隊(duì)名字里有the這個(gè)詞，The Doors, The Who，甚至有個(gè)樂(lè)隊(duì)直接就叫The The！這個(gè)時(shí)候就不能看做是停用詞了。

Step 6：解析依賴關(guān)系

解析句子中每個(gè)詞之間的依賴關(guān)系，最終建立起一個(gè)關(guān)系依賴樹(shù)。這個(gè)數(shù)的root是關(guān)鍵動(dòng)詞，從這個(gè)關(guān)鍵動(dòng)詞開(kāi)始，把整個(gè)句子中的詞都聯(lián)系起來(lái)。

從這個(gè)關(guān)系樹(shù)來(lái)看，主語(yǔ)是London，它和capital被be聯(lián)系起來(lái)。然后計(jì)算機(jī)就知道，London is a capital。如此類推，我們的計(jì)算機(jī)就被訓(xùn)練的掌握越來(lái)越多的信息。

但因?yàn)槿祟愓Z(yǔ)言的歧義性，這個(gè)模型依然無(wú)法適應(yīng)所有場(chǎng)景。但是隨著我們給他更多的訓(xùn)練，我們的NLP模型會(huì)不斷提高準(zhǔn)確性。Demo地址

https://explosion.ai/demos/displacy?utm_source=AiHl0

我們還可以選擇把相關(guān)的詞進(jìn)行合并分組，例如把名詞以及修飾它的形容詞合并成一個(gè)詞組短語(yǔ)。不過(guò)這一步工作不是必須要有的，視具體情況而定。

Step 7：命名實(shí)體識(shí)別

經(jīng)過(guò)以上的工作，接下來(lái)我們就可以直接使用現(xiàn)有的命名實(shí)體識(shí)別（NER: Named Entity Recognition）系統(tǒng)，來(lái)給名詞打標(biāo)簽。比如我們可以把第一句話當(dāng)中的地理名稱識(shí)別出來(lái):

大家也可以通過(guò)下面的鏈接，在線體驗(yàn)一下。隨便復(fù)制粘貼一段英文，他會(huì)自動(dòng)識(shí)別出里面包含哪些類別的名詞：

https://explosion.ai/demos/displacy-ent?utm_source=AiHl0

Step 8：共指消解

人類的語(yǔ)言很復(fù)雜，但在使用過(guò)程中卻是傾向于簡(jiǎn)化和省略的。比如他，它，這個(gè)，那個(gè)，前者，后者…這種指代的詞，再比如縮寫(xiě)簡(jiǎn)稱，北京大學(xué)通常稱為北大，中華人民共和國(guó)通常就叫中國(guó)。這種現(xiàn)象，被稱為共指現(xiàn)象。

在特定語(yǔ)境下人類可以毫不費(fèi)力的區(qū)別出它這個(gè)字，到底指的是牛，還是手機(jī)。但是計(jì)算機(jī)需要通過(guò)共指消解才能知道下面這句話

它于公元50年由羅馬人建立，取名為倫蒂尼恩

中的它，指的是倫敦，而不是羅馬，不是羅紋，更不是蘿卜。

共指消解相對(duì)而言是我們此次創(chuàng)建NLP Pipeline所有環(huán)節(jié)中，最難的部分。

Coding

好了。思路終于講完了。接下來(lái)就是Coding的部分。首先我們理一下思路

提示：上述步驟只是標(biāo)準(zhǔn)流程，實(shí)際工作中需要根據(jù)項(xiàng)目具體的需求和條件，合理安排順序。

安裝spaCy

我們默認(rèn)你已經(jīng)安裝了Python 3。如果沒(méi)有的話，你知道該怎么做。接下來(lái)是安裝spaCy：

安裝好以后，使用下面代碼

結(jié)果如下

GPE：地理位置、地名

FAC：設(shè)施、建筑

DATE：日期

NORP：國(guó)家、地區(qū)

PERSON：人名

我們看到，因?yàn)長(zhǎng)ondinium這個(gè)地名不夠常見(jiàn)，所以spaCy就做了一個(gè)大膽的猜測(cè)，猜這可能是個(gè)人名。

我們接下來(lái)進(jìn)一步，構(gòu)建一個(gè)數(shù)據(jù)清理器。假設(shè)你拿到了一份全國(guó)酒店入住人員登記表，你想把里面的人名找出來(lái)替換掉，而不改動(dòng)酒店名、地名等名詞，可以這樣做：

把所有標(biāo)注為[PERSON]的詞都替換成REDACTED。最終結(jié)果

提取詳細(xì)信息

利用spaCy識(shí)別并定位的名詞，然后利用textacy就可以把一整篇文章的信息都提取出來(lái)。我們?cè)趙iki上復(fù)制整篇介紹倫敦的內(nèi)容到以下代碼

你會(huì)得到如下結(jié)果

我們獲得了這么多有用的信息，就可以應(yīng)用在很多場(chǎng)景下。比如，搜索結(jié)果的相關(guān)推薦：

我們可以通過(guò)下面這種方法實(shí)現(xiàn)上圖的效果