解讀人工智能理解的自然語(yǔ)言的原理和概念

人工智能理解自然語(yǔ)言的原理是什么？

人工智能理解自然語(yǔ)言的原理是什么？要有針對(duì)性地回答該問(wèn)題，需先將它的議題邊界進(jìn)行明確定義。如果將該問(wèn)題理解為如何利用計(jì)算機(jī)工具處理和分析自然語(yǔ)言，以實(shí)現(xiàn)人與計(jì)算機(jī)通過(guò)自然語(yǔ)言進(jìn)行的有效溝通，那么可以得到一個(gè)相對(duì)狹義的回答；如果要梳理“人工智能”、“理解”、“自然語(yǔ)言”等問(wèn)題中的概念，那么也可以獲得一個(gè)相對(duì)廣義的探討。

狹義地講，利用計(jì)算機(jī)進(jìn)行語(yǔ)言分析的研究是一門語(yǔ)言學(xué)與計(jì)算機(jī)科學(xué)的交叉學(xué)科，學(xué)術(shù)界稱之為“計(jì)算語(yǔ)言學(xué)”(Computational Linguistics)，或者是“自然語(yǔ)言處理”(Natural Language Processing, 縮寫：NLP)。如果將程序理解為“數(shù)據(jù)結(jié)構(gòu)+算法”，那么NLP可以類比的理解為“語(yǔ)言學(xué)范疇+計(jì)算模型”。其中，語(yǔ)言學(xué)范疇是指由語(yǔ)言學(xué)家定義的語(yǔ)言學(xué)概念和標(biāo)準(zhǔn)(如詞、詞性、語(yǔ)法、語(yǔ)義角色、篇章結(jié)構(gòu)等)，NLP處理的任務(wù)大多來(lái)源于此；具體實(shí)現(xiàn)的計(jì)算模型或算法通常由計(jì)算機(jī)學(xué)家研制。

一般來(lái)說(shuō)，通用的基礎(chǔ)NLP總是與語(yǔ)言學(xué)領(lǐng)域的范疇直接相關(guān)聯(lián)的，研究包括：詞干提取(Stemming)、詞形還原(Lemmatization)、分詞(Word Segmentation)、詞性標(biāo)注(Part-of-speech, POS)、命名實(shí)體識(shí)別(Named Entity Recognition, NER)、詞義消歧(Word Sense Disambiguation, WSD)、組塊識(shí)別(Chunk Recognition)、句法分析(e.g. Dependency Parsing)、語(yǔ)義角色標(biāo)注(Semantic Role Labelling, SRL)、共指消解(Coreference Resolution)、篇章分析(Discourse Analysis)等。還有一些NLP研究不與語(yǔ)言學(xué)范疇直接關(guān)聯(lián)，而是面向文本處理應(yīng)用的，比如：機(jī)器翻譯、文本摘要、信息抽取、情感分類、信息檢索、問(wèn)答系統(tǒng)等，這些面向應(yīng)用的NLP技術(shù)多多少少會(huì)依賴于前面所介紹的幾類NLP基礎(chǔ)研究。例如，文本摘要可能用到的NLP基礎(chǔ)技術(shù)一般就涉及分詞、命名實(shí)體識(shí)別等。

在計(jì)算模型研究方面，有理性主義和經(jīng)驗(yàn)主義兩條研究路線可以走，即所謂的“規(guī)則方法”和“統(tǒng)計(jì)方法”。由于自然語(yǔ)言在本質(zhì)上屬于人類社會(huì)因交流需要而產(chǎn)生的符號(hào)系統(tǒng)，其規(guī)則和推理特征鮮明，因此早期NLP的研究首要采用規(guī)則方法。然而，一方面，人類語(yǔ)言畢竟不是形式語(yǔ)言，規(guī)則模式往往隱式存在語(yǔ)言當(dāng)中(比如漢語(yǔ)的語(yǔ)法規(guī)則是相當(dāng)?shù)暮痪_)，規(guī)則的制定并不容易；另一方面，自然語(yǔ)言的復(fù)雜性使得規(guī)則很難既無(wú)沖突又能涵蓋全部的語(yǔ)言現(xiàn)象，于是這種基于理性主義的規(guī)則方法使得NLP研究長(zhǎng)時(shí)間停留在一種小范圍可用的Toy階段。直到大規(guī)模語(yǔ)料庫(kù)的建設(shè)和統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法流行開來(lái)后，NLP研究才逐漸走向了面向?qū)嵱没牡缆贰＝y(tǒng)計(jì)方法省去了很多人工編制規(guī)則的負(fù)擔(dān)，在模型生成方面自動(dòng)評(píng)估特征的權(quán)重，具有較好的魯棒性。然而，當(dāng)我們想要得到一個(gè)好的自然語(yǔ)言處理結(jié)果時(shí)，在設(shè)計(jì)反映語(yǔ)言現(xiàn)象洞見(Insight)的模型結(jié)構(gòu)以及合適的特征設(shè)計(jì)方面，仍離不開NLP研究人員對(duì)語(yǔ)言的深入理解及其智力的支持。

可以看到，NLP的處理方式是將理解自然語(yǔ)言的過(guò)程看作是一種對(duì)語(yǔ)言現(xiàn)象的數(shù)學(xué)建模。一方面要求研究者有扎實(shí)的語(yǔ)言學(xué)知識(shí)背景，另一方面也要具備深厚的數(shù)理功底和機(jī)器學(xué)習(xí)經(jīng)驗(yàn)。這樣在面對(duì)一個(gè)具體的自然語(yǔ)言處理問(wèn)題時(shí)，才能將其分解為具備可操作性的建模任務(wù)。從這個(gè)角度講，NLP并非是真正理解自然語(yǔ)言，只是將語(yǔ)言處理當(dāng)作一種計(jì)算任務(wù)。

如果不把理解自然語(yǔ)言簡(jiǎn)單地看作是數(shù)學(xué)建模，那么從廣義層面，人工智能理解自然語(yǔ)言指的是什么呢？首先，需要明確一下所謂的“自然語(yǔ)言”、“人工智能”、“理解”等概念。

“自然語(yǔ)言”的含義相對(duì)明確，一般是指人類社會(huì)中逐漸發(fā)明和演變的用于溝通交流的語(yǔ)言，比如語(yǔ)音、手勢(shì)語(yǔ)、書面語(yǔ)言等。這里為論述方便，將討論范圍約束在文本形式為載體的語(yǔ)言中，主要是書面自然語(yǔ)言，也包括口語(yǔ)表達(dá)的語(yǔ)言。

“人工智能”不是個(gè)能夠清晰定義的概念。泛泛地說(shuō)，人工智能是指機(jī)器智能體(Agent)模擬人類所表現(xiàn)出的智能活動(dòng)，包括人類感知外界的能力、決策推理的能力、甚至擁有情感、意志的能力等。從外延構(gòu)成上，人工智能包括兩個(gè)方面：研究?jī)?nèi)容和方法論。研究?jī)?nèi)容即大家熟知的在科研機(jī)構(gòu)開展的各類研究課題，包括：知識(shí)表達(dá)與推理、語(yǔ)音識(shí)別、計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、自動(dòng)規(guī)劃與調(diào)度、機(jī)器人學(xué)等。而方法論是指實(shí)現(xiàn)人工智能模擬人類智能的視角和指導(dǎo)原則。實(shí)現(xiàn)人工智能主要有三種主流的觀點(diǎn)和視角：符號(hào)主義、聯(lián)結(jié)主義、行為主義。符號(hào)主義(Symbolism)認(rèn)為，應(yīng)該從數(shù)理邏輯演繹的角度來(lái)模擬人的思維智能活動(dòng)。知識(shí)工程、專家系統(tǒng)等一系列理論與技術(shù)的發(fā)展無(wú)不受到符號(hào)主義思潮的影響。聯(lián)結(jié)主義(Connectionism)源于對(duì)人腦模型的仿生學(xué)研究。McCulloch和Pitts提出的神經(jīng)元腦模型M-P模型、Hebb提出的神經(jīng)元學(xué)習(xí)規(guī)則、Rosenblatt的感知器概念等研究盡可能地從仿生學(xué)角度模擬了人腦結(jié)構(gòu)。而后來(lái)的BP反向傳播算法、將受限Boltzmann機(jī)引入深度學(xué)習(xí)等研究則更多的是從可計(jì)算性的角度大大擴(kuò)展了神經(jīng)網(wǎng)絡(luò)模型的大規(guī)模應(yīng)用性。行為主義(Behaviorism)將重點(diǎn)關(guān)注在可觀測(cè)的人類行為上，認(rèn)為人類通過(guò)行為與外界環(huán)境的交互而得到自適應(yīng)性，從而獲得智能。行為主義研究中常見的實(shí)現(xiàn)技術(shù)有進(jìn)化計(jì)算(遺傳算法)、強(qiáng)化學(xué)習(xí)等?，F(xiàn)有主流的以規(guī)則和統(tǒng)計(jì)相結(jié)合的自然語(yǔ)言處理技術(shù)，其規(guī)則的一面與符號(hào)主義演繹推理的視角是相一致的；其統(tǒng)計(jì)的一面?zhèn)戎赜趶臄?shù)據(jù)中挖掘出語(yǔ)言學(xué)的一般性規(guī)律，屬于歸納性思維。近些年來(lái)，詞向量(如word2vec)等語(yǔ)言知識(shí)的分布式表示開始流行，這種分布式表示能夠很自然的接入到神經(jīng)網(wǎng)絡(luò)模型，進(jìn)行數(shù)據(jù)歸納學(xué)習(xí)，在一定程度上促進(jìn)了聯(lián)結(jié)主義自然語(yǔ)言處理的發(fā)展。

說(shuō)到“理解”，大多數(shù)人的共識(shí)是機(jī)器無(wú)法真正理解自然語(yǔ)言，但是人類可以理解。一個(gè)典型的證據(jù)來(lái)源于美國(guó)哲學(xué)家John Searle通過(guò)“中文房間”思想實(shí)驗(yàn)對(duì)圖靈測(cè)試的反駁。圖靈測(cè)試用于判斷機(jī)器是否具備人類智能。該測(cè)試的實(shí)驗(yàn)思路是:讓一個(gè)不知情的質(zhì)問(wèn)者詢問(wèn)一臺(tái)計(jì)算機(jī)和一個(gè)志愿者，通過(guò)多輪檢驗(yàn)后如果質(zhì)問(wèn)者仍然無(wú)法判別計(jì)算機(jī)和志愿者分別是誰(shuí)，那么說(shuō)明計(jì)算機(jī)通過(guò)了圖靈測(cè)試，意味著計(jì)算機(jī)具備了人類智能，擁有理解能力。Searle利用“中文房間”思想實(shí)驗(yàn)對(duì)圖靈測(cè)試進(jìn)行了批駁。該思想實(shí)驗(yàn)的大意是，一個(gè)說(shuō)英語(yǔ)的人在房間內(nèi)通過(guò)查找中文對(duì)照表與屋外人用中文交流。在屋外人看來(lái)，房間內(nèi)的人會(huì)說(shuō)流利的中文，而實(shí)際上他卻完全不懂中文。在本文作者看來(lái)，暫且不必太糾結(jié)機(jī)器能否真的理解自然語(yǔ)言。事實(shí)上，人在語(yǔ)言交流時(shí)很多情況下也未必做得很好。例如，在談及“元宵”時(shí)，全國(guó)各個(gè)地方對(duì)“元宵”的具體理解是有差異的；在談及“豪宅”時(shí)，香港和內(nèi)地人在房屋尺寸上的理解也是不同的；一些溫度感受的概念如“冷/熱”，生活在不同緯度地區(qū)的人們對(duì)標(biāo)的溫度也是有別的。在認(rèn)知語(yǔ)言學(xué)看來(lái)，概念的語(yǔ)義并非是從字典中羅列的靜態(tài)含義。事實(shí)上，每個(gè)人對(duì)概念的理解與他個(gè)人特異化的體驗(yàn)環(huán)境有關(guān)。即便是同一概念，不同人也有不同的解讀。例如，在多數(shù)情況下，擁有相似生活體驗(yàn)的人們，談?wù)撃骋还餐掝}時(shí)才更有可能產(chǎn)生所謂的“感同身受”。語(yǔ)義理解的困難尚且如此，人們?cè)谌粘?huì)話交際時(shí)還會(huì)產(chǎn)生語(yǔ)用理解的困難。請(qǐng)看這樣一對(duì)會(huì)話，甲：“晚上去KTV嗎”？乙：“我爸從天津回來(lái)了”。如果僅僅從字面語(yǔ)義來(lái)看待甲乙兩人的會(huì)話是無(wú)法理解乙的回答的。實(shí)際上，乙通過(guò)告訴對(duì)方“我爸從天津回來(lái)了”來(lái)暗示自己沒(méi)有辦法接受甲的邀請(qǐng)，這是一種涉及語(yǔ)用的間接拒絕，反映了言語(yǔ)交際的真正意圖。充分理解會(huì)話雙方的語(yǔ)用意圖需要借助會(huì)話的語(yǔ)境推理，影響推理的因素不僅包括會(huì)話上下文、會(huì)話時(shí)間地點(diǎn)等物理環(huán)境，也包括會(huì)話雙方的共識(shí)知識(shí)、性格特點(diǎn)、文化背景等。人與人在語(yǔ)言交流中的相互理解仍是不易的，更何況是機(jī)器的真正理解。那么我們?cè)诶脵C(jī)器處理自然語(yǔ)言時(shí)，可以不必過(guò)多在意它是否真的能理解這個(gè)問(wèn)題本身，而是將精力關(guān)注在如何讓智能體盡可能多地模擬人的智能，讓機(jī)器具備人一樣的功能。

自然語(yǔ)言理解方面，雖然以聯(lián)結(jié)主義為代表的神經(jīng)網(wǎng)絡(luò)模型在物理表征層面盡可能地嘗試模仿人腦結(jié)構(gòu)，然而在一些處理機(jī)制方面仍與人腦存在巨大的差異。這里討論三個(gè)問(wèn)題。

一. 人腦如何從底層的聯(lián)結(jié)計(jì)算向上自動(dòng)形成出可推理的符號(hào)計(jì)算？人腦的基礎(chǔ)構(gòu)成是數(shù)億萬(wàn)神經(jīng)元及其形成的聯(lián)結(jié)結(jié)構(gòu)，信息輸入是連續(xù)數(shù)值形式的，然而通過(guò)人腦的層層高級(jí)加工最終卻可以將信息概念化，進(jìn)而形成高效的符號(hào)計(jì)算與推理。新的知識(shí)可以通過(guò)概念組合或者推理獲得，而無(wú)需再通過(guò)大規(guī)模的數(shù)據(jù)驅(qū)動(dòng)得到。例如，如果人腦從大量文本素材中學(xué)習(xí)得到句子的“主(noun)+謂(verb)+賓(noun)”模式，那么當(dāng)看到一句話“a1a2b1b2c1”，已知“b1b2”是動(dòng)詞，“c1”是名詞，很有可能推理出“a1a2”是名詞也是句子的主語(yǔ)。進(jìn)一步的，如果已知“b1b2”是個(gè)體才能實(shí)施的動(dòng)作，那么可以推斷出“a1a2”很有可能是命名實(shí)體，即使我們不預(yù)先知道“a1a2”的內(nèi)部用詞構(gòu)成。在圖像處理領(lǐng)域，目前的深度學(xué)習(xí)技術(shù)可以將圖像信息逐層抽象，自發(fā)地學(xué)習(xí)出高層特征，形成高級(jí)語(yǔ)義模式。這對(duì)自動(dòng)化的模擬自然語(yǔ)言理解具有借鑒意義，然而實(shí)際上處理自然語(yǔ)言則困難得多。目前，如何利用底層的文本輸入，讓機(jī)器像人腦一樣通過(guò)逐層信息加工自動(dòng)生成高級(jí)的語(yǔ)言學(xué)離散符號(hào)及其模式規(guī)則，其形成機(jī)制并不清晰。

二. 如何讓機(jī)器像人腦一樣實(shí)現(xiàn)反饋式的自然語(yǔ)言理解？NLP研究的主流做法是將單個(gè)自然語(yǔ)言任務(wù)封裝成一個(gè)模塊，模塊之間按照自然語(yǔ)言任務(wù)的高低級(jí)之分0次序串聯(lián)起來(lái)。例如，對(duì)于句子的句法分析，通常的做法是先分詞、詞性標(biāo)注、命名實(shí)體識(shí)別、組塊識(shí)別等，這些信息可以作為高層句法分析的特征。然而，低級(jí)語(yǔ)言分析的錯(cuò)誤也會(huì)傳導(dǎo)到高級(jí)語(yǔ)言分析任務(wù)上來(lái)。如果分詞有錯(cuò)誤，也會(huì)影響到最終句法分析的性能。與之相反的是，人腦在進(jìn)行自然語(yǔ)言理解時(shí)，并非總是按照各個(gè)語(yǔ)言分析模塊以串行相接的方式進(jìn)行。例如前面給出的句子“a1a2b1b2c1”，當(dāng)我們暫時(shí)無(wú)法辨別“a1a2”是否是命名實(shí)體時(shí)，暫且將這個(gè)任務(wù)放一放，轉(zhuǎn)而考慮句子后面的信息。當(dāng)我們逐漸分析出來(lái)整個(gè)句子可能是“主(noun)+謂(verb)+賓(noun)”的句法模式時(shí)，這種更高層的信息作為正面反饋有利于反過(guò)來(lái)推測(cè)“a1a2”是命名實(shí)體。這個(gè)例子中，命名實(shí)體的識(shí)別反而采用了更高層的句法信息作為線索?，F(xiàn)有的人工智能的自然語(yǔ)言處理流程是固定的，而人腦對(duì)自然語(yǔ)言處理的流程則可以根據(jù)實(shí)際情況做出改變。

三. 語(yǔ)義流變的自動(dòng)學(xué)習(xí)。大量的詞匯在社會(huì)的不同歷史時(shí)期會(huì)有不同的語(yǔ)義，形成語(yǔ)義流變。例如，“小姐”一詞的內(nèi)涵從古至今就一直發(fā)生著變化?！靶〗恪痹谥袊?guó)封建社會(huì)通常是指大戶人家有著良好教養(yǎng)的未婚年輕女子；新中國(guó)建立后，隨著傳統(tǒng)封建社會(huì)中“小姐”對(duì)應(yīng)的人物角色在社會(huì)中逐漸消失，“小姐”一詞的使用也越來(lái)越少；然而，當(dāng)人們對(duì)從事色情行業(yè)的女子冠以“小姐”的稱呼時(shí)，“小姐”一詞又產(chǎn)生了相應(yīng)的新詞義。因此，出于詞匯語(yǔ)義流變的客觀存在性，不可能一次性設(shè)計(jì)出一個(gè)完整而全面的機(jī)讀詞義辭典來(lái)支持自然語(yǔ)言的語(yǔ)義理解。當(dāng)社會(huì)上出現(xiàn)詞匯的新解時(shí)，一般就需要手動(dòng)維護(hù)和更新語(yǔ)義辭典。如果對(duì)機(jī)器概念和知識(shí)的更新只停留在人工輸入階段，那么機(jī)器就永遠(yuǎn)無(wú)法實(shí)現(xiàn)像人一樣的自動(dòng)學(xué)習(xí)與進(jìn)化。

一方面，人們對(duì)人腦的語(yǔ)言與思維的研究尚且并不充分。另一方面，現(xiàn)有的人工智能在理解自然語(yǔ)言的處理機(jī)制方面與人腦存在巨大的差異，那么是否意味著人工智能在自然語(yǔ)言理解的發(fā)展存在著難以克服的瓶頸呢？答案未必這樣悲觀。如果我們審視人類自身，會(huì)發(fā)現(xiàn)語(yǔ)言與思維的產(chǎn)生不僅與人腦基礎(chǔ)的神經(jīng)連接結(jié)構(gòu)有關(guān)，也受到外界語(yǔ)言環(huán)境激勵(lì)的影響。如果將聯(lián)結(jié)主義和行為主義的思想結(jié)合起來(lái)，以仿生模擬的方式來(lái)“調(diào)教”機(jī)器智能體，就像教育兒童習(xí)得語(yǔ)言那樣以交互激勵(lì)的方式學(xué)習(xí)語(yǔ)言，那么經(jīng)過(guò)很多代的更新和迭代后，機(jī)器智能體可能會(huì)進(jìn)化出自己的語(yǔ)言習(xí)得裝置，產(chǎn)生特異化的語(yǔ)言模式，而這些語(yǔ)言模式在表征上以分布式的形式存儲(chǔ)于神經(jīng)權(quán)值網(wǎng)絡(luò)之中，使得人類理解起來(lái)異常困難。就像AlphaGo戰(zhàn)勝了世界圍棋高手，但是它的出棋策略已經(jīng)很難被制造者所理解。采用仿生學(xué)模擬的方式讓機(jī)器進(jìn)化，意味著創(chuàng)造者對(duì)機(jī)器放棄了一定的控制權(quán)。正如凱文·凱利在《失控》中所說(shuō)，一旦讓機(jī)器進(jìn)化出了智能，那么其代價(jià)是人類終將失去對(duì)機(jī)器的控制。人類可能最終不僅不理解人腦中語(yǔ)言與思維的產(chǎn)生機(jī)制，也難以理解機(jī)器智能體中的語(yǔ)言和思維是如何形成的。

以上是云知聲NLP團(tuán)隊(duì)的一點(diǎn)心得和思考，限于篇幅，在這里先分享這么多。歡迎大家與我們多多交流。

答主相關(guān)

作為一家專注物聯(lián)網(wǎng)人工智能服務(wù)、世界頂尖智能語(yǔ)音識(shí)別技術(shù)的高新技術(shù)企業(yè)，云知聲的NLP團(tuán)隊(duì)一直在為提升人與機(jī)器的會(huì)話交互體驗(yàn)而努力，從提升語(yǔ)義理解能力到突破語(yǔ)用理解、讓機(jī)器生成更人性化的應(yīng)答反饋、以及逐漸讓機(jī)器成為可自動(dòng)回答的“知識(shí)專家”……持續(xù)不懈的升級(jí)過(guò)程既很有挑戰(zhàn)性、也非常有趣。我們的努力目標(biāo)是讓人與機(jī)器實(shí)現(xiàn)自然語(yǔ)言交互、可順利進(jìn)行多輪對(duì)話、擁有強(qiáng)大的語(yǔ)用計(jì)算能力，讓機(jī)器有知識(shí)、能決策、自學(xué)習(xí)，并且有性格、有情感。

我們已經(jīng)在2013年開放了業(yè)內(nèi)第一個(gè)同時(shí)支持語(yǔ)義解析、問(wèn)答和多輪對(duì)話的語(yǔ)義云，還在2016年推出業(yè)內(nèi)第一個(gè)語(yǔ)用計(jì)算引擎，支持融合語(yǔ)境信息的理解、生成和交互框架。深度學(xué)習(xí)技術(shù)是我們提升機(jī)器理解能力的主要“法寶”，目前已經(jīng)能讓機(jī)器理解60+垂直領(lǐng)域（例如醫(yī)療、家居等），平均語(yǔ)義解析準(zhǔn)確率達(dá)到93%。NLP可以深耕的點(diǎn)很多，希望與對(duì)NLP感興趣的童鞋進(jìn)一步探討。