對(duì)話機(jī)器人創(chuàng)建平臺(tái) - 如何成為一名對(duì)話系統(tǒng)工程師

如果你只是想把一個(gè)功能較簡(jiǎn)單的對(duì)話機(jī)器人（Bot）應(yīng)用于自己的產(chǎn)品，Bot創(chuàng)建平臺(tái)是最好的選擇。Bot創(chuàng)建平臺(tái)幫助沒(méi)有人工智能技術(shù)積累的用戶和企業(yè)快速創(chuàng)建對(duì)話機(jī)器人，國(guó)外比較典型的Bot創(chuàng)建平臺(tái)有Facebook的Wit.ai和Google的Dialogflow（前身為Api.ai），國(guó)內(nèi)也有不少創(chuàng)業(yè)團(tuán)隊(duì)在做這方面的事，比如一個(gè)AI、知麻、如意等。

檢索型單輪對(duì)話機(jī)器人

檢索型單輪機(jī)器人（FQA-Bot）涉及到的技術(shù)和信息檢索類(lèi)似，流程圖2所示。

圖2 FAQ-Bot流程圖

因?yàn)閝uery和候選答案包含的詞都很少，所以會(huì)利用同義詞和復(fù)述等技術(shù)對(duì)query和候選答案進(jìn)行擴(kuò)展和改寫(xiě)。詞表示工具Word2vec、GloVe、Fasttext等可以獲得每個(gè)詞的向量表示，然后使用這些詞向量計(jì)算每對(duì)詞之間的相似性，獲得同義詞候選集。當(dāng)然同義詞也可以通過(guò)已經(jīng)存在的結(jié)構(gòu)化知識(shí)源如WordNet、HowNet等獲得。復(fù)述可以使用一些半監(jiān)督方法如DIRT在單語(yǔ)語(yǔ)料上進(jìn)行構(gòu)建，也可以使用雙語(yǔ)語(yǔ)料進(jìn)行構(gòu)建。PPDB網(wǎng)站包含了很多從雙語(yǔ)語(yǔ)料構(gòu)建出來(lái)的復(fù)述數(shù)據(jù)集。

知識(shí)圖譜型機(jī)器人

知識(shí)圖譜型機(jī)器人（KG-Bot，也稱為問(wèn)答系統(tǒng)），利用知識(shí)圖譜進(jìn)行推理并回答一些事實(shí)型問(wèn)題。知識(shí)圖譜通常把知識(shí)表示成三元組—— (主語(yǔ)、關(guān)系、賓語(yǔ)) ，其中關(guān)系表示主語(yǔ)和賓語(yǔ)之間存在的某種關(guān)系。

構(gòu)建通用的知識(shí)圖譜非常困難，不建議從0開(kāi)始構(gòu)建。我們可以直接使用一些公開(kāi)的通用知識(shí)圖譜，如YAGO、DBpedia、CN-DBpedia、Freebase等。特定領(lǐng)域知識(shí)圖譜的構(gòu)建可參考“知識(shí)圖譜技術(shù)原理介紹”（ ），“最全知識(shí)圖譜綜述#1: 概念以及構(gòu)建技術(shù)”（ https://mp.weixin.qq.com/s/aFjZ3mKcJGszHKtMcO2zFQ）等文章。知識(shí)圖譜可以使用圖數(shù)據(jù)庫(kù)存儲(chǔ)，如Neo4j、OrientDB等。當(dāng)然如果數(shù)據(jù)量小的話MySQL、SQLite也是不錯(cuò)的選擇。

為了把用戶query映射到知識(shí)圖譜的三元組上，通常會(huì)使用到實(shí)體鏈接（把query中的實(shí)體對(duì)應(yīng)到知識(shí)圖譜中的實(shí)體）、關(guān)系抽?。ㄗR(shí)別query中包含的關(guān)系）和知識(shí)推理（query可能包含多個(gè)而不是單個(gè)關(guān)系，對(duì)應(yīng)知識(shí)圖譜中的一條路徑，推理就是找出這條路徑）等技術(shù)。

任務(wù)型多輪對(duì)話機(jī)器人

任務(wù)型多輪機(jī)器人（Task-Bot）通過(guò)多次與用戶對(duì)話交互來(lái)輔助用戶完成某項(xiàng)明確具體的任務(wù)，流程圖見(jiàn)圖3。

圖3 Task-Bot流程圖

除了與語(yǔ)音交互的ASR和TTS部分，它包含以下幾個(gè)流程：

?

語(yǔ)言理解（SLU）：把用戶輸入的自然語(yǔ)言轉(zhuǎn)變?yōu)榻Y(jié)構(gòu)化信息——act-slot-value三元組。例如餐廳訂座應(yīng)用中用戶說(shuō)“訂云海肴中關(guān)村店”，我們通過(guò)NLU把它轉(zhuǎn)化為結(jié)構(gòu)化信息：“inform(order_op=預(yù)訂, restaurant_name=云海肴, subbranch=中關(guān)村店)”，其中的“inform”是動(dòng)作名稱，而括號(hào)中的是識(shí)別出的槽位及其取值。
NLU可以使用語(yǔ)義解析或語(yǔ)義標(biāo)注的方式獲得，也可以把它分解為多個(gè)分類(lèi)任務(wù)來(lái)解決，典型代表是Semantic Tuple Classifier（STC）模型。

?

?

對(duì)話管理（DM）：綜合用戶當(dāng)前query和歷史對(duì)話中已獲得的信息后，給出機(jī)器答復(fù)的結(jié)構(gòu)化表示。對(duì)話管理包含兩個(gè)模塊：對(duì)話狀態(tài)追蹤（DST）和策略優(yōu)化（DPO）。
DST維護(hù)對(duì)話狀態(tài)，它依據(jù)最新的系統(tǒng)和用戶行為，把舊對(duì)話狀態(tài)更新為新對(duì)話狀態(tài)。其中對(duì)話狀態(tài)應(yīng)該包含持續(xù)對(duì)話所需要的各種信息。
DPO根據(jù)DST維護(hù)的對(duì)話狀態(tài)，確定當(dāng)前狀態(tài)下機(jī)器人應(yīng)如何進(jìn)行答復(fù)，也即采取何種策略答復(fù)是最優(yōu)的。這是典型的增強(qiáng)學(xué)習(xí)問(wèn)題，所以可以使用DQN等深度增強(qiáng)學(xué)習(xí)模型進(jìn)行建模。系統(tǒng)動(dòng)作和槽位較少時(shí)也可以把此問(wèn)題視為分類(lèi)問(wèn)題。

?

?

自然語(yǔ)言產(chǎn)生（NLG）：把DM輸出的結(jié)構(gòu)化對(duì)話策略還原成對(duì)人友好的自然語(yǔ)言。簡(jiǎn)單的NLG方法可以是事先設(shè)定好的回復(fù)模板，復(fù)雜的可以使用深度學(xué)習(xí)生成模型，如“Semantically Conditioned LSTM”通過(guò)在LSTM中加入對(duì)話動(dòng)作cell輔助答復(fù)生成。
任務(wù)型對(duì)話機(jī)器人最權(quán)威的研究者是劍橋大學(xué)的Steve Young教授，強(qiáng)烈推薦他的教程“Statistical Spoken Dialogue Systems”。他的諸多博士生針對(duì)上面各個(gè)流程都做了很細(xì)致的研究，想了解細(xì)節(jié)的話可以參考他們的博士論文。相關(guān)課程可參考Milica Ga?i?的“Speech and Language Technology”。
除了把整個(gè)問(wèn)題分解成上面幾個(gè)流程分別優(yōu)化，目前很多學(xué)者也在探索使用端到端技術(shù)整體解決這個(gè)問(wèn)題，代表工作有Tsung-Hsien Wen等人的“A Network-based End-to-End Trainable Task-Oriented Dialogue System”和Xiujun Li等人的“End-to-End Task-Completion Neural Dialogue Systems”。后一篇的開(kāi)源代碼https://github.com/MiuLab/TC-Bot，非常值得學(xué)習(xí)。

?

閑聊型機(jī)器人