在人機(jī)交互過程中，人通過和計(jì)算機(jī)系統(tǒng)進(jìn)行信息交換，信息可以是語音、文本、圖像等一種模態(tài)或多種模態(tài)。對(duì)人來說，采用自然語言與機(jī)器進(jìn)行智能對(duì)話交互是最自然的交互方式之一，但這條路充滿了挑戰(zhàn)，如何機(jī)器人更好的理解人的語言，從而更明確人的意圖？如何給出用戶更精準(zhǔn)和不反感的回復(fù)？都是在人機(jī)交互對(duì)話過程中最為關(guān)注的問題。對(duì)話系統(tǒng)作為NLP的一個(gè)重要研究領(lǐng)域受到大家越來越多的關(guān)注，被應(yīng)用于多個(gè)領(lǐng)域，有著很大的價(jià)值。

▌前言

我從1982年開始坐在電腦前面，一直到現(xiàn)在。上一次做人工智能是27年前，大概1991年的時(shí)候，那個(gè)時(shí)候做人工智能的人非?？蓱z ，因?yàn)樽鍪裁礀|西都注定做不出來，隨便一個(gè)機(jī)器學(xué)習(xí)的訓(xùn)練、神經(jīng)網(wǎng)絡(luò)訓(xùn)練需要20天，調(diào)個(gè)參數(shù)再重新訓(xùn)練又是20天，非常非常慢。電腦棋類我除了圍棋沒做以外，其他都做了，本來這輩子看不到圍棋下贏人，結(jié)果兩年前看到了。后來做語音識(shí)別，語音識(shí)別那個(gè)年代也都是玩具，所以那個(gè)年代做人工智能的人最后四分五裂，因?yàn)楦净畈幌氯?，后來就跑去做?a target="_blank">索引擎、跑去做金融、跑去做其他的行業(yè)。

這次人工智能卷土重來，真的開始進(jìn)入人類生活，在周邊地方幫上我們的忙。今天我來分享這些人機(jī)交互的技術(shù)到底有哪些變化。

先講“一個(gè)手環(huán)的故事”，這是一個(gè)真實(shí)的故事，我們?cè)趦赡昵暗?月份曾經(jīng)想要做這個(gè)，假設(shè)有一個(gè)用戶戴著手環(huán)，“快到周末了，跟女朋友約會(huì)，給個(gè)建議吧”。背后機(jī)器人記得我的一些事情，知道我過去的約會(huì)習(xí)慣是看電影，還是去爬山，還是在家打游戲、看視頻。如果要外出的話，周末的天氣到底怎樣，如果下大雨的話那可能不適合。

而且它知道我喜歡看什么電影、不喜歡看什么電影、我的女朋友喜歡看什么、不喜歡看什么，它甚至知道我跟哪一個(gè)女朋友出去，喜歡吃什么，不喜歡吃什么，餐廳的價(jià)位是吃2000塊一頓，還是200塊一頓，還是30塊一頓的餐館，然后跟女朋友認(rèn)識(shí)多久了，剛認(rèn)識(shí)的可能去高檔一點(diǎn)的地方，認(rèn)識(shí)6年了吃頓便飯就和了，還有約會(huì)習(xí)慣。

有了這些東西之后，機(jī)器人給我一個(gè)回應(yīng)，說有《失落 的世界2》在某某電影院，這是我們習(xí)慣去的地方，看完電影，附近某家餐館的價(jià)位和口味 是符合我們的需要。我跟它說“OK，沒問題”，機(jī)器人就幫我執(zhí)行這個(gè)命令，幫我買電影票、幫我訂餐館、周末時(shí)幫我打車，甚至女朋友剛認(rèn)識(shí)，買一束花放在餐館的桌上。

我們當(dāng)時(shí)想象是做這個(gè)。這個(gè)牽扯到哪些技術(shù)？第一，有記憶力，你跟我講過什么東西，我能記得。還包括人機(jī)交互，我今天跟它講“周末是女朋友生日 ，訂個(gè)好一點(diǎn)的吧?！彼軒臀覔Q個(gè)餐館，能理解我的意思。

如果手環(huán)能夠做到這個(gè)樣子，你會(huì)覺得這個(gè)手環(huán)應(yīng)該是夠聰明的，這個(gè)機(jī)器人是夠聰明的，能夠當(dāng)成 你的助手陪伴你。最后，我們并沒有做出來，我們做到了一部分，但是有一部分并沒有做到。

我們公司的老板叫Kenny，他之前是 微軟亞洲互聯(lián)網(wǎng)工程院副院長，負(fù)責(zé)小冰及cortana的，老板是做搜索引擎出身的，我以前也是做搜索引擎的，做了11年。左下角的曹川在微軟做搜索引擎。右上角在微軟做搜索引擎。右下角在谷歌做搜索引擎。目前的人工智能很多是 搜索引擎跑回來的，因?yàn)樗阉饕嬉彩亲稣Z義理解、文本 分析，和人工智能的文本 分析有一定的相關(guān)度。

▌人機(jī)交互的發(fā)展

一開始都是一些關(guān)鍵詞跟模板的方式，我最常舉的例子，我桌上有一個(gè)音箱，非常有名的一家公司做的，我今天跟這個(gè)音箱說“我不喜歡吃牛肉面”，音箱會(huì)抓到關(guān)鍵詞“牛肉面”，它就跟我說“好的，為您推薦附近的餐館”，推薦給我的第一個(gè)搞不好就是牛肉面。我如果跟它說“我剛剛吃飯吃很飽”，關(guān)鍵詞是“吃飯”，然后它又說“好的，為您推薦附近的餐館”，所以用關(guān)鍵詞的方式并不是不能做，它對(duì)語義意圖理解的準(zhǔn)確率可能在七成、七成五左右，也許到八成，但有些東西它是解不了的，因?yàn)樗⒉皇钦娴睦斫饽氵@句話是什么意思。所以要做得好的話，必須用自然語言理解的方式，用深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)，模板也用得上，把這些技術(shù)混搭在一起，比較有辦法理解你到底要做什么事情。

這個(gè)Chatbot的演變歷程我們不細(xì)講，但我今天要表達(dá)，在人機(jī)交互里面或者語義理解上面，我們分成三個(gè)層次。

最底層的叫自然語言理解，舉例來說，我現(xiàn)在想說“我肚子餓”跟“我想吃東西”這兩句話的句法、句型不太一樣，所以分析的結(jié)果也不太一樣，這是最底層的。

第二層叫“意圖的理解”，這兩句話雖然不一樣，但它們的意圖是一致的，“我肚子餓”跟“我想吃東西”可能代表我想知道附近有什么餐館，或者幫我點(diǎn)個(gè)外賣，這是第二層。目前大家做的是第一層跟第二層。

其實(shí)還有第三層，第三層就是這一句話背后真正的意思是什么，比如我們?cè)诎它c(diǎn)上這個(gè)公開課，我突然當(dāng)著大家的面說“我肚子餓”跟“我想吃東西”，你們心里會(huì)有什么感受？你們心理是不是會(huì)覺得我是不是不耐煩、是不是不想講了。你的感受肯定是負(fù)面的。今天如果我對(duì)著一個(gè)女生說“我肚子餓”，女生心里怎么想？會(huì)想我是不是要約她吃飯，是不是對(duì)她有不良企圖。目前大家離第三層非常遙遠(yuǎn)，要走到那一步才是我們心目中真正要的AI，要走到那一步不可避免有情緒 、情感的識(shí)別、情境的識(shí)別、場(chǎng)景的識(shí)別、上下文的識(shí)別。

我們公司的名字叫“EMOTIBOT”，情感機(jī)器人，我們一開始創(chuàng)立時(shí)就試著把情緒 情感 的識(shí)別做好。我們情緒情感識(shí)別，光文字做了22種情緒 ，這非常變態(tài) ，大部分公司做的是“正、負(fù)、中”三種，但是你看負(fù)面的情緒 ，有反感、憤怒、難過、悲傷、害怕、不喜歡、不高興，這些情緒 都是負(fù)面的，但是它不太一樣，我害怕、我悲傷、 我憤怒，機(jī)器人的反饋方式應(yīng)該是不一樣的。

人臉表情我們做了9種，語言情緒 我們做了4種。而且我們做最多的是把這些情緒混合在一起做了多模態(tài)的情感。舉個(gè)例子，像高考光結(jié)束，我今天看了一段文字：“我高考考了500分”，你看了這段文字不知道該恭喜我還是安慰我。這時(shí)要看講話的語氣，如果我的語氣是說“哦，我高考考了500分?！蹦阋宦牼椭牢沂潜瘋?，所以會(huì)安慰我。所以通常語音情感 比文字情感 來得更直接。

然后人臉表情加進(jìn)來，三個(gè)加在一起，又更麻煩了。我們來看一段視頻，我用桌面 共享。（視頻播放）“鬼知道我經(jīng)歷了什么”，文字上是匹配的——我已經(jīng)要死了、生不如死，我的文字是憤怒的，但我的語音情緒跟臉表情是開心的，所以我的總情緒 仍然是開心的。這是把人臉表情、語音情緒 、文字情緒 混搭在一起做出來的多模態(tài)情感。

▌上下文理解技術(shù)

接下來進(jìn)入比較技術(shù)面的部分，講話聊天時(shí)，任務(wù)型的機(jī)器人一定牽扯到上下文的理解技術(shù)。

什么叫上下文理解技術(shù)？

這是某個(gè)電商網(wǎng)站，我前面一句話跟它說“我要買T恤”，它給我3件T恤，我跟它說“要黑色的”，意思是我要黑色的那件T恤，但它完全不理解我的意思，因?yàn)闆]有上下文。所以它居然在跟我解釋黑色的基本定義是什么，是因?yàn)椴环瞪阅憧床坏焦?，所以它是黑色的。這完全不是我要的東西，所以沒有上下文時(shí)，它的反應(yīng)常常啼笑皆非。

我們來看看上下文怎么做，上下文有幾種做法。第一種是補(bǔ)全與指代消解，像說“明天上海會(huì)不會(huì)下雨”，回答了“明天上海小雨”，“那后天呢”缺了主謂賓等一些東西，所以往上去找，把它補(bǔ)全，把“那后天呢”改成“后天上海會(huì)不會(huì)下雨”，然后機(jī)器人就有辦法處理。

指代消解也是“我喜歡大張偉”，然后機(jī)器人回答說“我也喜歡他”，“他”是誰？這個(gè)代名詞，我知道“他”是大張偉，所以把“我也喜歡他”改成“我也喜歡大張偉”，這樣才有辦法去理解。然后那個(gè)人就說“最喜歡他唱得《倍兒爽》”，那他是誰？要把它改成寫“最喜歡大張偉唱的《倍兒爽》”。這兩個(gè)是基本的東西，基本上每家公司都能夠做得到。

然后我們看難一點(diǎn)的東西，可以不可以做對(duì)話主題式補(bǔ)全？這個(gè)開始有一些上下文在里面，“我喜歡大張偉”，第一句話目前的對(duì)話主題是大張偉，然后它回答說“對(duì)啊，我也喜歡他”改成“我也喜歡大張偉”，這沒問題。

第二句話是“喉嚨痛怎么辦？”這有兩種可能，因?yàn)槲椰F(xiàn)在的對(duì)話主題是大張偉，所以可能是“喉嚨痛怎么辦”，也可能是“大張偉喉嚨痛怎么辦”，這時(shí)候怎么辦？我到底應(yīng)該選哪一個(gè)？先試第一個(gè)“喉嚨痛怎么辦”，居然就可以找到答案了，我知道能夠找到好的答案，我就回答了“喉嚨痛就多喝開水”，目前的對(duì)話主題也變成喉嚨痛。

第三個(gè)是“他唱過什么歌？”這個(gè)他到底是誰？有兩個(gè)對(duì)話主題，一個(gè)是喉嚨痛，一個(gè)是大張偉，有可能是“喉嚨痛他唱過什么歌”或者“大張偉他唱過什么歌”。因?yàn)閮?yōu)先，最近的對(duì)話主題是喉嚨痛，所以我先看第一個(gè)，但是一找不到答案，所以我再去看第二個(gè)“大張偉唱過什么歌”，那我知道大張偉唱過歌，所以他唱過《倍兒爽》，我就可以回答，這是對(duì)話主題式補(bǔ)全。

另外，利用主題做上下文對(duì)話控制。像現(xiàn)在在世界杯，我問你“你喜歡英超哪支球隊(duì)？”我的主題是“運(yùn)動(dòng)”底下的“足球”底下的“五大聯(lián)賽”底樣。的“英超”,我可以回答“我喜歡巴薩”，你問我英超，我回答西甲，這沒有什么太大的毛病，雖然最底下的對(duì)話主題不太一樣，但是前面是一樣的?；蛘吣銌栁易闱颍铱刹豢梢曰卮鸹@球，“我比較喜歡看NBA”，這可能不太好，但是也不至于完全不行。如果我回答說“我喜歡吃蛋炒飯”這肯定是不對(duì)的，因?yàn)槟銌栁业氖沁\(yùn)動(dòng)體育里面的東西，我居然回答美食。

這個(gè)對(duì)話主題我可不可以根據(jù)上下文主題，去生成等一下那句回答應(yīng)該是什么主題？我可以根據(jù)上下文去猜測(cè)等一下你的下一句回答應(yīng)該有哪些關(guān)鍵詞，我可以根據(jù)上下文猜出你下一句是什么句型，是肯定句還是正反問句。我有了關(guān)鍵詞、有了句型、有了主題，我可以造句，造出一句回答，這也是上下文解法的一種?；蛘呶沂裁礀|西都不管，我直接根據(jù)上下文用生成式的方式回你一句話。這個(gè)目前大家還在研究發(fā)展之中，目前的準(zhǔn)確度還不是很高，但這是一個(gè)未來的發(fā)展方向。

▌NLU的重要性

NLU我們做了12個(gè)模塊，最基本的當(dāng)然是分詞，然后詞性標(biāo)注，是主詞還是動(dòng)詞、形容詞稱、第二人稱、第三人稱，然后命名實(shí)體，北京有什么好玩的跟上海有什么好玩的，一個(gè)是北京，一個(gè)是上海，兩個(gè)不太一樣。然后我如果問“你喜歡吃蘋果嗎？”“等一下我們?nèi)コ喳湲?dāng)勞好不好？”這是一個(gè)問句，而且我在問你的個(gè)人意見，所以你的回答可能是一個(gè)肯定的，可能是一個(gè)否定的，也可能反問我一個(gè)問句說“等一下幾點(diǎn)去吃”，無論如何，你的回答不會(huì)跟我講“早安”或“晚安”，因?yàn)槲覇柕氖恰暗纫幌挛覀內(nèi)コ喳湲?dāng)勞好不好。”我們還做了一些奇怪的東西，例如語義角色的標(biāo)注 ，后面可以看到一些例子。

以這個(gè)句子來說，“我明天飛上海，住兩天,要如家”整個(gè)句子的句法結(jié)構(gòu)拆出來，核心動(dòng)詞是“飛、住、要”，把它分出來“我飛”、“飛上?！?、“住兩天”、“要如家”，有了這些核心動(dòng)詞，我知道我的意圖不是訂機(jī)票，如果只有“我明天飛上海”，我的意圖可能是訂機(jī)票，但是因?yàn)橛泻竺娴摹白商臁备耙缂摇?，所以根?jù)這些東西判斷出來我的意圖是訂酒店，根據(jù)這些東西算出來：明天入住，3天后離店，都市是上海，酒店名稱叫如家酒店。整個(gè)東西就可以把它解析出來。

這樣的解法跟深度學(xué)習(xí)黑盒子最大的差別是，這樣的解法先把句子拆成一些零件，拆成一些基本的信息，我再根據(jù)這些信息，可能以深度學(xué)習(xí)的方式判斷你的意圖、對(duì)話主題，這樣我的數(shù)據(jù)量可以小很多。如果整個(gè)大黑盒子，數(shù)據(jù)量要五十萬比、一百萬比、兩百萬比，才能夠有一定的準(zhǔn)確率。今天我做了足夠的拆解，所以我的數(shù)據(jù)量三萬比、五萬比就夠了，就可以訓(xùn)練出一個(gè)還不錯(cuò)的模型。

再介紹一下我如何利用NLU的基礎(chǔ)信息，像“上周買衣服多少錢”這句話，我從Speach Act知道這是一個(gè)問句，是一個(gè)question-info，你不是說“上周買衣服花了好多錢”，這不是一個(gè)問句，就不需要處理。是一個(gè)問句的話，再看它是一個(gè)數(shù)量問句，還是地點(diǎn)的問句，還是時(shí)間的問句，“我什么時(shí)候買了這件衣服？”“我在哪里買了這件衣服？”問句不一樣，后面知道查哪個(gè)數(shù)據(jù)庫的哪張表。根據(jù)核心動(dòng)詞“花錢”跟“買衣服”，知道類別 是衣服飾品，不是吃飯、不是交通，由時(shí)間知道是“上周”，整個(gè)東西就可以幫你算出來。這等于是我一句話先經(jīng)過NLU的解析，再判斷你的意圖和細(xì)節(jié)信息。

▌多輪對(duì)話與機(jī)器人平臺(tái)

像剛剛訂酒店那個(gè)例子，如果表明“我要訂酒店”，訂酒店有8個(gè)信息要抽取，這時(shí)機(jī)器人要跟你交流：你要訂哪里的酒店、幾號(hào)入住、幾號(hào)離店、酒店名稱、星級(jí)、價(jià)格等等這一堆東西。今天我們的用戶不會(huì)乖乖回答。“你要訂哪里的酒店？”他可能乖乖跟你說“上海的”、“北京的”，它也可能跟你說“我明天飛上海，住兩天，要如家”，他一句話就告訴我四個(gè)信息，所以基本用填槽的方式，有N個(gè)槽要填。然后看看這句話里面有哪些信息，把它抽取出來，填到相對(duì)應(yīng)的槽，再根據(jù)哪幾個(gè)槽缺失信息決定下一輪的問句該問什么問題，這樣比較聰明。舉例來說，“我想要買一個(gè)理財(cái)產(chǎn)品”，“您需要是保本還是不保本？”我只問你保本還是不保本，結(jié)果他一次回答“保本的，一年的，預(yù)期收益不低于5個(gè)點(diǎn)。”他一次告訴我3個(gè) 信息，而且3個(gè)信息已經(jīng)夠了，我就直接幫你推薦，不用再問你“你要一年、半年還是兩年的？”這樣的機(jī)器人看起來就很傻。

我們來看一些Live Demo的東西

第一個(gè)是對(duì)話機(jī)器人的定制，如何快速定制自己的機(jī)器人。

我們先切到共享桌面。在這里，假設(shè)我現(xiàn)在創(chuàng)建一個(gè)機(jī)器人，我的名字“小竹子”，然后我是什么機(jī)器人？是一個(gè)聊天 的、電商的還是金融機(jī)器人？我是一個(gè)聊天機(jī)器人好了，兩個(gè)步驟創(chuàng)建完了。然后可以做一些設(shè)置，機(jī)器人有形象，每個(gè)人拿到機(jī)器人會(huì)說：你是男生還是女生？你晚上睡覺嗎？你有沒有長腳？你今年幾歲？你爸爸是誰？你媽媽是誰？你住在哪里？你問“你是男生是女生”時(shí)我回答“我是女生”，可不可以修改？我修改“我是精靈”或者“我沒有性別”，保存。保存以后我還沒有修改，因?yàn)槲覜]有重新建模，我們先來問問看，“你是男生，還是女生？”它還是說“我是女生”。然后“你叫什么名字？”它說“叫小竹子”。我開始問它“明天上海會(huì)不會(huì)下雨？”“那北京呢？”這上下文代表北京明天會(huì)不會(huì)下雨，“北京明天有雨”，我再問“那后天呢？”這個(gè)上下文，是北京的后天還是上海的后天？應(yīng)該是北京的后天，因?yàn)殡x北京最近。

然后再來問它一些知識(shí)類的“姚明有多高？”它告訴我是“226厘米”，我再問它“姚明的老婆有多高”，“190厘米”，還可以做些推論，例如像“謝霆鋒跟陳小春有什么關(guān)系？”這個(gè)很少有人知道，謝霆鋒的前妻是張柏芝，陳小春的前女友也是張柏芝，所以陳小春是謝霆鋒前妻的前男友。這是知識(shí)推論。還有一些該有的功能，如果很無聊，機(jī)器會(huì)跟你聊天。你可以更改任何你想要的回答，你可以更改知識(shí)圖譜，你可以建立自己的意圖。

來看第二個(gè)demo，像多輪對(duì)話場(chǎng)景要怎么做？

我先創(chuàng)建一個(gè)新的場(chǎng)景，場(chǎng)景的名稱叫“竹間訂餐廳”，觸發(fā)條件，什么樣的語句會(huì)觸發(fā)這個(gè)場(chǎng)景？我要新建一個(gè)意圖，意圖的名稱叫“訂餐廳”，使用者說“我要訂位”，或者“我要吃飯”?，F(xiàn)在有一個(gè)訂餐廳的意圖，我只要講“我要吃飯”或者類似的講法，它就知道我要進(jìn)入這個(gè)場(chǎng)景。下一步，訂餐廳有兩個(gè)信息，至少要知道時(shí)間跟人數(shù)，我打算怎么問？我可以有默認(rèn)的問句“你要選擇的時(shí)間是什么？你要選擇的人數(shù)是什么？”但這看起來很死板，我可以自定義“請(qǐng)問 您要訂位的時(shí)間？請(qǐng)問總共有幾位？”這兩個(gè)問句分別抽取時(shí)間跟抽取人數(shù)，然后再下一步。抽取之后可以有一個(gè)外部的鏈接，鏈接到某個(gè)地方去幫你訂位。現(xiàn)在選擇回復(fù)的方式，“訂位成功，您的訂位時(shí)間是**，總共人數(shù)是**，謝謝”，儲(chǔ)存，我一行代碼都沒有寫，然后開始測(cè)試。

再來看下一個(gè)demo，直接用桌面來講，demo訂餐館。為什么訂餐館？因?yàn)樯蟼€(gè)月谷歌demo就是訂餐館，有個(gè)機(jī)器人幫你到餐館訂位置。我說“我要訂位”，它問我“是什么時(shí)間？”我這時(shí)候可以回答一個(gè)句子給它，可以跟它說“國慶節(jié)，我們有大概7、8個(gè)人，還帶2個(gè)孩子。要是可以的話，幫我訂一個(gè)包間，我們7點(diǎn)半左右到，預(yù)定8點(diǎn)”“好的”，它只問我一個(gè)時(shí)間，我回答了這么多東西，有沒有辦法理解？7、8個(gè)人是8個(gè)人，不是78個(gè)人，還帶2個(gè)小孩，要是可以的話幫我訂一個(gè)包間，所以是包廂，7點(diǎn)半左右到，所以預(yù)定8點(diǎn)好了，它有辦法理解?！昂玫摹?，我沒有跟它講時(shí)間是早上8點(diǎn)還是晚上8點(diǎn)，“晚上8點(diǎn)”，“需要寶寶椅嗎？”“因?yàn)槲矣行『?，所以一張寶寶椅”，問我“貴姓”，我說“富翁”，它幫我訂好了，但沒位置“要不要排號(hào)？”“好啊”，我說我有老人，它幫我排了比較方便出入的位置?！靶畔⑹欠裾_”“沒錯(cuò)”，訂位完成。

我們?cè)僭嚵硗庖粋€(gè)，“我要訂位”“什么時(shí)間？”“后天晚上9點(diǎn)，8個(gè)人?！薄耙g還是大堂？”“大堂太吵了，包間好了?！蔽也皇怯藐P(guān)鍵詞做的，如果用關(guān)鍵詞，有大堂 ，有包間，到底是哪一個(gè)？還有預(yù)定都包廂貴姓，“李”，排號(hào)?！坝袥]有人過生日？是否有誤？”“沒問題”，它就幫我訂好了。一個(gè)機(jī)器人如果能夠做到這個(gè)地步，隨便你怎么講，你不按照順序講，甚至你還可以修正，說“我有8個(gè)人，不對(duì)，是9個(gè)人”，它可以知道你是9個(gè)人而不是8個(gè)人。

▌人機(jī)交互下一步

有幾個(gè)案例可以分享：

第一個(gè)AIOT的平臺(tái)，這個(gè)東西目前有一些公司有一些企業(yè)在做，舉例來說，我跟我的手環(huán)、跟我的音箱、跟我的耳機(jī)說我在家里，我跟它說太暗了，太暗了是什么意思？假設(shè)今天我家里有很多盞智能燈都已經(jīng)接到我的平臺(tái)上面，所以我跟我的平臺(tái)講太暗了，有哪些東西是跟光線有關(guān)？我發(fā)現(xiàn)窗簾跟光線有關(guān)，電燈跟光線有關(guān)，我就跑去問說你要開客廳的燈還是廁所的燈還是廚房的燈？這樣問其實(shí)非常傻，因?yàn)槲铱赡苋爽F(xiàn)在是在客廳，你干嗎要問我這個(gè)東西？但是我沒辦法人你到底在哪里？這有幾個(gè)解法，我在家里到處都裝攝像頭，我就知道你在哪里，但是這是一件非?？膳碌氖虑?，家里裝攝像頭相信里心里不太舒服。

當(dāng)然過去的技術(shù)我多裝幾個(gè)WIFI，我裝三個(gè)WIFI在你家里三個(gè)不同的地方，我利用三角定位知道你人在哪里，我知道你在客廳，你說太暗了，我就把客廳的燈打開，我只要背后都是一個(gè)同樣的ALOT的中控中心幫我做這件事情。

另外一個(gè)我可能有多種選擇，我說太熱了，太熱了到底要開窗、開空調(diào)還是開電風(fēng)扇？機(jī)器問你說我要幫你開電扇還是幫你開空調(diào)？你說空調(diào)吧，現(xiàn)在太熱，OK，機(jī)器人幫你執(zhí)行，有些時(shí)候人的意圖有多種可能性，多個(gè)AIOT的家居設(shè)備都跟溫度控制有關(guān)，機(jī)器人可以掌握。當(dāng)然他會(huì)聰明一點(diǎn)，不會(huì)有18個(gè)跟溫度有關(guān)，他一個(gè)一個(gè)問，最后人會(huì)暈倒，這個(gè)東西不會(huì)太遙遠(yuǎn)，我認(rèn)為在一年半到兩年之內(nèi)這些東西會(huì)出來，甚至一年會(huì)出來。慢慢你家里會(huì)變成用ALOT的整個(gè)平臺(tái)跟LOT的設(shè)備來幫你管理這些東西，你會(huì)生活變得更方便。

第二個(gè)人機(jī)交互的下一步是人臉+語音的加入，我可不可以根據(jù)你人臉知道你是男生女生，你現(xiàn)在的情緒是什么？是長頭發(fā)短頭發(fā)，有沒有戴眼鏡，有沒有胡子？語音識(shí)別當(dāng)然是最基本的，這個(gè)已經(jīng)非常非常成熟了，可不可以知道這句話到底代表什么意思？語音把它轉(zhuǎn)變成文本，如果可以的話還可以知道你的語氣，你的語音情緒是憤怒還是悲傷，還是高興？我可以做一些參考，語音的情緒是非常重要的。

這個(gè)東西可以使用，我從人臉表情特征可以做什么，特征做了22種，性別、年齡、膚色、頭發(fā)、眉頭、顏值，長得漂不漂亮，臉形，特征是給人負(fù)面印象是冷酷無情，還是有正面印象你是有一個(gè)魅力值信賴的人，這第一印象這東西說不準(zhǔn)。表情我們做了九種，喜怒哀樂、驚、懼、厭惡、藐視、困惑、中性。還有人臉的行為分析，我的視線目前是專注還是一直這樣低頭，顯得不自信，還是眼神飄忽不定，這東西是什么意思？

我們來講一個(gè)真實(shí)的應(yīng)用的案例。

現(xiàn)在一些新零售，包括無人店，包含一些智慧門店，舉例來說，我們?cè)趲湍硞€(gè)電視的大廠在某個(gè)賣場(chǎng)剛開業(yè)，把我們的技術(shù)放進(jìn)去，同時(shí)有五家公司都是在賣電視，包括競(jìng)爭(zhēng)對(duì)手索尼，其他知名的品牌，那個(gè)賣場(chǎng)開幕三天，我們做了那家夏普收入是90萬，另外四家加起來40多萬，光夏普一家干掉四家的總和還一倍多。這個(gè)怎么做到？第一個(gè)可不可以吸引人流？在我的店的門口擺一個(gè)屏幕，擺一些東西，你攝像頭，你人經(jīng)過的時(shí)候可以抓住你是男生女生，你的顏值怎么樣？你的情緒怎么樣？非常有趣，所有人經(jīng)過停下來看，停下來看你是一個(gè)四十幾歲的男生，推薦里面有什么優(yōu)惠活動(dòng)，你是喜歡的，你是一個(gè)20歲的女生，推薦另外的優(yōu)惠活動(dòng)。你是一對(duì)情侶，是一個(gè)家庭帶著小孩，推薦給你的東西不一樣。

大家看到這個(gè)東西之后，我進(jìn)店的人就會(huì)有機(jī)會(huì)比別人多，再來我可以主動(dòng)式的交互，你走到貨架前面，我看到是一個(gè)長頭發(fā)的女生主動(dòng)跟你聊天，一個(gè)機(jī)器人，一個(gè)屏幕，一個(gè)平板，這位長頭發(fā)的女士你的頭發(fā)很漂亮，我這里有一些洗發(fā)水，有一些潤發(fā)你有什么興趣了解，我根據(jù)你的屬性，因?yàn)槟闶桥L頭發(fā)，給你推薦某些東西跟你對(duì)話，我會(huì)跟你說臉上有一些黑斑，我有一些遮瑕膏你要不要？在對(duì)話的過程中發(fā)現(xiàn)這個(gè)人的臉色越來越難看，我趕快停止這個(gè)話題，這個(gè)東西不應(yīng)該繼續(xù)講下去，是人臉的特征，人臉的情緒跟整個(gè)人機(jī)交互綜合的應(yīng)用。

我們也可以做到，我在一些過道上面，這個(gè)商場(chǎng)的過道，我知道你的人進(jìn)到店里面你是怎么走動(dòng)，我發(fā)現(xiàn)你在某一臺(tái)電視前面停了五分鐘，停了特別久，你離開了什么都沒有買。兩天后你帶著一家大小來了，這是什么意思？你帶著老婆、帶著小孩上門，這可能代表你要來做決定你是要花錢的，而且我根據(jù)你上次的線上購買記錄，因?yàn)槲抑滥愕哪槻浚滥闶钦l，知道你的會(huì)員編號(hào)，我知道你上次買了一臺(tái)2萬多塊的冰箱，所以我知道你的消費(fèi)能力不是那種一兩千塊錢，你可能是兩三萬，我馬上通知銷售員跟他說，這個(gè)人來了買電視，因?yàn)樗麅商烨翱催^某一些電視，而且他的消費(fèi)能力是以萬來計(jì)算的，是萬等級(jí)，所以你上去不要推薦他四千塊的電視，你就是往高往貴推薦。也是因?yàn)檫@樣子，我們的賣場(chǎng)，我們的銷售的業(yè)績能夠比別人好。這些東西我相信在半年一年內(nèi)，大家在各種各樣的商場(chǎng)會(huì)大量看到。

最后我們舉個(gè)例子。今天你們可能說我每個(gè)人都有一個(gè)機(jī)器人，我戴一個(gè)手環(huán)，手環(huán)的背后接我的機(jī)器人，我到每個(gè)店家也都有一套機(jī)器人，麥當(dāng)勞有一套機(jī)器人，肯德基有一套機(jī)器人，今天我走進(jìn)麥當(dāng)勞，對(duì)著我的手環(huán)說我喜歡吃巨無霸，大杯可樂去冰，我的機(jī)器人聽到以后，我機(jī)器人主動(dòng)去找麥當(dāng)勞機(jī)器人，跟它說我要什么東西，兩個(gè)機(jī)器人之間的對(duì)話，不需要用中文，不需要用人類的語言，他們直接數(shù)據(jù)格式的交換，機(jī)器人有機(jī)器人的語言，他們自己交換，交換完以后麥當(dāng)勞機(jī)器人接到這個(gè)訂單通知后面，告訴我三分鐘之后過來拿，可不可以這樣子？我的手環(huán)告訴我說，三分鐘之后可以過去拿。所以未來真的變成一個(gè)機(jī)器人世界，每個(gè)人都有一個(gè)代語，機(jī)器人跟機(jī)器人去溝通，把這個(gè)東西做好。

▌Q&A 時(shí)間

今天是我的分享，再下來是交互的時(shí)間，各位有什么問題想要問的？有人問一下提一下相關(guān)技術(shù)，看一下什么相關(guān)的技術(shù)？如果是圖像的話，圖像最頂尖的公司各位都可以查得到，當(dāng)然目前比較以安防為主，不管是刷臉門禁，慢慢做到情緒情感的部分。如果是平臺(tái)的部分，目前全國做的也差不多有一二十家公司，大家各有它的優(yōu)缺點(diǎn)，看你是一個(gè)封閉的平臺(tái)或者是開放的平臺(tái)，你找人工智能平臺(tái)，語意理解平臺(tái)，人工智能機(jī)器學(xué)習(xí)訓(xùn)練平臺(tái)都可以找得到。

1.有人問說出現(xiàn)設(shè)定外的情緒機(jī)器人能處理嗎？

例如說我的語音情緒做了四種，高興、中性、憤怒跟悲傷，那突然出現(xiàn)一個(gè)害怕，語音出現(xiàn)害怕作為分類是分不出來，這是沒辦法處理的。

2.有人問到表情的理解，我大概講一下我們?cè)趺醋龅模?/p>

我們?nèi)四槺砬楣鈽?biāo)注，標(biāo)注了200萬張的照片以上，每張照片三個(gè)人標(biāo)注，三個(gè)人都說他是高興，OK，他是高興，三個(gè)人說他是悲傷，他是悲傷，三個(gè)人意見不一致，我找心理學(xué)家來做最后的判斷，你去算一算，200萬張的照片三個(gè)人標(biāo)注，總共600萬人次，你需要多少時(shí)間？多少錢？

3.多模態(tài)情緒怎么做？

通過人臉表情算出一個(gè)分?jǐn)?shù)，語音情緒算出一個(gè)分?jǐn)?shù)，文字的情緒算出一個(gè)分?jǐn)?shù)，我們背后有兩種模型，第一個(gè)規(guī)則，人臉表情就是多少分，語音情緒多少分以上，我加成上一個(gè)比重，或者說文字情緒算出來，這是一種方式。

另外一種，我們后面用的一個(gè)深度學(xué)習(xí)的模型，我們把這些所有的值標(biāo)進(jìn)去算出一個(gè)總情緒，當(dāng)然一樣需要大量的標(biāo)注數(shù)據(jù)。

4.有人問對(duì)話的答案是能機(jī)器人自動(dòng)合成組合出來嗎？

這是自動(dòng)生成的范圍，目前來說我認(rèn)為，我實(shí)際上看到正確率大概在3—5成之間，它回答好的大概在3成—5成，有一半的概率不靠譜。

5.知識(shí)圖譜學(xué)習(xí)多少可用？

這個(gè)東西看你的領(lǐng)域，如果你是金融領(lǐng)域，金融知識(shí)可能12萬、18萬就夠了，如果你是一個(gè)醫(yī)療領(lǐng)域，可能是幾十萬，但是如果你是聊天的領(lǐng)域，衣食住行、電影、電視這些東西，加起來要800萬—1200萬知識(shí)圖譜的數(shù)據(jù)量。有些公司大企業(yè)做搜索引擎的，天生的數(shù)據(jù)量特別大，知識(shí)圖譜可能有8億，有20億，非常非常大量的數(shù)據(jù)。

6.有人問到說交流的過程中打錯(cuò)字怎么辦？語音轉(zhuǎn)文字效果不好，如何提高意圖識(shí)別準(zhǔn)確率？

在有限的場(chǎng)景之下，這個(gè)有辦法做到，像電視就68個(gè)意圖，100個(gè)意圖，可以做的非常準(zhǔn)，真的可以轉(zhuǎn)成拼音去做，或者真的用一些模糊匹配的方式，可以把匹配的閾值放大一點(diǎn)可以做得好。在一個(gè)聊天的場(chǎng)景，有限的場(chǎng)景這個(gè)是不可能做得好的。

這其實(shí)是包含語音識(shí)別在內(nèi)的，語音識(shí)別大家的普通話不一定很標(biāo)準(zhǔn)，像我也是有口音的，所以我語音轉(zhuǎn)轉(zhuǎn)文字，可不可以把它轉(zhuǎn)成拼音，我把平舌、翹舌、前鼻音、后鼻音把它去掉，這樣ch就跟c是一樣的，zh就跟z是一樣的，我用這些方法是做正規(guī)化。這些東西尤其在找歌曲的名字、電影的名字、視頻的名字非常有用，因?yàn)槟愀枨拿帜敲撮L，視頻的名字那么長，電視劇的名字那么長，你不一定講對(duì)，我要看《春嬌志明明》，沒有春嬌志明，是《志明與春嬌》，我要看《三生三世》，我知道三生三世十里桃花，我要看半月傳，羋月傳傳那個(gè)羋我不會(huì)念，我念成半月傳找不到，但是我發(fā)現(xiàn)用戶查字典，問了人，下句話他講對(duì)了我要看羋月傳，我發(fā)現(xiàn)你上面這句話跟下面這句話句型非常非常類似，你上面那句話找不到，下面那句話居然找到了，我可不可以說可能半月傳就是等于羋月傳，自動(dòng)把它抓出來，做得好由人工判斷，人工做最后的判斷，這些東西就打勾打勾，這些東西是同義詞，一樣就把它輸入進(jìn)去重新訓(xùn)練就好了。

7.有人問到對(duì)話主題怎么建立？

我這個(gè)屏幕有限都是跳著回答，對(duì)話主題不算很龐大了，你的主題看你做到幾百種幾、幾千種，主題是有階層次的關(guān)系。就是說你的對(duì)話主題做出來之后你如何確定這句話是什么主題？當(dāng)然有關(guān)鍵詞，也有機(jī)器學(xué)習(xí)、深度學(xué)習(xí)的方式都可以去做，而且準(zhǔn)確度不會(huì)太低。

8.有人說在交流的過程中出現(xiàn)場(chǎng)景之外，怎么做到多輪？

就像剛剛那個(gè)我訂酒店機(jī)票訂到一半突然說我失戀了，機(jī)器人可以怎么回答？機(jī)器人可以開始跟你聊失戀的話題，訂酒店就算了，這是一種解法。列另外一種解法，我訂酒店訂到一半失戀了，我跟你說你失戀了好可憐，敷衍你一下，繼續(xù)問你說剛剛酒店還沒有訂，你要不要訂？你要不要繼續(xù)？我先把前一個(gè)場(chǎng)景處理掉，確定你場(chǎng)景已經(jīng)結(jié)束，我才讓你到下一個(gè)場(chǎng)景。

9.有人問怎么判斷哪個(gè)答案更好？

假設(shè)我背后有18個(gè)模塊，有20個(gè)模塊，有20個(gè)模塊都可以出答案，天氣、講笑話、知識(shí)圖譜的聊天、各種各樣的場(chǎng)景、訂酒店、訂機(jī)票，一樣我一句話進(jìn)來，我可不可以讓每個(gè)模塊舉手，這個(gè)模塊說這句話我可以回答，別的模塊說這句話我可以回答，當(dāng)然每個(gè)模塊都會(huì)回答，而且每個(gè)模塊除了回答以外會(huì)有一個(gè)信心分?jǐn)?shù)，當(dāng)然有些模塊我都是100分，跑來搶答案，這個(gè)時(shí)候就要看你到底靠不靠譜？當(dāng)然我在我的中控中心，我根據(jù)上下文判斷我的情緒，我的意圖，我的主題，我發(fā)現(xiàn)說你的對(duì)話主題是體育、運(yùn)動(dòng)，回答的對(duì)話主題是美食，我把這個(gè)答案直接丟掉，我發(fā)現(xiàn)你的問句是快樂的，回答居然是一句悲傷的句子，直接把它丟掉。我可以利用我的中控中心做這樣的事情，還是沒辦法，有些模塊是亂回答的話，我把它分?jǐn)?shù)降低，它以后宣稱它自己是100分，我都打個(gè)八折，以證明它不靠譜。

10.一語雙關(guān)的語句可以理解多少？

這個(gè)非常難，這個(gè)是目前解不了的，現(xiàn)在世界杯，我們舉例，中國乒乓球誰都打不贏，中國足球誰都踢不贏，這兩句話的句型完全一模一樣，但是意思可能是相反的，那這個(gè)東西怎么理解？老實(shí)話目前還做不到這個(gè)地步，不知道五年后、十年后可能有機(jī)會(huì)，剛剛兩句話你去問一個(gè)小學(xué)生，其實(shí)小學(xué)生也搞不懂，你要足夠的社會(huì)知識(shí)，你有足夠的社會(huì)歷練你才知道這句話什么意思。

11.怎么知道機(jī)器的回答對(duì)不對(duì)？

有幾種方法了，有一種還是看人工，我今天機(jī)器人回答，這個(gè)用戶就生氣了，用戶說你這個(gè)機(jī)器人好笨，我都聽不懂你在講什么，顯然這個(gè)機(jī)器人回答不好，我就可以反饋回去說這個(gè)回答不對(duì)。另外一種，我發(fā)現(xiàn)我回答以后，這個(gè)用戶決定直接轉(zhuǎn)人工，假設(shè)我是一個(gè)智能客服，回答完以后用戶決定轉(zhuǎn)人工，代表我剛剛的回答肯定是有問題的。第三種是說，我同樣的問題問了第三次，我開戶該帶哪些證件？機(jī)器人回答我不滿意，我再問我到底該怎么開戶？再問說開戶到底應(yīng)該怎么辦？我三個(gè)句子不太一樣，其實(shí)意思是一樣的，所以今天當(dāng)問了第三句話，代表我前面的回答一定不對(duì)，用戶會(huì)問到第三句，基本上靠人的反饋來做。

12.有人問對(duì)于學(xué)生有什么建議？

在校的學(xué)生我的建議是說，你要先想，你現(xiàn)在有很多（01：00：35英文）各式各樣的框架，數(shù)據(jù)網(wǎng)絡(luò)上也都能拿得到，甚至這些代碼都可以直接下載，你就可以做一些基本的東西，這是練習(xí)，你最后要解決仍然是真實(shí)的問題，你到底要解決什么問題？解決那些問題你打算怎么解？你要設(shè)定一個(gè)目標(biāo)，解到使什么地步才是人類可以用的，而不是做一個(gè)模型，做一個(gè)PPT，這個(gè)是不夠的，你越早能夠知道人工智能實(shí)際的技術(shù)邊界在哪里，什么東西只是一個(gè)花俏的東西，什么是東西是真的可以用的，這個(gè)對(duì)你未來進(jìn)入職場(chǎng)會(huì)有幫助，或者對(duì)你未來研究的方向有幫助，畢竟人工智能幫助人，幫助各種各樣的行業(yè)，才能夠幫上忙。

13.有人問什么時(shí)候機(jī)器人可以寫一本中文小說，或者機(jī)器人什么時(shí)候可以思考？

我覺得還非常非常遙遠(yuǎn)，也許十年，也許十五年，機(jī)器人的思考方式一定跟人是不一樣的，但是現(xiàn)在機(jī)器人都是一大堆的規(guī)則，我不覺得機(jī)器人是可以思考，甚至有創(chuàng)造力。

14.五年內(nèi)人工智能的實(shí)際應(yīng)用場(chǎng)景結(jié)合最好的方向？

這個(gè)我無法預(yù)測(cè)，人工智能目前都在摸索，我大概可以猜到一年后會(huì)有哪些東西？哪些東西是假的，哪些東西不可能實(shí)現(xiàn)的，哪些東西是有機(jī)會(huì)的，一年內(nèi)我大概可以猜得出來，五年內(nèi)我猜不出來，因?yàn)榧夹g(shù)的發(fā)展超過我的控制范圍。但是我覺得深度學(xué)習(xí)、機(jī)器學(xué)習(xí)沒辦法解決NLP，NLP的復(fù)雜度不是可以解決的，而且沒有這樣的數(shù)據(jù)鏈，NLP要解決好也許還出現(xiàn)更新的科技能夠出來。

15.如何斷句，如何分詞？

這樣說好了這其實(shí)是一個(gè)大的難題，我在黃浦江邊，我是分成黃浦跟江邊，還是黃浦江跟邊，你好可愛，是你好、可愛還是你好加可愛，我們先不要講長句，光這個(gè)短句分可能分錯(cuò)，有時(shí)候你好在一起，有時(shí)候你好要分開，這個(gè)東西只能說我拿現(xiàn)在的東西，我再去不斷不斷優(yōu)化，而且有可能說，我們累積好幾萬的bug，我去看這些bug我可能用新的模型來解，新的bug可能用新的算法來解，一群一群去解這些問題，才能慢慢前進(jìn)，這個(gè)沒有什么快速的方法。