思必馳俞凱：關(guān)于自然語言技術(shù)的暢想

自然語言技術(shù)的未來，其關(guān)鍵點是'自然'兩個字。

11月最后一天，思必馳聯(lián)合創(chuàng)始人、首席科學家俞凱博士在清華x-lab主辦的人工智能研習社第七課上，如此評價自然語言處理，并與現(xiàn)場聽眾一起暢想了這一潛力巨大的技術(shù)將走向哪里。

思必馳聯(lián)合創(chuàng)始人俞凱在清華演講

在這場題為《認知型口語對話智能》的講座上，俞凱認為認知交互面臨的最主要的挑戰(zhàn)一定不是語音，因為從語音識別的角度上來說，問題明確，只要專門向這個領域去做，絕大部分都可以優(yōu)化的很好。

他認為其最大的挑戰(zhàn)還是對話的過程，例如針對抑郁癥患者治療的這類場景，語音對話更像是有目的的聊天，如果沒有很強的數(shù)學背景在后面做支持，是很難的，只有在一個垂直領域積累更多的數(shù)據(jù)，才能做得更好。

大數(shù)據(jù)文摘整理的俞凱博士本次講座內(nèi)容如下，在不改變原意的前提下有刪改：

今天的題目叫認知型口語對話智能，核心點是兩個字：“對話”。

這兩個字不單單包含語音，還包含語言。從人機變遷講起來，我在清華待了八年時間，在這八年當中，我們經(jīng)歷了人和機器在不同時代交互的幾個變遷。

我們?yōu)槭裁撮_始關(guān)心口語對話智能

今天第一個要講的問題，就是我們?yōu)槭裁撮_始關(guān)心口語對話智能。

剛開始的時候我們使用的是Windows圖形交互界面，通過機器圖形交互界面使得人和信息可以進行交流，我們奇跡般的看到了打印出來很工整的排版。而到了現(xiàn)在，在2011年開始，手機變成智能手機，使用開始變的非常廣泛，這個時代自然的語言（手動輸入、語音）逐漸形成了我們現(xiàn)在的交互手段。再往后我們發(fā)現(xiàn)通過口語溝通是未來智能信息獲取最核心的東西，而移動互聯(lián)網(wǎng)的時代，最關(guān)鍵的是這一類溝通產(chǎn)生了一種新的模式，那就是交互。

講座現(xiàn)場圖

在上世紀出現(xiàn)Google、百度等搜索引擎的時候，交互還是單向的，但出現(xiàn)智能手機之后我們的交互變成了雙向。比如蘋果的交互史，在剛開始做出來第一代iPhone的時候并沒有語音交互的能力，但經(jīng)過市場調(diào)研之后發(fā)現(xiàn)有75%的用戶都希望有語音控制。于是，在后面兩代iPhone加入了語音控制，但到后面發(fā)現(xiàn)實際使用的用戶竟然不到5%，蘋果經(jīng)過總結(jié)之后發(fā)現(xiàn)不僅僅是語音，還必須有自然語言交互。于是在iPhone4S上面出現(xiàn)了Siri,再次經(jīng)過市場調(diào)研之后發(fā)現(xiàn)，大概有87%的用戶至少在一個月會使用一次Siri。

而且，他們還發(fā)現(xiàn)了一件事情，這87%的用戶使用Siri的時候基本上都是在調(diào)戲Siri，并不做其它的事情，這導致蘋果并不能賺到錢。這也促使了蘋果在2015年收購了一家做統(tǒng)計對話交互的公司VocalIQ,這會讓技術(shù)語音識別和語義連在一起形成完整的閉環(huán)，Siri就可以為我們提供新的功能了。

講座現(xiàn)場圖

現(xiàn)如今大家都說是互聯(lián)網(wǎng)時代，那么如今的信息發(fā)展到什么程度了呢？有一個統(tǒng)計顯示，到2017年年底，全世界物聯(lián)網(wǎng)智能設備的總數(shù)將首次超過人類總數(shù)。而且這些智能設備絕大部分是沒有或者擁有很小的屏幕，并沒有辦法進行很復雜的操作，這些設備如果想要去訪問最核心抽象復雜的信息，只能是語音或者對話的形式。這也是眾多巨頭從2014年的音箱開始，推出一系列智能音箱的原因。從技術(shù)上講，這件事情不僅僅是要解決框架的問題，還包括了對話管理、識別、合成以及我們的理解。

語音識別存在的問題和機遇

我們會碰到什么樣的問題，以及在這個過程中有多少和我們的應用相關(guān)的機會。

首先是語音識別。

語音識別是感知技術(shù)這一類里面前沿的技術(shù)，當許多人看到語音識別，第一個會想到的問題就是語音識別似乎已經(jīng)被解決了，當我們使用一個包羅萬象的語音識別系統(tǒng)的時候，我講“疏影橫斜水清淺，暗香浮動月黃昏”這樣的東西都可以比較完整的出來。但盡管采用了深度學習的技術(shù)，仍然避免不了錯誤，它也會偶爾的有一些語音識別的錯誤出現(xiàn)，而我們的任務就是使得它像人一樣，在有錯誤的時候，完整的去進行人機交互，修正錯誤，這需要感知技術(shù)和認知技術(shù)相互的幫助來實現(xiàn)。

第二是計算能力。

語音識別的解決是與計算能力有關(guān)的，舉一個例子，剛才我在做演示的時候，這個演示的應用背后早期使用的深度神經(jīng)網(wǎng)絡，共有7層，每層有2048個節(jié)點，輸入是1320，輸出是將近1萬，這大概有4500萬的參數(shù)，在做語音識別的時候我們是把每秒鐘的語音切成100份，每一份提取1320個向量，大家想象我在一秒鐘要讓特征向量經(jīng)過100次深度神經(jīng)網(wǎng)絡計算，之后還要在數(shù)以億計節(jié)點的搜索網(wǎng)絡里再去搜它，所以這個運算是非常非常復雜的。曾經(jīng)有過統(tǒng)計，整個語音識別會分成搜索的速度和做神經(jīng)網(wǎng)絡前向傳遞的速度，這兩個速度的比例，在傳統(tǒng)系統(tǒng)里面前向傳遞的速度占30%-40%，后面在各種各樣的語言空間搜索的速度大體占60%-70%。所以，在技術(shù)上必須突破速度的問題。

現(xiàn)場聽眾提問

感知智能另外一件事是如何把它做得更小。整個信息技術(shù)的變化和推進一定是和技術(shù)基礎的推進有關(guān)，性能抗噪能不能達到90%、能不能在手機手表上面也做到大詞匯等新的挑戰(zhàn)不斷應運而生，隨著在智能物聯(lián)網(wǎng)方面我們做出各種各種的優(yōu)化之后，這樣的挑戰(zhàn)開始被一個個的克服掉。

認知這個事情更加麻煩。人機對話并不是大家想象那樣，對話也是分成很多種形態(tài)的，有的可以很好的解決，有的卻毫無頭緒。如果以不同的輪回次數(shù)來分類，大概可以分為下面幾種。第一種是模式最少的，單輪模式，即我說一句它回答一句，而且沒有什么特定的結(jié)構(gòu)化語義，這種情況基本上是命令式的，十分簡單。復雜一點的則是問答，現(xiàn)在的經(jīng)典深度學習技術(shù)很多是用來解決問答這個問題的，因為問答基本上是一問一答，你說一句它會給你一個答案，偶爾會帶有一點上下文，這并不是真正意義上多輪的東西。還有一類是閑聊，比如微軟小冰，你不停的說，它就不停的跟你聊天。閑聊的準則就是以聊得時間來定義的，曾經(jīng)有一位用戶，聊了好幾個小時依然在繼續(xù)。但這里面是沒有什么目標意義的，所以閑聊要考慮的是如何把一些比較有趣的東西融入進去。

但是里面究竟有什么意義，機器是不會去關(guān)注的，只要有用戶黏性跟它一直聊下去，特點是多輪，沒什么結(jié)構(gòu)化的東西。偶爾會加一些知識，現(xiàn)在希望把這個東西融合起來，這是方向，本質(zhì)上沒有什么結(jié)構(gòu)化的東西。所以閑聊這一類事情實際上更多的是怎么樣能夠把一些比較有趣的東西融進去。實事求是來講目前還缺乏一套比較扎實的理論體系，能夠真正在理論上解決掉。

最后一類是任務型的多輪對話，這類對話是有比較扎實的數(shù)學基礎的，把對話看做是一個序列決策過程。

這一技術(shù)的三個層面

如果從認知層級的結(jié)算上來講，我們會把認知技術(shù)分為三個層面。

第一種是靜態(tài)層面，我隨便說一句話，自然語言能不能理解，能不能映射到正確的意思上面去。

第二類是交互決策，意思是我在說話的時候如何進行反饋，比如我對一個機器說我要找到餐館，它要明白我想去哪、吃什么。

第三是進化，我想要便宜的東西，它卻以為我想要貴的，當它發(fā)現(xiàn)錯了之后下一次一定要更新自己的反饋策略，進化出自己的認知。

聊一件和各位相關(guān)的事情：大規(guī)?？啥ㄖ茖υ捴悄堋Ｔ谥v整個對話智能的時候，我們會發(fā)現(xiàn)在整個流程里面，每一個環(huán)節(jié)都看起來很美好，但一到專業(yè)領域的環(huán)節(jié)就會變得不一樣了。比如做對話模式，做購物的場景與金融、家庭的場景所理解的東西完全不一樣，這個時候就要看做出來的模型是否每一個場景都能識別，是否能很好的支持。在細節(jié)上面，還有很多個性化需求，例如喚醒。當我們喊小樂給我放一首歌的時候，這個小樂就是一種喚醒。但有的時候我們希望它有好幾個名字，這種需要多喚醒詞的需求在未來會出現(xiàn)更多。

當我們真正去做的時候，會希望在我們所使用的口語對話系統(tǒng)上的支撐可以定制。而大規(guī)?？啥ㄖ剖俏覀兲岢龅男赂拍?，在2013年我們發(fā)布了一個叫“對話工場”的平臺，2017年升級到大規(guī)?？啥ㄖ频摹?a href="http://ttokpm.com/tags/dialog/" target="_blank">Dialogue User Interface”，DUI，其本質(zhì)上是把圖形界面和語音界面在對話交互的框架下結(jié)合在一起。

定制性的語音交互技術(shù)可以做什么？

這時候，我們會好奇，這些定制技術(shù)能做什么呢？比如可以在做實時語音識別和大詞匯語音識別的時候，做出來一個功能，當語義改變的時候，語音識別會對我們自動添加的詞做自動識別，比如我們添加了“瀧澤蘿拉”四個字，語音識別系統(tǒng)能自動把它加入詞表并具有識別的能力，繼而在實現(xiàn)理解和交互。

我們想要做一件事情，在一個車載的系統(tǒng)里面，自動選擇一些聲音添加進去，當想要林志玲甜甜聲音的時候，喊一聲林志玲出來，絕對不會再出來郭德綱的聲音，讓它回去它就會切換為原本的郭德綱聲音。我們希望這樣的事情可以很自由的來回切換。更進一步，我們要支持對理解和對話進行相應的定制。

在這個過程里，在我們真正背后的技術(shù)上來說，已經(jīng)不再是一般的語音的和對話的交互，不再僅僅是前面我們提到的感知和認知的獨立框架。在這里要解決的問題是所謂大規(guī)?？啥ㄖ频囊恍┬录夹g(shù)。比如說在識別里，要解決所謂的自適應的問題。比如說話人和環(huán)境的自適應、領域主題的自適應等這些東西可以及時的去改變它，可以使得對話有很多的自適應。如果實現(xiàn)這些自適應規(guī)?；脑掃€需要有相應的系統(tǒng)支持。在這個過程里需要有具體的技術(shù)拆借、需要有模型定制，能夠使得它規(guī)模化的擴展，并且在個性的基礎之上去進行進化，這一類東西里會有很多新型的技術(shù)出現(xiàn)，但這些技術(shù)都需要技術(shù)基礎的支撐。