語音是第三次交互革命,自然語言處理技術(shù)的發(fā)展和行業(yè)應(yīng)用

4月19日，清華大學(xué)《人工智能前沿與產(chǎn)業(yè)趨勢》系列課程第三講開課，本講主題是“自然語言處理技術(shù)的發(fā)展和行業(yè)應(yīng)用”。自然語言處理（NLP）被認(rèn)為是人工智能研究中最為困難，也是最重要的問題之一，不僅基礎(chǔ)研究難，技術(shù)落地和應(yīng)用場景也很復(fù)雜。本課由百度度秘事業(yè)部總經(jīng)理景鯤主講。新智元作為獨(dú)家合作媒體，帶來干貨整理。

主講老師

雷鳴

天使投資人

百度創(chuàng)始七劍客之一

酷我音樂創(chuàng)始人

清華大學(xué)海峽研究院大數(shù)據(jù) AI 中心 專家委員

特邀講者

景鯤

百度度秘事業(yè)部總經(jīng)理

景鯤 2014 年加入百度，就職于大搜索任總產(chǎn)品架構(gòu)師，負(fù)責(zé)百度大搜索整體產(chǎn)品規(guī)劃、創(chuàng)新與落地推進(jìn)。帶領(lǐng)團(tuán)隊(duì)大刀闊斧的創(chuàng)新整體搜索體驗(yàn)，為數(shù)以億計(jì)的用戶提供平等便捷的搜索服務(wù)。同時(shí)與團(tuán)隊(duì)一起開創(chuàng)式的引入了語音搜索、圖像搜索、對(duì)話式搜索等創(chuàng)新搜索交互方式。構(gòu)思和推動(dòng)了人工智能機(jī)器人助理度秘整體業(yè)務(wù)從想法、落地，到取得國際領(lǐng)先的優(yōu)勢，推動(dòng)了整個(gè)業(yè)界對(duì)智能對(duì)話領(lǐng)域的認(rèn)知。2016 年 10 月，全面接手度秘團(tuán)隊(duì)的管理工作。促成度秘與國安廣視、小魚在家等多個(gè)廠商的戰(zhàn)略合作，開拓了軟硬結(jié)合的新產(chǎn)品形態(tài)。并在 17 年，帶領(lǐng)團(tuán)隊(duì)在美國拉斯維加斯 CES 上正式推出了對(duì)話式人工智能操作系統(tǒng) DuerOS。

景鯤加入百度之前，曾任微軟公司首席研發(fā)總監(jiān)并負(fù)責(zé)微軟必應(yīng)搜索在亞洲市場的研發(fā)工作，也是微軟小冰的創(chuàng)造者。

4月19日，清華大學(xué)《人工智能前沿與產(chǎn)業(yè)趨勢》系列課程第三講開課，本講主題是“自然語言處理技術(shù)的發(fā)展和行業(yè)應(yīng)用”。自然語言處理（NLP）被認(rèn)為是人工智能研究中最為困難，也是最重要的問題之一。本課由百度度秘事業(yè)部總經(jīng)理景鯤主講。在講座之前，雷鳴老師就音頻和NLP技術(shù)作了總覽式的概述：

NLP技術(shù)現(xiàn)在能看到一些落地，特別大的一個(gè)場景就是助理，包括家庭助理、虛擬助理、車內(nèi)的語音助理、兒童語言交互機(jī)器人等。第二個(gè)場景時(shí)智能客服系統(tǒng)；第三是語言翻譯。

景鯤：語音是第三次交互革命

景鯤：大家好，我叫景鯤，我來自百度，百度度秘事業(yè)部。我加入百度大概四年時(shí)間，負(fù)責(zé)對(duì)話式人工智能的產(chǎn)品的落地。加入百度之前我在微軟工作了八年時(shí)間，負(fù)責(zé)必應(yīng)搜索引擎和微軟小冰項(xiàng)目。所以直接跟NLP以及NLP的業(yè)務(wù)落地有一段時(shí)間的經(jīng)驗(yàn)了。然后也給大家介紹一下百度度秘。

整個(gè)百度的業(yè)務(wù)主要分成兩塊，一塊是我們在移動(dòng)市場上做的一些業(yè)務(wù)，比如搜索，愛奇藝，手機(jī)百度的feed流等；另一塊就是我們面向人工智能時(shí)代興起，用人工智能來驅(qū)動(dòng)的新的業(yè)務(wù)，這個(gè)業(yè)務(wù)包括無人車。第二個(gè)就是人機(jī)交互，我們做了百度度秘。我們在 AI 時(shí)代落地的兩大主要業(yè)務(wù)平臺(tái)，一個(gè)是無人車的阿波羅，一個(gè)是度秘。

百度為什么把度秘作為這么重要的一個(gè)戰(zhàn)略業(yè)務(wù)來做？其實(shí)它是一個(gè)非常大的業(yè)務(wù)?；赝覄傞_始學(xué)計(jì)算機(jī)的時(shí)候，那個(gè)時(shí)候還是用鼠標(biāo)和鍵盤，鍵盤是用五筆輸入法。然后那個(gè)時(shí)候用五筆輸入法還要去花錢上培訓(xùn)班學(xué)習(xí)五筆輸入法。后來可以用拼音輸入法了，一下門檻就降低了。 用拼音輸入法之后，很多人就可以跟計(jì)算機(jī)進(jìn)行交互，進(jìn)行交流了。隨著這種輸入的門檻的降低，用戶跟計(jì)算機(jī)之間的交互更方便了，更多的用戶得以接觸到計(jì)算機(jī)。所以鼠標(biāo)和鍵盤的交互就推動(dòng)了整個(gè)計(jì)算機(jī)的普及。

第二個(gè)階段也是由交互推動(dòng)整個(gè)科技的進(jìn)展，這次的交互是用手指觸屏的交互。通過手指觸摸手機(jī)，讓更多的用戶能夠跟計(jì)算機(jī)進(jìn)行交流，所以在這個(gè)時(shí)候基本上已經(jīng)擺脫了語言的障礙。所以我們可以看到在中國市場，移動(dòng)的互聯(lián)網(wǎng)用戶是遠(yuǎn)遠(yuǎn)大于 PC 時(shí)代的互聯(lián)網(wǎng)用戶的。

我們覺得在新的人工智能時(shí)代，新的交戶應(yīng)該是用更加自然的，用人類的交互方式與計(jì)算機(jī)進(jìn)行交流，我們認(rèn)為這種溝通方式就是用語音、用對(duì)話。因?yàn)槲覀兠總€(gè)人可能兩歲的時(shí)候就開始學(xué)說話，我們80歲的時(shí)候還是可以用語音交流。為什么語音交互可以成真？因?yàn)橛?jì)算機(jī)通過人工智能能力的賦能，通過深度學(xué)習(xí)等各種機(jī)器學(xué)習(xí)的方法，語音識(shí)別、圖像識(shí)別等能力開始慢慢變得成熟，NLP的能力在某些領(lǐng)域也逐漸可以落地。 所以在人和機(jī)器交互過程中，機(jī)器開始能夠嘗試聽懂我們所說的話，語音交互開始變得越來越popular。

大概在Siri出現(xiàn)、在 iPhone4 的時(shí)候，就有一大批公司在做語音交互方面的產(chǎn)品。那時(shí)候是高峰期，很多公司都在做，但迅速就到一個(gè)下降期。用戶對(duì)語音助手開始失望。但最近這兩年隨著Echo的出現(xiàn)，大家發(fā)現(xiàn)語音助手找到了它的使用場景，它跟硬件結(jié)合之后，通過遠(yuǎn)場交互的語音能夠讓我們跟機(jī)器進(jìn)行交流，所以這個(gè)市場又蓬勃而起。

為什么百度這么重視這件事情？因?yàn)槊恳淮蔚目萍嫉倪M(jìn)步，大的進(jìn)步，基本上都是由交互來驅(qū)動(dòng)的。從最開始在鼠標(biāo)鍵盤時(shí)代，世界上最大的公司是微軟。微軟當(dāng)時(shí)基本上只做了一個(gè)體驗(yàn)，就是鼠標(biāo)和鍵盤的體驗(yàn)，把它做到了最優(yōu)。移動(dòng)時(shí)代又出現(xiàn)另外一家偉大的公司，就是現(xiàn)在市值最高的一家公司蘋果，把這種交互做對(duì)了。所以它推動(dòng)了整個(gè)移動(dòng)智能社會(huì)的前進(jìn)，開拓了難以想象的巨大的科技市場。

我們覺得在新的時(shí)代通過自然語言對(duì)話，我們有機(jī)會(huì)跟每一個(gè)計(jì)算機(jī)、每個(gè)手機(jī)、每個(gè)桌子甚至每個(gè)椅子去對(duì)話，在我們需要的時(shí)候我們就跟它對(duì)話，在新的場景里面去對(duì)話，這樣的市場將會(huì)比原來市場大得多。每個(gè)人與搜索引擎去互動(dòng)，或者跟互聯(lián)網(wǎng)去交流，獲取信息服務(wù)，都是一種更加便捷的交互。所以第三次交互的革命將會(huì)引發(fā)非常多創(chuàng)新。

我們看一下一些研究機(jī)構(gòu)做的市場分析。這是IDC做的中國市場對(duì)話式人工智能的市場分析。報(bào)告顯示，到2020年，27%的智能家居產(chǎn)品都會(huì)變成語音可以互動(dòng)的。從現(xiàn)在的市場來看，基本上語音交互的產(chǎn)品已經(jīng)逐漸變成標(biāo)準(zhǔn)配置，所以到 2020 年的時(shí)候，大概有 27% 的家具可以互動(dòng)，不只是電視，冰箱、空調(diào)、洗衣機(jī)，甚至連豆?jié){機(jī)，我們的合作伙伴都希望用戶能它說話。所以智能家具的市場還是很大。

第二個(gè)市場就是車載市場。因?yàn)檐嚤旧砭褪请p手被固定在方向盤上的一個(gè)場景，用戶的一個(gè)很自然的需求，就是通過跟車的交互去獲取車上的信息和服務(wù)。這個(gè)時(shí)候最自然的一種交互就是語音交互。所以從今年開始大家也可以看到在一些新車上，尤其是以互聯(lián)網(wǎng)汽車為標(biāo)簽的新車上，語音交互已經(jīng)成為了標(biāo)準(zhǔn)配置。

還有就是手機(jī)和可穿戴設(shè)備。我們平臺(tái)上現(xiàn)在最活躍的一個(gè)設(shè)備是手表，比如兒童手表。每年在中國能賣大概上千萬的智能手表，但是在中國這種手表主要是消費(fèi)給了兒童群體，在這個(gè)群體里面用語音交互就是最自然的一種交互。預(yù)期到2020年，手機(jī)和可穿戴設(shè)備大概能達(dá)到 68%。

回顧一下原來的手機(jī)市場，當(dāng) IOS 推出之后，大家都發(fā)現(xiàn)手指觸摸這種體驗(yàn)太好了。但是在安卓系統(tǒng)開放之前，一個(gè)廠商大概要花幾千萬美金，可能才能研發(fā)一款手機(jī)。但是有了安卓之前，這些廠商投入的資本可能是1/10的原來的投入，所以迅速讓智能設(shè)備、智能手機(jī)變得滿地開花，數(shù)量和接觸人群都在指數(shù)級(jí)的增長。語音交互也一樣，并不是每家公司都能夠從頭做語音識(shí)別、語音合成、語義理解，甚至資源的檢索。這個(gè)時(shí)候百度其實(shí)非常有意愿提供語音交互時(shí)代的一個(gè)底層的操作系統(tǒng)，能夠賦能這樣的智能設(shè)備，讓它變成語音交互。

要把語音交互做對(duì)的話，有三點(diǎn)要做對(duì)：第一是聽得清，第二是聽得懂，第三是滿足得好。

聽得清，就是把語音識(shí)別成文字的過程。第二，聽得懂是真正能夠理解文字，能夠消化，知道用戶的意圖。第三，滿足。知道用戶的意圖之后，還能把合適的內(nèi)容和服務(wù)傳遞給用戶。所以這三步缺一不可。

第一步很多的公司都在解決，而且聽清的問題已經(jīng)逐漸被解決。雖然中國還存在著一些地方的口音，但是語音識(shí)別的能力基本上是逐漸增強(qiáng)，可以預(yù)見，在未來的一兩年內(nèi)，語音識(shí)別，聽清的這部分可以做得很好。但是在有些固定場景里面，還需要特定的優(yōu)化。

第二方面是最難的，就是聽的懂。聽懂其實(shí)是很高的要求，不只要知道它的字面意思，比如我們在百度搜索上我們經(jīng)?？吹接脩舨樵儽本┨鞖?，可能就有一百種以上的說法，用戶會(huì)說“北京天氣”，也會(huì)說“北京明天下雨嗎”，也會(huì)說“北京明天刮風(fēng)嗎”，“北京明天有霧霾嗎”，這些都是跟天氣相關(guān)的需求。怎么樣做到聽懂是人工智能交互中最核心的能力，誰能把聽得懂做好，就能真正攻克人工智能的難關(guān)。

第三方面就是滿足。用戶在與一個(gè)設(shè)備語音對(duì)話的時(shí)候，往往會(huì)有非常多樣的需求，真正能夠把需求理解好，并且把資源索引到，這也是百度可以做的優(yōu)勢，并且可以為我們的用戶和合作伙伴去提供的能力。

在Echo出現(xiàn)之前，大家其實(shí)比較聚焦的聽清的能力是在手機(jī)上的近場語音交互。比如說我們按一個(gè)按鈕，比如像微信，去解決這種語音識(shí)別的能力。但是隨著智能硬件出現(xiàn)，就出現(xiàn)了新的場景的語音交互。比如說在一些廣闊空間、車載、吵雜環(huán)境里面開始出現(xiàn)了麥克風(fēng)陣列。簡單解釋一下，麥克風(fēng)陣列由兩個(gè)及以上麥克風(fēng)組成的一個(gè)陣列，它可以進(jìn)行回聲消除。屋子里面多個(gè)麥克風(fēng)陣列，通過不同的麥克風(fēng)接收到聲音信號(hào)的強(qiáng)弱，通過接觸到不同的聲音的時(shí)間，來消除掉回聲。在沒有這個(gè)技術(shù)之前，大家可能會(huì)覺得不是一個(gè)特別的難的問題，但其實(shí)這是對(duì)計(jì)算機(jī)是一個(gè)非常難的問題。因?yàn)樵谶@樣的屋子里面，尤其在這樣密閉的空間里面，回聲讓計(jì)算機(jī)聽起來是多個(gè)聲波的疊加。多個(gè)聲波疊加之后計(jì)算機(jī)就分不清哪些是原聲，哪些是回聲。

有時(shí)候我們跟人說話，面對(duì)面的時(shí)候聽得很清楚，但換一個(gè)位置就可能聽不清了，這是因?yàn)槲覀兊亩溆兄赶蛐?。通常正面?duì)著一個(gè)人的時(shí)候，收音最好。對(duì)計(jì)算機(jī)也是一樣，有陣列之后往往需要一個(gè)解決的問題，就是通過陣列能夠辨別發(fā)音的方向是哪個(gè)方向。我們一旦定位發(fā)音的方向之后，這個(gè)方向的語音識(shí)別就會(huì)做得更好，這也是通過多麥克陣列來達(dá)到的效果。

還有語音喚醒。語音喚醒指現(xiàn)在的計(jì)算機(jī)麥克風(fēng)不能時(shí)刻收音，以教室為例，旁邊的機(jī)器聲，甚至窗戶聲會(huì)有很多聲音雜音進(jìn)來，讓計(jì)算機(jī)到搞得很亂。語音喚醒是指，通過一個(gè)特定的喚醒詞，說了這個(gè)詞之后，機(jī)器開始響應(yīng)，開始聽我們的聲音。所以語音喚醒相當(dāng)于人和機(jī)器之間進(jìn)行了一個(gè)初次的連接。

還有遠(yuǎn)場語音識(shí)別。遠(yuǎn)場語音識(shí)別是在智能硬件出現(xiàn)之前應(yīng)用的不太多的一個(gè)技術(shù)，但隨著像智能音箱這樣的設(shè)備的出現(xiàn)，用戶往往跟它的交互式在一米開外的，這個(gè)時(shí)候的語音識(shí)別跟近場手機(jī)上的語音識(shí)別有很大的不一樣。所以在智能硬件這個(gè)領(lǐng)域，讓一個(gè)設(shè)備真的可以聽清我們說話需要做的新的技術(shù)儲(chǔ)備。

第二個(gè)方面就是聽懂。沒有大數(shù)據(jù)沒有算法是很難做好聽懂的。我用了一個(gè)詞叫“freestyle”，用戶在跟機(jī)器溝通過程中，其實(shí)他的表達(dá)是非常重要的。舉個(gè)例子，這個(gè)詞語音識(shí)別是“在家為是”，這是我們有一個(gè)電視機(jī)頂盒在湖南落地的時(shí)候，湖南的一些用戶檢索的日志，然后我們脫敏之后，發(fā)現(xiàn)“在家為是”就是“浙江衛(wèi)視”。所以看語音的時(shí)候其實(shí)不懂他是什么意思，要真的懂的話，你需要加上地方語音識(shí)別的模型，再加上我們在搜索引擎看到用戶的搜索數(shù)據(jù)采集的信號(hào)，結(jié)合在一起才能真正了解這個(gè)是什么意思。所以用戶在跟計(jì)算機(jī)語音交互過程中，要解決聽懂的問題。

聽清慢慢能夠被解決，但是誰能解決聽懂誰，誰就基本上跨過了人機(jī)交互的一個(gè)非常重要的門檻。要解決聽懂的方式，就是要通過大數(shù)據(jù)、通過深度學(xué)習(xí)算法不停地計(jì)算，才能知道用戶真正表達(dá)的語意是什么。

第三個(gè)就是滿足。解決了交互之后，用戶就會(huì)忽略交互。iPhone 一代出現(xiàn)的時(shí)候，大家會(huì)覺得用手指去按整個(gè)的屏幕是一個(gè)特別爽的交互，但是隨著智能手機(jī)逐漸普及之后，用戶覺得說用手按屏幕就是一個(gè)很正常的交互，忘記了交互。忘記交互之后，用戶就開始真正關(guān)心里面的服務(wù)和內(nèi)容。所以當(dāng)有些用戶跟智能音箱去交互的時(shí)候，他們需要的是音樂，是信息，或者是聊天等等各種各樣的信息的服務(wù)，這些服務(wù)正好跟百度所擁有的信息和服務(wù)的資源是特別吻合的，所以我們也把這些數(shù)據(jù)開放出來，跟我們的合作伙伴，通過他們的語音交互去直接獲取這些信息和服務(wù)。

然后透露一個(gè)數(shù)據(jù)，截止到今年的 1 月份，百度DUEROS 的平臺(tái)上搭載了激活的設(shè)備數(shù)，累計(jì)已經(jīng)超過了 5000 萬臺(tái)，相當(dāng)于是 5000 萬的手機(jī)、音箱、電視、手表等各種設(shè)備都具有了語音識(shí)別的能力。每個(gè)月的活躍設(shè)備超過1000 萬。這個(gè)數(shù)字還在不停的增長，基本上每年我們可能接觸的語音智能設(shè)備都會(huì)翻倍增加。2020 年的時(shí)候，智能設(shè)備可能會(huì)真正走到我們每個(gè)人的家庭里面。

我們的合作伙伴也很多，這里舉幾個(gè)例子，比如說海爾、VIVO、TCL、小米等等，這些公司本來跟百度的關(guān)系其實(shí)是沒有那么近的。他們都是硬件公司，百度做的是互聯(lián)網(wǎng)搜索，本來感覺兩個(gè)行業(yè)并沒有太多的交集。但是當(dāng)我們做的這種喚醒萬物，讓每個(gè)智能設(shè)備都可以語音對(duì)話之后，我們的交易就很多了。很多的智能家居的合作伙伴都在把這樣的能力植入到他的設(shè)備里面去，讓設(shè)備具有可以語音交互的能力。

同時(shí)落地的設(shè)備也非常多，從音箱到投影儀到機(jī)器人、電視，會(huì)非常多。還有，它催發(fā)了第三個(gè)開發(fā)者生態(tài)。開發(fā)者生態(tài)是什么？大家知道在PC時(shí)代，有一個(gè)非常龐大的開發(fā)者生態(tài)，是做應(yīng)用程序 exe。在移動(dòng)時(shí)代也有一個(gè)非常強(qiáng)大的開發(fā)者生態(tài)，是做 APP 的開發(fā)者。每一次一個(gè)交互的開啟，基本上代表著有一類新的開發(fā)者也會(huì)隨著這個(gè)平臺(tái)去成長。所以現(xiàn)在在語音交互的平臺(tái)上，已經(jīng)超過了一萬多個(gè)開發(fā)者跟我們一起合作。同時(shí)用戶用這種語音交互累計(jì)回答的問題已經(jīng)超過了24億個(gè)。

這里舉幾個(gè)例子，現(xiàn)在都有什么樣的語音交互設(shè)備，NLP和語音識(shí)別都應(yīng)用在什么樣的產(chǎn)品上？比如說早晨的時(shí)候會(huì)用在智能音箱上，很多人早晨起床的時(shí)候會(huì)問一下天氣，問一下路況。還有在路上的設(shè)備，有車載顯示屏、耳機(jī)等。還有一些機(jī)器人和其他設(shè)備。

在人工智能時(shí)代，軟件+硬件是深度結(jié)合的趨勢。原來我們做語音識(shí)別的時(shí)候，很多時(shí)候是在手機(jī)上做。原來微軟的觸摸，比如Windows8，是在筆記本上可以觸摸的。但后來發(fā)現(xiàn)雖然觸摸交互是對(duì)的，但是你放到一個(gè)不同的設(shè)備上，感覺就不對(duì)。很少有人用手指去觸摸屏幕。在語音上也是，比如說手機(jī)是一個(gè)觸摸為主的設(shè)備，我們原來做語音助手的時(shí)候，很多是把語音能力嫁接在手機(jī)上，其實(shí)用戶用手機(jī)去進(jìn)行語音交互的時(shí)候，反而沒有觸摸來的快。所以語音更好應(yīng)用的場景在哪里？更好是在新的 AI智能硬件上。

百度也做了幾款智能音箱的嘗試，包括raven H和小度在家。除了中國市場在做對(duì)話式人工智能的落地，涉及到語音識(shí)別，語義理解交互和內(nèi)容，國際的巨頭也在布局市場，亞馬遜，谷歌蘋果微軟都投入重兵。人工智能終將走近大家的身邊，走進(jìn)尋常百姓家，在生活中有工作的用武之地。

對(duì)話環(huán)節(jié)

清華大學(xué)海峽研究院大數(shù)據(jù) AI 中心專家委員雷鳴，百度度秘事業(yè)部總經(jīng)理景鯤，清華大學(xué)智能技術(shù)與系統(tǒng)國家重點(diǎn)實(shí)驗(yàn)室主任朱小燕，梅花創(chuàng)投創(chuàng)始合伙人吳世春就NLP在現(xiàn)在和未來的挑戰(zhàn)，深度學(xué)習(xí)、機(jī)器學(xué)習(xí)在NLP中扮演的角色，NLP技術(shù)發(fā)展落地以及投資等方面的問題，進(jìn)行了精彩對(duì)話。雷鳴認(rèn)為，人工智能到明年開始逐漸落地，生根發(fā)芽，這是解決實(shí)際問題的一個(gè)過程，在產(chǎn)品落地的過程中，這個(gè)市場有特別多的機(jī)會(huì)。