人機(jī)交互的核心對(duì)話系統(tǒng)

　　語(yǔ)音作為互聯(lián)網(wǎng)的一種入口方式，正在侵入我們的生活，人機(jī)交互的核心——對(duì)話系統(tǒng)，對(duì)交互的應(yīng)用至關(guān)重要，人腦與機(jī)器智能的結(jié)合，能夠突破現(xiàn)有技術(shù)瓶頸嗎？

　　從整個(gè)交互系統(tǒng)接入用戶的輸入信息開始，包括語(yǔ)音、人臉、多模態(tài)情感相關(guān)的信息，我們?cè)趯?duì)話系統(tǒng)里面對(duì)輸入的信息進(jìn)行理解，通過(guò)這個(gè)對(duì)話部分以后產(chǎn)生輸出，最后用文字也可以用語(yǔ)音合成展現(xiàn)出來(lái)，這就是整個(gè)流程，其中我們關(guān)注的最主要的是語(yǔ)音部分以及對(duì)話系統(tǒng)部分，其他的多模態(tài)今天的分享不會(huì)涉及太多。

　　國(guó)內(nèi)研究語(yǔ)音相關(guān)的團(tuán)隊(duì)主要包括科研院所、語(yǔ)音技術(shù)公司以及互聯(lián)網(wǎng)公司三部分：

　　科研院所主要包括高校和科學(xué)院，比如科學(xué)院里有聲學(xué)所、自動(dòng)化所，高校里面研究比較多的清華、北大、西工大、科大、上海交大等，這些都是在語(yǔ)音圈里占有較高位置的老牌隊(duì)伍。

　　語(yǔ)音技術(shù)公司包括我們比較熟悉的科大訊飛、云知聲、極限元、思必馳等。

　　互聯(lián)網(wǎng)公司包括BAT、搜狗等擁有強(qiáng)大的語(yǔ)音技術(shù)團(tuán)隊(duì)來(lái)支撐著其本身的很多業(yè)務(wù)。

　　在應(yīng)用對(duì)話系統(tǒng)時(shí)，首先從語(yǔ)音輸入開始要有一些前端處理，包括硬件和軟件的前期處理；接下來(lái)是語(yǔ)音內(nèi)容，說(shuō)話人識(shí)別等相關(guān)的內(nèi)容進(jìn)行判別，對(duì)話系統(tǒng)根據(jù)輸入信息來(lái)進(jìn)行對(duì)話邏輯的分析，以及對(duì)應(yīng)語(yǔ)言的產(chǎn)生，最后由語(yǔ)音合成系統(tǒng)來(lái)合成語(yǔ)音，在這里重點(diǎn)介紹一下前端處理、語(yǔ)音識(shí)別、說(shuō)話人識(shí)別語(yǔ)音合成等相關(guān)技術(shù)。

　　前端處理技術(shù)的研究進(jìn)展

　　前端處理包括回升消除、噪聲抑制、混響抑制等技術(shù)，剛開始時(shí)研究前端處理的人員并不多，近年來(lái)特別是ECHO的推出，把一些遠(yuǎn)場(chǎng)的問(wèn)題融入到語(yǔ)音識(shí)別等系統(tǒng)中，所以這部分的研究在這幾年興起比較快，語(yǔ)音識(shí)別的研究從一些簡(jiǎn)單的數(shù)據(jù)如手機(jī)的錄音擴(kuò)展到遠(yuǎn)場(chǎng)的語(yǔ)音識(shí)別，這些促進(jìn)了前端處理技術(shù)的發(fā)展，在語(yǔ)音圈里做前端處理比較牛的應(yīng)該是陳景東老師。

　　回聲消除：回聲消除在遠(yuǎn)場(chǎng)語(yǔ)音識(shí)別中是比較典型功能，最典型的應(yīng)用是在智能終端播放音樂(lè)的時(shí)候，遠(yuǎn)場(chǎng)揚(yáng)聲器播放的音樂(lè)會(huì)回傳給近端麥克風(fēng)，此時(shí)就需要有效的回聲消除算法來(lái)抑制遠(yuǎn)端信號(hào)的干擾，這是在智能設(shè)備如音響、智能家居當(dāng)中都需要考慮的問(wèn)題。比較復(fù)雜的回聲消除系統(tǒng)，近端通過(guò)麥克風(fēng)陣列采集信號(hào)，遠(yuǎn)端是雙聲道揚(yáng)聲器輸出，因此近端需要考慮如何將播出形成算法跟回聲消除算法對(duì)接，遠(yuǎn)端需要考慮如何對(duì)立體聲信號(hào)相關(guān)。

　　噪聲抑制：噪聲抑制可以有多通道的也可以有單通道的，今天主要介紹單通道噪聲抑制，單通道語(yǔ)音增強(qiáng)通過(guò)DNN的方法進(jìn)行增強(qiáng)，語(yǔ)音信號(hào)是有一個(gè)諧波結(jié)構(gòu)的，通過(guò)加入噪聲這個(gè)諧波結(jié)構(gòu)會(huì)被破壞掉，語(yǔ)音增強(qiáng)的主要目的就是抬高波峰，降低波谷，這個(gè)訓(xùn)練對(duì)DNN來(lái)說(shuō)是比較容易的。但是也有實(shí)驗(yàn)研究表明，基于DNN的語(yǔ)音增強(qiáng)對(duì)濁音段效果會(huì)比較好，但對(duì)輕音段效果并不是很好，語(yǔ)音的濁音段有顯著諧波結(jié)構(gòu)，因此要有目的去訓(xùn)練這個(gè)模型。

　　混響抑制：聲音在房間傳輸過(guò)程中經(jīng)過(guò)墻壁或者其他障礙物的反射后到達(dá)麥克風(fēng)，從而生成混響語(yǔ)音，混響的語(yǔ)音會(huì)受到房間大小、聲源麥克風(fēng)的位置、室內(nèi)障礙物等因素的影響，大多數(shù)的房間內(nèi)混響時(shí)間大概在200–1000毫秒范圍內(nèi)，如果混響時(shí)間過(guò)短，聲音會(huì)發(fā)干，枯燥無(wú)味，不具備清晰感，混響時(shí)間過(guò)長(zhǎng)會(huì)使聲音含混不清，需要合適的聲音才能圓潤(rùn)動(dòng)聽。

　　前端處理涉及的內(nèi)容比較多，除了前面提到的還包括多說(shuō)話人分離、說(shuō)話人移動(dòng)過(guò)程中的聲音采集、不同的麥克風(fēng)陣列結(jié)構(gòu)、各種噪聲和房間模型如何更好的建模等。