利用 AI 技術(shù)判斷一個(gè)人的情緒通常有兩種途徑,一種是通過面部表情,另一種是通過語(yǔ)音。前者已經(jīng)比較成熟,而語(yǔ)音識(shí)別情感方面的研究,正在快速發(fā)展。近期,一些科研團(tuán)隊(duì)提出了新的方法,來(lái)更準(zhǔn)確地識(shí)別用戶聲音中的情緒。
知乎上有很多關(guān)于「如何判斷女朋友是否生氣」之類的問題,有人回答:字越少,事越大;還有人說(shuō):真生氣,一個(gè)月不聯(lián)系;假生氣,會(huì)撒嬌說(shuō)「我生氣了」。
「女朋友是生氣了么?」是千古難題
所以,女朋友的「我沒生氣/真的沒生氣」=「很生氣」;「我生氣了」=「撒嬌,沒生氣,親親抱抱舉高高嘛」。這樣的情緒邏輯讓直男們抓狂。
女朋友的情緒根本就感受不出來(lái)啊
究竟應(yīng)該怎么樣才能聽出女朋友到底生氣了沒呢?據(jù)說(shuō),AI 已經(jīng)在聽音識(shí)情緒上做出成績(jī),可能比男生抓耳撓腮地琢磨半天的結(jié)果更準(zhǔn)確。
Alexa 語(yǔ)音助手:正在修煉成為暖男
亞馬遜語(yǔ)音助手Alexa 在感知情緒方面,可能比男朋友還機(jī)智。
今年,經(jīng)過最新升級(jí)后,Alexa 已經(jīng)能夠通過分析用戶指令的高低和音量等反應(yīng),識(shí)別出快樂、高興、憤怒、悲傷、煩躁、恐懼、厭惡、厭倦甚至壓力等情緒,并對(duì)相應(yīng)指令做出回應(yīng)。
比如,如果一個(gè)女生一邊擤鼻涕一邊咳嗽一邊又跟 Alexa 說(shuō)自己有點(diǎn)餓了,那么 Alexa 就會(huì)通過對(duì)女生說(shuō)話的的音調(diào)(虛弱、低沉)和背景音(咳嗽、擤鼻涕)分析出她很可能得病了,然后發(fā)出來(lái)自機(jī)器的貼心關(guān)懷:要不要來(lái)碗雞湯,或者叫個(gè)外賣?甚至直接線上訂購(gòu)一瓶止咳糖漿一小時(shí)內(nèi)送貨上門?
這表現(xiàn),是不是比鋼鐵直男男朋友還貼心?
人工智能做情緒分類已不是什么新鮮事了,不過,最近,亞馬遜 Alexa Speech 團(tuán)隊(duì)前段時(shí)間打破了傳統(tǒng)方法,發(fā)表了新的研究成果。
傳統(tǒng)的方法都是有監(jiān)督的,其獲取的訓(xùn)練數(shù)據(jù)已經(jīng)根據(jù)說(shuō)話者的情緒狀態(tài)被標(biāo)記過。而亞馬遜 Alexa Speech 團(tuán)隊(duì)的科學(xué)家最近采用了一種不同的方法,他們?cè)趪?guó)際聲學(xué),語(yǔ)音和信號(hào)處理會(huì)議(ICASSP)上發(fā)表了介紹這種方法的論文《Improving Emotion Classification through Variational Inference of Latent Variables》(http://t.cn/Ai0se57g)
他們沒有采用詳盡注釋過「情感」的語(yǔ)料庫(kù)來(lái)訓(xùn)練系統(tǒng),而是提供了一個(gè)對(duì)抗自編碼器(AAE)。這是一個(gè)包含來(lái)自 10 個(gè)不同發(fā)言者的 10,000 個(gè)話語(yǔ)的公開數(shù)據(jù)集。
他們得到的研究結(jié)果是,在判斷人們的聲音中的效價(jià)(emotion valence)或情感價(jià)值(emotional value)時(shí),神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確度提高了 4%。在團(tuán)隊(duì)的努力下,通過用戶聲音,便能可靠地確定用戶的心情或情緒狀態(tài)。
AAE 模型原理示意圖
論文的共同作者,Alexa Speech 組高級(jí)應(yīng)用科學(xué)家 Viktor Rozgic 解釋道,對(duì)抗自編碼器是包含編碼器的兩部分模型——編碼器(encoder)和解碼器(decoder)。編碼器學(xué)習(xí)生成輸入語(yǔ)音的緊湊(或潛在)表示,編碼訓(xùn)練示例的所有屬性;而解碼器重建來(lái)自緊湊表示的輸入。
對(duì)抗自編碼器的架構(gòu)
研究人員的情緒表征由三個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)組成,三個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)分別用于三種情緒測(cè)量:效價(jià),激活(activation,說(shuō)話者是警覺的,投入的還是被動(dòng)的),以及支配(說(shuō)話者是否感覺被周邊局面控制)。
訓(xùn)練分三個(gè)階段進(jìn)行。第一階段使用無(wú)標(biāo)簽的數(shù)據(jù)單獨(dú)訓(xùn)練編碼器和解碼器。第二階段為對(duì)抗訓(xùn)練,對(duì)抗性鑒別器試圖區(qū)分編碼器產(chǎn)生的真實(shí)表示與人工表示的技術(shù),該階段用于調(diào)整編碼器。在第三階段,調(diào)整編碼器以確保潛在情緒表示,來(lái)預(yù)測(cè)訓(xùn)練數(shù)據(jù)的情緒標(biāo)簽。
為了捕獲有關(guān)語(yǔ)音信號(hào)的信息,在涉及句子級(jí)特征表示的「hand-engineered」實(shí)驗(yàn)中,他們的 AI 系統(tǒng)在評(píng)估效價(jià)方面比傳統(tǒng)訓(xùn)練網(wǎng)絡(luò)的準(zhǔn)確度提高了 3%。
此外,他們表示,當(dāng)向網(wǎng)絡(luò)提供一組表示 20 毫秒幀(或音頻片段)聲學(xué)特性的序列時(shí),效果提高了 4%。
MIT 實(shí)驗(yàn)室打造神經(jīng)網(wǎng)絡(luò)1.2 秒感知憤怒
亞馬遜不是唯一一家研究改進(jìn)的基于語(yǔ)音的情緒檢測(cè)的公司。麻省理工學(xué)院媒體實(shí)驗(yàn)室 Affectiva 最近演示了一個(gè)神經(jīng)網(wǎng)絡(luò) SoundNet:可以在短短 1.2 秒內(nèi)(已經(jīng)超越人類感知憤怒所需時(shí)間)將憤怒與音頻數(shù)據(jù)分類,并且無(wú)論哪種語(yǔ)言。
Affectiva 的研究人員在新論文《Transfer Learning From Sound Representations For Anger Detection in Speech》(https://arxiv.org/pdf/1902.02120.pdf)中描述了該系統(tǒng)。它建立在語(yǔ)音和面部數(shù)據(jù)打造情感檔案的基礎(chǔ)上。
為了測(cè)試 AI 模型的通用性,該團(tuán)隊(duì)使用以英文訓(xùn)練的模型,對(duì)普通話語(yǔ)音情感數(shù)據(jù)訓(xùn)練的模型(普通話情感語(yǔ)料庫(kù),簡(jiǎn)稱MASC)進(jìn)行了評(píng)估。結(jié)果它不僅可以很好地推廣到英語(yǔ)語(yǔ)音數(shù)據(jù),對(duì)漢語(yǔ)數(shù)據(jù)也很有效,盡管性能略有下降。
針對(duì)英文與中文的訓(xùn)練結(jié)果 ROC 曲線
虛線表示隨機(jī)分類器的 ROC
團(tuán)隊(duì)表示,「識(shí)別憤怒應(yīng)用廣泛,包括會(huì)話界面和社交機(jī)器人,交互式語(yǔ)音應(yīng)答(IVR)系統(tǒng),市場(chǎng)研究,客戶代理評(píng)估和培訓(xùn),以及虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)?!?/p>
未來(lái)的工作將開發(fā)其他大型公共語(yǔ)料庫(kù),并為相關(guān)的基于語(yǔ)音的任務(wù)訓(xùn)練 AI 系統(tǒng),例如識(shí)別其他類型的情緒和情感狀態(tài)。
以色列 App 識(shí)別情緒:準(zhǔn)確率 80%
以色列創(chuàng)業(yè)公司 Beyond Verbal 開發(fā)了一款名為 Moodies 的應(yīng)用,它能夠通過麥克風(fēng)采集說(shuō)話者的聲音,經(jīng)過 20 秒左右的分析,判斷說(shuō)話者的情緒特征。
Moodies 擁有一套特殊的算法,軟件會(huì)對(duì)說(shuō)話者的
節(jié)奏、時(shí)間、聲音大小、停頓以及能量等情緒維度進(jìn)行分析
盡管語(yǔ)音分析專家承認(rèn)語(yǔ)言與情緒具有相關(guān)性,但不少專家卻質(zhì)疑這種實(shí)時(shí)測(cè)算的準(zhǔn)確性——這類工具收集到的聲音樣本非常有限,實(shí)際的分析可能需要收集數(shù)年的樣本。
「以目前認(rèn)知神經(jīng)學(xué)的水平,我們根本沒有技術(shù)真正地了解一個(gè)人的思想或者情感?!垢鐐惐葋喆髮W(xué)心理學(xué)教授助理 Andrew Baron 說(shuō)道。
不過 Beyond Verbal 負(fù)責(zé)市場(chǎng)的副總裁 Dan Emodi 表示,Moodies 經(jīng)過了三年多的研究,根據(jù)用戶的反饋,應(yīng)用分析的準(zhǔn)確率約為 80%。
Beyond Verbal 公司表示,Moodies 可以應(yīng)用于自我情緒診斷、客服中心處理顧客關(guān)系甚至檢測(cè)求職者是否說(shuō)謊,當(dāng)然你也可以帶到約會(huì)的場(chǎng)景中,看對(duì)方是否真的對(duì)自己感興趣。
語(yǔ)音情緒識(shí)別依然面臨挑戰(zhàn)
雖然很多科技公司已經(jīng)在這方面有著多年的研究,也得到不錯(cuò)的成果。但是,正如上文 Andrew Baron 所質(zhì)疑的,這項(xiàng)技術(shù)還面臨多個(gè)挑戰(zhàn)。
就像女朋友一句平靜的「我沒生氣」并不代表她真的沒生氣一樣,一個(gè)發(fā)音中可以包含多種感情,不同情感的邊界也難以界定,哪個(gè)情緒是當(dāng)前主導(dǎo)的情緒?
國(guó)內(nèi)某語(yǔ)音情緒識(shí)別產(chǎn)品展示
并不是所有的語(yǔ)氣都像視頻中這樣明顯與激烈,表達(dá)情感是一個(gè)個(gè)性化極強(qiáng)的事情,根據(jù)個(gè)人,環(huán)境甚至文化差異都很大。
此外,一種情緒可能持續(xù)很長(zhǎng)時(shí)間,但期間也會(huì)有快速變化的情緒,情感識(shí)別系統(tǒng)是檢測(cè)長(zhǎng)期的情緒還是短時(shí)的情緒呢?比如某人限于失業(yè)的痛苦中,但期間因?yàn)榕笥训年P(guān)心短暫開心了一下,但實(shí)際上他仍處于傷心狀態(tài),AI 該怎么定義他的狀態(tài)呢?
而另一個(gè)令人擔(dān)心的事是,當(dāng)這些產(chǎn)品能夠聽懂人的情緒后,是否會(huì)因?yàn)橛脩魧?duì)它的依賴,而詢問更多隱私性的問題,獲取用戶多方面信息,從而將「服務(wù)」變成「買賣」?
愿你會(huì)擁有大白,也擁有真正懂你的人
很多人都想擁有一個(gè)溫暖又貼心的大白,這個(gè)在科幻動(dòng)畫里才有的高情商機(jī)器人,未來(lái)是否會(huì)成真呢?
非常低落而緩慢地跟小冰說(shuō)話得到無(wú)情回答
目前,很多聊天機(jī)器人依然沒有情商,無(wú)法感知用戶的小情緒,常常把天聊死。所以,真正能夠聽懂你的,依然是陪伴在你身邊傾聽你的人。
-
算法
+關(guān)注
關(guān)注
23文章
4552瀏覽量
92028 -
MIT
+關(guān)注
關(guān)注
3文章
253瀏覽量
23312
原文標(biāo)題:女朋友生氣了嗎?算法比直男更懂她
文章出處:【微信號(hào):smartman163,微信公眾號(hào):網(wǎng)易智能】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論