MIT開發(fā)機器學習模型 助力計算機釋放情緒

麻省理工學院媒體實驗室(MIT Media Lab)的研究人員開發(fā)了一種機器學習模型，它使計算機更接近于像人類一樣自然地解釋我們的情緒。

媒體實驗室的研究人員開發(fā)了一種機器學習模型，該模型在捕捉這些小的面部表情變化方面優(yōu)于傳統系統，可以在訓練數千張面部圖像時更好地衡量情緒。此外，通過使用一些額外的訓練數據，該模型可以適應全新的一組人，具有相同的功效。目的是改進現有的情感計算技術。

“這是監(jiān)控我們心情的一種不引人注目的方式?！泵襟w實驗室研究員兼合作者Oggi Rudovic在一篇描述該模型的論文中說道，“如果你想要具有社交智能的機器人，你必須讓它們變得聰明，更像人類，可以自然地回應我們的心情和情緒。”

該論文的共同作者是：第一作者為Michael Feffer，電氣工程和計算機科學的本科生; Rosalind Picard，媒體藝術和科學教授，情感計算研究小組的創(chuàng)始負責人。

個性化專家

傳統的情感計算模型使用“一刀切”的概念。他們在一組圖像上進行訓練，圖像上描繪了各種各樣的面部表情，優(yōu)化了一些特征 —— 例如唇部在微笑時如何卷曲 —— 并將這些一般特征優(yōu)化映射到整個新圖像集。

相反，研究人員將一種稱為“混合多專家模型”(MoE)的技術與模型個性化技術相結合，這種技術幫助從個體中挖掘出更細粒度的面部表情數據。Rudovic說，這是第一次將這兩種技術結合起來用于情感計算。

在MoE中，許多稱為“專家”的神經網絡模型都經過訓練，專門從事單獨的處理任務并產生一個輸出。 研究人員還納入了一個“門控網絡”，它可以計算出哪個專家能夠最能察覺未被發(fā)現情緒的概率。 “基本上，網絡可以分辨出不同的個體，并指出，這是給定圖像的正確專家?！盕effer說。

對于他們的模型，研究人員通過將每個專家與RECOLA數據庫中的18個單獨視頻錄制中的一個進行匹配來個性化MoE。RECOLA數據庫是一個公共數據庫，在專為情感計算應用設計的視頻聊天平臺上，人們進行交談的數據。他們使用9個分類訓練模型，并在其他9個分類上對其進行評估，所有視頻都分解為單獨的幀。

每個專家和門控網絡在剩余網絡(“ResNet”)的幫助下跟蹤每個人的面部表情，該網絡是用于物體分類的神經網絡。在這樣做時，模型基于情緒效價(愉快或傷心)和喚醒(興奮)對每個幀進行評分，這是一種常用指標來編碼不同的情緒狀態(tài)。另外，六名人類專家根據-1(低水平)到1(高水平)的等級標記每一幀的效價和喚醒，該模型也用于訓練。

然后，研究人員進行了進一步的模型個性化，他們從剩下視頻片段的一些幀中輸入訓練過的模型數據，然后在這些視頻中對所有看不見的幀進行測試。最后的結果顯示，只有5%到10%的數據來自新人群，該模型大大優(yōu)于傳統模型，這意味著它在看不見的圖像上獲得了效價和喚醒，更接近人類專家的解釋。

Rudovic說，這表明模型在極少的數據下，從人群到人群，或個體到個體的適應力。 “這是關鍵?！彼f， “當你有一個新人群時，你必須有辦法解釋數據分布的變化[微妙的面部變化]。設想一個模型集來分析一種文化中需要適應不同文化的面部表情。如果不考慮這種數據轉移，那些模型將會表現不佳。但是，如果你只是從新文化中抽取一點來調整我們的模型，這些模型可以做得更好，特別是在個人層面。這是最能體現模型個性化重要性的地方。”

目前可用于這種情感計算研究的數據在膚色方面并不是很多樣，因此研究人員的訓練數據是有限的。但是，當這些數據可用時，可以訓練模型以用于更多不同的人群。 Feffer說，下一步是將模型訓練為“一個更加多元化文化的更大數據集”。

更好的人機交互

研究人員說，訓練模型的另一個目標是，幫助計算機和機器人自動從少量變化的數據中學習，以更自然地檢測我們的感受并更好地滿足人類的需求。

例如，它可以在計算機或移動設備的背景中運行，以跟蹤用戶基于視頻的對話，并在不同的環(huán)境下學習細微的面部表情變化。 “你可以讓智能手機應用程序或網站之類的東西能夠分辨出人們的感受，并提出應對壓力或疼痛的方法，以及其它對他們生活產生負面影響的事情?！盕effer說。

這也可能有助于監(jiān)測抑郁癥或癡呆癥，因為人們的面部表情往往因這些條件而微妙地改變。 “能夠被動地監(jiān)控我們的面部表情?！盧udovic說，“隨著時間的推移，我們可以向用戶個性化這些模型，并監(jiān)控他們每天有多少偏差 —— 偏離平均表情水平 —— 并采用它關于健康和幸福的指標。”

Rudovic說，一個很有前途的應用是人類—機器人互動，例如個人機器人或用于教育目的的機器人，機器人需要適應，并評估許多不同人的情緒狀態(tài)。例如，一個版本被用于幫助機器人更好地解釋自閉癥兒童的情緒。