亞馬遜Alexa新算法：無需重新訓(xùn)練模型，讓AI輕松善解人意

亞馬遜Alexa新算法：無需重新訓(xùn)練模型，讓AI輕松善解人意

導(dǎo)語：Alexa的“隱式調(diào)用”功能將有可能通過CoNDA技術(shù)直接添加到技能商店，而無需浪費(fèi)時(shí)間重頭訓(xùn)練模型。

智東西5月5日消息，據(jù)外媒報(bào)道，Alexa最近獲得了亞馬遜所謂的“隱式調(diào)用”（name-free skill interaction）功能，這使得它能夠解析未明確指出的第三方語音應(yīng)用的請(qǐng)求意圖。例如，向Alexa發(fā)出指令：“Alexa，給我一輛車”，你不必指定網(wǎng)約車服務(wù)的提供商，它可能就會(huì)打開Uber、Lyft或其他一些乘車服務(wù)。

但正如Alexa AI研究部門的科學(xué)家所說，這并不像看上去那么簡(jiǎn)單，因?yàn)槊看螌⑿录寄芴砑拥紸lexa技能商店時(shí)，理想情況下需要從頭開始重新訓(xùn)練將話語映射成技能（被稱為“SHORTLISTER”）的人工智能系統(tǒng)，這需要重新訓(xùn)練所有的原始訓(xùn)練數(shù)據(jù)，以及與任何新技能相關(guān)的數(shù)據(jù)。而Alexa僅在過去一年就增加了數(shù)萬項(xiàng)新技能，如果神經(jīng)網(wǎng)絡(luò)要定期更新，這種做法將非常耗時(shí)且不切實(shí)際。

幸運(yùn)的是，在今年新奧爾良舉辦的國際計(jì)算語言學(xué)協(xié)會(huì)（ACL，The Association for Computational Linguistics）北美分會(huì)上，Alexa的研究團(tuán)隊(duì)發(fā)表的一篇新論文（《Continuous Learning for Large-scale Personalized Domain Classification》）中，研究人員提出了一種省力的替代方案CoNDA（連續(xù)神經(jīng)預(yù)適應(yīng)，Continuous Neural Domain Adaptation）技術(shù)。它需要“凍結(jié)”AI模型的設(shè)置，并添加適應(yīng)新技能的新網(wǎng)絡(luò)節(jié)點(diǎn)，然后僅在與新技能相關(guān)的數(shù)據(jù)上訓(xùn)練這些被添加的節(jié)點(diǎn)。

研究人員報(bào)告說，在涉及900項(xiàng)技能的訓(xùn)練數(shù)據(jù)集和100項(xiàng)新技能的再訓(xùn)練數(shù)據(jù)集的實(shí)驗(yàn)中，表現(xiàn)最佳的SHORTLISTER版本（總共六個(gè)版本）在現(xiàn)有技能上達(dá)到88％的準(zhǔn)確率，僅比從頭開始重新訓(xùn)練的模型的準(zhǔn)確率低3.6％。

一、讓AI理解人類的隱含意思有多難？重頭訓(xùn)練模型太麻煩

有時(shí)候，人們說一句話不會(huì)說全，這個(gè)時(shí)候聽者怎么執(zhí)行就要靠悟性。

人們常說會(huì)看眼色行事是高情商的表現(xiàn)，那么機(jī)器可以說是低情商的典型，往往只能呆板的執(zhí)行明確的指令，“猜”不出人們?cè)捳Z中的引申義。

要讓機(jī)器猜透你的所思所想，那可是相當(dāng)不容易的一件事，它需要建立一個(gè)將人的口頭語映射到智能個(gè)人數(shù)字助理中（IPDA）的自然語言理解（NLU）領(lǐng)域任務(wù)的神經(jīng)網(wǎng)絡(luò)，這個(gè)過程叫做域分類（Domain classification）。這是主流IPDA行業(yè)的主要組成部分。

域是智能個(gè)人數(shù)字助理中對(duì)天氣、日歷或音樂等特定的應(yīng)用或功能的定義。例如，用戶對(duì)Alexa說“我要用優(yōu)步搭車”，相應(yīng)的域就會(huì)調(diào)用“Uber”應(yīng)用程序。除官方域名外，外部開發(fā)人員還會(huì)創(chuàng)建數(shù)千個(gè)第三方域名來提升IPDA的能力。

每當(dāng)讓AI掌握一個(gè)新的“引申義”（即增加一個(gè)新域），就意味著需要更新這個(gè)網(wǎng)絡(luò)。

傳統(tǒng)上IPDA只支持?jǐn)?shù)十個(gè)分離良好的域名，為了增加域名覆蓋范圍并擴(kuò)展IPDA的功能，主流IPDA發(fā)布了允許第三方開發(fā)人員構(gòu)建新域的工具。Amazons Alexa Skills Kit，Googles Actions和Microsofts Cortana Skills Kit就是這樣的例子工具。而且，為了應(yīng)對(duì)新域的涌入，已經(jīng)提出了像SHORTLISTER這樣的大規(guī)模域分類方法，并取得了良好的效果。

隨著越來越多的新域名迅速發(fā)展，大規(guī)模域名分類的主要挑戰(zhàn)之一是在不會(huì)失去已知預(yù)測(cè)能力的情況下如何快速適應(yīng)新域，一個(gè)直截了當(dāng)?shù)慕鉀Q方案是，從頭開始訓(xùn)練網(wǎng)絡(luò)，重新訓(xùn)練所有的原始訓(xùn)練數(shù)據(jù)，以及所有和新技能相關(guān)的數(shù)據(jù)。

而Alexa僅在過去一年就增加了數(shù)萬項(xiàng)技能，如果每增加一個(gè)新技能都重新訓(xùn)練一遍網(wǎng)絡(luò)，那將費(fèi)時(shí)費(fèi)力又浪費(fèi)資源。

為了解決這一問題，提出了一種高效地更新系統(tǒng)使之適應(yīng)新技能的解決方案連續(xù)神經(jīng)域適應(yīng)CoNDA（Continuous Neural Domain Adaptation）。

他們用900個(gè)域作為初始訓(xùn)練數(shù)據(jù)集，用另外100個(gè)新域作為測(cè)試集，一共測(cè)試了6個(gè)不同版本的神經(jīng)網(wǎng)絡(luò)。

經(jīng)過大量的實(shí)驗(yàn)，結(jié)果證明CoNDA在新域和現(xiàn)有域的測(cè)試精度都非常高，100個(gè)新域的平均預(yù)測(cè)準(zhǔn)確率達(dá)到95.6％，并且在100個(gè)新域之后的所有域上累計(jì)準(zhǔn)確率達(dá)到88.2％。表現(xiàn)遠(yuǎn)遠(yuǎn)超過baseline。

二、CoNDA技術(shù)只針對(duì)新技術(shù)進(jìn)行數(shù)據(jù)訓(xùn)練

研究人員的方法依賴于嵌入（embeddings），嵌入將數(shù)據(jù)表示為固定大小的向量（坐標(biāo)序列），坐標(biāo)序列定義了多維空間中的點(diǎn)，在多為空間中具有相似屬性的項(xiàng)目彼此分組。為了提高效率，嵌入層存儲(chǔ)在大型索引表中并在運(yùn)行時(shí)加載。

像Shortlister這樣的機(jī)器學(xué)習(xí)模型包括多個(gè)互相聯(lián)接的功能層，每個(gè)層由簡(jiǎn)單的節(jié)點(diǎn)（或稱為“神經(jīng)元”組成，節(jié)點(diǎn)之間的連接有關(guān)聯(lián)的權(quán)重，訓(xùn)練神經(jīng)網(wǎng)絡(luò)主要就是調(diào)整這些權(quán)重。

研究人員介紹了CoNDA技術(shù)，它是無名域名分類的最新技術(shù)Shortlister的變種。Shortlister有三個(gè)主要模塊。

第一個(gè)模塊用于生成表示Alexa用戶指令的向量，使用嵌入曾來表示用戶已啟用的所有技能（通常在10個(gè)左右）。

第二個(gè)模塊生成啟用技能的單一摘要向量，其中一些技能在話語向量的基礎(chǔ)上進(jìn)行額外的強(qiáng)調(diào)。

第三個(gè)模塊將輸入（用戶話語，結(jié)合啟用技能信息）和輸出（技能分配）映射到同一向量空間，并根據(jù)他們應(yīng)該執(zhí)行客戶請(qǐng)求的可能性來生成技能的候選名單。

第二個(gè)網(wǎng)絡(luò)被稱之為HypRank（假設(shè)排名，hypothesis ranker），它根據(jù)更細(xì)粒度的上下文信息來細(xì)化該列表。

為了提高效率，研究人員將技能嵌入存儲(chǔ)在一個(gè)大型查找表中。當(dāng)有新技能被添加到Shortlister時(shí)，嵌入表會(huì)添加相應(yīng)的一行，而所有其他嵌入保持不變。

類似地，Shortlister的輸出層由單行節(jié)點(diǎn)組成，每個(gè)節(jié)點(diǎn)對(duì)應(yīng)于一個(gè)技能，每添加一項(xiàng)技能，將在該行擴(kuò)展一個(gè)節(jié)點(diǎn)，每個(gè)添加的節(jié)點(diǎn)都連接到其下層中的所有節(jié)點(diǎn)。

接下來，凍結(jié)所有網(wǎng)絡(luò)連接的權(quán)重（除了新技能對(duì)應(yīng)的輸出節(jié)點(diǎn)的權(quán)重），然后僅針對(duì)與技能相關(guān)的數(shù)據(jù)訓(xùn)練新的嵌入和節(jié)點(diǎn)。

第三個(gè)模塊的映射即標(biāo)準(zhǔn)化過程，將矢量長(zhǎng)度規(guī)范到統(tǒng)一空間。但當(dāng)神經(jīng)網(wǎng)絡(luò)在新數(shù)據(jù)上重新訓(xùn)練時(shí)，新的向量往往不會(huì)經(jīng)歷這種標(biāo)準(zhǔn)化過程。重新訓(xùn)練的網(wǎng)絡(luò)可以簡(jiǎn)單地通過使其矢量比其他所有數(shù)據(jù)更長(zhǎng)，來確保新訓(xùn)練數(shù)據(jù)的良好性能。

類似地，當(dāng)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)新技能的嵌入時(shí)，也可以通過使新技能的向量比其他技能更長(zhǎng)來提高性能。為了防止“災(zāi)難性遺忘”（catastrophic forgetting），在訓(xùn)練期間，Shortlister評(píng)估新技能的嵌入不僅僅考慮整個(gè)網(wǎng)絡(luò)對(duì)新數(shù)據(jù)的分類程度，還考慮其與現(xiàn)有嵌入的一致性。

此外，研究人員們還用另一種技術(shù)來防止災(zāi)難性遺忘，除了加上新技能的數(shù)據(jù)重新訓(xùn)練網(wǎng)絡(luò)外，他們還從每個(gè)現(xiàn)有的代表性技能中提取小數(shù)據(jù)樣本，因?yàn)樗鼈冏钅艽砀髯缘臄?shù)據(jù)集。

結(jié)語：CoNDA技術(shù)將有助于語音助手更善解人意

通過CoNDA技術(shù)為IPDA添加新技能的時(shí)候，無需進(jìn)行耗時(shí)的再培訓(xùn)，而是通過“凍結(jié)”AI模型的設(shè)置，添加適應(yīng)新技能的新組件，并僅用與其相關(guān)的數(shù)據(jù)訓(xùn)練這些新組件。

此項(xiàng)技術(shù)如果能不斷成熟并被推廣，語音助手將能更快更好地理解用戶的指令，變得更加善解人意。