蘋果新論文發(fā)布，揭示了Siri語音技術(shù)的秘密

（文章來源：雷鋒網(wǎng)）

蘋果公司的跨平臺 Siri 虛擬助手在全球有著超過 5 億用戶，顯然，語音識別是蘋果感興趣的重要領(lǐng)域之一。蘋果公司發(fā)表了一系列預印本研究論文，就如何改進語音觸發(fā)檢測和說話人驗證，以及多說話人的語言識別技術(shù)進行了研究。在第一篇論文中，一組蘋果研究人員提出了一個訓練過的人工智能模型，這個模型既能執(zhí)行自動語音識別任務(wù)，也能執(zhí)行說話人識別任務(wù)。

正如他們在摘要中所解釋的，語音助手識別的命令通常以觸發(fā)短語（例如，“嘿，Siri”）為前綴，檢測這個觸發(fā)短語涉及兩個步驟。首先，人工智能必須判斷輸入音頻中的語音內(nèi)容是否與觸發(fā)短語的語音內(nèi)容相匹配（語音觸發(fā)檢測）；其次，人工智能必須判斷說話者的語音是否與注冊用戶或用戶的語音相匹配（語音驗證）。

通常情況下，這兩項任務(wù)都是被獨立考慮的。但有合著者假設(shè)，對語音發(fā)起者的了解可能有助于推斷出聲音信號中的語音內(nèi)容，反之亦然，這將有助于對這兩種屬性進行評估。對此，研究人員設(shè)計了三套能夠?qū)W習語音和說話人信息的模型，并對一組數(shù)據(jù)進行訓練，這些數(shù)據(jù)包含超過 16000 小時的帶注釋的樣本，其中 5000 小時的音頻有語音標簽（其余的為說話人標簽）。

不僅如此，還有超過 100 名受試者使用智能揚聲器設(shè)備在一系列聲學設(shè)置中為語料庫做出貢獻，包括安靜的房間、來自房間內(nèi)電視或廚房設(shè)備的外部噪音，以及錄音機以大音量播放音樂。值得一提的是，來自電視、廣播和播客的 2000 小時不包含觸發(fā)短語的連續(xù)音頻記錄也被添加進來，以此來測量“誤報”率。

這些模型顯示出了學習語音和說話人信息的能力，同時在相同數(shù)量的參數(shù)下，每個任務(wù)的準確性至少與基線模型相同。事實上，在提出的三種模型中，有一種在“多重”設(shè)置下的表現(xiàn)優(yōu)于說話者驗證基線，在文本無關(guān)的任務(wù)中相對于基線提高了 7.6%。研究人員認為，這樣的實驗結(jié)果是十分有趣的，因為這些模型是使用不相關(guān)的數(shù)據(jù)集訓練的，也就是說，每個音頻樣本要么有語音標簽，要么有說話人標簽，從來沒有兩者都有。

通過對結(jié)果的觀察，研究人員提出了一種靈活的設(shè)計，通過連接不同的任務(wù)的訓練數(shù)據(jù)，而不是為每個訓練示例獲取多個標簽，從而在多個相關(guān)任務(wù)上訓練模型。從實用的角度來看，這樣能夠在兩個任務(wù)之間共享計算可以節(jié)省設(shè)備內(nèi)存、計算時間或延遲，以及消耗的電量/電池。在研究中，有一項補充研究減少了錯誤觸發(fā)的發(fā)生，也就是說，語音助手有意地忽略了像 Siri 這樣的語音助手的語音。

研究人員表示，他們使用了圖形神經(jīng)網(wǎng)絡(luò)（GNN），這是一種操作在圖形結(jié)構(gòu)上的人工智能模型，其中每個節(jié)點都與一個標簽相關(guān)聯(lián)，目標是在沒有基礎(chǔ)事實的情況下預測節(jié)點的標簽。

在論文中，研究人員寫道：語音觸發(fā)的智能助手通常在開始監(jiān)聽用戶請求之前就會檢測到一個觸發(fā)短語……錯誤的觸發(fā)通常來自于背景噪音或聽起來類似于觸發(fā)短語的語音。因此，減少誤觸發(fā)是構(gòu)建以隱私為中心的非侵入性智能助手的一個重要方面。在未來的工作中，該團隊計劃將基于GNN 的處理擴展到其他任務(wù)，例如用戶意圖分類。

在另一篇論文中，蘋果研究人員探索了一種針對多語言使用者量身定制的說話人語言識別系統(tǒng)。他們表示，語音識別系統(tǒng)對大多數(shù)語言都有很高的準確性。但是，當有多重語言出現(xiàn)時，這個語言識別系統(tǒng)的表現(xiàn)就不盡如人意了。因此，基于這樣的實施情況，研究人員決定開展說話人語言識別系統(tǒng)的工作。

值得注意的是，《華盛頓郵報》近期委托進行的一項研究顯示，谷歌和亞馬遜生產(chǎn)的受歡迎的智能音箱聽懂本土用戶的語音比聽懂非美式口音的概率高出了 30%。同時，像 Switchboard 這樣的語料庫也已經(jīng)被證明對來自國內(nèi)特定地區(qū)的使用者存在可測量的傾斜，這個語料庫還是被 IBM 和微軟等公司用來衡量語音模型錯誤率的數(shù)據(jù)集。

針對這種情況，合著者將有關(guān)使用模式的知識整合到一個聽寫系統(tǒng)中，該系統(tǒng)能夠為來自 60 多個地區(qū)的演講者做出決策。其中，聲學子模型將根據(jù)語音信號所傳遞的證據(jù)進行預測，而上下文感知預測組件則考慮了各種交互上下文信號，通過這兩方面的預測，來選擇最優(yōu)的單語自動語音識別系統(tǒng)。

據(jù)了解，上下文信號包含了有關(guān)發(fā)出聽寫請求的條件的信息，包括有關(guān)已安裝的聽寫區(qū)域、當前選擇的聽寫區(qū)域以及用戶在發(fā)出請求之前是否切換了聽寫區(qū)域的信息。重要的是，它們有助于在語音信號太短的情況下，依靠聲學模型產(chǎn)生一個可靠的預測。比如說，如果用戶同時安裝了英語和德語，像“naIn?”這樣的短而模糊的語句，在德語中可能是否定的“nein”，在英語中則是數(shù)字“nine”。

另外，為了評估該系統(tǒng)，研究人員還開發(fā)了一種自定義指標，稱為“平均用戶準確度”（雷鋒網(wǎng)(公眾號：雷鋒網(wǎng))按，AUA，Average User Accuracy），他們認為這種指標能更好地反映模型中的“人口水平”使用模式。通過對多語言使用者的 128,000 個具有相應交互上下文信息的聽寫話語的內(nèi)部語料庫進行嚴格訓練，它在所有語言組合中實現(xiàn)了平均 87% 的準確性，同時將最差情況下的準確性相對于基線提高了 60% 以上。
? ? ? （責任編輯：fqj）