來自語障人士的語音數(shù)據(jù)集合

語言障礙癥狀影響著數(shù)百萬人的生活，其產(chǎn)生原因很多，包括神經(jīng)或遺傳疾病、身體缺陷、腦損傷或聽力喪失等，而由此導(dǎo)致的癥狀也各不相同，如口吃、構(gòu)音障礙 （Dysarthria）、失用癥 （Apraxia） 等，這些癥狀對患者的自我表達、社會生活參與，以及使用語音技術(shù)，都會產(chǎn)生不利影響。

自動語音識別 （ASR， Automatic Speech Recognition） 技術(shù)可以通過提升設(shè)備的聽寫和家居自動化能力以及溝通能力，來幫助語言障礙人士克服上述問題。然而，盡管隨著深度學(xué)習(xí)系統(tǒng)計算能力的提升，以及有大型訓(xùn)練數(shù)據(jù)集可供使用，ASR 系統(tǒng)在準確率方面有所提升，但是對于許多具有語言障礙的人而言，系統(tǒng)的性能仍有所欠缺，導(dǎo)致許多本應(yīng)受益良多的患者無法有效利用這項技術(shù)。

2019 年，我們推出了 Euphonia 項目，探討如何通過個性化的識別語言障礙 ASR 模型，實現(xiàn)在典型語音上與通用 ASR 模型相同水平的準確率。今天我們?yōu)榇蠹曳窒韮身椩?Interspeech 2021 上發(fā)布的研究成果，這兩項研究目的在于讓更多用戶群體可以利用個性化 ASR 模型。在“無序語音數(shù)據(jù)集合：從 Euphonia 項目 100 萬條語音中總結(jié)的經(jīng)驗 （Disordered Speech Data Collection： Lessons Learned at 1 Million Utterances from Project Euphonia）”中，我們介紹了一個涵蓋范圍廣泛的無序語音數(shù)據(jù)集合，其中包含的語音數(shù)據(jù)超過 100 萬條。在“自動識別無序語音：在短語方面?zhèn)€性化模型較人類表現(xiàn)更佳 （Automatic Speech Recognition of Disordered Speech： Personalized models outperforming human listeners on short phrases） ”中，我們討論了在基于該語料庫生成個性化 ASR 模型上所開展的工作。與利用典型語音訓(xùn)練的開箱即用的語音模型相比，這種方法可以產(chǎn)生準確率更高的模型，在特定的語境中，字錯誤率 （WER， Word error rate） 可降低高達 85% 。

Euphonia

https://blog.google/outreach-initiatives/accessibility/impaired-speech-recognition/

無序語音數(shù)據(jù)集合：從 Euphonia 項目 100 萬條語音中總結(jié)的經(jīng)驗

https://www.isca-speech.org/archive/interspeech_2021/macdonald21_interspeech.html

自動識別無序語音：在短語方面?zhèn)€性化模型較人類表現(xiàn)更佳

https://www.isca-speech.org/archive/interspeech_2021/green21_interspeech.html

來自語障人士的語音數(shù)據(jù)集合

自 2019 年起，不少語障人士為支持 Euphonia 項目的研究工作提供了語音樣本。他們的嚴重程度不同，癥狀也不一樣。這項工作將 Euphonia 項目的語料庫擴展至超過 100 萬條語音，包括了來自 1330 名說話者的 1400 多小時語音記錄（截至 2021 年 8 月）。

基于超過 300 條錄制的語音數(shù)據(jù)，繪制出的所有說話者的語言障礙嚴重程度和所患病癥分布圖。在病癥方面，僅顯示患病人數(shù)超過 5 人的病癥，否則統(tǒng)一記入“其他”以滿足 k 匿名性 （k-anonymity）

ALS 代表肌萎縮性脊髓側(cè)索硬化癥；DS 代表唐氏綜合癥；PD 代表帕金森??；CP 代表腦癱；HI 代表聽力障礙；MD 代表肌肉萎縮癥；MS 代表多發(fā)性硬化癥

Euphonia 項目的研究工作

https://sites.research.google/euphonia/about/

為簡化數(shù)據(jù)收集流程，參與者在筆記本電腦或者手機等個人硬件上（使用或者不使用頭戴式耳機）通過家用錄音系統(tǒng)收集語音，而不是在類似實驗室這樣的理想環(huán)境中收集錄音棚品質(zhì)的語音。

為降低轉(zhuǎn)錄成本，同時保持較高的轉(zhuǎn)錄一致性，我們優(yōu)先采取了按照文本朗讀的方式。參與者根據(jù)瀏覽器端錄音工具上顯示的提示語進行朗讀。這些提示語涵蓋家居自動化（“打開電視?！保?、與看護者對話（“我餓了?！保┮约胺钦綄υ挘ā澳愫脝?？你今天過得愉快嗎？”）等語境。大部分參與者會朗讀 1500 條提示語，其中包含 1100 個只出現(xiàn)一次的短語以及 100 個重復(fù)出現(xiàn) 4 次的短語。

語音專家在傾聽每位說話者部分語音的同時，進行了全面的聽覺感知和語音評估，以便根據(jù)多種為說話者分級的元數(shù)據(jù)，來判定語言障礙類型（例如口吃、構(gòu)音障礙、失用癥等），對如鼻音過重（Hypernasal speech）、發(fā)音失準和言語聲律障礙（Dysprosody）等 24 種異常語音特征進行評定，同時對技術(shù)問題（例如信號丟失、分割問題）和聲學(xué)問題（例如環(huán)境噪音、次級揚聲器串擾）進行錄音質(zhì)量評估。

個性化 ASR 模型

這個擴展的語音障礙數(shù)據(jù)集也是我們生成無序語音個性化 ASR 模型新方法的基礎(chǔ)。每個定制模型都使用標準的端對端 RNN-傳感器 （RNN-T） ASR 模型，該模型僅對目標說話者的數(shù)據(jù)進行微調(diào)。

RNN-傳感器架構(gòu)。在示例中，編碼器網(wǎng)絡(luò)由 8 層組成，而預(yù)測器網(wǎng)絡(luò)由 2 層單向 LSTM （Long short-term memory） 單元組成

為此，我們重點調(diào)整了編碼器網(wǎng)絡(luò)，也就是模型中處理說話者特定聲學(xué)數(shù)據(jù)的部分，因為語音障礙是我們語料庫中最常見的現(xiàn)象。我們發(fā)現(xiàn)，只更新 8 個編碼器層中最底層的 5 個，而凍結(jié)最上面的 3 個編碼器層（以及連接層和解碼器層），可以得到最好的結(jié)果，并能夠有效避免過度擬合。為了讓這些模型在處理背景噪聲和其他聲學(xué)效應(yīng)方面更具魯棒性，我們采用了專門針對無序語音為主要特征進行調(diào)整的 SpecAugment 配置。

SpecAugment

https://ai.googleblog.com/2019/04/specaugment-new-data-augmentation.html

結(jié)果

我們訓(xùn)練了約 430 名說話者的個性化 ASR 模型，他們每人至少錄制了 300 條語音。我們把其中 10% 的語音作為測試集（訓(xùn)練和測試間沒有短語重疊），在此基礎(chǔ)上，計算了個性化模型以及未調(diào)適的基礎(chǔ)模型的 WER。

總的來說，無論是何種嚴重程度還是病癥，我們提供的個性化方法都取得了顯著效果。即便是存在嚴重語言障礙的語音，家居自動化語境短語的 WER 中位數(shù)從 89% 左右降到了 13%。在如與看護者對話等其他語境中，準確率也有顯著提高。

在未調(diào)適與個性化 ASR 模型中使用居家自動化短語的 WER

為了解個性化模型何時不適用，我們對以下幾個子組進行了分析：

●

HighWER 與 LowWER：將說話者按照具有基于 WER 分布的第 1 和第 5 個五分位數(shù)的高和低劃分個性化模型。

●

SurpHighWER：具有超高 WER 的說話者（在 HighWER 組中典型或具有輕度語言障礙的參與者）。

不同的病癥以及語言障礙表現(xiàn)形式對 ASR 產(chǎn)生的影響是不一致的。根據(jù) HighWER 組中語言障礙類型的分布表明，由于腦癱（Cerebral palsy）引起的構(gòu)音障礙特別難以建模。不出意外，該組中語言障礙嚴重程度的中位數(shù)也更高。

為了識別影響 ASR 準確率的特定說話者以及技術(shù)因素，我們檢查了 ASR 表現(xiàn)較差 （HighWER） 和優(yōu)秀 （LowWER） 的參與者之間元數(shù)據(jù)的差異 （Cohen‘s D）。和預(yù)期一樣，LowWER 組中整體語言受損程度顯著低于HighWER組 （p 《 0.01）。HighWER 組中最突出的非典型語音特征是清晰度以及受損程度，同時包含其他較為突出的語音特征，如異常的韻律（Prosody ）、發(fā)音及發(fā)聲（Phonation）。眾所周知，這些語音特征也會降低語音的整體清晰度。

與 LowWER 組 （p 《 0.01） 相比，SurpHighWER 組中的訓(xùn)練語音更少，且 SNR 更低，進而導(dǎo)致較大（負）的效應(yīng)量，而其他因素的效應(yīng)量則較?。焖傩猿猓Ｏ啾戎?，HighWER 組在所有因素中都表現(xiàn)出了較大差異。

語音障礙和技術(shù)元數(shù)據(jù)效應(yīng)量對比結(jié)果：HighWER 組與 LowWER 組對比；SurpHighWER 組和 LowWER 組對比。正值結(jié)果表明 HighWER 組的組值大于 LowWER 組的組值

之后，我們將個性化 ASR 模型和人類聽眾進行了比較。三位語音專家分別為每位說話者轉(zhuǎn)錄了 30 條語音。我們發(fā)現(xiàn)，與人類聽眾的 WER 相比，個性化 ASR 模型的 WER 平均而言更低，并且隨語言受損嚴重程度的增加而表現(xiàn)的更好。

個性化 ASR 模型 WER 與人類聽眾 WER 之間的增量。負值表明個性化 ASR 模型的表現(xiàn)優(yōu)于人類（專家）聽眾

結(jié)論

Euphonia 語料庫擁有超過 100 萬條語音，是最大、最多樣的無序語音語料庫之一（就無序類型與受損程度而言），這一語料庫大大提升了非典型語音類型中的 ASR 準確率。我們的研究結(jié)果證明，個性化 ASR 模型在識別各種語言障礙以及受損程度方面十分有效，而且具備了讓更多用戶使用 ASR 的潛力。

責任編輯：haq