結(jié)合卷積和注意機制改進日語ASR

自動語音識別（ ASR ）研究通常側(cè)重于高資源語言，如英語，它由數(shù)十萬小時的語音支持。最近的文獻重新關(guān)注更復雜的語言，如日語。與其他亞洲語言一樣，日語有大量的基本字符集（普通白話中使用了 3000 多個獨特的字符），并提出了獨特的挑戰(zhàn)，例如多個詞序。

這篇文章討論了最近提高日語 ASR 準確性和速度的工作。首先，我們改進了 Conformer ，這是一種最先進的 ASR 神經(jīng)網(wǎng)絡(luò)架構(gòu)，在訓練和推理速度方面取得了顯著的改進，并且沒有精度損失。其次，我們增強了一個具有多頭部自我注意機制的純深度卷積網(wǎng)絡(luò)，以豐富輸入語音波形的全局上下文表示的學習。

語音識別中的深度稀疏整合器

Conformer 是一種神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)，廣泛應(yīng)用于多種語言的 ASR 系統(tǒng)中，并取得了較高的精度。然而， Conformer 在訓練和推斷方面都相對較慢，因為它使用了多頭自我注意，對于輸入音頻波的長度，其時間/內(nèi)存復雜度為 quadratic 。

這妨礙了它對長音頻序列的高效處理，因為在訓練和推斷過程中需要相對較高的內(nèi)存占用。這些激勵了稀疏 關(guān)注高效 Conformer 構(gòu)建。此外，由于注意力較少，內(nèi)存成本相對較低，我們能夠構(gòu)建一個更深的網(wǎng)絡(luò)，可以處理由大規(guī)模語音數(shù)據(jù)集提供的長序列。

圖 1.深度稀疏 Conformer 的編碼器模型架構(gòu)

如圖 1 所示，我們在兩個方向上改進了 Conformer 長序列表示能力：稀疏和深入。我們使用一個排名標準，只選擇一小部分占主導地位的查詢，而不是整個查詢集，以節(jié)省計算注意力得分的時間。

在執(zhí)行剩余連接時，使用深度規(guī)范化策略，以確保百級 Conformer 塊的訓練。該策略包括使用一個函數(shù)來貼現(xiàn)編碼器和解碼器部分的參數(shù)，該函數(shù)分別與編碼器層和解碼器層的數(shù)量相關(guān)。

此外，這種深度規(guī)范化策略可確保成功構(gòu)建 10 到 100 層，從而使模型更具表現(xiàn)力。相比之下，與普通 Conformer 相比，深度稀疏 Conformer 的時間和內(nèi)存成本降低了 10% 到 20% 。

用于語音識別的注意力增強型 Citrinet

NVIDIA 研究人員提出的 Citrinet 是一種基于端到端卷積連接時態(tài)分類（ CTC ）的 ASR 模型。為了捕獲本地和全局上下文信息， Citrinet 使用 1D 時間通道可分離卷積與子字編碼、壓縮和激勵（ SE ）相結(jié)合，使整個體系結(jié)構(gòu)與基于變壓器的同類產(chǎn)品相比達到最先進的精度。

將 Citrinet 應(yīng)用于日本 ASR 涉及幾個挑戰(zhàn)。具體來說，與類似的深度神經(jīng)網(wǎng)絡(luò)模型相比，它的收斂速度相對較慢，并且更難訓練出具有類似精度的模型?？紤]到影響 Citrinet 收斂速度的卷積層多達 235 個，我們旨在通過在 Citrinet 塊的卷積模塊中引入多頭部注意來減少 CNN 層，同時保持 SE 和剩余模塊不變。

圖 2.Citrinet 端到端架構(gòu)和主要構(gòu)建塊

如圖 2 所示，加快訓練時間需要在每個注意力增強的 Citrinet 塊中減少八個卷積層。此外，考慮到自我注意對輸入音頻波的長度具有二次 的時間/記憶復雜性，我們將原來的 23 個 Jasper 塊縮減為 8 個塊，模型尺寸顯著減小。這種設(shè)計確保了注意力增強的 Citrinet 對于從 20 秒到 100 秒的長語音序列達到了可比的推理時間。

初步實驗表明，基于注意力的模型收斂于 100 到 200 個時間點，而 Citrinet 收斂到最佳錯誤率需要 500 到 1000 個時間點。在日本 CSJ-500-hour 數(shù)據(jù)集上的實驗表明，與 Citrinet （ 80% 的訓練時間）和 Conformer （ 40% 的訓練時間和 18.5% 的模型大?。┫啾?， Citrinet 的注意力需要更少的塊層，收斂速度更快，字符錯誤率更低。

總結(jié)

通常，我們提出兩種新的架構(gòu)來構(gòu)建端到端的日本 ASR 模型。在一個方向上，我們改進了基于變壓器的 Conformer 訓練和推斷速度，并保持了其準確性。我們成功地構(gòu)建了更稀疏和更深入的 Conformer 模型。我們還通過引入多頭部自我注意機制和修剪 80% 的 CNN 層，提高了基于 CNN 的 Citrinet 收斂速度和準確性。這些建議是通用的，適用于其他亞洲語言。

關(guān)于作者

吳顯超博士是 NVIDIA 的高級解決方案架構(gòu)師。他專注于語音處理和自然語言處理的研究領(lǐng)域。他支持客戶在 NVIDIA SDK （如威震天 LM 、 NeMo 和 Riva ）下構(gòu)建大規(guī)模預處理模型和對話人工智能平臺。

Somshubra Majumdar 是 NVIDIA NeMo 工具包的資深研究科學家。他于 2016 年獲得孟買大學計算機工程學士學位， 2018 年獲得芝加哥伊利諾伊大學計算機科學碩士學位。他的研究興趣包括自動語音識別、語音分類、時間序列分類和深度學習的實際應(yīng)用。

審核編輯：郭婷