實時通信中的AI降噪技術分析

Part 01●概述●

在實時音視頻通信場景，麥克風采集用戶語音的同時會采集大量環(huán)境噪聲，傳統(tǒng)降噪算法僅對平穩(wěn)噪聲（如電扇風聲、白噪聲、電路底噪等）有一定效果，對非平穩(wěn)的瞬態(tài)噪聲（如餐廳嘈雜噪聲、地鐵環(huán)境噪聲、家庭廚房噪聲等）降噪效果較差，嚴重影響用戶的通話體驗。針對泛家庭、辦公等復雜場景中的上百種非平穩(wěn)噪聲問題，融合通信系統(tǒng)部生態(tài)賦能團隊自主研發(fā)基于GRU模型的AI音頻降噪技術，并通過算法和工程優(yōu)化，將降噪模型尺寸從2.4MB壓縮至82KB，運行內(nèi)存降低約65%；計算復雜度從約186Mflops優(yōu)化至42Mflops,運行效率提升77%；在現(xiàn)有的測試數(shù)據(jù)集中（實驗環(huán)境下），可有效分離人聲和噪聲，將通話語音質量Mos分（平均意見值）提升至4.25。

Part 02●噪聲分類和降噪算法選擇●

實時音視頻的應用場景中，設備處于復雜的聲學環(huán)境，麥克風采集語音信號的同時還會采集大量噪聲，對實時音視頻質量來說是一個非常大的挑戰(zhàn)。噪聲的種類是多種多樣的。根據(jù)噪聲的數(shù)學統(tǒng)計特性可以將噪聲分為兩類：

平穩(wěn)噪聲：噪聲的統(tǒng)計特性在比較長的時間里不會隨時間而變化，比如白噪聲、電風扇、空調(diào)、車內(nèi)噪聲等；

非平穩(wěn)噪聲：噪聲的統(tǒng)計特性隨時間在變化，如餐廳嘈雜噪聲、地鐵站、辦公室、家庭廚房等。

在實時音視頻應用中，通話易受到各類噪聲干擾從而影響體驗，因此實時音頻降噪已經(jīng)成為實時音視頻中的一個重要功能。對于平穩(wěn)的噪聲，比如空調(diào)出風口呼呼聲或者錄制設備的底噪，它不會隨著時間變化而產(chǎn)生較大變化，可以將其估計預測出來，通過簡單的減法的方式把它去掉，常見的有譜減法、維納濾波以及小波變換。對于非平穩(wěn)噪聲，例如馬路上車子呼嘯而過的聲音、餐廳內(nèi)餐盤的撞擊聲、家庭廚房內(nèi)的鍋具的敲擊聲，都是隨機突發(fā)出現(xiàn)，是不可能通過估計預測的方式去解決的。傳統(tǒng)算法對于非平穩(wěn)噪聲難以估計和消除，這也是我們采用深度學習算法的原因。

Part 03●深度學習降噪算法設計●

為了提高音頻SDK對于各種噪聲場景的降噪能力，彌補傳統(tǒng)降噪算法的不足，我們研發(fā)了基于RNN的AI降噪模塊，結合傳統(tǒng)降噪技術和深度學習技術。重點針對家庭和辦公室使用場景的降噪處理，在噪聲數(shù)據(jù)集中加入大量的室內(nèi)噪聲類型，諸如辦公室內(nèi)的鍵盤敲擊、辦公桌與辦公用品拖拉的摩擦聲、座椅拖動、家庭中的廚房嘈雜聲、地板撞擊聲等等。

與此同時，為了在移動端的實時語音處理落地，該AI音頻降噪算法將計算開銷和庫的尺寸控制在一個非常低的量級。在計算開銷上，以48KHz為例，每幀語音的RNN網(wǎng)絡處理處理僅需約17.5Mflops，F(xiàn)FT和IFFT每幀語音需要約7.5Mflops，特征提取需要約12Mflops，總計約42Mflops，計算復雜度約和48KHz的Opus編解碼相當，在某品牌中端手機型號，統(tǒng)計RNN降噪模塊CPU占用約為4%。在音頻庫的尺寸上，開啟RNN降噪編譯后，音頻引擎庫的體積僅僅增加約108kB。

Part 04●網(wǎng)絡模型及處理流程●

該模塊采用RNN 模型，原因是 RNN 相比其他學習模型（例如 CNN）攜帶時間信息，可以對時序信號進行建模，而不僅僅是單獨的音頻輸入和輸出幀。同時，模型采用門控循環(huán)單元（GRU，如圖1所示），實驗表明，GRU在語音降噪任務上的性能略好于LSTM，并且由于GRU的權值參數(shù)更少，可以節(jié)省計算資源。與簡單的循環(huán)單元相比，GRU有兩個額外的門。重置門控制狀態(tài)是否用于計算新狀態(tài)，而更新門控制狀態(tài)將根據(jù)新輸入改變的程度。這個更新門使GRU可以長時間記憶時序信息，這也是GRU比簡單的循環(huán)單元表現(xiàn)更好的原因。

圖1 左側為簡單循環(huán)單元，右側為GRU

模型的結構如圖2所示。訓練后的模型會被嵌入到音視頻通信 SDK 中，通過讀取硬件設備的音頻流，對音頻流進行分幀處理并送入 AI 降噪預處理模塊中，預處理模塊會將對應的特征（Feature）計算出來，并輸出到訓練好的模型中，通過模型計算出對應的增益（Gain）值，使用增益值對信號進行調(diào)整，最終達到降噪的目的（如圖3所示）。

圖 2. 基于GRU的RNN網(wǎng)絡模型

圖3. 上方為模型訓練流程，下方為實時降噪流程

Part 05●AI降噪處理效果和落地●

圖4為帶有鍵盤敲擊噪聲的降噪前后語音語譜圖的對比，上半部分為降噪前的帶噪語音信號，其中紅色矩形框內(nèi)為鍵盤敲擊噪聲。下半部分為降噪后的語音信號，通過觀測可以發(fā)現(xiàn)，絕大部分鍵盤敲擊聲均可以被抑制，同時語音損傷控制在較低的程度。

圖4. 帶噪語音（通話過程伴隨著鍵盤敲擊聲）降噪前后對比

目前的AI降噪模型，已經(jīng)在手機端和家親上線，改善手機端和家親APP通話降噪效果，對泛家庭、辦公室等100多種噪聲場景具備優(yōu)秀的抑制能力，同時保持語音不失真。下一階段，將將持續(xù)優(yōu)化AI降噪模型的計算復雜度，以在IoT低功耗設備上能夠推廣使用。

審核編輯：陳陳