WebRTC與QttAudio的回聲消除技術(shù)在 Android 可視對講程序中的應(yīng)用對比

隨著移動互聯(lián)網(wǎng)技術(shù)的發(fā)展,智能手機(jī)上基于無線網(wǎng)絡(luò)的可視對講功能的應(yīng)用開始逐步興起。在Android上的此類應(yīng)用程序的開發(fā)過程中,都會遇到聲學(xué)回聲難題。AEC技術(shù)非常復(fù)雜,需要非常專業(yè)的聲學(xué)和音頻處理技術(shù)。WebRTC的發(fā)布改變了這一局面，而QttAudio SDK的誕生，則完全將回聲消除、聲學(xué)音頻處理等復(fù)雜技術(shù)難度降至最低，使任何開發(fā)者都可以快速的開發(fā)出音視頻對講功能應(yīng)用。

• WebRTC介紹

WebRTC是谷歌公司2011年發(fā)布的一項(xiàng)技術(shù)。WebRTC技術(shù)主要用于在支持HTML5的瀏覽器上實(shí)現(xiàn)實(shí)時音視頻對話。功能包括會話初始化協(xié)議SIP的實(shí)現(xiàn)、音視頻編解碼和音視頻數(shù)據(jù)處理等等。經(jīng)過源代碼分析,將AEC部分的代碼單獨(dú)摘取出來,并編譯成動態(tài)鏈接庫,通過jni技術(shù)使Java代碼調(diào)用動態(tài)鏈接庫,實(shí)現(xiàn)高質(zhì)量回聲消除。

WebRTC的AEC模塊采用自適應(yīng)濾波算法實(shí)現(xiàn)回聲消除。該算法以輸出到揚(yáng)聲器的音頻數(shù)據(jù)為依據(jù),根據(jù)現(xiàn)場的回聲路徑特征,模擬出回聲信號。以模擬回聲信號為依據(jù),從麥克風(fēng)采集到的音頻數(shù)據(jù)中濾除模擬回聲信號。算法的實(shí)現(xiàn)原理如圖1所示。y(n)代表遠(yuǎn)端語音數(shù)據(jù),y(n)在交給近端揚(yáng)聲器播放的同時,還送到自適應(yīng)濾波器,產(chǎn)生回聲估計(jì)值d^(n)。x(n)代表近端有用語音,麥克風(fēng)采集的數(shù)據(jù)是x(n)和y(n)產(chǎn)生的回聲d(n)的疊加,即x(n)+d(n)。經(jīng)濾波處理,最終近端語音數(shù)據(jù)為:u(n)=x(n)+d(n)-d^(n)。其中e(n)=d(n)-d^(n),稱為回聲消除誤差。理想狀態(tài)下,e(n)應(yīng)為0。但現(xiàn)實(shí)中e(n)不可能為0。濾波器會根據(jù)e(n)的值自動調(diào)整濾波系數(shù)。

• ?WebRTC的移植

我們將AEC模塊分成了兩個大塊,第一個大塊是音頻處理的通用模塊WebTRC_audio(該模塊編譯成功后生成“l(fā)ibwebrtc_spl.so”動態(tài)庫,供第二大塊調(diào)用),源代碼位于WebRTC源代碼根路徑下的“common_audio\signal_processing”中。第二大塊是WebRTC_aec(該模塊編譯成功后生成“l(fā)ibwebrtc_aec.so”動態(tài)庫),源代碼位于WebRTC源代碼根路徑下的“modules\audio_processing\aec”中。
如下是WebRTC_aec模塊的編譯腳本主要部分:
LOCAL_PATH:=$(call my-dir)
include $(CLEAR_VARS)
LOCAL_MODULE:=signal_prebuilt
LOCAL_SRC_FILES:=webrtc_signal/libwebrtc_spl.so
include $(PREBUILT_SHARED_LIBRARY)
include $(CLEAR_VARS)
LOCAL_MODULE := libwebrtc_aec
LOCAL_SHARED_LIBRARIES := signal_prebuilt
include $(BUILD_SHARED_LIBRARY)
先看編譯腳本的前五行,定義了一個預(yù)編譯模塊,即WebRTC_
a u d i o 塊, 然后通過L O C A L _ S H A R E D _ L I B R A R I E S :=signal_prebuilt來導(dǎo)入該模塊。

• 應(yīng)用層多線程實(shí)現(xiàn)回聲消除

如果想要成功消除回聲,必須將近端數(shù)據(jù)和遠(yuǎn)端數(shù)據(jù)之間的時間差控制在合理范圍內(nèi)。在Android應(yīng)用開發(fā)中,使用AudioRecord進(jìn)行音頻采集,使用AudiorTrack進(jìn)行遠(yuǎn)端音頻播放。協(xié)調(diào)好這兩個類的輸入輸出時間同步,是回聲消除功能實(shí)現(xiàn)的重要保障。為了保證時間上的連續(xù)性和時間差,需要使用兩個單獨(dú)線程ReadThread和WriteThread來分別進(jìn)行音頻采集和音頻播放。另外還有兩個單獨(dú)的線程InTrhead和OutThread來完成數(shù)據(jù)的接收和發(fā)送,還有一個線程AecThread完成回聲消除操作。線程之間的數(shù)據(jù)交換使用隊(duì)列來完成。

• QttAudio SDK解決回聲消除問題

上文可以看出，使用webrtc消除回音是一個很復(fù)雜的工作，編譯復(fù)雜，使用復(fù)雜，很不好控制近端與遠(yuǎn)端時間差值，而且如何跨平臺的使用，同時滿足android，ios, linux, windows等平臺的需求，對于需要開發(fā)可視對講、音視頻通話等應(yīng)用的企業(yè)來說，太難了。使用QttAudio SDK就簡單得多，跨平臺使用，10分鐘就可輕松集成，無需擔(dān)心回音、噪音、混音等問題，節(jié)約時間，提高開發(fā)效率，讓產(chǎn)品盡早上市。