規(guī)劃實(shí)時聲學(xué)處理的成功

低延遲、實(shí)時聲學(xué)處理是許多嵌入式的關(guān)鍵因素 處理應(yīng)用程序，其中包括語音預(yù)處理、語音識別、 和主動降噪 （ANC）。作為實(shí)時性能要求 在這些應(yīng)用領(lǐng)域內(nèi)穩(wěn)步增長，開發(fā)人員需要采用 適當(dāng)適應(yīng)這些需求的戰(zhàn)略思維。鑒于實(shí)質(zhì)性 許多大型系統(tǒng)在芯片上提供的性能，可能很誘人 只需為這些設(shè)備加載出現(xiàn)的任何其他任務(wù)，但這很重要 了解延遲和確定性是可以輕松實(shí)現(xiàn)的關(guān)鍵要素 如果不仔細(xì)考慮，會導(dǎo)致重大的實(shí)時系統(tǒng)問題。本文 將探討設(shè)計人員在 SoC 之間進(jìn)行選擇時應(yīng)考慮的問題 和專用的音頻DSP，以避免實(shí)時出現(xiàn)不愉快的意外 聲學(xué)系統(tǒng)。

低延遲聲學(xué)系統(tǒng)涵蓋了廣泛的應(yīng)用。例如，僅在汽車領(lǐng)域，低延遲對于個人音頻區(qū)域、道路噪聲消除和車載通信系統(tǒng)至關(guān)重要，僅舉幾例。

隨著車輛電氣化的新興趨勢，RNC變得更加重要，因為沒有內(nèi)燃機(jī)產(chǎn)生明顯的噪音。因此，與汽車到道路界面相關(guān)的聲音變得更加明顯和令人反感。降低這種噪音不僅可以創(chuàng)造更舒適的騎行體驗，還可以減輕駕駛員的疲勞。與在專用音頻 DSP 上相比，在 SoC 上實(shí)現(xiàn)低延遲聲學(xué)系統(tǒng)存在許多挑戰(zhàn)。其中包括延遲、可擴(kuò)展性、可升級性、算法注意事項、硬件加速和客戶支持等問題。讓我們依次檢查其中的每一個。

延遲

實(shí)時聲學(xué)處理系統(tǒng)中的延遲問題是一個重要的問題。如果處理器無法跟上系統(tǒng)的實(shí)時數(shù)據(jù)移動和計算需求，則可能導(dǎo)致不可接受的音頻丟失。

通常，SoC 具有小型片上 SRAM，因此必須依賴緩存進(jìn)行大多數(shù)本地內(nèi)存訪問。這引入了代碼和數(shù)據(jù)的不確定可用性，并且還增加了處理延遲。對于像ANC這樣的實(shí)時應(yīng)用，僅此一項就可能破壞交易。但是，SoC運(yùn)行管理繁重的多任務(wù)負(fù)載的非實(shí)時操作系統(tǒng)。這放大了系統(tǒng)的非確定性操作特性，使得在多任務(wù)環(huán)境中支持相對復(fù)雜的聲學(xué)處理變得非常困難。

圖 1 顯示了運(yùn)行實(shí)時音頻處理負(fù)載的 SoC 的具體示例，其中 CPU 負(fù)載在處理更高優(yōu)先級的 SoC 任務(wù)時達(dá)到峰值。例如，由于系統(tǒng)上的媒體呈現(xiàn)、瀏覽或應(yīng)用執(zhí)行等以 SoC 為中心的活動，可能會出現(xiàn)這些峰值。每當(dāng)峰值超過 100% CPU 負(fù)載時，SoC 不再實(shí)時運(yùn)行，這將導(dǎo)致音頻丟失。

圖1.除了其他任務(wù)外，還運(yùn)行高音頻內(nèi)存處理的代表性 SoC 的瞬時 CPU 負(fù)載。1

另一方面，音頻 DSP 的架構(gòu)旨在實(shí)現(xiàn)從采樣音頻輸入到復(fù)合（例如，音頻 + 抗噪聲）揚(yáng)聲器輸出的整個信號處理路徑的低延遲。L1指令和數(shù)據(jù)SRAM是最接近處理器內(nèi)核的單周期存儲器，足以支持許多處理算法，而無需將中間數(shù)據(jù)卸載到片外存儲器。此外，片上 L2 存儲器（離內(nèi)核更遠(yuǎn)，但訪問速度仍比片外 DRAM 快得多）有助于在超出 L1 SRAM 存儲時為中間數(shù)據(jù)操作提供緩沖區(qū)。最后，音頻DSP通常運(yùn)行實(shí)時操作系統(tǒng)（RTOS），確保在新輸入數(shù)據(jù)到達(dá)之前處理傳入數(shù)據(jù)并將其發(fā)送到目標(biāo)目的地，從而確保數(shù)據(jù)緩沖區(qū)在實(shí)時操作期間不會溢出。

系統(tǒng)啟動的實(shí)際延遲（通常由音頻可用性時間來衡量）也是一個重要的指標(biāo)，特別是在汽車系統(tǒng)中，聲音警告必須在啟動后的某個窗口內(nèi)廣播。在 SoC 世界中，通常有一個冗長的啟動序列，涉及為整個設(shè)備啟動操作系統(tǒng)，因此可能很難或不可能滿足此啟動要求。另一方面，運(yùn)行自己的RTOS的獨(dú)立音頻DSP不受其他無關(guān)系統(tǒng)優(yōu)先級的影響，可以針對快速啟動進(jìn)行優(yōu)化，從而輕松滿足音頻時間要求。

可擴(kuò)展性

雖然延遲問題對于噪聲控制等應(yīng)用中的SoC來說是個問題，但有志于執(zhí)行聲學(xué)處理的SoC的另一個關(guān)鍵缺點(diǎn)是可擴(kuò)展性。換句話說，控制具有許多不同子系統(tǒng)的大型系統(tǒng)（例如汽車前端單元和集群）的 SoC 無法輕松地從低端音頻需求擴(kuò)展到高端音頻需求，因為每個子系統(tǒng)組件的可擴(kuò)展性需求之間存在持續(xù)沖突，需要在整體 SoC 利用率中進(jìn)行權(quán)衡。例如，如果前端SoC連接到遠(yuǎn)程調(diào)諧器，并且跨汽車模型，該調(diào)諧器需要從幾個通道擴(kuò)展到多個通道，則每個通道配置都會放大前面提到的實(shí)時問題。這是由于 SoC 控制下的每個附加功能都會改變 SoC 的實(shí)時行為以及多個功能使用的關(guān)鍵架構(gòu)組件的資源可用性。這些資源包括內(nèi)存帶寬、處理器內(nèi)核周期和系統(tǒng)總線結(jié)構(gòu)仲裁槽等方面。

除了擔(dān)心其他子系統(tǒng)連接到多任務(wù)SoC之外，聲學(xué)子系統(tǒng)本身也有其自身的可擴(kuò)展性問題。有低端到高端縮放（例如，增加 ANC 應(yīng)用程序中麥克風(fēng)和揚(yáng)聲器通道的數(shù)量），還有音頻體驗縮放，從基本的音頻解碼和立體聲播放到 3D 虛擬化和其他高級功能。雖然這些要求不共享ANC系統(tǒng)的實(shí)時約束，但它們?nèi)匀慌c系統(tǒng)的音頻處理器選擇直接相關(guān)。

利用單獨(dú)的音頻 DSP 作為 SoC 的協(xié)處理器是音頻可擴(kuò)展性問題的完美解決方案，可實(shí)現(xiàn)模塊化系統(tǒng)設(shè)計和成本優(yōu)化解決方案。SoC 可以更少地關(guān)注大型系統(tǒng)的實(shí)時聲學(xué)處理需求，而是將該處理卸載到低延遲音頻 DSP。此外，音頻 DSP 在全面的代碼兼容和引腳兼容路線圖中提供多種不同的性價比/內(nèi)存級別，為系統(tǒng)設(shè)計人員提供了最大的靈活性，以針對給定產(chǎn)品層調(diào)整音頻性能產(chǎn)品的規(guī)模。

圖2.ADSP-2156x DSP，說明高度可擴(kuò)展的音頻處理器。

可升級性

隨著無線固件更新在當(dāng)今的車輛中變得越來越普遍，發(fā)布關(guān)鍵補(bǔ)丁或提供新功能的可升級性變得越來越重要。這可能會給 SoC 帶來重大問題，因為其各個子系統(tǒng)之間的依賴關(guān)系增加。首先，在SoC上，多個處理和數(shù)據(jù)移動線程正在爭奪資源。當(dāng)添加新功能時，這增加了對處理器MIPS和內(nèi)存的競爭，尤其是在峰值活動突發(fā)期間。從音頻角度來看，其他 SoC 控制域中的功能添加可能會對實(shí)時聲學(xué)性能產(chǎn)生不可預(yù)測的影響。這種情況的一個副作用是，必須在所有操作平面上交叉測試新功能，從而導(dǎo)致競爭子系統(tǒng)的各種操作模式之間存在無數(shù)排列。因此，每個升級包的軟件驗證呈指數(shù)級增長。

從另一個角度來看，可以說SoC音頻性能的改進(jìn)取決于可用的SoC MIPS，以及由SoC控制的其他子系統(tǒng)的功能路線圖。

算法開發(fā)和性能

很明顯，在開發(fā)實(shí)時聲學(xué)算法時，音頻DSP是專門為這項任務(wù)而構(gòu)建的。作為SoC的一個重要區(qū)別，獨(dú)立音頻DSP可以提供圖形開發(fā)環(huán)境，使DSP編碼經(jīng)驗最少的工程師能夠?qū)⒏哔|(zhì)量的聲學(xué)處理添加到其設(shè)計中。這種類型的工具可以通過在不犧牲質(zhì)量或性能的情況下縮短開發(fā)時間來降低開發(fā)成本。

例如，ADI公司的SigmaStudio圖形音頻開發(fā)環(huán)境提供了集成到直觀圖形用戶界面（GUI）中的多種信號處理算法，允許創(chuàng)建復(fù)雜的音頻信號流。它還支持圖形 A?2B配置用于音頻傳輸，極大地促進(jìn)了實(shí)時聲學(xué)系統(tǒng)的發(fā)展。

音頻友好型硬件功能

除了專為高效并行浮點(diǎn)計算和數(shù)據(jù)訪問而設(shè)計的處理器內(nèi)核架構(gòu)外，音頻 DSP 通常還具有專用的多通道加速器，用于常見音頻基元，例如快速傅里葉變換 （FFT）、有限和無限脈沖響應(yīng) （FIR 和 IIR） 濾波以及異步采樣率轉(zhuǎn)換 （ASRC）。這些允許在內(nèi)核CPU之外進(jìn)行實(shí)時音頻濾波、采樣和頻域轉(zhuǎn)換，從而提高內(nèi)核的有效性能。此外，由于其優(yōu)化的體系結(jié)構(gòu)和數(shù)據(jù)流管理功能，它們可以促進(jìn)靈活且用戶友好的編程模型。

由于音頻通道數(shù)、濾波器流、采樣率等激增，因此擁有一個最大可配置的引腳接口非常重要，該接口允許在線采樣率轉(zhuǎn)換、精密時鐘和同步高速串行端口，以有效地路由數(shù)據(jù)并避免增加延遲或外部接口邏輯。ADI公司SHARC系列處理器的數(shù)字音頻互連（DAI）體現(xiàn)了這種能力，如圖4所示。?

圖3.ADI公司的SigmaStudio圖形開發(fā)環(huán)境。

圖4.數(shù)字音頻互連 （DAI） 框圖。

客戶支持

使用嵌入式處理器進(jìn)行開發(fā)時經(jīng)常被忽視的一個方面是設(shè)備對客戶的支持。

盡管SoC供應(yīng)商在其集成DSP產(chǎn)品上提倡運(yùn)行聲學(xué)算法，但這在實(shí)踐中會帶來一些責(zé)任。首先，供應(yīng)商的支持通常更為復(fù)雜，因為聲學(xué)專業(yè)知識通常不是SoC應(yīng)用開發(fā)的領(lǐng)域。因此，對于尋求在SoC的片上DSP技術(shù)上開發(fā)自己的聲學(xué)算法的客戶來說，支持往往很弱。相反，供應(yīng)商可能會提供標(biāo)準(zhǔn)算法并收取大量 NRE 費(fèi)用，以將聲學(xué)算法移植到 SoC 的一個或多個內(nèi)核。即便如此，也不能保證成功，特別是如果供應(yīng)商不提供成熟的低延遲框架軟件。最后，基于 SoC 的聲學(xué)處理的第三方生態(tài)系統(tǒng)往往相當(dāng)脆弱，因為它不是 SoC 的重點(diǎn)，而是一個機(jī)會主義支持的功能。

顯然，專用音頻 DSP 具有更強(qiáng)大的生態(tài)系統(tǒng)，用于開發(fā)復(fù)雜的聲學(xué)系統(tǒng)，從優(yōu)化的算法庫和設(shè)備驅(qū)動程序到實(shí)時操作系統(tǒng)和易于使用的開發(fā)工具。此外，以音頻為中心的參考平臺（如ADI公司的SHARC音頻模塊平臺，如圖5所示）可加快上市時間，這對于SoC來說是罕見的，但在獨(dú)立音頻DSP領(lǐng)域卻很常見。

圖5.SHARC音頻模塊（SAM）開發(fā)平臺。

總之，很明顯，設(shè)計實(shí)時聲學(xué)系統(tǒng)涉及對系統(tǒng)資源的深思熟慮的戰(zhàn)略規(guī)劃，不能簡單地通過在多任務(wù)SoC上分配剩余的處理余量來管理。相反，針對低延遲處理進(jìn)行優(yōu)化的獨(dú)立音頻 DSP 可能會提高穩(wěn)健性、縮短開發(fā)時間和最佳可擴(kuò)展性，以適應(yīng)未來的系統(tǒng)需求和性能層。

審核編輯：郭婷