高算力的AI R329芯片及其智能語(yǔ)音解決方案

智能音箱、智能家居如今涉足AI領(lǐng)域是個(gè)熱門(mén)話題，到市場(chǎng)上就體現(xiàn)在這類產(chǎn)品的出貨量以及廠商的宣傳口徑上。比較有趣的是，雖然智能音箱的所謂“主控”芯片制造商總在宣傳自身的AI屬性，絕大部分芯片內(nèi)部還是鮮有AI專核，或者說(shuō)神經(jīng)網(wǎng)絡(luò)專用計(jì)算單元。大概這類邊緣設(shè)備的AI算力需求，靠CPU或可能包含的GPU就可以達(dá)成。。.

不過(guò)隨著邊緣算力需求提升，智能語(yǔ)音芯片算力加強(qiáng)本身也是這兩年智能家居、智能音箱發(fā)展的趨勢(shì)。比如面向智能音箱的主SoC中，CPU部分就有算力越來(lái)越高的趨勢(shì)。不過(guò)通用處理器在面向智能音頻設(shè)備時(shí)，效率并不高，所以我們看到有廠商開(kāi)始為芯片加DSP與AI專核（NPU）。

這其中相對(duì)典型的全志科技近期推出的R329芯片及其智能語(yǔ)音解決方案，借由這顆芯片及對(duì)應(yīng)解決方案，我們大致也能窺見(jiàn)當(dāng)前智能家居/智能音箱在AI這條路上的發(fā)展思路和方向，順便看看在這類芯片真正有了AI專核以后，高算力的AI智能語(yǔ)音芯片是什么樣子。

從配置看R329的定位

全球智能音箱芯片市場(chǎng)的主要玩家包括了高通、Intel、蘋(píng)果、全志科技（Allwinner）、瑞芯微（Rockchip）、晶晨半導(dǎo)體（Amlogic）等。我們并不清楚在全球范圍內(nèi)或者國(guó)內(nèi)，“主控”芯片廠商在智能音箱設(shè)備中具體的市場(chǎng)份額——不過(guò)從既有智能音箱的主芯片來(lái)看，國(guó)內(nèi)的競(jìng)爭(zhēng)似乎也相當(dāng)激烈。

就全志來(lái)說(shuō)，天貓精靈、小度在家、小度音箱Play、京東叮咚、小愛(ài)音箱Play、小愛(ài)音箱mini、騰訊聽(tīng)聽(tīng)、網(wǎng)易云音箱、索尼LF-S80D等這些相對(duì)較熱的智能音箱都在用全志的主控芯片，這也讓全志R328、R16、R58成為比較知名的智能音箱主控芯片。全志的R系列在定位上是面向邊緣低功耗應(yīng)用的芯片產(chǎn)品，不只是智能音箱產(chǎn)品：R40/R16另外相對(duì)知名的是在Banana Pi上有應(yīng)用，R16也是石頭科技掃地機(jī)系列產(chǎn)品的主控。

R系列產(chǎn)品中的R328去年也得到了Aspencore的“2019全球電子成就獎(jiǎng)”音頻處理器產(chǎn)品獎(jiǎng)。在去年3月份的中國(guó)家電消費(fèi)電子博覽會(huì)上，全志展示過(guò)其強(qiáng)噪音環(huán)境的識(shí)別能力。就產(chǎn)品編號(hào)來(lái)看，R329似乎是R328的迭代產(chǎn)品，不過(guò)全志科技發(fā)言人告訴我們，這兩款產(chǎn)品是不同定位的。

其中“R329是高階定位，著力于大算力，3-8麥遠(yuǎn)場(chǎng)智能語(yǔ)音交互，可應(yīng)用于帶電池的超低功耗產(chǎn)品上，且接口豐富”，為當(dāng)前市場(chǎng)中高端智能音箱提供更好的解決方案；而“R328偏向中端到入門(mén)級(jí)市場(chǎng)，2-3麥遠(yuǎn)場(chǎng)智能語(yǔ)音交互，成本更低”。

全志科技表示，R329的兩大主要特點(diǎn)就是高算力與低功耗。其中高算力的部分，也更多涉及到了DSP與NPU。我們就嘗試從這兩方面來(lái)看看R329的產(chǎn)品特色。在此之前首先來(lái)全局看一看R329的參數(shù)配置與特性：

- 雙核 Cortex-A531.5GHz 主頻；

- DSP：雙核 HIFI 4，400MHz 頻率；

- NPU：周易 AIPU，800MHz， 0.256T；

- 存儲(chǔ)：片上SRAM；內(nèi)置 128MB DDR3；

- 擴(kuò)展：集成多路音頻ADC和DAC，3路I2S和8通道DMIC，同時(shí)集成LDOs。

針對(duì)完整的智能音箱方案，全志也提供配套的WiFi與藍(lán)牙芯片、音頻ADC芯片等，滿足不同客戶需求。

從這一串配置大致就能看出R329在定位上是預(yù)備做高算力的，而且主要針對(duì)的是不帶屏幕的智能語(yǔ)音交互產(chǎn)品。通用處理器部分選擇的是Arm Cortex-A53微架構(gòu)：這部分在整個(gè)系統(tǒng)的職能通常是跑操作系統(tǒng)、應(yīng)用、網(wǎng)絡(luò)連接等。全志更早的R系列主流方案用的是A7微架構(gòu)——這也是市面上不少競(jìng)品的選擇，還有一些選擇了A35。

A53和A7都屬于高能效比的架構(gòu)方案，這兩者在渲染管線上有著比較多的相似性，比如順序8級(jí)管線。不過(guò)前者又有比較顯著的同頻性能提升，包括改用64位Armv8-A指令集架構(gòu)與擴(kuò)展，更完整的超標(biāo)量支持。A53的雙發(fā)射有著更強(qiáng)的靈活性，分支預(yù)測(cè)精度有改進(jìn)；另外整數(shù)、浮點(diǎn)單元、Neon以及存儲(chǔ)性能都有提升。

后續(xù)的A35實(shí)際更多的著眼于效率，它在性能方面定位于A7同檔，整體微架構(gòu)與A53也很相似——前端有一些變化，在取指單元上做了重新設(shè)計(jì)，取指帶寬對(duì)能效做了權(quán)衡，指令隊(duì)列更??；Neon/浮點(diǎn)管線在面積效率上有變化。

全志方面為我們提供了A53相較A35的性能提升數(shù)據(jù)，除了每個(gè)周期整數(shù)乘法與浮點(diǎn)單精度與雙精度FLOPS性能，還有一些基準(zhǔn)測(cè)試。這個(gè)數(shù)據(jù)也基本符合Arm早前官方給出的，基于不同場(chǎng)景A35性能大約是A53的80%左右。具體到R329芯片，相比R328“提供1.58倍整數(shù)算力，1.98倍浮點(diǎn)算力”——后者采用的是雙核A7（1.2GHz），所以這個(gè)程度的提升也在預(yù)期中。

DSP與AI專核

從通用處理器選擇A53就能看出R329的定位，不過(guò)在IP選擇上更能凸顯高算力的應(yīng)該還在于DSP與AI專核。前文就已經(jīng)提到通用處理器部分跑的是操作系統(tǒng)、應(yīng)用、網(wǎng)絡(luò)連接等；DSP負(fù)責(zé)信號(hào)處理算法、音效；還有AI專核，即NPU專門(mén)用于本地ASR（自動(dòng)語(yǔ)音識(shí)別）、NLP（自然語(yǔ)言識(shí)別）和TTS（Textto Speech）——都是在本地執(zhí)行的，也就是我們常說(shuō)的邊緣計(jì)算。

R329的DSP部分是兩個(gè)HIFI 4核心——這是CadenceTensilica HiFi DSP系列IP中的一個(gè)，在家族定位中也屬于偏向高性能的DSP，在手機(jī)、車(chē)載、數(shù)字電視之類的產(chǎn)品上就有相對(duì)廣泛的應(yīng)用生態(tài)。HIFI 4實(shí)則本身就支持多通道基于對(duì)象的音頻、數(shù)字助手前端處理和基于神經(jīng)網(wǎng)絡(luò)的ASR，雖然我們知道全志選擇了將其中的部分特性交給NPU去完成。

從全志發(fā)言人了解到這兩個(gè)HIFI 4核的其中一個(gè)可用作“音頻前處理，如降噪、回音消除、喚醒詞識(shí)別”；一個(gè)則可用于“音頻后處理，實(shí)現(xiàn)音頻解碼、音效增強(qiáng)、錄音等”；配合片上的SRAM可實(shí)現(xiàn)“低功耗小模型雙麥降噪算法與小模型深度學(xué)習(xí)喚醒詞”。從這個(gè)描述可見(jiàn)R329的DSP也有典型的輕度AI計(jì)算屬性。雙核DSP的設(shè)計(jì)在全志的其他R系列產(chǎn)品中也相當(dāng)少見(jiàn)，這種設(shè)計(jì)本身也是為了針對(duì)部分音頻應(yīng)用場(chǎng)景提供專門(mén)的計(jì)算單元，獲得更好的能效比，與低功耗相關(guān)。有關(guān)低功耗的部分還將在后文提及。

不過(guò)似乎在全志看來(lái)，僅通用處理器+DSP（以及片上SRAM）的設(shè)計(jì)，在實(shí)現(xiàn)更高算力方面仍然不夠，所以R329還選配了一個(gè)專門(mén)的AI專用處理器：周易AIPU。周易AIPU是Arm中國(guó)研發(fā)的AI處理器IP。加AI專核在行業(yè)的同檔競(jìng)品中似乎還是比較罕見(jiàn)的。

Arm中國(guó)此前有提到過(guò)AIPU相比DSP的優(yōu)勢(shì)，加上現(xiàn)在更多的AI專核也有考慮支持可編程性的問(wèn)題，以適應(yīng)不同算法。Arm中國(guó)能夠利用自身優(yōu)勢(shì)來(lái)構(gòu)建AI軟件生態(tài)，而DSP雖然也能做AI處理，但不同架構(gòu)間始終沒(méi)有形成規(guī)模生態(tài)，對(duì)軟件開(kāi)發(fā)而言并沒(méi)有那么友好。另外當(dāng)然也就是AI專核擁有一套AI和神經(jīng)網(wǎng)絡(luò)優(yōu)化的指令集，在算力和效率上，運(yùn)行一些專門(mén)的負(fù)載任務(wù)時(shí)也會(huì)更出色。

Arm中國(guó)2018年11月發(fā)布的“周易”平臺(tái)，主要包括兩部分，一是AIPU，二是Tengine框架。AIPU最大的特點(diǎn)就是擁有一套AI和神經(jīng)網(wǎng)絡(luò)優(yōu)化指令集，實(shí)現(xiàn)包括張量指令、實(shí)現(xiàn)定制硬件加速單元的特定AI指令，以及AI計(jì)算的標(biāo)量指令等，另外也支持用戶自定義硬件實(shí)現(xiàn)。

支持包括TensorFlow等各種通用框架也是當(dāng)代AI處理器的標(biāo)配了，Arm中國(guó)的資料提到AIPU“支持用戶一鍵式加載算法”，并且通過(guò)高效、靈活的張量處理單元（tensor execution cell）實(shí)現(xiàn)編程靈活性。

有關(guān)AIPU比較具體的效率，全志也提供了一份算力與功耗對(duì)比的數(shù)據(jù)，如上圖所示：這個(gè)程度的效率當(dāng)然并不令人意外，畢竟AIPU是AI專核。不過(guò)在性能上相較600MHz的HIFI 4有25 倍的優(yōu)勢(shì)仍然能夠表現(xiàn)出當(dāng)代開(kāi)發(fā)AI專用處理器的價(jià)值和趨勢(shì)。需要注意的是，這里的對(duì)比限于單核性能與功耗。

據(jù)了解，全志R329是第一款公開(kāi)發(fā)布的采用周易AIPU的芯片，得到了Arm中國(guó)的大力支持，說(shuō)明雙方對(duì)未來(lái)NPU在智能音箱及人工智能其它領(lǐng)域的應(yīng)用是非常看重的。所以也比較容易想見(jiàn)R329在面對(duì)競(jìng)品時(shí)有著算力上的更大優(yōu)勢(shì)。

至于周易平臺(tái)除了AIPU之外的Tengine框架，它實(shí)際并不依賴于AIPU，應(yīng)該算是整個(gè)Arm AI生態(tài)的組成部分。它能夠?qū)ΜF(xiàn)有Arm架構(gòu)的芯片算力做提取，所以Tengine也支持Arm CPU、Mali GPU以及第三方AI單元，為AI應(yīng)用開(kāi)發(fā)提供一個(gè)抽象的運(yùn)行時(shí)接口。全志針對(duì)R329自己也有為開(kāi)發(fā)者提供全套軟件工具鏈，很大程度應(yīng)該也是在為周易生態(tài)添磚加瓦。

在更具體的應(yīng)用上，全志表示：“ASR、NLP、TTS等技術(shù)對(duì)專用AI處理器提出了迫切需求；傳統(tǒng)算法也逐漸被AI算法替代，國(guó)內(nèi)外均有發(fā)布，用深度學(xué)習(xí)做端到端的算法，相對(duì)于傳統(tǒng)降噪、回聲消除和關(guān)鍵詞識(shí)別算法，效果更優(yōu)，具有更高的識(shí)別率?！?/p>

所以全志也告訴我們，在R329用上DSP+NPU+2MBSRAM時(shí)，讓大模型雙麥降噪算法跑在DSP上，大模型深度學(xué)習(xí)喚醒詞跑在NPU上，能夠?qū)崿F(xiàn)低功耗特性。這應(yīng)該是權(quán)衡算力與功耗之后，一種相對(duì)合理的搭配方式。

高算力下的功耗

DSP+NPU的搭配，本身就是為了提供更到位的運(yùn)算效率，理論上自然能夠在達(dá)成相同算力的情況下達(dá)成明顯更低的功耗，前文Cortex-A7、HIFI 4 DSP以及AIPU的對(duì)比就提到專用核心不只是算力上的顯著領(lǐng)先，還在于相同算力下的AI計(jì)算單元功耗僅有通用處理器的幾十分之一。

不過(guò)在實(shí)現(xiàn)低功耗的問(wèn)題上，R329集成在片上的2MB SRAM也是相當(dāng)重要的組成部分。這種在片上集成較大容量SRAM的設(shè)定，在全志以往的R系列產(chǎn)品及同檔競(jìng)品中也并不多見(jiàn)——某些競(jìng)品也有片上SRAM，但同檔的配置通常在256KB這樣的水平上。

較小的SRAM本身是無(wú)法運(yùn)行低功耗降噪算法+喚醒模型的，還是需要搭配更慢的DDR。在 SRAM的配置下，算法模型大部分算力可以放到SRAM中運(yùn)行。所以全志表示，R329的待機(jī)功耗為（1）內(nèi)置硬件VAD（語(yǔ)音活動(dòng)檢測(cè)），做聲音檢測(cè)亦能實(shí)現(xiàn)30mW以下的待機(jī)；（2）DSP+RAM，實(shí)現(xiàn)小模型雙麥降噪算法、小模型深度學(xué)習(xí)喚醒詞，則為50mW待機(jī)功耗；（3）DSP+NPU+ SRAM，讓大模型雙麥降噪算法跑在DSP上，大規(guī)模深度學(xué)習(xí)喚醒詞跑在NPU上，實(shí)現(xiàn)60mW待機(jī)功耗。所以R329本身適用于做帶電池的方案。

最后，相關(guān)I/O部分實(shí)則也是值得一提的。R329集成了2路音頻DAC，可以直接外掛模擬功放實(shí)現(xiàn)立體聲，1.1聲道輸出，通過(guò)I2S則可以實(shí)現(xiàn)5.1/7.1聲道的音頻輸出；集成多路音頻ADC——相比競(jìng)品有更強(qiáng)的音頻接口擴(kuò)展性，也就能夠提供多麥?zhǔn)耙舴桨浮?/p>

未來(lái)我們?cè)儆^察全志R329的市場(chǎng)表現(xiàn)，大致可以窺見(jiàn)智能語(yǔ)音解決方案的這種高算力是否會(huì)成為智能家居市場(chǎng)的趨勢(shì)。在全志看來(lái)，這個(gè)答案還是比較肯定的。全志在接受我們采訪時(shí)，就算力需求在時(shí)代變遷中的變化舉了個(gè)例子：

“比如剛開(kāi)始通過(guò)MP3音頻格式實(shí)現(xiàn)multiroom，客戶對(duì)于這個(gè)功能很驚喜，但隨著客戶逐步習(xí)慣智能語(yǔ)音交互這一基本功能后，就提出智能音箱的音質(zhì)也要跟傳統(tǒng)音箱對(duì)標(biāo)，音頻的傳輸格式就從MP3大幅提升到了AAC，再疊加multiroom，這個(gè)功能對(duì)應(yīng)的對(duì)AP的算力要求就會(huì)出現(xiàn)倍數(shù)增加，因?yàn)槭且纛l功能的體驗(yàn)，還需要確保很高的實(shí)時(shí)同步性。”

“消費(fèi)者的要求越來(lái)越多，也越來(lái)越高，使得對(duì)于AP的規(guī)格和算力的要求也在同步提升，智能音箱在不斷增加新的功能，比如multiroom、TWS、DLNA、BT MESH、更震撼的音效；客戶逐步不再滿足簡(jiǎn)單EQ和DRC的處理，虛擬低音、3D環(huán)繞立體聲等高階音效的需求不斷提出?！边@大概就是R329出現(xiàn)的契機(jī)。

Strategy Analytics發(fā)布的研究報(bào)告指出，2019年全球智能音箱出貨量總計(jì)1.25億臺(tái)，比2018年增長(zhǎng)了60%。在阿里、百度、小米等推動(dòng)下，中國(guó)智能音箱的出貨量從2018年的2190萬(wàn)增長(zhǎng)到了2019年的5200萬(wàn)，呈現(xiàn)井噴式增長(zhǎng)。

全志科技即是語(yǔ)音主控芯片市場(chǎng)的參與者，智能音箱是該公司重點(diǎn)投入的一個(gè)領(lǐng)域。2018年全志在智能音箱的R系列產(chǎn)品已經(jīng)取得一定突破。2019年全志推出智能語(yǔ)音專用處理器 R328就有不錯(cuò)的市場(chǎng)成績(jī)。R329即是基于R328的升級(jí)產(chǎn)品，定位于高算力、低功耗的AI語(yǔ)音專用芯片。

全志發(fā)言人表示，2020年全志面向智能音箱會(huì)推出多款芯片。除R329之外，目前全志正在規(guī)劃下一代無(wú)屏智能音箱集成WiFi/BT RTOS系統(tǒng)芯片，面向低成本產(chǎn)品市場(chǎng)迭代需求；而針對(duì)帶屏音箱產(chǎn)品迭代，全志即將推出定位高性能的四核A53芯片R818。