云知聲李霄寒解讀面向物聯(lián)網(wǎng)的 AI 芯片的應(yīng)用

人工智能與物聯(lián)網(wǎng)技術(shù)和應(yīng)用在過去幾年飛速發(fā)展，誕生了大量的創(chuàng)新，為人們的生活和工作帶來了前所未有的體驗和可能性。當前我們正在歷經(jīng)一個以人工智能和物聯(lián)網(wǎng)為核心的全新科技浪潮，它將在不久的未來見證數(shù)以萬億計的智能設(shè)備的互聯(lián)。 ARM 作為全球內(nèi)唯一一個能夠覆蓋從端到云的計算架構(gòu)，無疑將在萬億智能物聯(lián)時代扮演賦能者角色。

10 月24 日，2018 ARM 技術(shù)研討會在北京成功召開。今年大會主題為“ ARM 助力 創(chuàng)新科技”，作為 ARM 重要的生態(tài)合作伙伴，云知聲副總裁李霄寒博士受邀出席大會并發(fā)表《面向物聯(lián)網(wǎng)的 AI 芯片的設(shè)計與思考》主題演講。

云知聲和 ARM 有諸多合作的地方，今年五月,云知聲正式推出基于 ARM 通用核的全球首款面向物聯(lián)網(wǎng)的 AI芯片——UniOne。本次研討會現(xiàn)場，李霄寒博士結(jié)合云知聲公司實際情況向在場行業(yè)人士詳細解讀了 UniOne 芯片的設(shè)計思路以及芯片系統(tǒng)方案特點，同時探討了物聯(lián)網(wǎng) AI 芯片的未來應(yīng)用及發(fā)展趨勢。

云知聲的物聯(lián)網(wǎng) AI 落地歷程

作為國內(nèi)頂級的語音方案供應(yīng)商，云知聲從 2012 年創(chuàng)始至今，一直致力于將人與機器的語音交互能力從晦澀的機器算法，逐步封裝成可以調(diào)用的產(chǎn)品，并且落地到大眾消費的場景中。

云知聲創(chuàng)造過不少行業(yè)先例，包括推出國內(nèi)首家免費的語音云平臺、首個實現(xiàn) IVM （智能硬件模組）在白電領(lǐng)域大規(guī)模出貨的 AI 公司、國內(nèi)首家提出醫(yī)療語音系統(tǒng)解方案并擁有最多合作醫(yī)院的公司，以及發(fā)布首款面向物聯(lián)網(wǎng)的 AI 系列芯片 UniOne 。

李霄寒博士用“從算法到芯片”概括了云知聲公司的發(fā)展歷程：

2012 年-2013年，云知聲創(chuàng)立之初，移動互聯(lián)網(wǎng)方興未艾之際，云知聲主要通過純軟件方案(如語音助手 APP 、公有云平臺)向行業(yè)提供服務(wù)；

2014 年-2015 年，伴隨物聯(lián)網(wǎng)的興起及發(fā)展，對于 AI 的需求逐漸顯現(xiàn)，云知聲開始探索基于通用芯片面向物聯(lián)網(wǎng)和行業(yè)的軟硬件一體化方案，在此期間公司正式確立了“云端芯”的產(chǎn)品及商業(yè)戰(zhàn)略；

2016 年，云知聲 AI 芯片1.0版本——IVM 模組在格力空調(diào)產(chǎn)品上量產(chǎn)出貨，醫(yī)療產(chǎn)品正式登陸北京協(xié)和醫(yī)院。隨后，搭載云知聲技術(shù)方案的產(chǎn)品陸續(xù)在車載、教育、機器人等多領(lǐng)域落地。

李霄寒透露，面向不同行業(yè)提供服務(wù)，一方面打磨了云知聲的技術(shù)能力，同時也讓團隊更加深入地了解場景。更為重要的是，在服務(wù)不同客戶的過程中，建設(shè)了云知聲的芯片設(shè)計能力，讓云知聲堅定了自主設(shè)計 AI 芯片，基于專有芯片面向物聯(lián)網(wǎng)行業(yè)提供服務(wù)的決心。

從 IVM 到基于 ARM 核的 AI 芯

人機交互系統(tǒng)的更迭引發(fā)新一輪產(chǎn)業(yè)變革，語音已成為設(shè)備交互的最有效和最自然的方式。李霄寒指出，物聯(lián)網(wǎng)終端設(shè)備對于語音、圖像等本體交互具有天然需求，這是云知聲選擇從語音切入物聯(lián)網(wǎng)的根本原因。

他認為，要實現(xiàn)物聯(lián)網(wǎng)的智能化改造，意味著設(shè)備必須具備“感知、表達、思考”三個關(guān)鍵能力。

以智能音箱為例，首先它需要通過聲源定位、遠場降噪、喚醒/識別、本地識別、云端識別，聽懂人聲蘊藏的信息。在感知的基礎(chǔ)上，進而通過語音、圖像或其他形象化的方式將內(nèi)容或信息傳達給用戶。不僅于此，設(shè)備仍需通過“云”深入理解用戶意圖，并結(jié)合多終端信息融合和決策、知識圖譜以及云端能力，將用戶需要的內(nèi)容和信息通過恰當?shù)那婪答伣o用戶。

而要讓物聯(lián)網(wǎng)終端設(shè)備具備“感知、表達、思考”三方面基礎(chǔ)能力，則必須有硬件載體。李霄寒介紹道，在 UniOne 芯片推出之前，云知聲主要是基于通用芯片以模組（ IVM ）的方式來為家居、機器人等行業(yè)客戶服務(wù)。 IVM 是一個多芯片方案，上面必須運行專用的 DSP 以解決降噪的問題，另需配備專門芯片來實現(xiàn)語音識別、喚醒等功能，方案臃腫且成本高企。

他指出，雖然 IVM 量產(chǎn)后的實際反饋相當不錯，但對于業(yè)務(wù)的長足發(fā)展卻并非最佳選擇，挑戰(zhàn)主要體現(xiàn)在以下幾個方面：

邊緣算力需求

物聯(lián)網(wǎng)終端設(shè)備的語音交互過程中，當所有的計算被放到云端時，聲學(xué)計算的部分將對云端計算造成較大壓力，容易造成云平臺成本的增加和計算延遲。與此同時，在如家電、車載、NB-IoT 等諸多特殊場景下，人機交互完全可在無網(wǎng)狀態(tài)完成。同樣以智能音箱為例，在真正的物聯(lián)網(wǎng)場景下，它需要精準判斷用戶下達的是如“問天氣、聽音樂”等需要聯(lián)網(wǎng)支持的指令，還是像“打開空調(diào)、增加溫度”等可在本地完成的需求。不論從客戶體驗還是成本控制等方面考量，都要求在設(shè)備端實現(xiàn)“邊緣計算”能力，而 IVM 顯然無法勝任。

成本的挑戰(zhàn)

在硬件尤其是家電行業(yè)，有一個約定俗成的說法，“成本每增加 1 塊錢，用戶需要多花 5 塊錢買單”。對于以冰箱、空調(diào)等產(chǎn)品而言，如搭載云知聲 IVM 方案，要消化掉因智能化升級的方案成本，則產(chǎn)品售價有可能需要增加 500 元以上，對于大眾消費價格段的產(chǎn)品而言根本無法接受，因此 IVM 只能覆蓋小部分高端產(chǎn)品。如果想從金字塔尖下沉到更多的產(chǎn)品上，必須解決成本問題。

功耗的挑戰(zhàn)

不同的硬件設(shè)備尤其是白電產(chǎn)品有著嚴格的國家及企業(yè)級功耗標準，低功耗不僅是芯片制造的事，更涉及場景、應(yīng)用、算法。 IVM 模組的方式冗雜的架構(gòu)，無法在功耗方面做到最優(yōu)，顯然不是最佳選擇。

“基于從業(yè)務(wù)層面所看到的挑戰(zhàn)，以及對勢于未來趨的預(yù)判，2015 年云知聲正式踏上造芯之路。”李霄寒表示。

云知聲 UniOne 芯片采用了ARM 核心，同時自行設(shè)計了 DeepNet 和 uDSP 等專為深度神經(jīng)網(wǎng)絡(luò)和適量計算加速的硬件單元。相較于通用芯片，在 DSP 任務(wù)加速、miniNLP 任務(wù)加速、TTS 任務(wù)加速、內(nèi)存帶寬利用效率、NN 任務(wù)提升等核心指標，都能帶來成倍數(shù)的提升。

李霄寒指出，之所以選擇 AMR ，是因為后者擁有非常全面、成熟的 IP ，可以滿足云知聲這類初創(chuàng)公司對于性能、功耗、成本的極致平衡；其次,云知聲在 AI 芯片設(shè)計之初便確定了開源的模式，即排除核心引擎之外其他應(yīng)用層均可供產(chǎn)品商、方案商靈活設(shè)計， ARM 提供了非常好的開發(fā)生態(tài)。

新局面下物聯(lián)網(wǎng) AI 芯片的挑戰(zhàn)與機遇

當前，物聯(lián)網(wǎng) AI 芯片邊緣側(cè)相關(guān)軟硬件基礎(chǔ)架構(gòu)正在走向標準化，具體表現(xiàn)為網(wǎng)絡(luò)模型標準化、 IR 標準化、IP 同質(zhì)化。具體表現(xiàn)為：

物聯(lián)網(wǎng)AI 芯片主流應(yīng)用場景所需要的網(wǎng)絡(luò)模型已經(jīng)階段性穩(wěn)定，IP 的演化路徑將逐漸走向固化；

NNVM，ONNX 等不同模型在編譯鏈的支持下可以運行在同樣的架構(gòu)上，IR 的標準化意味著行業(yè)分工的完成；

MAC（計算單元）的堆疊成為計算密度提升的主流手段，當前計算密度的提升對芯片產(chǎn)品尤其是系統(tǒng)的差異化影響日漸式微，標志著精細化耕作勢在必行。

李霄寒認為，上述的挑戰(zhàn)將會給AI 芯片公司帶來一定程度的困擾，但挑戰(zhàn)的同時也意味著更多的機遇。他預(yù)測， AI 芯片創(chuàng)業(yè)公司未來的競爭將主要集中在系統(tǒng)層面，即基于對不同場景的理解，從提供單一的 AI 芯片到提供完整的 AI 解決方案。