基于OpenHarmony的智能音響

基于OpenHarmony的智能音響

本項目由閩江學(xué)院李維權(quán)、李清湖、朱燕禮同學(xué)完成，作品獲得福建省首屆OpenHarmony開發(fā)者大賽三等獎！

1、項目背景

進入 21 世紀以來，傳感器技術(shù)、計算機控制技術(shù)、網(wǎng)絡(luò)技術(shù)以及新興的物聯(lián)網(wǎng)技術(shù)，蓬勃發(fā)展。音箱是現(xiàn)代家居生活中為人們提供聽覺享受的產(chǎn)品，其作為音響系統(tǒng)的最終端，承擔(dān)著將電波信號轉(zhuǎn)化為聲能量，并傳播到空氣中的作用。音箱的種類有很多，針對不同的使用場景、用戶群，有不同的表現(xiàn)形式。以人為本的現(xiàn)代設(shè)計理念推動著設(shè)計的發(fā)展，在產(chǎn)品設(shè)計領(lǐng)域，以人為本不僅體現(xiàn)在產(chǎn)品的形式上，產(chǎn)品的服務(wù)形式也應(yīng)該是契合人的本性、對用戶友好的。這一述求隨著科技的發(fā)展，逐漸與人們的預(yù)期相符合。所謂的“智能”，指的是個體認識客觀物體和運用知識解決問題的能力。機器不同于人類能夠獨立思考，它的行為模式是依附于程序而進行的，當(dāng)一個機器能夠在某個程序的指導(dǎo)下，獨立進行操作或運算，我們便稱之為智能設(shè)備。智能音箱就是在傳統(tǒng)音箱的基礎(chǔ)上結(jié)合通信技術(shù)、傳感技術(shù)或其他互聯(lián)網(wǎng)技術(shù)，使之在擴音的基礎(chǔ)功能之上，擁有更多新的、符合現(xiàn)代生活場景的功能, 隨著科學(xué)技術(shù)的不斷進步，人們所追求東西也越來越多。

智能音箱系統(tǒng)是以智能音箱設(shè)備為核心，結(jié)合手機端、語音識別系統(tǒng)和手勢識別系統(tǒng)協(xié)同工作，可提供中繼WiFi的同時滿足家庭用戶的日常音頻服務(wù)需求，個性化地為用戶提供了語音識別功能，本次設(shè)計的是以家居場景下的智能音箱產(chǎn)品，首先對其硬件平臺進行設(shè)計，其次對音頻系統(tǒng)和功能軟件部分進行詳細設(shè)計，然后對智能音箱系統(tǒng)的語音識別系統(tǒng)和設(shè)計與優(yōu)化并初步實現(xiàn)語音識別功能，從而打造一款經(jīng)濟、實用、智能的便攜式音箱系統(tǒng)。

2、項目簡介

2.1 項目描述

此項目基于 OpenHarmony 操作系統(tǒng)——我國自主研究、國產(chǎn)可控的芯片RK2206 搭載的一個全新的，獨立的首個完全開源的操作系統(tǒng)。該項目也是 OpenHarmony 在智能音箱領(lǐng)域適配的一個嘗試，通過藍牙連接、語音識別、手勢識別三種方式控制設(shè)備，小凌派內(nèi)置WiFi連接網(wǎng)絡(luò)顯示實時時鐘和當(dāng)?shù)靥鞖?。實現(xiàn)了人機交互化、系統(tǒng)化、實時化。

2.2 功能說明

在系統(tǒng)整體設(shè)計架構(gòu)中，利用小凌派內(nèi)置WiFi模塊連接網(wǎng)絡(luò)，在搭載OpenHarmony操作系統(tǒng)的小凌派LCD顯示屏上顯示實時時間和當(dāng)?shù)貙崟r天氣情況。

在人工智能音箱交互的過程中，主要是使用耳和嘴兩個信息通道，即聽和說，語音識別的過程要經(jīng)過三個階段:發(fā)音、傳遞和感知，分別對應(yīng)于生理、物理和心理三個方面，也就是說，僅僅是識別理解語音還不夠，還需要根據(jù)所處的語境，以即時、正確、合乎常規(guī)的自然語言表達方式回復(fù)用戶。此項目支持藍牙和WiFi進行音樂播放，在此基礎(chǔ)上，我們的設(shè)計加入了手勢識別， 利用不同手勢改變音樂播放狀態(tài)。

2.3 系統(tǒng)功能模塊劃分

項目是基于我國自主創(chuàng)新研發(fā)的國產(chǎn)可控芯片RK2206搭載OpenHarmony操作系統(tǒng)上運行的，OpenHarmony作為新推出的熱點，它在傳統(tǒng)的單設(shè)備系統(tǒng)能力的基礎(chǔ)上，創(chuàng)造性地提出了一套系統(tǒng)能力適配終端形態(tài)的理念，并且支持在終端設(shè)備上運行。小凌派內(nèi)置WiFi模塊連接網(wǎng)絡(luò)，在搭載OpenHarmony操作系統(tǒng)的小凌派LCD顯示屏上顯示實時時間和當(dāng)?shù)貙崟r天氣情況。本系統(tǒng)中，由語音識別和手勢識別實現(xiàn)人機交互，當(dāng)語音識別模塊聽到喚醒詞（小智小智）后回應(yīng)，再說上一首/下一首進行切歌，或者播放/暫停，小凌派屏幕上會顯示相應(yīng)的音樂播放狀態(tài)圖標和提示語。

2.4 項目展示

圖2.1 智能音箱設(shè)計實物正面圖

圖2.2 智能音箱設(shè)計實物側(cè)面圖

圖2.3 智能音箱設(shè)計實際操作圖

3、硬件設(shè)計

3.1 硬件總體框架

圖3.1 硬件總體框圖

3.2 主控芯片

圖3.2 小凌派

采用小凌派RK2206 OpenHarmony開發(fā)板，主控為瑞芯微RK2206芯片，200MHz主頻，RAM 256KB、ROM16KB、PSRAM 8M、FLASH 8M。板載NFCTag芯片及天線，可實現(xiàn)OpenHarmony“碰一碰”功能。支持 IEEE 802.11b/g/n 制式，AP 模式。USB 2.0 、SDcard /SPI/I2C 接口、麥克風(fēng)接口、E53 接口（包含 UART、 I2C、ADC、DAC、PWM、5 個 GPIO）。一根TypeC USB線，即可實現(xiàn)供電、下載等功能。一根TypeC USB線，可支持串口調(diào)試功能。

3.3 語音識別模塊

語音識別模塊采用LD3320，支持3.3V/5V供電，通信協(xié)議采用串口通信。

圖3.3 語音識別模塊

3.4 語音播報模塊

語音播報模塊采用SNY6288，支持3.3V供電，通信協(xié)議采用串口通信。

圖3.4 SNY6288

3.5 功率放大模塊

TPA3116D2雙聲道立體聲大功率數(shù)字低音炮功放板 ，支持2x50W功率。

圖3.5 功率放大模塊

3.6 手勢識別模塊

小凌派鴻蒙開發(fā)板智能手勢擴展板E53模塊PAJ7620U2手勢識別傳感器。

圖3.6 手勢識別模塊

3.7 音頻藍牙模塊

使用藍牙3.0模塊，SPP透傳。

圖3.7 藍牙模塊

3.8 TFT顯示屏

1.8寸彩色TFT顯示屏，高清IPS LCD液晶屏模塊，分辨率128*160，SPI接口。

圖3.8 TFT液晶屏

4、軟件方案

智能音箱設(shè)計軟件部分使用的是C語言，整體代碼整合屏幕化顯示代碼、WiFi連接代碼、語言識別代碼、手勢識別代碼等部分。

設(shè)計采用的小凌派芯片RK2206開發(fā)板采用Lite os-M 內(nèi)核、自帶WiFi模塊，SDK也提供了相應(yīng)的驅(qū)動，初始化配置WiFi，連接到目標網(wǎng)絡(luò),通過內(nèi)部串口將WiFi的ID密碼、時間和天氣API網(wǎng)站IP與鏈接地址傳入內(nèi)置WiFi模塊。WiFi聯(lián)網(wǎng)成功后利用TCP協(xié)議向網(wǎng)站發(fā)送get信息，網(wǎng)站收到get請求后回傳帶有時間和天氣信息的json格式報文，報文送進小凌派芯片RK2206經(jīng)由CJSON庫處理為標準格式后，最終顯示在LCD屏幕上。

而通過I2C通信協(xié)議，傳感器感受手勢，主控板讀取PAJ7620U2的手勢寄存器中的手勢，相應(yīng)對應(yīng)的接口層，引腳輸出對應(yīng)高低電平完成歌曲切換、暫停等操作。

圖4.1 程序總框圖

圖4.2 主流程圖

4.1 WiFi連接設(shè)計

智能音箱獲取連接WiFi部分代碼：

圖4.3 WiFi模塊流程圖

4.2時間天氣信息獲取設(shè)計

智能音箱通過協(xié)議發(fā)送數(shù)據(jù)給sercer，再接受來自server的信息，從而獲取時間以及天氣狀況信息。

時間信息獲取設(shè)計部分代碼:

天氣狀況信息獲取設(shè)計部分代碼：

4.3手勢識別設(shè)計

智能音箱手勢識別分別設(shè)置4種手勢進行操作，并根據(jù)不同手勢執(zhí)行不同的操作。

圖4.4 手勢識別程序流程圖

5、項目總結(jié)和展望

本次設(shè)計從互聯(lián)網(wǎng)技術(shù)出發(fā)，以人工智能音箱為落腳點，設(shè)計一款緊跟都市生活節(jié)奏和技術(shù)環(huán)境的產(chǎn)品。該設(shè)計在一定程度上可以幫助用戶解放雙手，便利用戶生活，既不用手持智能設(shè)備也能對智能音箱進行操作，有助于用戶提高生活質(zhì)量，享受數(shù)字時代帶來的紅利。能夠為人們提供實時的天氣情況，顯示當(dāng)?shù)貢r間與日期，方便用戶日常生活；支持語音交互功能，相比人們常用的智能手機，智能音箱只需“動嘴”，自然更加方便?；诨ヂ?lián)網(wǎng)技術(shù)，從用戶、人機交互及人機環(huán)境三個方面展開分析，以智能音箱為代表的人機交互模式為我們展現(xiàn)了智媒發(fā)展的一個新的方向：從人與人的交流到人與物、再到物與物，最終實現(xiàn)真正的萬物互聯(lián)。如何更好利用智能媒體的優(yōu)勢，同時規(guī)制與引導(dǎo)智能媒體的發(fā)展，正是有關(guān)智能音箱、人工智能技術(shù)研究背后傳播問題演進與開拓的新的場域所在。