智能“手環(huán)”助力聾人手語發(fā)聲

一枚小巧的“手環(huán)”，通過連接服務(wù)器就可以讓聾人的手語發(fā)聲，并且還能把外界語音轉(zhuǎn)化為文字，實(shí)現(xiàn)聾啞人和外界的無障礙溝通。

5月17日至18日，2018“未來力大會(huì)”大學(xué)生社會(huì)創(chuàng)新大賽全國(guó)賽在上海舉行，東北大學(xué)的“妙手回聲”項(xiàng)目榮獲創(chuàng)行中國(guó)科創(chuàng)冠軍賽全國(guó)總冠軍?！拔覀冄邪l(fā)的手語雙向交互系統(tǒng)為聾人架起一座與世界溝通的橋梁，用一雙妙手化無聲為有聲?！表?xiàng)目指導(dǎo)教師、東北大學(xué)機(jī)器人科學(xué)與工程學(xué)院王斐副教授表示。

針對(duì)聾人在日常生活中與健全人交流困難問題，東北大學(xué)曾振、賀瀟、李榮頡等同學(xué)在王斐老師的指導(dǎo)下研發(fā)出了一套基于多源信息融合的手語雙向交互系統(tǒng)。該系統(tǒng)由可同步采集上肢肌電與慣性信息的佩戴式手環(huán)、安裝有手語雙向交流APP的平板電腦和手語識(shí)別云服務(wù)器構(gòu)成。當(dāng)聾啞人與健全人進(jìn)行交流時(shí)，系統(tǒng)對(duì)手環(huán)采集得到的聾人上肢多源信息進(jìn)行實(shí)時(shí)處理，并基于深度學(xué)習(xí)完成手語關(guān)鍵詞在線識(shí)別，然后使用語法模型獲得手語詞句，并通過語音芯片合成，實(shí)現(xiàn)手語到語音的轉(zhuǎn)換。同時(shí)，健全人的語音可以通過APP轉(zhuǎn)化為文字和手語動(dòng)圖反饋給聾人，從而實(shí)現(xiàn)了二者的自然無障礙雙向交流。

王斐老師告訴記者，在研發(fā)過程中，團(tuán)隊(duì)曾遇到了智能硬件核心技術(shù)的瓶頸問題，開發(fā)到一定程度就受制于國(guó)外的技術(shù)封鎖，無法再進(jìn)行深層次開發(fā)?！懊@人手語發(fā)聲裝置最核心的硬件就是肌電手環(huán)。實(shí)驗(yàn)室進(jìn)行了技術(shù)攻克，現(xiàn)在能夠做到從軟件到硬件都是我們的自有技術(shù)?！彼f，這背后是上千遍枯燥重復(fù)的實(shí)驗(yàn)嘗試和難熬的夜晚，團(tuán)隊(duì)經(jīng)歷了數(shù)不清的“推倒重來”。

與傳統(tǒng)基于機(jī)器視覺的手勢(shì)識(shí)別方法相比，使用肌電手環(huán)可避免光照、遮擋、干擾和手指細(xì)微動(dòng)作無法捕捉等嚴(yán)重缺陷，在便攜實(shí)用的同時(shí)，更增加了手語識(shí)別的實(shí)時(shí)性和準(zhǔn)確性。為聾人在日常生活中與健全人進(jìn)行無障礙交流提供了極大的便捷，也為他們從身心兩方面重返社會(huì)創(chuàng)造了有利的條件。

據(jù)團(tuán)隊(duì)成員介紹，在比賽現(xiàn)場(chǎng)進(jìn)行成果展示之后，評(píng)委給出了這樣的評(píng)價(jià)：“我沒有想到作為大學(xué)生，你們會(huì)注意到聾啞人這個(gè)群體，而且還為了改善他們的生活做了這么多事情?！?/p>

王斐老師表示，殘疾人是弱勢(shì)群體，團(tuán)隊(duì)從來沒想過產(chǎn)品研發(fā)成功之后可以賺錢，所以在技術(shù)上他們盡力做到完全的自主化，從而降低成本，這樣一來殘疾人可以很容易地得到并能使用它。

團(tuán)隊(duì)成員曾振說：“有些高水平的東西，在商業(yè)角度上看價(jià)值不大，但這也是學(xué)生團(tuán)隊(duì)和實(shí)驗(yàn)室的價(jià)值所在，企業(yè)做1到1萬的商業(yè)轉(zhuǎn)化，而學(xué)生實(shí)驗(yàn)室可以不計(jì)回報(bào)地做從0到1的技術(shù)研發(fā)?！?/p>

該團(tuán)隊(duì)將代表中國(guó)前往美國(guó)硅谷參加2018創(chuàng)行世界杯總決賽。