AI手語(yǔ)識(shí)別技術(shù)存在的挑戰(zhàn)

據(jù)外媒報(bào)道，日本電氣大學(xué)與軟銀公司聯(lián)合，通過(guò)人工智能AI技術(shù)，能將手語(yǔ)直接翻譯成日語(yǔ)，這將使聾啞人士的溝通更順暢。

目前該系統(tǒng)只能用于柜臺(tái)設(shè)備上，聾啞人士能在攝像頭前通過(guò)手語(yǔ)溝通，然后系統(tǒng)用圖像識(shí)別技術(shù)，分析手指和手臂等身體幾個(gè)部位的骨骼運(yùn)動(dòng)，將手勢(shì)翻譯成日文，顯示在工作人員的電腦屏幕上，隨后口頭回復(fù)以文本的形式出現(xiàn)在聽(tīng)障人士面前的屏幕上，使交流更加順暢。

該系統(tǒng)的核心技術(shù)由ABEJA提供，谷歌2018年投資了它，ABEJA的核心產(chǎn)品是使用機(jī)器學(xué)習(xí)幫助公司從他們的數(shù)據(jù)堆中開(kāi)展商業(yè)分析。在這個(gè)項(xiàng)目中，ABEJA通過(guò)讓AI學(xué)習(xí)了5萬(wàn)個(gè)手語(yǔ)視頻，使其捕捉到手語(yǔ)特征和變化，目前該系統(tǒng)能準(zhǔn)確將手勢(shì)翻譯成大約1500個(gè)日語(yǔ)單詞。

早在2015年就有手語(yǔ)識(shí)別研究

人工智能技術(shù)的出現(xiàn)和逐漸成熟，不僅有利于產(chǎn)業(yè)升級(jí)，事實(shí)上很早開(kāi)始，就有研究人員嘗試?yán)肁I技術(shù)幫助聾啞人士更加順暢的交流。

2015年9月沙特設(shè)計(jì)師就專門(mén)研發(fā)了一款無(wú)線智能手套，內(nèi)置傳感器，聾啞人戴上交流的時(shí)候，傳感器可以根據(jù)手指的運(yùn)動(dòng)追蹤手勢(shì)，再通過(guò)語(yǔ)言軟件轉(zhuǎn)換成聲音和文字，在初期，這款無(wú)線智能手套只會(huì)講法語(yǔ)、英語(yǔ)和阿拉伯語(yǔ)，該研究團(tuán)隊(duì)表示，后續(xù)會(huì)支持更多種語(yǔ)言。

在中國(guó)也很早就有相關(guān)的研究，2016年有媒體報(bào)道，東大自動(dòng)化專業(yè)李師寧等同學(xué)研發(fā)出了一種最新型的手語(yǔ)識(shí)別發(fā)聲系統(tǒng)，這是一種結(jié)合人體生物及姿態(tài)信息的便攜手語(yǔ)發(fā)聲器，聾啞人可以通過(guò)手語(yǔ)使該機(jī)器發(fā)聲翻譯。

2018年?yáng)|北大學(xué)也研制出一款幫助聽(tīng)障人士溝通交流的智能系統(tǒng)，由智能傳感手環(huán)、前端APP及云端服務(wù)組成，智能傳感手環(huán)可以將聽(tīng)障人士的手語(yǔ)動(dòng)作捕捉識(shí)別，并在云端轉(zhuǎn)換為文字及語(yǔ)音呈現(xiàn)在APP端，傳遞給非手語(yǔ)使用者，同時(shí)又可以將非手語(yǔ)使用者的語(yǔ)音在APP端轉(zhuǎn)換為文字加手語(yǔ)動(dòng)圖的“雙語(yǔ)形式”。

百度、騰訊等互聯(lián)網(wǎng)巨頭企業(yè)也進(jìn)行了相關(guān)研究，2019年百度在AI開(kāi)發(fā)者大會(huì)上提出“Everyone can AI”的理想，意思是讓每個(gè)人都能有平等接收AI的能力，百度以百度飛槳開(kāi)源內(nèi)容為基礎(chǔ)建立訓(xùn)練模型，通過(guò)采集手勢(shì)得到數(shù)據(jù)，借助手機(jī)轉(zhuǎn)化成文字信息，聽(tīng)障人士可以使用翻譯器，在咖啡館、餐廳如同正常人一樣點(diǎn)餐、交流。

優(yōu)圖AI手語(yǔ)翻譯機(jī)界面

同是在2019年，騰訊優(yōu)圖實(shí)驗(yàn)室也推出了一款基于自研算法的優(yōu)圖AI手語(yǔ)翻譯機(jī)，以普通攝像頭作為手語(yǔ)采集裝置，用戶正對(duì)攝像頭完成手語(yǔ)表達(dá)，翻譯機(jī)就能通過(guò)后臺(tái)運(yùn)算將手語(yǔ)快速翻譯成文字。據(jù)介紹，優(yōu)圖AI手語(yǔ)翻譯機(jī)數(shù)據(jù)集覆蓋近千句日常表達(dá)，包括900個(gè)常用詞匯，同時(shí)還對(duì)數(shù)據(jù)進(jìn)行了分析和歸納，是當(dāng)前最大的中文手語(yǔ)識(shí)別數(shù)據(jù)集。

手語(yǔ)識(shí)別技術(shù)存在很大挑戰(zhàn)

相比于其他AI視覺(jué)識(shí)別技術(shù)，手語(yǔ)識(shí)別研發(fā)存在更大困難。在2018年?yáng)|北大學(xué)的研究中，就透露出手語(yǔ)識(shí)別研究存在的現(xiàn)實(shí)問(wèn)題，即每位聽(tīng)障人士的手語(yǔ)規(guī)劃不同，同一個(gè)詞打出的手勢(shì)有差異，因此智能識(shí)別可能就沒(méi)那么準(zhǔn)確。

不過(guò)好在2018年中央頒發(fā)了國(guó)家通用手語(yǔ)標(biāo)準(zhǔn)方案，這很大程度有利于后續(xù)手語(yǔ)轉(zhuǎn)文字或語(yǔ)音方面的研究。即使如此可能還是會(huì)存在細(xì)微差異，百度此前就表示，手語(yǔ)復(fù)雜、多樣、以及地域性差異給研究帶來(lái)不少困難。

百度還談到另外一大困難，即可用于訓(xùn)練模型的數(shù)據(jù)量小，在上述日本的項(xiàng)目中，一位參與開(kāi)發(fā)的軟銀工程師也表示，要建立一個(gè)將符號(hào)準(zhǔn)確翻譯成日文的模型，需要大量的手語(yǔ)數(shù)據(jù)。因此他們通過(guò)網(wǎng)站等方式，呼吁更多人發(fā)送手語(yǔ)圖像數(shù)據(jù)。

小結(jié)

AI技術(shù)在服務(wù)產(chǎn)業(yè)升級(jí)的同時(shí)，也可以極大的幫助聾啞人群更好的實(shí)現(xiàn)溝通，這是這個(gè)時(shí)代的福音。據(jù)第二次全國(guó)殘疾人抽樣調(diào)查結(jié)果顯示，我國(guó)有2780萬(wàn)聽(tīng)障人士，如果能夠利用AI技術(shù)實(shí)現(xiàn)將手語(yǔ)實(shí)時(shí)翻譯成文字和語(yǔ)音，這將是一項(xiàng)極其有意義的事。

日本聾人聯(lián)合會(huì)認(rèn)為，要使人工智能成為聾啞人群的有效工具，還需要很長(zhǎng)的時(shí)間來(lái)實(shí)現(xiàn)。不過(guò)很明顯從2015年到現(xiàn)在，手語(yǔ)識(shí)別在逐漸取得進(jìn)步，也有相當(dāng)多的研究人員和企業(yè)投入其中，對(duì)于未來(lái)逐步突破困難取得更大進(jìn)步還是值得期待。

責(zé)任編輯：haq