瑞薩方案助力AI加持的觸控和手勢(shì)識(shí)別應(yīng)用

Mohammed Dogar

Vice President

隨著電容式觸控界面的廣泛采用，傳統(tǒng)機(jī)械按鍵正在退出歷史舞臺(tái)。用戶設(shè)計(jì)非常好的控制面板現(xiàn)在已經(jīng)可以支持觸摸和手勢(shì)識(shí)別。電容式觸控技術(shù)能支持設(shè)備接受手指和手勢(shì)的高級(jí)操作。通過(guò)手指和手勢(shì)的動(dòng)作來(lái)操作機(jī)器已經(jīng)成為現(xiàn)實(shí)，畢竟手勢(shì)是人類(lèi)交流最自然的方式之一。在與智能終端產(chǎn)品交互時(shí)，也是如此。這都?xì)w功于嵌入式計(jì)算設(shè)備如微控制器和微處理器的巨大發(fā)展，使得通過(guò)智能傳感器實(shí)現(xiàn)手勢(shì)識(shí)別成為可能。

觸控屏的使用現(xiàn)在已不僅限于智能手機(jī)，它已經(jīng)擴(kuò)展到對(duì)穩(wěn)定性和對(duì)安全要求更高的工業(yè)領(lǐng)域。要想實(shí)現(xiàn)這樣一個(gè)通過(guò)感應(yīng)手指觸摸就知道你想要什么的智能界面，已經(jīng)非常容易了。AutoML還有其他嵌入式AI/ML工具都已經(jīng)支持基于觸控的拖放分析了。

手勢(shì)識(shí)別可以進(jìn)一步改善人機(jī)交互的體驗(yàn)并且可以運(yùn)用到多個(gè)場(chǎng)景，例如觸控屏、相機(jī)或外圍設(shè)備。手勢(shì)識(shí)別是無(wú)觸摸用戶界面（TUI）的基礎(chǔ)，即在無(wú)觸摸的情況下控制設(shè)備，無(wú)需觸摸屏幕、開(kāi)關(guān)或操作按鈕。在人機(jī)交互方面，使用手勢(shì)是最直觀、最自然的?；谝曈X(jué)的手勢(shì)識(shí)別技術(shù)采用攝像頭和運(yùn)動(dòng)傳感器來(lái)跟蹤用戶的運(yùn)動(dòng)。設(shè)備中的運(yùn)動(dòng)傳感器可以跟蹤和識(shí)別手勢(shì)，將其作為主要的輸入源。隨著用于捕捉手勢(shì)的傳感器的發(fā)展，一個(gè)值得關(guān)注的應(yīng)用是AI虛擬鼠標(biāo)，它可以通過(guò)設(shè)備內(nèi)置的攝像頭跟蹤手指移動(dòng)、識(shí)別手勢(shì)、執(zhí)行鼠標(biāo)操作：操作滾輪、移動(dòng)光標(biāo)。除此之外，使用手勢(shì)還有助于管理和監(jiān)控需要安全操作但人手又難以觸及的設(shè)備，還可以應(yīng)用于AR和VR環(huán)境、手語(yǔ)識(shí)別、游戲等多種場(chǎng)景。

嵌入式手勢(shì)識(shí)別是一種無(wú)接觸的人機(jī)交互方式（HMI）。它們旨在搭配觸控屏、攝像頭等設(shè)備來(lái)一起加強(qiáng)人機(jī)交互的體驗(yàn)。目前，手勢(shì)識(shí)別和觸控，都被用于人機(jī)交互（HCI）或物聯(lián)網(wǎng)（IoT）情況下的人機(jī)交互。

人工智能（AI）和機(jī)器學(xué)習(xí)為通過(guò)實(shí)時(shí)分析來(lái)執(zhí)行更智能任務(wù)奠定了基礎(chǔ)，在人機(jī)互動(dòng)應(yīng)用中也呈現(xiàn)了很好的效果。同時(shí)，物聯(lián)網(wǎng)給這些任務(wù)的運(yùn)行提供了基礎(chǔ)的支撐。人工智能通過(guò)機(jī)器學(xué)習(xí)提供決策能力，物聯(lián)網(wǎng)提供設(shè)備連接和數(shù)據(jù)共享能力，二者的結(jié)合還能進(jìn)一步擴(kuò)展能力圈，比如基于用戶交互、網(wǎng)絡(luò)服務(wù)和其他相關(guān)設(shè)備的自主學(xué)習(xí)。

人工智能（AI）可以進(jìn)一步優(yōu)化手勢(shì)識(shí)別和觸控的用戶體驗(yàn)，幫助預(yù)測(cè)用戶的屏幕操作來(lái)加快互動(dòng)響應(yīng)。其它案例研究進(jìn)一步表明，人工智能還能提高IoT設(shè)備對(duì)手勢(shì)識(shí)別的準(zhǔn)確性。

在構(gòu)建支持手勢(shì)識(shí)別和觸控交互的方案時(shí)，為有效解決電氣和射頻噪聲問(wèn)題，選擇合適的設(shè)備來(lái)做整體硬件設(shè)計(jì)是非常關(guān)鍵的，因?yàn)闇?zhǔn)確度是方案的核心。高級(jí)相機(jī)、智能手表、可穿戴設(shè)備或數(shù)據(jù)傳輸手套都是這類(lèi)手勢(shì)和觸控技術(shù)可以運(yùn)用的設(shè)備，以及相關(guān)AI算法的最佳用武之地。在各種應(yīng)用場(chǎng)景下，瑞薩都能提供豐富的硬件支持。

隨著電容式觸控和手勢(shì)操作場(chǎng)景的擴(kuò)展，面板的靈敏度和抗噪性，也已成為實(shí)現(xiàn)精確控制和復(fù)雜操作的關(guān)鍵要求。還有對(duì)防水、防塵和對(duì)環(huán)境溫度變化耐受性的要求。在此之上，開(kāi)發(fā)時(shí)間和成本也是需要面對(duì)的挑戰(zhàn)。

瑞薩電子的第二代電容觸控解決方案可以幫助用戶設(shè)計(jì)出更先進(jìn)的控制裝置。并且我們提供用戶友好的開(kāi)發(fā)環(huán)境，降低開(kāi)發(fā)門(mén)檻，幫助用戶加快對(duì)電容式觸控和3D手勢(shì)識(shí)別方案的開(kāi)發(fā)。

e-AI×3D手勢(shì)識(shí)別：瑞薩方案助力各種應(yīng)用

Renesas QE工具支持“3D手勢(shì)識(shí)別”幫助客戶開(kāi)發(fā)基于嵌入式人工智能（AI）的手勢(shì)應(yīng)用。開(kāi)發(fā)AI應(yīng)用往往需要許多復(fù)雜的知識(shí)背景，Renesas QE工具可以幫助嵌入式工程師無(wú)需專(zhuān)門(mén)的AI知識(shí)背景也能順利和便捷地開(kāi)發(fā)AI應(yīng)用。

使能“3D手勢(shì)識(shí)別”

在開(kāi)發(fā)智能手勢(shì)識(shí)別應(yīng)用的過(guò)程中，有三個(gè)關(guān)鍵環(huán)節(jié)。

1

記錄（訓(xùn)練）

在電容式傳感器上大量做出你希望系統(tǒng)識(shí)別的手勢(shì)，得到用于注冊(cè)的數(shù)據(jù)，把它們顯示在列表中。從列表中刪除錯(cuò)誤的識(shí)別數(shù)據(jù)；對(duì)應(yīng)的，列表也要支持新數(shù)據(jù)的導(dǎo)入。

2

AI生成

創(chuàng)建AI的過(guò)程（數(shù)據(jù)預(yù)處理、深度學(xué)習(xí)，把訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型轉(zhuǎn)換為C代碼），Renesas QE工具對(duì)手勢(shì)識(shí)別做了優(yōu)化和自動(dòng)處理。雖然人工智能的自動(dòng)創(chuàng)建很難很復(fù)雜，但Renesas QE已經(jīng)可以實(shí)現(xiàn)手勢(shì)識(shí)別這個(gè)細(xì)分應(yīng)用的全過(guò)程自動(dòng)化。

3

監(jiān)控和調(diào)整

用戶可以在真實(shí)設(shè)備上檢查和調(diào)整AI模型的準(zhǔn)確度。如果手勢(shì)沒(méi)有被正確識(shí)別，可通過(guò)工具的“添加數(shù)據(jù)”按鈕，立即導(dǎo)入新的訓(xùn)練數(shù)據(jù)，來(lái)讓AI算法做自動(dòng)優(yōu)化調(diào)整。

技術(shù)的發(fā)展在不斷解決手勢(shì)識(shí)別準(zhǔn)確性方面的各種挑戰(zhàn)。比如用戶接觸不善導(dǎo)致的傳感器感知數(shù)據(jù)質(zhì)量不好，物體遮擋造成的視覺(jué)采集不完整，以及照明不足的影響。進(jìn)一步的挑戰(zhàn)來(lái)源于視覺(jué)和感官數(shù)據(jù)混在一起導(dǎo)致數(shù)據(jù)集合的錯(cuò)誤匹配。因此需要分開(kāi)處理后再合并，這也導(dǎo)致了響應(yīng)速度變慢。

未來(lái)的前景還是很令人振奮的，因?yàn)閷?duì)增強(qiáng)型智能觸控和手勢(shì)識(shí)別的需求正在擴(kuò)大，在消費(fèi)者市場(chǎng)和工業(yè)領(lǐng)域都有了突破性應(yīng)用。