HMI推動家庭中的邊緣AI

　　消費者對于改進其便利性、安全性和用戶體驗的進步有著無法滿足的胃口。我們看到，人機界面（human-machine interface，HMI）以明顯的方式發(fā)展，從純粹的觸覺發(fā)展到多年來，已經(jīng)涵蓋了從語音到手勢到視頻以及各種計算機視覺功能的各種輸入方法，從銷售終端到智能家居。下一步將是不僅理解直接命令而且可以推斷意圖的設(shè)備。

　　同時，對基于云的傳統(tǒng)連接設(shè)備的安全性和延遲的擔(dān)憂日益加劇，這為更多基于邊緣的處理鋪平了道路。在人機界面（HMI）中尤其如此。但是，本地處理給技術(shù)開發(fā)人員帶來了新的挑戰(zhàn)，他們必須考慮特定用例要求，開發(fā)選項和智能（受機器學(xué)習(xí)訓(xùn)練的）設(shè)備的成本，這些設(shè)備需要引入新的自動化水平來增強感知智能和環(huán)境計算。

　　邊緣AI是基礎(chǔ)

　　所謂的邊緣AI（Edge AI）是實現(xiàn)更復(fù)雜、用戶友好和更安全的IoT體驗的基礎(chǔ)。根據(jù)定義，邊緣AI意味著AI處理是在最終產(chǎn)品本身（例如機頂盒或智能顯示器）內(nèi)部而不是在云中運行。這樣做的理由是眾所周知的，即更好的隱私、更少的帶寬和更快的響應(yīng)時間，甚至生態(tài)友好性，因為邊緣處理減少了運行大型數(shù)據(jù)中心的能源、水和其他資源的需求。

　　邊緣AI已在我們生活每天接觸的許多應(yīng)用中采用，但最初的使用很大程度上僅限于昂貴的產(chǎn)品，例如智能手機和汽車。因此，針對這些產(chǎn)品的邊緣AI實施也很昂貴，并且對于智能家居的消費者零售設(shè)備來說已經(jīng)遙不可及。在很大程度上，現(xiàn)有的邊緣AI應(yīng)用就其提供的用戶體驗而言是一維的。例如，ADAS（高級駕駛輔助系統(tǒng)）應(yīng)用中具有AI功能的視覺或移動電話中的圖像質(zhì)量增強。

　　為智能家居創(chuàng)建和采用邊緣AI解決方案的令人信服的理由是什么？

　　HMI推動家庭中的邊緣AI

　　我們看到，在無處不在的消費物聯(lián)網(wǎng)細分市場中，人們的興趣特別濃厚，應(yīng)用機會越來越多，例如各種娛樂、通信、家庭自動化、安全性以及其他各種設(shè)備。尤其是在當(dāng)前時代，消費者希望獲得互聯(lián)的體驗，但沒有傳統(tǒng)互聯(lián)的成本、隱私和性能問題。對更具沉浸感和感知力的人機交互的需求是推動智能家居中邊緣AI需求的關(guān)鍵因素。

　　借助市場上智能家居基于AI的邊緣計算解決方案，創(chuàng)造更人性化的體驗所需的性能將可用于更廣泛的產(chǎn)品。

　　受益于智能家居中的邊緣AI的實際應(yīng)用案例很多。有些具有明顯的實際好處。例如，家用門鈴攝像頭，可以分辨包裹掉落和包裹被盜之間的區(qū)別。娛樂設(shè)備可以自動檢測低分辨率視頻流并將其提升到更高的分辨率，并具有出色的感知質(zhì)量，從而更好地利用高分辨率電視顯示器。即使是熟悉的，現(xiàn)在幾乎無處不在的視頻會議應(yīng)用也可以通過更高質(zhì)量的視頻和音頻進行增強，并可以在具有成本效益的設(shè)備上使用。

　　其他示例似乎更具未來性?？梢愿鶕?jù)冰箱中的食材儲備內(nèi)容提供晚餐（菜單）建議的冰箱?？鞠淇梢愿嬖V您何時將餐點烹制至完美。一個虛擬的私人家庭瑜伽教練，可以提醒您在擺姿勢時伸直雙臂。家庭自動化設(shè)備可以協(xié)同工作，以預(yù)測房主的需求，從取暖、準(zhǔn)備食物到選擇在電視上觀看的內(nèi)容。

　　這樣的解決方案可以將視頻、視覺和語音傳感器與AI處理功能結(jié)合在一起，以將增強的功能帶給新一代熟悉的設(shè)備，例如智能顯示器和條形音箱、機頂盒和安全攝像機等等。

　　這些應(yīng)用的共同點是需要一種基于邊緣的、基于AI的解決方案，該解決方案專門針對智能家居而非智能手機或汽車應(yīng)用程序而量身定制。為了進一步使邊緣AI民主化，解決方案必須是：

　　能夠在有效的系統(tǒng)中結(jié)合語音、視頻和視覺，支持多模式AI增強的用戶體驗;

　　通過標(biāo)準(zhǔn)工具，更廣泛的AI開發(fā)人員和創(chuàng)新者可以訪問;

　　確保安全和隱私措施符合消費者的期望。

　　智能家居人機交互需要多模式方法

　　正如我們之前所討論的，針對智能手機和汽車應(yīng)用的基于邊緣AI的解決方案主要側(cè)重于攝像機視覺應(yīng)用。但是，在智能家居中，多模式人機交互界面是在連接設(shè)備的新時代增強用戶體驗的關(guān)鍵要素。以機頂盒為例，此應(yīng)用將需要視頻AI，也許是如前所述的視頻增強形式。它還需要語音AI能夠通過語音命令來識別正在看電視的人，并相應(yīng)地配置體驗。例如，讓選擇喜歡的節(jié)目變得更加容易。甚至可能需要視覺AI，并且需要帶有內(nèi)置攝像頭，以便遠程與家庭成員聊天時提供增強而直觀的視頻會議體驗。

　　理想的解決方案是以智能家居為中心的SoC（系統(tǒng)級芯片，System-on-a-Chip），它可以支持高性能視頻、語音和視覺處理以及集成的AI加速器。 Synaptics VS600 SoC系列就是這種解決方案的一個示例。這種方法不僅經(jīng)過優(yōu)化，可以滿足智能家居應(yīng)用對多模式AI性能的要求，而且還可以將所有這些功能集成到單個芯片中，從而使以消費者市場價格出售的普通家用產(chǎn)品都可以使用。

　　這個需要的解決方案從一個SOC平臺開始，該平臺集成了多種類型的處理器引擎：CPU、NPU、GPU和ISP，以及與高性能相機和顯示器的掛鉤。這種架構(gòu)實現(xiàn)了高度安全、低成本推理和實時多模式性能的理想組合。Synaptics Edge AI系列是一系列SoC，每個SoC都高度針對其給定的消費類應(yīng)用。該系列中的每個SoC都集成了所需的處理內(nèi)核以及該應(yīng)用程序的適當(dāng)級別的集成AI性能。

　　完整的堆棧工具方法可簡化AI開發(fā)

　　如我們所見，成本/性能之間的權(quán)衡對于成功將邊緣AI擴展到更多應(yīng)用至關(guān)重要。在競爭激烈的消費電子領(lǐng)域、上市時間和差異化也至關(guān)重要。為了應(yīng)對邊緣AI廣泛傳播的挑戰(zhàn)，需要采用全棧方法，其中包括將AI創(chuàng)新引入邊緣 AI SoC的必要開發(fā)工具。

　　最重要的是，所需的工具集應(yīng)該與龐大且不斷增長的AI開發(fā)人員用戶社區(qū)兼容。例如，該工具包將使開發(fā)人員能夠?qū)胧褂眯袠I(yè)標(biāo)準(zhǔn)框架（例如TensorFlow，TensorFlow Lite，Caffe和ONNX）創(chuàng)建的模型。這使開發(fā)人員能夠利用現(xiàn)有的AI創(chuàng)新，并使他們迅速而輕松地在目標(biāo)SoC上工作。

　　讓我們使用我們前面討論的個人家庭瑜伽教練應(yīng)用。該應(yīng)用所基于的AI模型將是人體姿勢估計模型，這是一種行業(yè)標(biāo)準(zhǔn)的概念，用于檢測用戶在攝像機視線中的相對骨骼位置。如果AI開發(fā)人員自己使用行業(yè)標(biāo)準(zhǔn)工具（例如TensorFlow lite）創(chuàng)建的人體姿勢估計模型的實現(xiàn)，則他們將使用該工具包將其導(dǎo)入以在所需的SoC上使用。

　　當(dāng)開發(fā)人員準(zhǔn)備就緒時，該工具應(yīng)使他們能夠針對將在其上運行的所選處理器優(yōu)化其AI模型的性能。開發(fā)人員可以選擇使用開放框架，例如TensorFlow或TensorFlow Lite，但是在使用它們時要牢記目標(biāo)處理器的功能?；蛘咚麄兛梢栽俅问褂锰囟ㄓ赟oC的工具，例如Synaptics的SyNAP工具，該工具支持專門針對VS600 SoC中的處理器進行優(yōu)化。在我們的示例中，開發(fā)人員可以使用SyNAP優(yōu)化功能來配置其身體姿勢估計模型，例如，使其能夠以每秒30幀的速度在VS600 SoC上實時運行。

　　但是，安全和隱私需要滿足消費者的期望

　　人機界面的未來聽起來很光明，但采用的最大障礙可能是用戶認為他們的隱私和安全性將受到損害。新聞中有許多最近的故事可以證實這種擔(dān)憂。任何有意義的人機界面解決方案都必須考慮到這一點。

　　幸運的是，這些視頻、語音和視覺數(shù)據(jù)將在設(shè)備中而不是在云中進行處理的事實在隱私方面取得了巨大的進步。在視頻門鈴示例中，通過將AI智能添加到門鈴本身中，來自前門的視頻不需要24/7流式傳輸?shù)皆?，而僅當(dāng)存在特定事件時才需要。例如，僅當(dāng)AI引擎檢測到一個邪惡的人正在接近門時，才傳輸視頻?；蛘?，以我們的家庭瑜伽教練為例，該應(yīng)用可以像我們之前顯示的那樣完全在設(shè)備中運行，而根本不需要將任何圖像從家中發(fā)送到云端服務(wù)器。

　　但是，即使從未將這些圖像發(fā)送到云，用戶也可能擔(dān)心，即使是暫時的，這些圖像仍會在您的設(shè)備中被捕獲和處理。還有一個安全隱患，一個有惡意的人可能試圖從您的設(shè)備中獲取該數(shù)據(jù)。因此，理想的以智能家居為中心的AI解決方案還必須確保以安全的方式捕獲和處理該內(nèi)容，這一點至關(guān)重要。

　　智能家居安全

　　物聯(lián)網(wǎng)的新時代將通過更多的“本地智能”（邊緣AI）來推動，這將減少始終保持連接的需求和風(fēng)險。在邊緣設(shè)備上進行處理的AI驅(qū)動的神經(jīng)網(wǎng)絡(luò)是加速采用感知智能系統(tǒng)的關(guān)鍵。通過能夠在邊緣實現(xiàn)此功能，系統(tǒng)可以以更高的安全性和隱私性以及更低的延遲運行?？梢灾С侄嗄Ｊ?a target="_blank">接口解決方案的高性能，多處理器SoC（以消費者市場的價格提供）將幫助開發(fā)人員快速利用AI創(chuàng)新并使其產(chǎn)品脫穎而出。

　　機器如何利用語音、視頻和視覺數(shù)據(jù)，以及如何利用它們來理解和預(yù)測性地響應(yīng)我們所做的事情（例如說或觸摸），從而改善了物聯(lián)網(wǎng)如何在我們的生活中提供前所未有的安全性、便利性和生產(chǎn)力。
? ? ? ?責(zé)任編輯：tzh