添加邊緣智能：采訪恩智浦

當(dāng)今嵌入式世界 2021 的許多演講中明確涵蓋的一個(gè)關(guān)鍵主題是廣泛采用邊緣計(jì)算來實(shí)現(xiàn)邊緣智能。一些預(yù)測(cè)預(yù)計(jì)，到 2025 年，90% 的邊緣設(shè)備將使用某種形式的機(jī)器學(xué)習(xí)或人工智能。

圍繞啟用這種邊緣智能有哪些問題，您如何實(shí)現(xiàn)它？這是 NXP Semiconductors 高級(jí)副總裁兼邊緣處理業(yè)務(wù)總經(jīng)理 Ron Martino 最近在播客中的話題。雖然您可以在此處收聽完整的播客，但我們提供了本文討論的一些摘錄。

定義邊緣計(jì)算

邊緣計(jì)算的核心是更接近用戶的高效處理能力。我們可以為數(shù)據(jù)帶來更快的洞察力。 你能在恩智浦如何解決邊緣計(jì)算的背景下定義它嗎？

羅恩·馬蒂諾

Martino：邊緣計(jì)算簡單來說就是分布式本地計(jì)算和感知能力。它有效地解釋、分析和作用于傳感器數(shù)據(jù)以執(zhí)行一組有意義的功能。它不會(huì)試圖成為云的替代品或替代品，它變得免費(fèi)。傳統(tǒng)上，例如在語音輔助中，大量數(shù)據(jù)被發(fā)送到云端，在那里使用更高的計(jì)算能力來增強(qiáng)體驗(yàn)。邊緣計(jì)算正在演變?yōu)樽兊酶悄?，然后更智能。智能邊緣?jì)算平衡了本地計(jì)算與中央或云計(jì)算的使用。隨著這種情況的進(jìn)一步發(fā)展，我們希望終端設(shè)備有更多的能力來進(jìn)行解釋、分析，然后在本地做出決策，從而變得更加智能。

您能否舉例說明如何使用邊緣計(jì)算來提高生產(chǎn)力和安全性？

Martino：在生產(chǎn)力方面，一個(gè)很好的例子是增強(qiáng)勞動(dòng)力：利用邊緣處理或支持視覺和機(jī)器學(xué)習(xí)的可穿戴設(shè)備，工人可以診斷問題并更快地修復(fù)它，無論是在家里還是在工廠。

智能邊緣設(shè)備通過識(shí)別各種危險(xiǎn)信號(hào)來提高安全性：通過識(shí)別警報(bào)、人員跌倒或玻璃破碎，然后通過使用額外的傳感器信息和計(jì)算來確定問題。無論是使用恩智浦正在開發(fā)的雷達(dá)傳感設(shè)備，還是使用視覺功能，或者只是將音頻輸入解釋到設(shè)備中。

如果我們轉(zhuǎn)向更環(huán)保和能源意識(shí)，一個(gè)需要解決的概念是吸血鬼的力量，你插入設(shè)備，他們什么都不做，但仍然在消耗能量。

我們也正在轉(zhuǎn)向“感知邊緣”的概念，其中設(shè)備以類似人類的行為做出更多反應(yīng)。他們開始了解他們的環(huán)境，他們匯總輸入并與其他設(shè)備交互以收集信息并了解情況的背景，然后做出相應(yīng)的決定。一個(gè)簡單的實(shí)際示例是具有本地能力的交通模式，它可以解釋人群和不同的擁堵點(diǎn)，并通過觀察和感知汽車數(shù)量和條件來優(yōu)化本地情況，從而提高駕駛效率，從而避免浪費(fèi)時(shí)間。

支持邊緣智能的技術(shù)

從技術(shù)的角度來看，構(gòu)成智能邊緣和感知邊緣的部分是什么？

馬蒂諾：讓我們從基礎(chǔ)開始。您需要擁有計(jì)算平臺(tái)，并且它們需要擴(kuò)展。他們需要節(jié)能。與過去不同，現(xiàn)在它實(shí)際上是關(guān)于多個(gè)獨(dú)立的異構(gòu)計(jì)算子系統(tǒng)。這基本上是有一個(gè) GPU、一個(gè) CPU、一個(gè)神經(jīng)網(wǎng)絡(luò)處理單元、一個(gè)視頻處理單元和一個(gè) DSP。

您如何優(yōu)化這些不同的硬件加速器和計(jì)算設(shè)備并針對(duì)給定的最終應(yīng)用進(jìn)行優(yōu)化？這就是恩智浦真正擅長于擁有可擴(kuò)展的計(jì)算范圍以及所有這些其他元素的地方。然后是針對(duì)語音應(yīng)用、人機(jī)交互的優(yōu)化硬件加速器或功能的集成，將視覺和語音結(jié)合在一起，然后以真正涉及超低泄漏的方式進(jìn)行，操作模式可以調(diào)整到真正優(yōu)化能源使用，即使使用這些大型片上存儲(chǔ)器，當(dāng)您查看某些工作負(fù)載時(shí)也是必要的。

這繼續(xù)優(yōu)化機(jī)器學(xué)習(xí)能力、與許多不同攻擊面的最高覆蓋范圍的安全集成、高效連接、高效能源使用以及開放標(biāo)準(zhǔn)。它還可以利用恩智浦提供的技術(shù)，例如高精度距離測(cè)量，無論是使用我們的 UWB 技術(shù)以非常準(zhǔn)確的方式定位給定人員或跟蹤設(shè)備的物理位置。

最后一件事是將這一切包裝在無縫的用戶體驗(yàn)中，因?yàn)槿绻灰子谑褂茫⑶沂褂闷饋聿蛔匀?，那么它就不?huì)被使用。因此，獲得無縫、舒適的體驗(yàn)絕對(duì)至關(guān)重要。

用戶如何構(gòu)建這樣的解決方案？

Martino：我們提供一切，從處理器或微控制器的基本產(chǎn)品，一直到針對(duì)本地語音、視覺、檢測(cè)和推理能力或這些功能的組合預(yù)先優(yōu)化的參考平臺(tái)。我們將客戶可以購買的參考平臺(tái)放在一起，例如我們的 RT 系列設(shè)備。我們有一個(gè)可以購買的人臉識(shí)別產(chǎn)品，這是一個(gè)完全啟用和設(shè)計(jì)的系統(tǒng)，客戶可以將其作為修改他們想要專業(yè)化或品牌化的需求的起點(diǎn)。

消費(fèi)者和工業(yè)用例的技術(shù)差異

大多數(shù)業(yè)內(nèi)人士都會(huì)同意，我們家庭和工作中的智能設(shè)備和系統(tǒng)正在獲得牽引力。正如您所說，普通的舊物聯(lián)網(wǎng)與工業(yè)市場(chǎng)之間有哪些技術(shù)差異？

Martino：與 [消費(fèi)者] 物聯(lián)網(wǎng)世界相比，工業(yè)領(lǐng)域的連接標(biāo)準(zhǔn)、環(huán)境要求、壽命需求（可能超過 15 年）以及安全要求更加廣泛和苛刻。恩智浦投資的一個(gè)領(lǐng)域是時(shí)間敏感網(wǎng)絡(luò) (TSN)，并將 Mac 和交換機(jī)集成到一整套設(shè)備中，這些設(shè)備可以支持多臺(tái)機(jī)器的菊花鏈設(shè)置、工作并支持端點(diǎn)功能，利用這種更具確定性TSN 骨干網(wǎng)，它還支持許多傳統(tǒng)標(biāo)準(zhǔn)正在融合的更高的數(shù)據(jù)速率和吞吐量。

將此與 [消費(fèi)者] 物聯(lián)網(wǎng)市場(chǎng)進(jìn)行比較。對(duì)于智能家居和可穿戴設(shè)備等應(yīng)用而言，對(duì)極端能源效率、更高使用語音 HMI、無線連接和更短生命周期的需求更為廣泛。在可穿戴設(shè)備方面，您需要出色的用戶體驗(yàn)，但您需要最長的電池壽命。優(yōu)化這些邊緣設(shè)備以執(zhí)行其功能，然后關(guān)閉并保持電池壽命非常重要，并且必須以最有效的方式完成真正豐富的用戶體驗(yàn)，因?yàn)槟鞘撬碾姵氐臅r(shí)間。

互操作性挑戰(zhàn)

在智能家居領(lǐng)域，通常很難從一家公司獲取產(chǎn)品并使其與其他設(shè)備一起使用。恩智浦如何嘗試改變智能家居無線互操作性挑戰(zhàn)？

Martino：以智能家居設(shè)備為例，標(biāo)準(zhǔn)和互操作能力非常分散。我們有一個(gè)名為 CHIP 的項(xiàng)目，即“基于 IP 的互聯(lián)家庭”標(biāo)準(zhǔn)項(xiàng)目。它讓 NXP 以及許多其他行業(yè)領(lǐng)導(dǎo)者共同努力，試圖整合，而不是專有標(biāo)準(zhǔn)，而是整個(gè)行業(yè)通用的開放標(biāo)準(zhǔn)，并允許人們?cè)谶@個(gè)開放標(biāo)準(zhǔn)上進(jìn)行構(gòu)建。

該項(xiàng)目的重點(diǎn)是在 NXP 和其他公司圍繞 ZigBee 和 Thread 以及 ZigBee 聯(lián)盟所做的多年工作的基礎(chǔ)上，然后利用亞馬遜、蘋果、谷歌已經(jīng)推出建立這個(gè)我們稱之為 CHIP 的開放標(biāo)準(zhǔn)，并在設(shè)備之間建立這種通用鏈接。當(dāng)您插入某些東西時(shí)，連接將非常簡單。

恩智浦的計(jì)劃是在今年晚些時(shí)候在市場(chǎng)上推出真正的產(chǎn)品，其中包含 CHIP 標(biāo)準(zhǔn)的第一個(gè)版本。

解決添加邊緣智能的復(fù)雜性和成本

轉(zhuǎn)向邊緣的機(jī)器學(xué)習(xí)和人工智能。這一切聽起來相當(dāng)復(fù)雜和昂貴，對(duì)吧？

Martino：對(duì)于很多人來說，當(dāng)你談?wù)?AI 和 ML 時(shí)，它是一個(gè)非常復(fù)雜的抽象概念。據(jù)預(yù)測(cè)，到 2025 年，90% 的邊緣設(shè)備將使用某種形式的機(jī)器學(xué)習(xí)或人工智能。我們堅(jiān)信確實(shí)如此，并且我們正在推出針對(duì)此進(jìn)行優(yōu)化的產(chǎn)品。這是我們?yōu)閮?yōu)化所使用的硬件、處理器和微控制器所做的工作以運(yùn)行此功能的組合。對(duì)于最終用戶而言，更多的是部署對(duì)最終用例有意義的實(shí)用 ML 的復(fù)雜程度。

有許多公司想要收集數(shù)據(jù)并創(chuàng)建自己的模型。恩智浦關(guān)注的是，我們?nèi)绾螁⒂门c云無關(guān)的功能，從而在簡單的用戶界面或開發(fā)環(huán)境中實(shí)現(xiàn)靈活性？

這就是我們最近宣布的對(duì) Au-Zone 的投資，并將在 2021 年推出增強(qiáng)的開發(fā)環(huán)境，您可以在其中選擇引入的內(nèi)容類型。您自己的數(shù)據(jù)、您擁有的模型或您擁有的模型已選擇通過您最喜歡的來源或云提供商獲取，并帶來，然后對(duì)其進(jìn)行優(yōu)化，并將其部署到終端設(shè)備上。因?yàn)檫@是優(yōu)化。

機(jī)器學(xué)習(xí)如何增加最終解決方案的成本？

Martino：如果你有一個(gè)非常復(fù)雜、繁重的機(jī)器學(xué)習(xí)模型或能力，那將需要更高的計(jì)算能力，而計(jì)算能力越高，它的成本就越高。您可以選擇在邊緣處理器上執(zhí)行此操作，也可以選擇將其部署到云中。當(dāng)我們嘗試為特定用例調(diào)整這些用例或這些模型時(shí)，您可以變得非常高效，然后您可以利用傳統(tǒng)的技術(shù)擴(kuò)展和摩爾定律真正添加特定于 ML 的硬件加速，這不會(huì)占用硅面積很大。

它會(huì)增加少量成本，但卻是執(zhí)行您想要的給定工作的最佳能力。舉個(gè)例子，無論是在本地檢測(cè)人員和識(shí)別他們是誰，您現(xiàn)在都可以在微控制器上非常有效地做到這一點(diǎn)，該微控制器通過非常非常高效的硅實(shí)現(xiàn)進(jìn)行了優(yōu)化。然后，您可以使用我們的一些處理器使其可擴(kuò)展，您可以在其中擴(kuò)展至外部更高性能的神經(jīng)網(wǎng)絡(luò)處理器，或者以免費(fèi)的方式與云一起工作。同樣，所有這些都需要付出代價(jià)，這取決于任務(wù)的復(fù)雜性，但是對(duì)于您可以推出的非常復(fù)雜的功能來說，它可能非常有效。

道德人工智能

人們?cè)絹碓綋?dān)心機(jī)器學(xué)習(xí)模型和人工智能中的偏見。行業(yè)在幫助確保道德 AI 方面的作用是什么？

Martino：它需要清晰的操作透明性，無論是簡單的概念，“我想知道它是在聽我還是在看我”，但如何確定它的結(jié)論然后采取行動(dòng)變得非常重要。安全標(biāo)準(zhǔn)，以確保系統(tǒng)是安全的，并且在其攻擊面方面沒有后門訪問或其他敏感性或漏洞，因此有人可以訪問人工智能系統(tǒng)，然后影響它做某些事情或做出某些決定可能對(duì)攻擊系統(tǒng)的人有利。

你如何實(shí)施沒有預(yù)設(shè)偏見的人工智能系統(tǒng)，從原則上看，這是錯(cuò)誤的？在 NXP，我們推出了一項(xiàng) AI 道德倡議，強(qiáng)調(diào)了我們對(duì)這一道德發(fā)展的承諾。其中，我們談?wù)撟錾剖?，我們談?wù)摼S護(hù)以人為本的人工智能，這實(shí)際上是圍繞避免從屬或被人工智能系統(tǒng)脅迫，以及這種透明度、對(duì)科學(xué)卓越的高標(biāo)準(zhǔn)以及信任在人工智能系統(tǒng)中。

您認(rèn)為實(shí)施邊緣技術(shù)仍存在哪些挑戰(zhàn)？

Martino：這是一項(xiàng)持續(xù)的活動(dòng)，有許多領(lǐng)域需要繼續(xù)優(yōu)化。能源效率、驅(qū)動(dòng)和利用能量收集概念以及設(shè)備的接近閾值操作是許多業(yè)內(nèi)人士的持續(xù)投資。安全性和保護(hù)數(shù)據(jù)的需要并繼續(xù)推進(jìn)這是一項(xiàng)持續(xù)的活動(dòng)。

投資于特定于硅的簽名和不同類型的密碼學(xué)，以及以受保護(hù)的方式執(zhí)行計(jì)算的方法，例如同態(tài)加密，在加密環(huán)境中執(zhí)行計(jì)算并且從不解密。然后圍繞延遲要求中吞吐量的連接性以及功耗進(jìn)行擴(kuò)展。為了對(duì)此進(jìn)行優(yōu)化，我們將繼續(xù)優(yōu)化連接，并以越來越有效的方式將其引入這些邊緣設(shè)備。

最后，關(guān)于感知終端智能的整個(gè)概念，我們正處于第三代開發(fā)和實(shí)施神經(jīng)網(wǎng)絡(luò)處理器或進(jìn)入我們處理器的子系統(tǒng)中。這正在推動(dòng)效率和擴(kuò)展性的提高，但在通過加速器以及圍繞脈沖神經(jīng)網(wǎng)絡(luò)的不同技術(shù)以及量子人工智能推動(dòng)更高水平的效率方面，該領(lǐng)域仍在繼續(xù)進(jìn)行研究。顯然，在短期內(nèi)，我們將看到圍繞更多傳統(tǒng)加速器的持續(xù)發(fā)展，并將這些加速器集成到恩智浦推向市場(chǎng)的這些可擴(kuò)展處理器中。

審核編輯 黃昊宇