使用TensorFlow Lite設(shè)計(jì)基于TPU的AI解決方案

如今，人工智能已經(jīng)無處不在，從個(gè)人設(shè)備到企業(yè)應(yīng)用程序，隨處可見。物聯(lián)網(wǎng)的出現(xiàn)伴隨著對(duì)數(shù)據(jù)隱私、低功耗、低延遲和帶寬限制的日益增長的需求，越來越多地推動(dòng)人工智能模型在邊緣而不是云端運(yùn)行。

根據(jù) Grand View Research 的數(shù)據(jù)，2019 年全球邊緣人工智能芯片市場價(jià)值 18 億美元，預(yù)計(jì)從 2020 年到 2027 年將以 21.3% 的復(fù)合年增長率增長。在此之初，谷歌推出了 Edge TPU，也稱為 Coral TPU，這是其專用于在邊緣運(yùn)行 AI 的 ASIC。它旨在提供出色的性能，同時(shí)占用最小的空間和功率。

當(dāng)我們訓(xùn)練一個(gè) AI 模型時(shí)，我們最終會(huì)得到具有高存儲(chǔ)要求和 GPU 處理能力的 AI 模型。我們無法在內(nèi)存和處理空間不足的設(shè)備上執(zhí)行它們。TensorFlow Lite 在這種情況下很有用。TensorFlow Lite 是一個(gè)在 Edge TPU 上運(yùn)行的開源深度學(xué)習(xí)框架，允許在設(shè)備上進(jìn)行推理和 AI 模型執(zhí)行。另請(qǐng)注意，TensorFlow Lite 僅用于在邊緣執(zhí)行推理，而不用于訓(xùn)練模型。要訓(xùn)練 AI 模型，我們必須使用 TensorFlow。

結(jié)合 Edge TPU 和 TensorFlow Lite

當(dāng)我們談?wù)撛?Edge TPU 上部署 AI 模型時(shí)，我們無法部署任何 AI 模型。

Edge TPU 支持 NN（神經(jīng)網(wǎng)絡(luò)）操作和設(shè)計(jì)，以實(shí)現(xiàn)低功耗的高速神經(jīng)網(wǎng)絡(luò)性能。除特定網(wǎng)絡(luò)外，它僅支持 Edge TPU 的 8 位量化和編譯的 TensorFlow Lite 模型。

簡單總結(jié)一下，TensorFlow Lite 是專為移動(dòng)和嵌入式設(shè)備設(shè)計(jì)的輕量級(jí) TensorFlow。它以小存儲(chǔ)大小實(shí)現(xiàn)低延遲結(jié)果。TensorFlow Lite 轉(zhuǎn)換器允許將基于 TensorFlow 的 AI 模型文件 （.pb） 轉(zhuǎn)換為 TensorFlow Lite 文件 （.tflite）。以下是在 Edge TPU 上部署應(yīng)用程序的標(biāo)準(zhǔn)工作流程。

Edge TPU 上的應(yīng)用部署

讓我們看一些可以在邊緣 TPU 上使用 TensorFlow Lite 構(gòu)建的有趣的實(shí)際應(yīng)用程序。

人體檢測和計(jì)數(shù)

這個(gè)解決方案有很多實(shí)際應(yīng)用，特別是在商場、零售、政府機(jī)關(guān)、銀行和企業(yè)中。人們可能想知道如何檢測和計(jì)數(shù)人類。數(shù)據(jù)現(xiàn)在具有時(shí)間和金錢的價(jià)值。讓我們看看如何使用來自人類檢測和計(jì)數(shù)的見解。

估計(jì)客流量：對(duì)于零售業(yè)來說，這很重要，因?yàn)樗梢耘袛嗨麄兊纳痰晔欠窠?jīng)營良好。他們的展示是否吸引顧客進(jìn)入商店。它還可以幫助他們了解是否需要增加或減少支持人員。對(duì)于其他組織，它們有助于為人們采取適當(dāng)?shù)陌踩胧?/p>

人群分析和隊(duì)列管理：對(duì)于政府辦公室和企業(yè)，通過人工檢測和計(jì)數(shù)進(jìn)行隊(duì)列管理有助于他們管理更長的隊(duì)列并節(jié)省人們的時(shí)間。學(xué)習(xí)隊(duì)列可以歸因于個(gè)人和組織的表現(xiàn)。人群檢測可以幫助分析緊急情況、安全事件等的人群警報(bào)，并采取適當(dāng)?shù)男袆?dòng)。當(dāng)部署在邊緣時(shí)，此類解決方案可提供最佳結(jié)果，因?yàn)榭梢越咏鼘?shí)時(shí)地采取所需的操作。

基于年齡和性別的定向廣告。

該方案主要在零售和廣告行業(yè)有實(shí)際應(yīng)用。想象一下，您走向正在展示女鞋廣告的廣告顯示屏，然后突然廣告變?yōu)槟行瑥V告，因?yàn)樗_定您是男性。有針對(duì)性的廣告可以幫助零售商和制造商更好地定位他們的產(chǎn)品，并創(chuàng)造普通人在忙碌的生活中永遠(yuǎn)看不到的品牌知名度。

這不僅限于廣告，年齡和性別檢測還可以通過管理零售店的適當(dāng)支持人員，人們更喜歡訪問您的商店，企業(yè)的年齡和性別等來幫助企業(yè)快速做出決定。所有這些都更強(qiáng)大，更如果您很快確定并采取行動(dòng)，則有效。因此，更有理由在 Edge TPU 上使用此解決方案。

人臉識(shí)別

第一個(gè)人臉識(shí)別系統(tǒng)建于 1970 年，至今仍在開發(fā)中，變得更加強(qiáng)大和有效。在邊緣進(jìn)行人臉識(shí)別的主要優(yōu)勢是實(shí)時(shí)識(shí)別。另一個(gè)優(yōu)點(diǎn)是在邊緣進(jìn)行人臉加密和特征提取，只需將加密和提取的數(shù)據(jù)發(fā)送到云端進(jìn)行匹配，從而保護(hù)人臉圖像的 PII 級(jí)隱私（因?yàn)槟粫?huì)將人臉圖像保存在邊緣和云端）并遵守嚴(yán)格的隱私法。

Edge TPU 與 TensorFlow Lite 框架相結(jié)合，開啟了多個(gè)邊緣 AI 應(yīng)用機(jī)會(huì)。由于該框架是開源的，開源軟件 （OSS） 社區(qū)也支持它，使其在機(jī)器學(xué)習(xí)用例中更受歡迎。TensorFlow Lite 的整體平臺(tái)增強(qiáng)了嵌入式和物聯(lián)網(wǎng)設(shè)備邊緣應(yīng)用程序增長的環(huán)境。

審核編輯：郭婷