使用張量流精簡版開發(fā)基于TPU的AI解決方案

如今，從個人設備到企業(yè)應用程序，人工智能已經無處不在，你隨處可見。物聯(lián)網的出現(xiàn)伴隨著對數(shù)據(jù)隱私、低功耗、低延遲和帶寬限制的需求不斷增長，這越來越多地推動了AI模型在邊緣而不是云中運行。

根據(jù)Grand View Research的數(shù)據(jù)，2019年全球邊緣人工智能芯片市場價值為18億美元，預計從2020年到2027年將以21.3%的復合年增長率增長。在這個開始，谷歌推出了邊緣TPU，也被稱為珊瑚TPU，這是其專門構建的ASIC，用于在邊緣運行AI。它旨在提供出色的性能，同時占用最小的空間和功率。

當我們訓練AI模型時，我們最終會得到具有高存儲要求和GPU處理能力的AI模型。我們無法在內存和處理占用空間較低的設備上執(zhí)行它們。張量流精簡版在這種情況下很有用。張量流精簡版是一個開源深度學習框架，在邊緣TPU上運行，允許設備上推理和AI模型執(zhí)行。另請注意，TensorFlow 精簡版僅用于在邊緣執(zhí)行推理，而不用于訓練模型。為了訓練AI模型，我們必須使用張量流。

結合邊緣 TPU 和張量流精簡版

當我們談論在邊緣TPU上部署AI模型時，我們只是無法部署任何AI模型。

邊緣 TPU 支持 NN（神經網絡）操作和設計，以實現(xiàn)低功耗的高速神經網絡性能。除了特定的網絡，它只支持邊緣TPU的8位量化和編譯的張量流精簡版模型。

為了快速總結，張量流精簡版是張量流的輕量級版本，專為移動和嵌入式設備設計。它以較小的存儲大小實現(xiàn)低延遲結果。有一個張量流精簡版轉換器，允許將基于張量流的AI模型文件（pb）轉換為張量流精簡版文件（.tflite）。下面是在 Edge TPU 上部署應用程序的標準工作流。

邊緣 TPU 上的應用程序部署

讓我們來看看一些有趣的現(xiàn)實世界應用程序，這些應用程序可以在邊緣TPU上使用張量流精簡版構建。

人體檢測和計數(shù)

該解決方案具有許多實際應用，特別是在商場，零售，政府辦公室，銀行和企業(yè)中。人們可能想知道在檢測和計算人類方面可以做些什么。數(shù)據(jù)現(xiàn)在具有時間和金錢的價值。讓我們看看如何使用人類檢測和計數(shù)的見解。

估計客流量：對于零售業(yè)來說，這很重要，因為它給出了一個想法，如果他們的商店表現(xiàn)良好。他們的展示是否吸引顧客進入商店。它還可以幫助他們了解是否需要增加或減少支持人員。對于其他組織，它們有助于為人們采取適當?shù)陌踩胧?/p>

人群分析和隊列管理：對于政府機關和企業(yè)來說，通過人工檢測和計數(shù)進行隊列管理有助于他們管理更長的隊列并節(jié)省人們的時間。研究隊列可以歸因于個人和組織的績效。人群檢測可以幫助分析緊急情況、安全事件等人群警報，并采取適當?shù)拇胧?。當部署在邊緣時，這樣的解決方案可以提供最佳結果，因為所需的操作可以近乎實時地采取。

基于年齡和性別的定向廣告。

該解決方案主要在零售和廣告行業(yè)具有實際應用。想象一下，你走向展示女鞋廣告的廣告展示，然后突然廣告變成了男性的鞋子廣告，因為它確定你是男性。有針對性的廣告可以幫助零售商和制造商更好地定位他們的產品，并創(chuàng)造正常人在忙碌的生活中永遠不會看到的品牌意識。

這不能僅限于廣告，年齡和性別檢測還可以通過管理零售商店中的適當支持人員，人們更喜歡訪問您的商店，企業(yè)等的年齡和性別來幫助企業(yè)做出快速決策。如果你非常迅速地確定和采取行動，所有這些都會更加強大和有效。因此，更重要的是，這是在Edge TPU上使用此解決方案的原因。

人臉識別

第一個人臉識別系統(tǒng)建于1970年，迄今為止仍在開發(fā)中，變得更加強大和有效。邊緣人臉識別的主要優(yōu)點是實時識別。另一個優(yōu)點是在邊緣進行人臉加密和特征提取，只需將加密和提取的數(shù)據(jù)發(fā)送到云端進行匹配，從而保護人臉圖像的PII級隱私（因為您不會在邊緣和云端保存人臉圖像），并遵守嚴格的隱私法規(guī)。

邊緣TPU與張量流精簡版框架相結合，開辟了幾個邊緣AI應用機會。由于該框架是開源的，開源軟件（OSS）社區(qū)也支持它，使其在機器學習用例中更加流行。TensorFlow Lite的整體平臺增強了嵌入式和物聯(lián)網設備邊緣應用程序增長的環(huán)境。

審核編輯：郭婷