電子發(fā)燒友網(wǎng)>電子資料下載>電子資料>低功耗AIoT智能相機開源分享

低功耗AIoT智能相機開源分享

48095 2023-06-15 | zip | 0.00 MB | 次下載 | 免費

資料介紹

描述

基于 Raspberry Pi Zero W 和 Google Coral EdgeTPU 的低功耗（'ish）AIoT 智能相機（3D 打?。?/font>

https://github.com/ricardodeazambuja/Maple-Syrup-Pi-Camera

曾幾何時，我開始了一個項目，我們想了解游客在參觀景點時的行為。傳統(tǒng)上，研究人員會去那些地方并手動記筆記，以了解訪問者最喜歡什么，他們在哪里度過的時間等。但是，我是一名電氣工程師，所以我覺得有必要將任務(wù)自動化。起初，我考慮使用“啞”傳感器，這些傳感器只能計數(shù)，或者在最好的情況下，只能告訴人們移動的方向，但這會限制我們可以回答的問題類型。

我真正想要的是一個工具，它可以做與研究人員手動注釋事物相同的工作。研究人員將使用她/他的眼睛和人體中最復(fù)雜的器官：全能的大腦來完成這項任務(wù)！我們?nèi)匀粵]有人類大腦（甚至是蒼蠅大腦......），但至少我們有深度學(xué)習(xí)！

很明顯，這個項目需要一個能夠使用視覺來理解世界的傳感器。這可以通過攝像頭和基于深度學(xué)習(xí)的算法來解決（對于通常意味著深度卷積神經(jīng)網(wǎng)絡(luò)的圖像）) 就像一個物體檢測器。盡管如此，就在不久前，過去的做法是保存圖像（或發(fā)送到某個地方）并使用強大、耗電的 GPU 處理它們。但是，保存（或傳輸）圖像會引發(fā)一些與隱私相關(guān)的嚴重問題。避免這種情況的一種方法是“在邊緣”處理所有內(nèi)容，以使結(jié)果不包含任何個人信息。對于普通人來說，帶有網(wǎng)絡(luò)攝像頭的游戲筆記本電腦就足以證明概念，但我已經(jīng)在思考，因為我記得我以前使用筆記本電腦運行演示的經(jīng)歷，周圍有很多人，被電纜絆倒，設(shè)備掉到地面，電池變平的速度比預(yù)期的快，等等。

已經(jīng)有相當(dāng)多的智能相機允許您在邊緣運行深度神經(jīng)模型（例如JeVois 、OpenMV 、OpenCV OAK等），但是將我自己的系統(tǒng)放在一起會給我更多的自由和靈活性。因此，我決定使用Raspberry Pi Zero W 、Raspberry Camera V2和Google Coral USB 加速器. 我不會躺在這里，我選擇這套特殊工具的原因之一是很平凡的：我有使用它們的經(jīng)驗，當(dāng)我們處于另一次封鎖期間時，我把它們放在家里。但是這種設(shè)置的殺手锏是它的功耗非常低且體積小，讓我可以用普通的移動電源為它供電一整天，并且由于體積小，它可以輕松部署在任何地方。

人們問我為什么選擇在這個項目中使用 Raspberry Pi Zero，因為它不是一個強大的單板計算機。正如我所提到的，我本可以嘗試現(xiàn)成的智能相機，但 Raspberry Pi 是有史以來最暢銷的通用計算機之一（擊敗了 Commodore 64，4 年前的數(shù)字?。?/font>，因此它擁有一個龐大的社區(qū)。當(dāng)您需要尋找驅(qū)動程序或如何解決問題時，這讓生活變得更加輕松。除此之外，去年我發(fā)布了關(guān)于靈活、抗碰撞、四軸飛行器的工作，它的大腦...... Raspberry Pi Zero W！因此，我對使用 Zero 非常熟悉，我希望Raspberry Pi 基金會很快會進行升級（也許在 RPI Zero PCB 中添加一個 RP2040？）。

如何建立自己的

硬件

樹莓派零 W
樹莓派相機（+ RPI 零扁平電纜）
珊瑚 USB 加速器
USB-C 轉(zhuǎn) micro USB 數(shù)據(jù)線（或適配器）
Micro SDCard（如果您想使用我們的圖像，建議使用 8GB）
3D打印零件

軟件

簡單的方法

這個 repo 中可用的圖像預(yù)先安裝了許多有趣的東西，它的默認用戶是pi和密碼maplesyrup（是的，我喜歡 maplesyrup）。另一個有趣的東西是 Jupyter Notebook Server。它在測試事物時有很大幫助。您可以通過運行來啟動它/home/pi/launch_jupyter.sh（它有時很慢，但非常有用）并且再次輸入密碼maplesyrup（您的瀏覽器會抱怨說它不是安全連接，因為服務(wù)器使用的是自簽名證書）。

在此處下載可用的圖像，并使用Raspberry Pi Imager將其閃存到您的卡中。

艱難的路（為什么你不能走簡單的路？！？！哈哈）

您至少需要安裝libedgetpu 和 tflite_runtime 。請注意，此 tflite_runtime 版本是為 Python 3.7 編譯的。
除了上面的軟件，你還需要安裝Picamera 、Pillow ...

額外說明

USB 連接器由 Coral USB 加速器使用，因此如果您使用 Maple-Syrup-Pi-Camera無頭相機會更容易。此處提供了 wifi 配置文件的完整示例（您只需對其進行修改并復(fù)制到將 SDCard 連接到計算機時出現(xiàn)的引導(dǎo)分區(qū)）。
該圖像已啟用 SSH，您可以在此處了解有關(guān)如何使用 SSH 進行連接的更多信息。
如果您是 Unix 用戶，您甚至可以在您的計算機上掛載 RPI 文件系統(tǒng)并遠程使用 VSCode 。

速度

RPI 零 W 具有 USB 2.0 連接，理論速度為 480Mbit/s (50MB/s)，但它永遠不會接近這個速度，因為 RPI0 有一個單核 ARMv6 CPU（沒有免費的午餐！）。因此，Google Coral USB 加速器經(jīng)常受到 USB 帶寬或 RPI0 與其交換數(shù)據(jù)的能力的限制。不過，這一事實在保持低平均功耗方面發(fā)揮了作用。需要后處理或使用自定義 OP（EdgeTPU 編譯器在主機中運行這些操作）的模型也會受到 USB 帶寬小和 ARMv6 單核薄弱的影響。

能量消耗：

RPI Zero W 在其 5V 輸入端沒有保護電路，因此它將 USB 電源直接連接到電源。這意味著 Coral USB 加速器將直接連接到電源，使其能夠在 microUSB + PCB 走線的電源和阻抗允許的范圍內(nèi)消耗盡可能多的電流。根據(jù)Google Coral USB 加速器數(shù)據(jù)表，僅加速器就可以消耗高達 900mA（峰值）的電流。RPI 零 W 的典型功耗為 150mA 。在我的實驗中，Maple-Syrup-Pi-Camera 在空閑時（800mW）在 5V 時消耗大約 160mA。