教程第4部分：帶有OV7670相機(jī)模塊的TinyML

描述

這是我在 TensorFlow 下與 Google Summer of Code (GSoC) 合作的第二個(gè)項(xiàng)目。互聯(lián)網(wǎng)上沒(méi)有合適的文檔來(lái)構(gòu)建自定義圖像識(shí)別 TinyML 模型，因此我的 GSoC 導(dǎo)師 Paul Ruiz 建議我嘗試解決它。您還可以通過(guò)以下方式構(gòu)建圖像識(shí)別 TinyML 應(yīng)用程序。快樂(lè)修補(bǔ)！

單擊此處查看我的第一個(gè) GSoC 項(xiàng)目！

項(xiàng)目背后的想法：

我想解決一個(gè)變量較少的問(wèn)題，因?yàn)橛嘘P(guān)如何使用相機(jī)模塊和處理其數(shù)據(jù)的文檔不是很好。我選擇構(gòu)建一個(gè) MNIST TinyML 模型，因?yàn)樵谶@種情況下，我不需要擔(dān)心訓(xùn)練數(shù)據(jù)集，它可以讓我專注于項(xiàng)目的重要部分，以啟動(dòng)和運(yùn)行項(xiàng)目。但是，既然我已經(jīng)了解了構(gòu)建自定義圖像識(shí)別項(xiàng)目的所有部分，我已經(jīng)記錄了如何使用相機(jī)模塊收集訓(xùn)練數(shù)據(jù)集。

博客的主題/基調(diào)？

我想警告您，這個(gè)博客可能有點(diǎn)難以理解。對(duì)此有一個(gè)正確的解釋：使用基于加速度計(jì)的應(yīng)用程序，只需在串行監(jiān)視器或繪圖儀上打印出一個(gè)軸的加速度計(jì)值，就可以很容易地進(jìn)行健全性檢查。相比之下，對(duì)圖像識(shí)別應(yīng)用程序進(jìn)行健全性檢查至少要煩人 10 倍，因?yàn)闄z查一段代碼是否正在執(zhí)行所需的操作無(wú)法實(shí)時(shí)可視化。

一些評(píng)論

由于單元測(cè)試的復(fù)雜性，這篇博客可能有點(diǎn)難以理解。我想通過(guò)讀者的反饋來(lái)解決解釋中的任何差距。因此，請(qǐng)?jiān)谙路皆u(píng)論您對(duì)嵌入式系統(tǒng)圖像識(shí)別相關(guān)的任何疑問(wèn)和問(wèn)題。

TinyML 有意義嗎？

我建議您通讀TinyML 書的作者 Pete Warden 撰寫的這篇精彩文章，以了解為什么在微控制器上運(yùn)行機(jī)器學(xué)習(xí)模型是有意義的，并且是機(jī)器學(xué)習(xí)的未來(lái)。

即使 TinyML 有意義，圖像識(shí)別在 TinyML 上有意義嗎？

我們將在此處使用的 OV7670 相機(jī)輸出的完整 VGA（640×480 分辨率）對(duì)于當(dāng)前的 TinyML 應(yīng)用程序來(lái)說(shuō)太大了。uTensor 通過(guò)使用 28×28 圖像的 MNIST 運(yùn)行手寫檢測(cè)。TensorFlow Lite for Microcontrollers 示例中的人員檢測(cè)示例使用 96×96，這已經(jīng)足夠了。即使是最先進(jìn)的“Big ML”應(yīng)用程序也通常只使用 320×320 的圖像。總之，在微型微控制器上運(yùn)行圖像識(shí)別應(yīng)用程序非常有意義

本教程簡(jiǎn)而言之：

• 整合時(shí)間！
• 項(xiàng)目的問(wèn)題/如何改進(jìn)項(xiàng)目
• 構(gòu)建您自己的圖像識(shí)別項(xiàng)目的一些有用建議
• 使用 OV7670 攝像頭模塊收集訓(xùn)練數(shù)據(jù)
• 結(jié)論

?

11.積分時(shí)間

11.a TinyML 模型：裁剪輸入數(shù)據(jù)

本小節(jié)的 Github 鏈接。

代碼解釋：

Camera.readFrame(pixels);

這行代碼從相機(jī)讀取一幀并將其存儲(chǔ)在像素?cái)?shù)組中。

for(int i =0; i<28;i++){
    for(int j =0;j<28;j++){
       pixel = pixels[176*i +j];
      tft.drawPixel(i,j,pixel);
    }
  }
  delay(1000);

這些代碼行循環(huán)遍歷像素?cái)?shù)組，從中裁剪出 28x28 圖像并將其顯示在屏幕上。

for(int i =0; i<28;i++){
    for(int j =0;j<28;j++){
       pixel = pixels[176*i +j];
       red   = ((pixel >> 11) & 0x1f) << 3;
       green = ((pixel >> 5) & 0x3f) << 2; 
       blue  = ((pixel >> 0) & 0x1f) << 3; 
      grayscale = (red + blue + green)/3 ;
      if(grayscale <128){
        grayscale =0;
      }
     tflInterpreter->input(0)->data.f[28*i+j] = grayscale / 255;
      Serial.println(grayscale);
    }
  }

這些代碼行循環(huán)遍歷像素?cái)?shù)組，從中裁剪出 28x28 圖像并將其作為輸入發(fā)送到 TinyML 模型。

素描：

//MPU6050_model.ino
#include 
#include "tensorflow/lite/micro/micro_error_reporter.h"
#include "tensorflow/lite/micro/micro_interpreter.h"
#include "tensorflow/lite/micro/micro_mutable_op_resolver.h"
#include "tensorflow/lite/schema/schema_generated.h"
#include "tensorflow/lite/version.h"
#include "model.h"
#include     // Core graphics library
#include  // Hardware-specific library for ST7735
#include 
#include 

const tflite::Model*  tflModel = nullptr; 
tflite::ErrorReporter*  tflErrorReporter = nullptr; 
TfLiteTensor* tflInputTensor = nullptr;  
TfLiteTensor* tflOutputTensor = nullptr; 
tflite::MicroInterpreter* tflInterpreter = nullptr; 

#define TFT_CS        A7
#define TFT_RST        7 // Or set to -1 and connect to Arduino RESET pin
#define TFT_DC         A6

constexpr int tensorArenaSize = 140 * 1024; 
uint8_t tensorArena[tensorArenaSize];
float out[10];

uint16_t pixels[176*144];
uint16_t color, pixel;
uint8_t red, blue, green;
float grayscale;

Adafruit_ST7735 tft = Adafruit_ST7735(TFT_CS, TFT_DC, TFT_RST);

void setup() {

  Serial.begin(115200);
  while (!Serial)
    delay(10);

  tft.initR(INITR_BLACKTAB); 
  delay(100);
   if (!Camera.begin(QCIF, RGB565, 1)) {
    Serial.println("Failed to initialize camera!");
    while (1);
  }
  Serial.println(F("Initialized"));
     
  static tflite::MicroErrorReporter micro_error_reporter; 
  tflErrorReporter = μ_error_reporter;

   tflModel = tflite::GetModel(model);
   if (tflModel->version() != TFLITE_SCHEMA_VERSION) {
   TF_LITE_REPORT_ERROR(tflErrorReporter,
        "Model provided is schema version %d not equal "
        "to supported version %d.",
        tflModel->version(), TFLITE_SCHEMA_VERSION);
    return;
  }

  static tflite::MicroMutableOpResolver<6> micro_op_resolver;
  micro_op_resolver.AddMaxPool2D();
  micro_op_resolver.AddConv2D();
  micro_op_resolver.AddDepthwiseConv2D();
  micro_op_resolver.AddFullyConnected();
  micro_op_resolver.AddReshape();
  micro_op_resolver.AddSoftmax();

  static tflite::MicroInterpreter static_interpreter(tflModel, micro_op_resolver, tensorArena, tensorArenaSize, tflErrorReporter);
  tflInterpreter = &static_interpreter;

  TfLiteStatus allocate_status = tflInterpreter->AllocateTensors();
  if (allocate_status != kTfLiteOk) {
    TF_LITE_REPORT_ERROR(tflErrorReporter, "AllocateTensors() failed");
    return;
  }
  tflInputTensor = tflInterpreter->input(0);
  
  tft.fillScreen(ST77XX_BLACK);
  delay(100);
 
  tft.fillScreen(ST77XX_BLACK);
  
  
}

void loop() {
  Camera.readFrame(pixels);
  
  for(int i =0; i<28;i++){
    for(int j =0;j<28;j++){
       pixel = pixels[176*i +j];
      tft.drawPixel(i,j,pixel);
    }
  }
  delay(1000);
  for(int i =0; i<28;i++){
    for(int j =0;j<28;j++){
       pixel = pixels[176*i +j];
       red   = ((pixel >> 11) & 0x1f) << 3;
       green = ((pixel >> 5) & 0x3f) << 2; 
       blue  = ((pixel >> 0) & 0x1f) << 3; 
      grayscale = (red + blue + green)/3 ;
      if(grayscale <128){
        grayscale =0;
      }
     tflInterpreter->input(0)->data.f[28*i+j] = grayscale / 255;
      Serial.println(grayscale);
    }
  }
  
  delay(1000);
  TfLiteStatus invokeStatus = tflInterpreter->Invoke();
  out[0] = tflInterpreter->output(0)->data.f[0];
  out[1] = tflInterpreter->output(0)->data.f[1];
  out[2] = tflInterpreter->output(0)->data.f[2];
  out[3] = tflInterpreter->output(0)->data.f[3];
  out[4] = tflInterpreter->output(0)->data.f[4];
  out[5] = tflInterpreter->output(0)->data.f[5];
  out[6] = tflInterpreter->output(0)->data.f[6];
  out[7] = tflInterpreter->output(0)->data.f[7];
  out[8] = tflInterpreter->output(0)->data.f[8];
  out[9] = tflInterpreter->output(0)->data.f[9];

    float maxVal = out[0];
  int maxIndex = 0;
  for(int k =0; k < 10;k++){
    if (out[k] > maxVal) {
         maxVal = out[k];
         maxIndex = k;
      } 
  }
  Serial.print("Number ");
  Serial.print(maxIndex);
  Serial.println(" detected");
  Serial.print("Confidence: ");
  Serial.println(maxVal);
     
}

11.b TinyML 模型：重塑輸入數(shù)據(jù)

本小節(jié)的 Github 鏈接。

代碼解釋：

Camera.readFrame(pixels);

這行代碼從相機(jī)讀取一幀并將其存儲(chǔ)在像素?cái)?shù)組中。

for(int i =0; i<112;i++){
    for(int j =0;j<112;j++){
       
      tft.drawPixel(i,j,pixels[176*i+j]);
      Serial.print("");
    }
  }

這些代碼行循環(huán)遍歷像素?cái)?shù)組，從中裁剪出 112x112 圖像并將其顯示在屏幕上。

Serial.println("");
  for(int i =0; i< 28; i++)
   {
    for(int j =0; j < 28; j++)
    {
       int sum =0;
       for(int k =0; k<4;k++)
       {
        for(int l =0; l<4; l++)
        {
          sum += pixels[4*(176*i+j) + 176 * k + l];
        }
       }
      sum = sum /16;
      //arr1[i*28+j] = sum;
      tflInterpreter->input(0)->data.f[28*i+j] = float(sum / 255.0);
      Serial.print(sum);
      Serial.print(", ");
    }
    Serial.println("");
 }

這些代碼行通過(guò)像素?cái)?shù)組循環(huán)裁剪 112x112 圖像，將其重新整形為 28x28 圖像，并將其發(fā)送到 TinyML 模型。

素描：

//MPU6050_model.ino
#include 
#include "tensorflow/lite/micro/micro_error_reporter.h"
#include "tensorflow/lite/micro/micro_interpreter.h"
#include "tensorflow/lite/micro/micro_mutable_op_resolver.h"
#include "tensorflow/lite/schema/schema_generated.h"
#include "tensorflow/lite/version.h"
#include "model.h"
#include     // Core graphics library
#include  // Hardware-specific library for ST7735
#include 
#include 

const tflite::Model*  tflModel = nullptr; 
tflite::ErrorReporter*  tflErrorReporter = nullptr; 
TfLiteTensor* tflInputTensor = nullptr;  
TfLiteTensor* tflOutputTensor = nullptr; 
tflite::MicroInterpreter* tflInterpreter = nullptr; 

#define TFT_CS        A7
#define TFT_RST        7 // Or set to -1 and connect to Arduino RESET pin
#define TFT_DC         A6

constexpr int tensorArenaSize = 140 * 1024; 
uint8_t tensorArena[tensorArenaSize];
float out[10];

uint16_t pixels[176*144];
uint16_t color, pixel;
uint8_t red, blue, green;
int grayscale;

Adafruit_ST7735 tft = Adafruit_ST7735(TFT_CS, TFT_DC, TFT_RST);

void setup() {

  Serial.begin(9600);
  while (!Serial)
    delay(10);

  tft.initR(INITR_BLACKTAB); 
  delay(1000);
   if (!Camera.begin(QCIF, RGB565, 1)) {
    Serial.println("Failed to initialize camera!");
    while (1);
  }
  Serial.println(F("Initialized"));
     
  static tflite::MicroErrorReporter micro_error_reporter; 
  tflErrorReporter = μ_error_reporter;

   tflModel = tflite::GetModel(model);
   if (tflModel->version() != TFLITE_SCHEMA_VERSION) {
   TF_LITE_REPORT_ERROR(tflErrorReporter,
        "Model provided is schema version %d not equal "
        "to supported version %d.",
        tflModel->version(), TFLITE_SCHEMA_VERSION);
    return;
  }

  static tflite::MicroMutableOpResolver<6> micro_op_resolver;
  micro_op_resolver.AddMaxPool2D();
  micro_op_resolver.AddConv2D();
  micro_op_resolver.AddDepthwiseConv2D();
  micro_op_resolver.AddFullyConnected();
  micro_op_resolver.AddReshape();
  micro_op_resolver.AddSoftmax();

  static tflite::MicroInterpreter static_interpreter(tflModel, micro_op_resolver, tensorArena, tensorArenaSize, tflErrorReporter);
  tflInterpreter = &static_interpreter;

  TfLiteStatus allocate_status = tflInterpreter->AllocateTensors();
  if (allocate_status != kTfLiteOk) {
    TF_LITE_REPORT_ERROR(tflErrorReporter, "AllocateTensors() failed");
    return;
  }
  tflInputTensor = tflInterpreter->input(0);
  
  tft.fillScreen(ST77XX_BLACK);
  delay(100);
 
  
  
  
}

void loop() {
  Camera.readFrame(pixels);
  tft.fillScreen(ST77XX_BLACK);
  for(int i =0; i<112;i++){
    for(int j =0;j<112;j++){
       
      tft.drawPixel(i,j,pixels[176*i+j]);
      Serial.print("");
    }
  }
 // delay(1000);
  for(int i =0; i<112;i++){
    for(int j =0;j<112;j++){
       pixel = pixels[176*i +j];
       red   = ((pixel >> 11) & 0x1f) << 3;
       green = ((pixel >> 5) & 0x3f) << 2; 
       blue  = ((pixel >> 0) & 0x1f) << 3; 
      grayscale = (red + blue + green)/3 ;
      if(grayscale <160){
        grayscale =0;
      }
      pixels[176*i +j] = grayscale;
    
     //tflInterpreter->input(0)->data.f[28*i+j] = grayscale / 255;
    }
    }

  Serial.println("");
  for(int i =0; i< 28; i++)
   {
    for(int j =0; j < 28; j++)
    {
       int sum =0;
       for(int k =0; k<4;k++)
       {
        for(int l =0; l<4; l++)
        {
          sum += pixels[4*(176*i+j) + 176 * k + l];
        }
       }
      sum = sum /16;
      //arr1[i*28+j] = sum;
      tflInterpreter->input(0)->data.f[28*i+j] = float(sum / 255.0);
      Serial.print(sum);
      Serial.print(", ");
    }
    Serial.println("");
   }
  
  delay(1000);
  TfLiteStatus invokeStatus = tflInterpreter->Invoke();
  out[0] = tflInterpreter->output(0)->data.f[0];
  out[1] = tflInterpreter->output(0)->data.f[1];
  out[2] = tflInterpreter->output(0)->data.f[2];
  out[3] = tflInterpreter->output(0)->data.f[3];
  out[4] = tflInterpreter->output(0)->data.f[4];
  out[5] = tflInterpreter->output(0)->data.f[5];
  out[6] = tflInterpreter->output(0)->data.f[6];
  out[7] = tflInterpreter->output(0)->data.f[7];
  out[8] = tflInterpreter->output(0)->data.f[8];
  out[9] = tflInterpreter->output(0)->data.f[9];

    float maxVal = out[0];
  int maxIndex = 0;
  for(int k =0; k < 10;k++){
    if (out[k] > maxVal) {
         maxVal = out[k];
         maxIndex = k;
      } 
  }
  Serial.print("Number ");
  Serial.print(maxIndex);
  Serial.println(" detected");
  Serial.print("Confidence: ");
  Serial.println(maxVal);
     
}

?

12.項(xiàng)目存在的問(wèn)題/如何改進(jìn)項(xiàng)目

12.a LCD顯示的色彩空間與ov7670不匹配

當(dāng)顯示來(lái)自相機(jī)實(shí)時(shí)饋送的圖像時(shí)，會(huì)彈出各種顏色漸變，我不完全確定為什么會(huì)發(fā)生這種情況，但我猜測(cè)這是由于轉(zhuǎn)換之間的顏色空間信息丟失所致。

?

12.b LCD 在打印每個(gè)像素后刷新

我使用的方法基本上是逐像素打印。Adafruit_st7735 的問(wèn)題在于它會(huì)在打印像素后自動(dòng)發(fā)送緩沖區(qū)。我認(rèn)為在庫(kù)中注釋掉發(fā)送緩沖區(qū)的代碼行是一個(gè)簡(jiǎn)單的修復(fù)。

12.c相機(jī)指向哪里

構(gòu)建此示例時(shí)的主要痛點(diǎn)之一是試圖找出相機(jī)指向的位置。如果一塊小的 3D 打印矩形塑料片可以幫助大致觀察相機(jī)所注視的位置，這將在收集訓(xùn)練數(shù)據(jù)和測(cè)試應(yīng)用程序時(shí)大有幫助。

?

?

?

?

?

?

1 / 3

?

13. 構(gòu)建您自己的圖像識(shí)別項(xiàng)目的一些有用建議

為什么是這個(gè)部分？

您可能已經(jīng)對(duì)構(gòu)建此應(yīng)用程序的數(shù)千個(gè)步驟和彎路感到困惑，因此這里列出了可簡(jiǎn)化構(gòu)建下一個(gè)圖像識(shí)別應(yīng)用程序的事項(xiàng)。

• 決定一個(gè)想法
• 決定組件
• 收集訓(xùn)練數(shù)據(jù)
• 每個(gè)訓(xùn)練圖像保留兩種格式（PNG文件，HEX文件）
• 構(gòu)建和訓(xùn)練 TinyML 模型
• 測(cè)試 TinyML 模型
• 將 TinyML 模型集成到主應(yīng)用程序中
• 在現(xiàn)實(shí)世界中測(cè)試應(yīng)用程序

?

14.使用OV7670攝像頭模塊采集訓(xùn)練數(shù)據(jù)

14.a 草圖

此草圖從相機(jī)讀取幀并在串行監(jiān)視器上輸出 RGB565 值。

/*
  OV767X - Camera Test Pattern

  This sketch waits for the letter 'c' on the Serial Monitor,
  it then reads a frame from the OmniVision OV7670 camera and 
  prints the data to the Serial Monitor as a hex string.

  The website https://rawpixels.net - can be used the visualize the data:
    width: 176
    height: 144
    RGB565
    Little Endian

  Circuit:
    - Arduino Nano 33 BLE board
    - OV7670 camera module:
      - 3.3 connected to 3.3
      - GND connected GND
      - SIOC connected to A5
      - SIOD connected to A4
      - VSYNC connected to 8
      - HREF connected to A1
      - PCLK connected to A0
      - XCLK connected to 9
      - D7 connected to 4
      - D6 connected to 6
      - D5 connected to 5
      - D4 connected to 3
      - D3 connected to 2
      - D2 connected to 0 / RX
      - D1 connected to 1 / TX
      - D0 connected to 10

  This example code is in the public domain.
*/

#include 

unsigned short pixels[176 * 144]; // QCIF: 176x144 X 2 bytes per pixel (RGB565)

void setup() {
  Serial.begin(9600);
  while (!Serial);

  Serial.println("OV767X Camera Capture");
  Serial.println();

  if (!Camera.begin(QCIF, RGB565, 1)) {
    Serial.println("Failed to initialize camera!");
    while (1);
  }

  Serial.println("Camera settings:");
  Serial.print("\twidth = ");
  Serial.println(Camera.width());
  Serial.print("\theight = ");
  Serial.println(Camera.height());
  Serial.print("\tbits per pixel = ");
  Serial.println(Camera.bitsPerPixel());
  Serial.println();

  Serial.println("Send the 'c' character to read a frame ...");
  Serial.println();
}

void loop() {
  if (Serial.read() == 'c') {
    Serial.println("Reading frame");
    Serial.println();
    Camera.readFrame(pixels);

    int numPixels = Camera.width() * Camera.height();

    for (int i = 0; i < numPixels; i++) {
        unsigned short p = pixels[i];
        if (p < 0x1000) {
          Serial.print('0');
        }
        if (p < 0x0100) {
         Serial.print('0');
        }
        if (p < 0x0010) {
          Serial.print('0');
        }
        Serial.print(p, HEX);
      }
  }
}

?

15.結(jié)論

我感謝我的 GSoC 導(dǎo)師 Paul Ruiz，他在整個(gè)項(xiàng)目中指導(dǎo)我！

?