開源硬件之孩子們的拼寫挑戰(zhàn)

描述

我五歲的孩子剛剛開始學(xué)習(xí)拼寫，用字母組成單詞并讀出單詞。

以下是我如何進(jìn)行此操作的總體摘要：

1. 找到一個(gè)經(jīng)過訓(xùn)練的模型，該模型可以識(shí)別類似于數(shù)字?jǐn)?shù)字的 mnist 模型的書面英文字母。

2. 我找不到那個(gè)模型（D'oh！），所以我必須建立自己的模型。破解 Colab！

3. 下載Kaggle AZ 數(shù)據(jù)集，這樣我至少有一個(gè)數(shù)據(jù)集可以開始。

4. 開發(fā)、訓(xùn)練模型并將其保存為 Tensorflow Lite 模型（參見 github 中的 Jupiter notebook）。我也量化了模型，但 tflite 模型已經(jīng)足夠小了。

5. 開始在我的 Jetson Nano 開發(fā)套件（帶有 RPi 攝像頭和音頻帽）上編碼。

6. 大量的試錯(cuò)測(cè)試！

請(qǐng)查看我的github以獲取完整的源代碼。這很有趣，因?yàn)槲彝ǔＴ陬A(yù)訓(xùn)練模型上進(jìn)行遷移學(xué)習(xí)。這是我第一次使用 Colab 從頭開始??生成新模型。

我花在編碼上的時(shí)間是一個(gè)很好的練習(xí)，可以確保輸入數(shù)據(jù)與模型數(shù)據(jù)具有相同的維度（和相同的格式）。

我最初的模型運(yùn)行并不令人印象深刻。事實(shí)證明，這是因?yàn)槟Ｐ蛿?shù)據(jù)假定黑色背景和白色文本，而我在白色背景上傳遞深色文本。在將圖像傳遞給模型之前，我必須反轉(zhuǎn)圖像的顏色。還要確保你正在縮放！

我通過過濾輸入圖像的像素值進(jìn)一步提高了模型的性能。如果像素值小于某個(gè)強(qiáng)度（我選擇了 160），那么這意味著它可能是背景，而不是字母的一部分。我將該值設(shè)置為 0（黑色），在字母和背景之間提供了很好的對(duì)比。

我的原始輸入圖像格式，黑色字體和較淺的背景（糟糕?。。。?/font>

?

輸入圖像顏色反轉(zhuǎn)，背景變?yōu)楹谏ê茫。?/font>

?

下一步

所以現(xiàn)在我的工作很好，我想擴(kuò)展數(shù)據(jù)集以包含更多的對(duì)象/動(dòng)物讓我的孩子拼出。我也想讓它更便攜。現(xiàn)在我的 Jetson Nano 通過 HDMI 連接到我的顯示器。我要么得到一個(gè)小型 HDMI 顯示器，要么將它移植回我的 Raspberry Pi 4（我開始使用 RPi，但轉(zhuǎn)移到了 Jetson Nano）并可能使用我擁有的 Adafruit 機(jī)器學(xué)習(xí) HAT（附帶一個(gè)小顯示器）。另外，你可以看到我不是 UI/UX 人。我拼湊一些東西讓它工作。如果您對(duì)如何在 OpenCV 中創(chuàng)建漂亮的 UI 有任何建議，請(qǐng)告訴我！

如果您有任何想法或問題，請(qǐng)隨時(shí)與我們聯(lián)系！謝謝！