基于樹莓派3B的哈利波特魔杖

方案介紹

該項(xiàng)目展示了如何通過計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)將哈利波特的魔法變?yōu)楝F(xiàn)實(shí)！

在環(huán)球影城的哈利波特魔法世界，游客可以使用特制的魔杖在某些位置（安裝了動(dòng)作捕捉系統(tǒng)的地方）施展“真正的魔法”，魔杖的尖端帶有反光珠。魔杖可以從真正的奧利凡德商店購買，這與哈利波特電影中的魔杖一模一樣，但請記住：“選擇巫師的是魔杖”。

在那些特定位置，如果該人使用魔杖執(zhí)行特定手勢，則動(dòng)作捕捉系統(tǒng)會(huì)識別該手勢，并且所有手勢都對應(yīng)于某個(gè)咒語，該咒語會(huì)導(dǎo)致周圍區(qū)域發(fā)生某些活動(dòng)，例如打開噴泉等。

在這個(gè)項(xiàng)目中，我將展示如何在家中創(chuàng)建一個(gè)廉價(jià)且有效的動(dòng)作捕捉系統(tǒng)，通過使用普通夜視攝像頭 Raspberry Pi 打開一個(gè)盒子，用你的魔杖輕彈來執(zhí)行“真正的魔法”：D還有一些電子產(chǎn)品，以及一些使用 OpenCV 計(jì)算機(jī)視覺庫和機(jī)器學(xué)習(xí)的 Python 代碼！

基本理念：
從環(huán)球影城哈利波特魔法世界購買的魔杖頂端有一個(gè)反光珠。這些反光珠反射大量的紅外光，這些紅外光由運(yùn)動(dòng)捕捉系統(tǒng)中的相機(jī)發(fā)出。因此，我們?nèi)祟惛兄獮樵诳罩幸苿?dòng)的魔杖的一個(gè)不那么明顯的尖端，動(dòng)作捕捉系統(tǒng)將其感知為一個(gè)明亮的斑點(diǎn)，可以很容易地在視頻流中隔離并跟蹤以識別人繪制的圖案并執(zhí)行所需的操作。所有這些處理都是實(shí)時(shí)進(jìn)行的，并利用了計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)。

創(chuàng)建訓(xùn)練好的模型后，最后一步是為我們的 Raspberry Pi 編寫一個(gè) python 程序，它允許我們執(zhí)行以下操作：

實(shí)時(shí)訪問來自 picamera 的視頻

檢測和跟蹤視頻中的白色斑點(diǎn)（在這種情況下是夜視中亮起的魔杖尖端）

在某些觸發(fā)事件后開始跟蹤視頻中移動(dòng) blob 的路徑（解釋如下）

在另一個(gè)觸發(fā)事件后停止跟蹤（解釋如下）

返回用戶繪制的圖案的最后一幀

對幀進(jìn)行預(yù)處理，如閾值、噪聲去除、調(diào)整大小等。

使用處理后的最后一幀進(jìn)行預(yù)測。

根據(jù)預(yù)測通過控制 Raspberry Pi 的 GPIO 來執(zhí)行某種魔法

由于字母“A”代表“Alohamora”（哈利波特電影中最著名的咒語之一，它允許巫師打開任何鎖?。。绻粋€(gè)人用魔杖畫字母 A，pi 命令伺服器打開盒子。如果這個(gè)人畫出代表關(guān)閉的字母“C”，pi 命令伺服關(guān)閉盒子。

?