會(huì)說話的機(jī)器人玩具開源分享

描述

當(dāng)今可用的大多數(shù)教育機(jī)器人都在小型計(jì)算機(jī)上運(yùn)行，??其中包括最受歡迎的raspberry pi 、Jetson和arduino 。

我們將要研究的一些附加功能是人臉識(shí)別和對(duì)話式人工智能。

在 Raspberry Pi Model 3、4 上安裝 Virtualenvwrapper

在我們?cè)?a target='_blank' class='arckwlink_none'>樹莓派上開始任何 AI/ML 項(xiàng)目之前，我們必須先設(shè)置環(huán)境。

最好的做法是始終創(chuàng)建虛擬環(huán)境，這樣我們的基礎(chǔ)環(huán)境就不會(huì)受到影響，僅將其用于管理目的。
另一個(gè)原因是避免不同應(yīng)用程序之間的沖突。應(yīng)用程序使用同一模塊的不同版本是很常見的，因此為了避免這些沖突，我們使用不同的環(huán)境。

我們將使用 virtualenvwrapper：

我們將調(diào)用環(huán)境 1 – facrec （人臉識(shí)別的縮寫）
和
環(huán)境 2 – cbot （聊天機(jī)器人的縮寫）

virtualenvwrapper 5.0.1.dev2

首先，一些初始化步驟。其中大部分只需要完成一次。您需要將該命令添加source /usr/local/bin/virtualenvwrapper.sh到您的 shell 啟動(dòng)文件中，根據(jù) pip 或包管理器的安裝位置更改 virtualenvwrapper.sh 的路徑。

$ pip install virtualenvwrapper
...
$ export WORKON_HOME=~/Envs
$ mkdir -p $WORKON_HOME
$ source /usr/local/bin/virtualenvwrapper.sh
$ mkvirtualenv facrec
Installing
setuptools..........................................
....................................................
....................................................
...............................done.
virtualenvwrapper.user_scripts Creating /Users/dhellmann/Envs/facrec/bin/predeactivate
virtualenvwrapper.user_scripts Creating /Users/dhellmann/Envs/facrec/bin/postdeactivate
virtualenvwrapper.user_scripts Creating /Users/dhellmann/Envs/facrec/bin/preactivate
virtualenvwrapper.user_scripts Creating /Users/dhellmann/Envs/facrec/bin/postactivate  New python executable in facrec/bin/python
(facrec)$ ls $WORKON_HOME
facrec hook.log

創(chuàng)建另一個(gè)環(huán)境，稱為 cbot

(facrec)$ ls $WORKON_HOME
facrec            hook.log
(facrec)$ mkvirtualenv cbot
Installing setuptools...............................
....................................................
....................................................
........... ...............................done.
virtualenvwrapper.user_scripts Creating /Users/dhellmann/Envs/cbot/bin/predeactivate
virtualenvwrapper.user_scripts Creating /Users/dhellmann/Envs/cbot/bin/postdeactivate
virtualenvwrapper.user_scripts Creating /Users/dhellmann/Envs/cbot/bin/preactivate
virtualenvwrapper.user_scripts Creating /Users/dhellmann/Envs/cbot/bin/postactivate  New python executable in cbot/bin/python
(env2)$ ls $WORKON_HOME
facrec            cbot            hook.log

在環(huán)境之間切換workon：

(cbot)$ workon facrec
(facrec)$ echo $VIRTUAL_ENV
/Users/dhellmann/Envs/facrec
(facrec)$

列出所有環(huán)境：

lsvirtualenv [-b] [-l] [-h]

顯示單個(gè) virtualenv 的詳細(xì)信息：

showvirtualenv [env]

在 WORKON_HOME 中刪除一個(gè)環(huán)境：

rmvirtualenv ENVNAME

在刪除當(dāng)前環(huán)境之前，您必須使用 deactivate。

(mynewenv)$ deactivate
$ rmvirtualenv mynewenv
$ workon
$

從虛擬環(huán)境切換到系統(tǒng)安裝的 Python 版本：

deactivate

環(huán)境位于：

cd ~/.virualenvs

現(xiàn)在我們可以開始在環(huán)境中安裝了 :))

?

在 Raspberry Pi Model 3、4 上設(shè)置人臉識(shí)別

現(xiàn)在我們的虛擬環(huán)境已經(jīng)設(shè)置好了，讓我們繼續(xù)在虛擬環(huán)境（facrec）中安裝人臉識(shí)別包。

步驟1

在（facrec）環(huán)境中，安裝 OpenCV。這是一個(gè)記錄在案的鏈接：

https://www.pyimagesearch.com/2019/09/16/install-opencv-4-on-raspberry-pi-4-and-raspbian-buster/

第2步

安裝dlib、face_recognition、imutils：

https://www.pyimagesearch.com/2018/06/25/raspberry-pi-face-recognition/

哎呀，這是一些工作！

現(xiàn)在我們的樹莓派可以檢測(cè)到我們的臉，我們可以讓它打個(gè)招呼并開始與我們交談！

?

在 Raspberry Pi 模型 3、4 上設(shè)置 Python 聊天機(jī)器人（第 1 部分，共 2 部分）

在這篇文章中，我們將在我們的樹莓派上創(chuàng)建一個(gè)聊天機(jī)器人，它將與我們進(jìn)行對(duì)話，如下所示：

您可以使用任何麥克風(fēng)。在第 4 步中，說明了上述麥克風(fēng)的設(shè)置。只需編輯您可能擁有的任何其他麥克風(fēng)的主要聊天機(jī)器人代碼（本文的第 2 部分）。

在第 1 部分中，我們將首先設(shè)置環(huán)境。

在我們的虛擬環(huán)境 cbot（我們?cè)谥暗奈恼轮袆?chuàng)建）中，讓我們按照以下步驟設(shè)置聊天機(jī)器人所需的必要軟件包。

?

步驟1

我們必須安裝 Tensorflow 2.x 版本但發(fā)出命令：

點(diǎn)安裝張量流

只安裝舊版本。因此，要安裝最新版本，請(qǐng)運(yùn)行以下命令：

sudo apt-get install -y libhdf5-dev libc-ares-dev libeigen3-dev

python3 -m pip install keras_applications==1.0.8 –no-deps

python3 -m pip install keras_preprocessing==1.1.0 –no-deps

python3 -m pip install h5py==2.9.0

sudo apt-get install -y openmpi-bin libopenmpi-dev

sudo apt-get install -y libatlas-base-dev

python3 -m pip install -U 六輪模擬

從https://github.com/lhelontra/tensorfl選擇一個(gè) tensorflow 版本…… （我選擇了 2.0.0）：

現(xiàn)在復(fù)制相應(yīng)的鏈接地址：

wget 'paste_link_address_here'

python3 -m pip 卸載張量流

python3 -m pip install 'whatever_package_name'

例如：

python3 -m pip install 'tensorflow-2.0.0-cp37-none-linux_armv7l.whl'

重新啟動(dòng)您的終端

TensorFlow 2.3 在 cbot 環(huán)境下安裝成功

?

第2步

安裝以下軟件包：

pip install chatterbot==1.0.0

點(diǎn)安裝正則表達(dá)式==2019.11.1

pip install python-dateutil==2.7

點(diǎn)安裝 PyAudio

點(diǎn)安裝 nltk

點(diǎn)安裝 Keras

?

第 3 步

接下來，我們?cè)O(shè)置語(yǔ)音識(shí)別以將我們所說的內(nèi)容轉(zhuǎn)換為文本。這將輸入到聊天機(jī)器人模型以生成響應(yīng)。

迷你麥克風(fēng)插入 USB 端口并調(diào)整設(shè)置：

運(yùn)行以下命令記錄音頻 5 秒：

arecord -D plughw:1,0 -d 5 the_audio.wav

?

第4步

接下來我們安裝 espeak ，用于語(yǔ)音輸出（到耳機(jī)或揚(yáng)聲器）。
安裝 espeak：

要測(cè)試 espeak，請(qǐng)創(chuàng)建文本文件，例如 speakthis.txt，然后在“hello my friend”中寫下句子。

要從文件中說話，請(qǐng)運(yùn)行以下命令：

espeak -f speakthis.txt –stdout |aplay

你應(yīng)該聽到你在 speakthis.txt 文件中寫的任何內(nèi)容（在我的例子中，它說“你好，我的朋友”）

有關(guān) espeak 命令的列表，請(qǐng)參閱：

http://espeak.sourceforge.net/commands.html

萬歲！我們的環(huán)境很好，現(xiàn)在我們可以繼續(xù)創(chuàng)建 AI python 聊天機(jī)器人并將所有內(nèi)容粘合在一起。

在 Raspberry Pi 模型 3、4 上設(shè)置 Python 聊天機(jī)器人（第 2 部分，共 2 部分）

現(xiàn)在我們的 python 聊天機(jī)器人環(huán)境已經(jīng)在我們的樹莓派上設(shè)置好了，讓我們開始運(yùn)行代碼。

首先下載包含所有必要代碼和文件的 trivchat 文件夾：

https://github.com/wajidahmad89/rexythebot/tree/main/trivchat

將其保存到桌面，因此位置將是桌面/trivchat

讓我們快速瀏覽一下 trivchat 中的重要文件

1.首先我們有intents.json
這個(gè)文件將包含所有你能想到的問題和答案。繼續(xù)添加它！

2. 其次我們有 trainchatbot.py
這個(gè)訓(xùn)練神經(jīng)網(wǎng)絡(luò)并創(chuàng)建 chatbot_model.h5

3. 第三，我們有 cbot_main.py
所有的聽力、處理和口語(yǔ)都發(fā)生在 cbot_main.py

4. 第四，the_audio.wav 是音頻輸入，你所說的最后錄音會(huì)覆蓋在這個(gè)文件上。

5. 第五，userinput.txt 文件將轉(zhuǎn)換后的語(yǔ)音轉(zhuǎn)文本寫入此處。botresponse.txt 里面有你演講的答案。

6. 第六，我們有 hello_camera-output.txt，它啟動(dòng)與“Hello John”的對(duì)話，正如我們?cè)谄渲兴鶎懙哪菢印?/font>同樣，goodbye_camera-output.txt 有對(duì)話結(jié)束，所以我們?cè)诶锩鎸懥恕霸僖娂s翰”。

筆記

當(dāng)您編輯 intents.json 時(shí)，請(qǐng)確保不要留下任何錯(cuò)誤！
Visual Studio 是查找錯(cuò)誤的不錯(cuò)選擇，例如：

?

步驟1

在命令提示符下：

pi@raspberrypi:~ $ cd 桌面/trivchat

pi@raspberrypi:~/Desktop/trivchat $ workon cbot

（如下圖所示，cbot 環(huán)境已激活，其中包含必要的包）

(cbot) pi@raspberrypi:~/Desktop/trivchat $ pythontrain_chatbot.py

它應(yīng)該打印“模型創(chuàng)建”

第2步

現(xiàn)在我們運(yùn)行 cbot_main.py

(cbot) pi@raspberrypi:~/Desktop/trivchat $ python cbot_main.py

?

現(xiàn)在它應(yīng)該顯示“正在播放……”用于音頻輸出，因此您必須通過耳機(jī)/揚(yáng)聲器聆聽它在說什么
，
“錄音……”用于音頻輸入，這是當(dāng)您說話時(shí)，它會(huì)聽 5 秒鐘。文件userinput.txt將包含您所說的所有語(yǔ)音，文件botresponse.txt將包含所有機(jī)器人響應(yīng)
?

和你的樹莓派聊天玩得開心
xD

筆記

如果您的麥克風(fēng)與使用的麥克風(fēng)不同，您可以在第 135 行編輯 cbot_main.py 以錄制您的演講并將其保存為 the_audio.wav

?

?

?

在 Raspberry Pi 模型 3、4 上運(yùn)行人臉識(shí)別和 Python 聊天機(jī)器人

在這篇文章中，我們將把人臉識(shí)別 + python 聊天機(jī)器人功能合并在一起。當(dāng)有人被識(shí)別時(shí)，樹莓派會(huì)說“你好”并開始對(duì)話。

步驟1

首先下載下面的fareg文件夾：

https://github.com/wajidahmad89/rexythebot/tree/main/fareg

將 FAREG 文件夾放在桌面上

用人名創(chuàng)建一個(gè)文件夾，
在 fareg/dataset
人的圖片會(huì)位于這個(gè)文件夾中

在命令提示符下：

努力工作

cd 桌面/票價(jià)

python encode_faces.py –dataset dataset –encodings encodings.pickle –detection-method hog

這將在 fareg 文件夾中創(chuàng)建 encodings.pickle 文件

稍后我們將在腳本中運(yùn)行 facrec_main.py。
facrec_main.py 的作用是將相機(jī)識(shí)別的名稱寫入 trivchat 文件夾中的 camera-output-raw.txt。如果一個(gè)名字重復(fù)超過 3 次（在 camera-output-raw.txt 內(nèi)），這是一個(gè)很好的措施來識(shí)別正確的人，所以這個(gè)確認(rèn)的名字被寫入 hello_camera-output.txt ，說“你好%name%” ，
以及寫到 goodbye_camera-output.txt ，說
“再見 %name%”

hello_camera-output.txt 和 goodbye_camera-output.txt 也位于 trivchat 文件夾中。

第2步

其次將rexy_master文件下載到桌面：

https://github.com/wajidahmad89/rexythebot/tree/main/rexy_master

最后運(yùn)行人臉識(shí)別+python聊天機(jī)器人：

?

下面顯示一次

?

轉(zhuǎn)到“masterfile-initiate.sh”文件并雙擊執(zhí)行它

?

與啟動(dòng)相機(jī)之前一樣，一旦人臉被識(shí)別，機(jī)器人就會(huì)開始對(duì)話。

?

一旦人臉識(shí)別，聊天機(jī)器人將開始對(duì)話。

嘻嘻！

Seeed Fusion 團(tuán)隊(duì)正在啟動(dòng)一項(xiàng) Raspberry Pi CM4 贊助計(jì)劃，以支持基于 CM4 的設(shè)計(jì)。使用 Seeed PCB 組裝服務(wù)制造您的定制 Raspberry Pi CM4 載板，最高可減 $500！