如何使用Arduino通過手勢控制計(jì)算機(jī)

最近手勢控制的筆記本電腦或計(jì)算機(jī)變得非常有名。這種技術(shù)稱為Leap運(yùn)動(dòng)，它使我們能夠通過簡單地在計(jì)算機(jī)/筆記本電腦前揮手來控制計(jì)算機(jī)/筆記本電腦上的某些功能。這樣做非?？岷陀腥?，但這些筆記本電腦的價(jià)格確實(shí)很高。因此，在這個(gè)項(xiàng)目中，讓我們嘗試通過結(jié)合Arduino和Python的強(qiáng)大功能來構(gòu)建我們自己的手勢控制筆記本電腦/計(jì)算機(jī)。

我們將使用兩個(gè)超聲波傳感器來確定我們手的位置并根據(jù)位置控制媒體播放器 （VLC）。我已經(jīng)使用它進(jìn)行演示，但是一旦您了解了該項(xiàng)目，您只需更改幾行代碼并以您喜歡的方式控制您最喜歡的應(yīng)用程序，您就可以做任何事情。

項(xiàng)目背后的概念：

該項(xiàng)目背后的概念非常簡單。我們將在顯示器頂部放置兩個(gè)超聲波（US）傳感器，并使用Arduino讀取顯示器和手之間的距離，根據(jù)此距離值，我們將執(zhí)行某些操作。為了在我們的計(jì)算機(jī)上執(zhí)行操作，我們使用Pythonpyautogui庫。來自Arduino的命令通過串行端口（USB）發(fā)送到計(jì)算機(jī)。然后，該數(shù)據(jù)將由計(jì)算機(jī)上運(yùn)行的python讀取，并根據(jù)讀取的數(shù)據(jù)執(zhí)行操作。

電路圖：

要使用手勢控制PC，只需將兩個(gè)超聲波傳感器與Arduino連接即可。我們知道美國傳感器使用 5V 工作，因此它們由 Arduino 的板載穩(wěn)壓器供電。Arduino可以連接到PC /筆記本電腦，為模塊供電，也可以進(jìn)行串行通信。連接完成后，將它們放在顯示器上，如下所示。我用雙面膠帶把它貼在我的顯示器上，但你可以發(fā)揮自己的創(chuàng)造力。將其固定在一個(gè)地方后，我們可以繼續(xù)進(jìn)行編程。

對 Arduino 進(jìn)行編程：

Arduino應(yīng)該被編程為讀取手與美國傳感器的距離。本頁末尾給出了完整的程序;就在下面，我已經(jīng)給出了該程序的解釋。如果您不熟悉超聲波傳感器，只需通過Arduino和超聲波傳感器基于距離測量。

通過讀取距離的值，我們可以到達(dá)某些要用手勢控制的動(dòng)作，例如，在這個(gè)程序中，我已經(jīng)編程了5 個(gè)動(dòng)作作為演示。

操作 1：當(dāng)兩只手都放在傳感器前的特定遠(yuǎn)距離時(shí)，VLC播放器中的視頻應(yīng)播放/暫停。

行動(dòng)2：當(dāng)右手放在傳感器前的特定遠(yuǎn)距離時(shí)，視頻應(yīng)快進(jìn)一步。

行動(dòng)3：當(dāng)左手放在傳感器前的特定遠(yuǎn)距離時(shí)，視頻應(yīng)倒帶一步。

行動(dòng)4：當(dāng)右手放在傳感器前的特定近距離，然后如果向傳感器移動(dòng)，視頻應(yīng)快進(jìn)，如果移開，視頻應(yīng)倒帶。

行動(dòng)5：當(dāng)左手以特定的近距離放在傳感器之前，然后如果朝向傳感器移動(dòng)，視頻的音量應(yīng)該增加，如果移開，音量應(yīng)該減小。

讓我們看看如何編寫程序來執(zhí)行上述操作。因此，像所有程序一樣，我們從定義I / O引腳開始，如下所示。兩個(gè)美國傳感器連接到數(shù)字引腳2、3、4和5，由+5V引腳供電。觸發(fā)引腳是輸出引腳，回顯引腳是輸入引腳。

Arduino和python之間的串行通信以9600的波特率進(jìn)行。

const int trigger1 = 2; //Trigger pin of 1st Sesnor
const int echo1 = 3; //Echo pin of 1st Sesnor
const int trigger2 = 4; //Trigger pin of 2nd Sesnor
const int echo2 = 5;//Echo pin of 2nd Sesnor
void setup() {
Serial.begin(9600);

pinMode(trigger1, OUTPUT);
pinMode(echo1, INPUT);
pinMode(trigger2, OUTPUT);
pinMode(echo2, INPUT);
}
在結(jié)束任何動(dòng)作之前，我們需要每次計(jì)算傳感器和手之間的距離。所以我們必須做很多次，這意味著這段代碼應(yīng)該作為一個(gè)函數(shù)使用。我們編寫了一個(gè)名為 calculate_distance（） 的函數(shù)，它將返回傳感器和手之間的距離。

/*###Function to calculate distance###*/
void calculate_distance(int trigger, int echo)
{
digitalWrite(trigger, LOW);
delayMicroseconds(2);
digitalWrite(trigger, HIGH);
delayMicroseconds(10);
digitalWrite(trigger, LOW);

time_taken = pulseIn(echo, HIGH);
dist= time_taken*0.034/2;
if (dist>50)
dist = 50;
}

在我們的主循環(huán)中，我們檢查距離的值并執(zhí)行上述操作。在此之前，我們使用兩個(gè)變量 distL 和 distR，它們使用當(dāng)前距離值進(jìn)行更新。

calculate_distance(trigger1,echo1);
distL =dist; //get distance of left sensor

calculate_distance(trigger2,echo2);
distR =dist; //get distance of right sensor
由于我們知道兩個(gè)傳感器之間的距離，因此我們現(xiàn)在可以將其與預(yù)定義的值進(jìn)行比較并得出某些操作。例如，如果兩只手都放在 40 mc 的距離，那么我們播放/暫停視頻。這里“播放/暫?！币辉~將通過串口發(fā)送出去

if ((distL >40 && distR>40) && (distL <50 && distR<50)) //Detect both hands
{Serial.println("Play/Pause"); delay (500);}
如果將右手單獨(dú)放在模塊之前，那么我們將視頻快進(jìn)一步，如果是左手，我們將倒帶一步。根據(jù)動(dòng)作，這里“倒帶”或“轉(zhuǎn)發(fā)”一詞將通過串口發(fā)送出去

if ((distL >40 && distL<50) && (distR ==50)) //Detect Left Hand
{Serial.println("Rewind"); delay (500);}

if ((distR >40 && distR<50) && (distL ==50)) //Detect Right Hand
{Serial.println("Forward"); delay (500);}
敵人對音量和軌道的詳細(xì)控制我們使用不同的方法來防止錯(cuò)誤觸發(fā)。為了控制音量，我們必須將左手放在大約。在距離 15 厘米 ，然后您可以將其移向傳感器以減少體積，將其移離傳感器以增加體積。相同的代碼如下所示。根據(jù)動(dòng)作，這里“Vup”或“Vdown”一詞將通過串口發(fā)送出去

//Lock Left - Control Mode
if (distL>=13 && distL<=17)
{
delay(100); //Hand Hold Time
calculate_distance(trigger1,echo1);
distL =dist;
if (distL>=13 && distL<=17)
{
Serial.println("Left Locked");
while(distL<=40)
{
calculate_distance(trigger1,echo1);
distL =dist;
if (distL<10) //Hand pushed in?
{Serial.println ("Vup"); delay (300);}
if (distL>20) //Hand pulled out
{Serial.println ("Vdown"); delay (300);}
}
}
}

我們也可以對右側(cè)傳感器使用相同的方法來控制視頻的軌跡。也就是說，如果我們將右手移向傳感器，它將快進(jìn)電影，如果您將其移離傳感器，它將倒帶電影。根據(jù)動(dòng)作，這里“倒帶”或“轉(zhuǎn)發(fā)”一詞將通過串口發(fā)送出去

您現(xiàn)在可以閱讀頁面末尾給出的此手勢控制PC的完整代碼，并嘗試將其作為一個(gè)整體進(jìn)行輕描淡寫，然后將其復(fù)制到Arduino IDE。

對你的 Python 進(jìn)行編程：

這個(gè)項(xiàng)目的python程序非常簡單。我們只需要通過正確的波特率與Arduino建立串行通信，然后執(zhí)行一些基本的鍵盤操作。python的第一步是安裝pyautogui模塊。確保遵循此步驟，因?yàn)槿绻麤]有pyautogui模塊，該程序?qū)o法運(yùn)行。

為 Windows 安裝 pyautogui 模塊：

請按照以下步驟安裝 pyautogui for Windows。如果您使用的是其他平臺，則步驟也或多或少相似。確保您的計(jì)算機(jī)/筆記本電腦已連接到互聯(lián)網(wǎng)，然后繼續(xù)執(zhí)行以下步驟

第 1 步：打開Windows命令提示符，并將目錄更改為已安裝python的文件夾。默認(rèn)情況下，該命令應(yīng)為

cd C:Python27

第 2 步：在你的 python 目錄中使用命令 python –m pip install –upgrade pip 來升級你的 pip。Pip 是 python 中的一個(gè)工具，可以幫助我們輕松安裝 python 模塊。升級此模塊后（如下圖所示），繼續(xù)下一步。

python –m pip install –upgrade pip

第 3 步：使用命令“python –m pip install pyautogui”來安裝 pyautogui 模塊。該過程成功后，您應(yīng)該會(huì)看到類似于下面的屏幕。

python –m pip install –upgrade pip

現(xiàn)在 pyautogui 模塊和 pyserial 模塊（安裝在前面的教程中）已成功與 python 一起安裝，我們可以繼續(xù)使用 python 程序了。完整的 python 代碼在本教程末尾給出，但解釋如下。

讓我們導(dǎo)入此項(xiàng)目所需的所有三個(gè)模塊。它們是pyautogui，serial python和time。

import serial #Serial imported for Serial communication
import time #Required to use delay functions
import pyautogui
接下來，我們通過COM端口與Arduino建立連接。在我的電腦中，Arduino連接到COM 18。使用設(shè)備管理器查找Arduino連接到的COM端口，并相應(yīng)地更正以下行。

ArduinoSerial = serial.Serial('com18',9600) #Create Serial port object called arduinoSerialData
time.sleep(2) #wait for 2 seconds for the communication to get established
在無限的while循環(huán)中，我們反復(fù)收聽COM端口，并將關(guān)鍵字與任何預(yù)先確定的作品進(jìn)行比較，并相應(yīng)地按下鍵盤。

while 1:
incoming = str (ArduinoSerial.readline()) #read the serial data and print it as line
print incoming

if 'Play/Pause' in incoming:
pyautogui.typewrite(['space'], 0.2)

if 'Rewind' in incoming:
pyautogui.hotkey('ctrl', 'left')

if 'Forward' in incoming:
pyautogui.hotkey('ctrl', 'right')

if 'Vup' in incoming:
pyautogui.hotkey('ctrl', 'down')

if 'Vdown' in incoming:
pyautogui.hotkey('ctrl', 'up')

如您所見，要按下一個(gè)鍵，我們只需要使用命令“pyautogui.typewrite（['space']， 0.2）”，它將按下鍵空格 0.2 秒。如果您需要像ctrl + S這樣的熱鍵，那么您可以使用熱鍵命令“pyautogui.hotkey（'ctrl'， 's'）”。

我使用這些組合是因?yàn)樗鼈冞m用于 VLC 媒體播放器，您可以按照您喜歡的任何方式調(diào)整它們，以創(chuàng)建自己的應(yīng)用程序以通過手勢控制計(jì)算機(jī)中的任何內(nèi)容。

動(dòng)作中的手勢控制計(jì)算機(jī)：

按照上面定義建立連接，并將Arduino代碼上傳到Arduino板上。然后使用下面的python腳本并在筆記本電腦/計(jì)算機(jī)上啟動(dòng)該程序。

現(xiàn)在，您可以使用VLC媒體播放器在計(jì)算機(jī)上播放任何電影，并用手控制電影，如下面的視頻所示。

Arduino Code:


/*

* Program for gesture control VLC Player

* Controlled uisng Python

* Code by B.Aswinth Raj

* Dated: 11-10-2017

*/



const int trigger1 = 2; //Trigger pin of 1st Sesnor

const int echo1 = 3; //Echo pin of 1st Sesnor

const int trigger2 = 4; //Trigger pin of 2nd Sesnor

const int echo2 = 5;//Echo pin of 2nd Sesnor


long time_taken;

int dist,distL,distR;





void setup() {

Serial.begin(9600);



pinMode(trigger1, OUTPUT);

pinMode(echo1, INPUT);

pinMode(trigger2, OUTPUT);

pinMode(echo2, INPUT);

}


/*###Function to calculate distance###*/

void calculate_distance(int trigger, int echo)

{

digitalWrite(trigger, LOW);

delayMicroseconds(2);

digitalWrite(trigger, HIGH);

delayMicroseconds(10);

digitalWrite(trigger, LOW);


time_taken = pulseIn(echo, HIGH);

dist= time_taken*0.034/2;

if (dist>50)

dist = 50;

}


void loop() { //infinite loopy

calculate_distance(trigger1,echo1);

distL =dist; //get distance of left sensor


calculate_distance(trigger2,echo2);

distR =dist; //get distance of right sensor


//Uncomment for debudding

/*Serial.print("L=");

Serial.println(distL);

Serial.print("R=");

Serial.println(distR);

*/


//Pause Modes -Hold

if ((distL >40 && distR>40) && (distL <50 && distR<50)) //Detect both hands

{Serial.println("Play/Pause"); delay (500);}


calculate_distance(trigger1,echo1);

distL =dist;


calculate_distance(trigger2,echo2);

distR =dist;





//Control Modes

//Lock Left - Control Mode

if (distL>=13 && distL<=17)

{

delay(100); //Hand Hold Time

calculate_distance(trigger1,echo1);

distL =dist;

if (distL>=13 && distL<=17)

{

Serial.println("Left Locked");

while(distL<=40)

{

calculate_distance(trigger1,echo1);

distL =dist;

if (distL<10) //Hand pushed in?

{Serial.println ("Vup"); delay (300);}

if (distL>20) //Hand pulled out

{Serial.println ("Vdown"); delay (300);}

}

}

}


//Lock Right - Control Mode

if (distR>=13 && distR<=17)

{

delay(100); //Hand Hold Time

calculate_distance(trigger2,echo2);

distR =dist;

if (distR>=13 && distR<=17)

{

Serial.println("Right Locked");

while(distR<=40)

{

calculate_distance(trigger2,echo2);

distR =dist;

if (distR<10) //Right hand pushed in

{Serial.println ("Rewind"); delay (300);}

if (distR>20) //Right hand pulled out

{Serial.println ("Forward"); delay (300);}

}

}

}



delay(200);

}





Python Code:



import serial #Serial imported for Serial communication

import time #Required to use delay functions

import pyautogui


ArduinoSerial = serial.Serial('com18',9600) #Create Serial port object called arduinoSerialData

time.sleep(2) #wait for 2 seconds for the communication to get established



while 1:

incoming = str (ArduinoSerial.readline()) #read the serial data and print it as line

print incoming



if 'Play/Pause' in incoming:

pyautogui.typewrite(['space'], 0.2)



if 'Rewind' in incoming:

pyautogui.hotkey('ctrl', 'left')



if 'Forward' in incoming:

pyautogui.hotkey('ctrl', 'right')



if 'Vup' in incoming:

pyautogui.hotkey('ctrl', 'down')




if 'Vdown' in incoming:

pyautogui.hotkey('ctrl', 'up')



incoming = "";