OpenCV如何幫助相機(jī)自動(dòng)化視覺(jué)跟蹤

01. 導(dǎo)語(yǔ)

在之前的某個(gè)教程里，我們探討了如何控制Pan/Tilt Servo設(shè)備來(lái)安置一個(gè)PiCam（樹(shù)莓派的相機(jī)）。這次，我們將使用你的設(shè)備來(lái)幫助相機(jī)自動(dòng)地跟蹤某種顏色的物體，像下邊的動(dòng)圖里那樣：

盡管這是我第一次使用OpenCV，但我必須承認(rèn)，我已經(jīng)愛(ài)上了這個(gè)“開(kāi)源計(jì)算機(jī)視覺(jué)庫(kù)”。

OpenCV對(duì)學(xué)術(shù)用途和商業(yè)用途都免費(fèi)。它有C++、C、Python和Java的接口，并且支持Windows、Linux、MacOS、iOS和Android系統(tǒng)。在我的OpenCV教程系列中，我們將專注于使用樹(shù)莓派（當(dāng)然，操作系統(tǒng)就是Raspbian了）和Python。OpenCV為高效計(jì)算而生，極大地專注于實(shí)時(shí)應(yīng)用。因此，它對(duì)于物理計(jì)算（即使用可以感知和響應(yīng)模擬世界的軟件和硬件來(lái)構(gòu)建交互式物理系統(tǒng)）項(xiàng)目來(lái)說(shuō)，簡(jiǎn)直再適合不過(guò)了！

02. 安裝 OpenCV 3 庫(kù)

我使用的是安裝著目前最新的Raspbian版本（Stretch）的樹(shù)莓派V3。安裝OpenCV最好的辦法就是按照Adrian Rosebrock的這篇極棒的教程：Raspbian Stretch: Install OpenCV 3 + Python on your Raspberry Pi。

我在我的樹(shù)莓派上試了好幾種不同的OpenCV安裝教程，其中Adrian的是最棒的一篇。我建議各位讀者一步一步按照這篇教程的步驟做。

當(dāng)你完成了Adrian的教程后，你的樹(shù)莓派應(yīng)該已經(jīng)安裝好了OpenCV的虛擬環(huán)境，并且可以進(jìn)行我們的實(shí)驗(yàn)了。

讓我們?cè)俅螜z查一下虛擬環(huán)境并確認(rèn)OpenCV 3已經(jīng)正確安裝了。

Adrian建議每次打開(kāi)新的終端都執(zhí)行一次“source”命令，從而確保你的系統(tǒng)變量已經(jīng)正確設(shè)置：

source ~/.profile

接下來(lái)，進(jìn)入我們的虛擬環(huán)境：

workon cv

如果你看到你的命令提示符之前多了個(gè)(cv)，那說(shuō)明你已經(jīng)進(jìn)入虛擬環(huán)境“cv”了。

(cv) pi@raspberry:~$

Adrian強(qiáng)調(diào)，Python虛擬環(huán)境“cv”是和Raspbian Stretch系統(tǒng)自帶的Python版本完全獨(dú)立的。也就是說(shuō)，系統(tǒng)Python的site-packages目錄中的那些庫(kù)在虛擬環(huán)境“cv”中并不能使用——同樣，這個(gè)虛擬環(huán)境中的包在系統(tǒng)全局的Python版本中也是無(wú)法使用的。

現(xiàn)在，Python翻譯器，啟動(dòng)！

python

同時(shí)，請(qǐng)確認(rèn)你是用的是Python 3.5版本或者更高版本。

在翻譯器中（應(yīng)該會(huì)有“>>>”提示符），導(dǎo)入OpenCV庫(kù)：

import cv2

如果沒(méi)有出現(xiàn)任何錯(cuò)誤信息，說(shuō)明OpenCV在你的虛擬環(huán)境中已經(jīng)正確安裝~

03. 測(cè)試你的相機(jī)

既然你的樹(shù)莓派已經(jīng)安裝好OpenCV了，那就先測(cè)試一下你的相機(jī)是否正常工作吧~（假設(shè)你已經(jīng)在你的樹(shù)莓派上安裝PiCam了）

在你的IDE中輸入以下代碼：

import numpy as np
import cv2
cap = cv2.VideoCapture(0)


while(True):
    ret, frame = cap.read()
    frame = cv2.flip(frame, -1) # Flip camera vertically
    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
    
    cv2.imshow( frame , frame)
    cv2.imshow( gray , gray)
    if cv2.waitKey(1) & 0xFF == ord( q ):
        breakcap.release()
cv2.destroyAllWindows()

上述代碼將捕獲你的PiCam的視頻流并使用BGR三色模式和灰度模式顯示。

請(qǐng)注意，我的相機(jī)在組裝過(guò)程中是上下顛倒的，所以我把得到的圖片垂直翻轉(zhuǎn)了。如果你并沒(méi)有我的情況，請(qǐng)刪掉frame = cv2.flip(frame, -1)那一行。

或者，你可以直接從我的GitHub下載該代碼：simpleCamTest.py

要執(zhí)行我的代碼，運(yùn)行：

python simpleCamTest.py

要結(jié)束程序，請(qǐng)按鍵盤上的[q]鍵或[Ctrl]+[C]鍵。

下圖是我的結(jié)果：

要學(xué)習(xí)OpenCV的更多知識(shí)，可以參考以下教程：loading -video-python-opencv-tutorial

04. 使用 Python 與 OpenCV 進(jìn)行顏色檢測(cè) 我們想做的一件事情就是檢測(cè)并跟蹤某種顏色的物體。為此，我們必須理解一點(diǎn)OpenCV是如何翻譯顏色的。

關(guān)于顏色檢測(cè)，Henri Dang寫(xiě)了一篇很棒的教程：Color Detection in Python with OpenCV。

通常，我們的相機(jī)是使用RGB顏色模式工作的。RGB顏色模式可以這樣認(rèn)為：我們看到的所有可能的顏色都可以被三種顏色的光（紅，綠，藍(lán)）組成。然而，這里我們使用的OpenCV默認(rèn)是BGR顏色模式，也就是將RGB的順序進(jìn)行了調(diào)整。

正如以上所述，使用BGR顏色模式，每一個(gè)像素可以由三個(gè)參數(shù)——藍(lán)、綠、紅組成。每個(gè)參數(shù)通常是一個(gè)0~255之間的值（或者十六進(jìn)制下0x00到0xFF）。比如，電腦屏幕上的純藍(lán)色的BGR值分別為：藍(lán)255，綠0，紅0。

OpenCV還使用一種RGB模型的替代——HSV（Hue色相，Saturation色度，Value色值）顏色模型，它是70年代的計(jì)算機(jī)圖形學(xué)研究者為了更好地與人類視覺(jué)對(duì)顏色屬性的感知方式相匹配而提出的。

好。如果你想要使用OpenCV跟蹤某一種確定的顏色，你必須使用HSV模型定義它。

示例

比如說(shuō)，我想要跟蹤下圖中的黃色塑料盒。首先要做的就是找出它的BGR值。你可以用很多辦法采樣（這里我用的是PowerPoint）。

我這里找到的是：

藍(lán)色：71

綠色：234

紅色：213

下面，我們需要將BGR模型（71, 234, 213）轉(zhuǎn)換為HSV模型，這將被定義為上下界取值范圍的形式。讓我們執(zhí)行以下代碼：

import sys
import numpy as np
import cv2
blue = sys.argv[1]
green = sys.argv[2]
red = sys.argv[3]

color = np.uint8([[[blue, green, red]]])
hsv_color = cv2.cvtColor(color, cv2.COLOR_BGR2HSV)
hue = hsv_color[0][0][0]
print("Lower bound is :"),
print("[" + str(hue-10) + ", 100, 100]")
print("Upper bound is :"),
print("[" + str(hue + 10) + ", 255, 255]")

你也可以到GitHub下載我的這段代碼：bgr_hsv_converter.py

要執(zhí)行我的腳本，運(yùn)行以下命令并把BGR值作為參數(shù)：

python bgr_hsv_converter.py 71 234 213

這個(gè)程序?qū)?huì)計(jì)算我們目標(biāo)物體HSV值的上下界。給定以上參數(shù)會(huì)得到：

lower bound: [24, 100, 100]

以及

upper bound: [44, 255, 255]

以上結(jié)果將顯示在終端中。

最后讓我們看看OpenCV如何根據(jù)給出的顏色來(lái)選擇出我們的物體。

import cv2
import numpy as np


# Read the picure - The 1 means we want the image in BGR
img = cv2.imread( yellow_object.JPG , 1)


# resize imag to 20% in each axis
img = cv2.resize(img, (0,0), fx=0.2, fy=0.2)


# convert BGR image to a HSV image
hsv = cv2.cvtColor(img, cv2.COLOR_BGR2HSV)


# NumPy to create arrays to hold lower and upper range
# The “dtype = np.uint8” means that data type is an 8 bit integer
lower_range = np.array([24, 100, 100], dtype=np.uint8)
upper_range = np.array([44, 255, 255], dtype=np.uint8)


# create a mask for image
mask = cv2.inRange(hsv, lower_range, upper_range)


# display both the mask and the image side-by-side
cv2.imshow( mask ,mask)
cv2.imshow( image , img)


# wait to user to press [ ESC ]
while(1):
  k = cv2.waitKey(0)
  if(k == 27):
    breakcv2.destroyAllWindows()

你也可以到GitHub下載我的這段代碼：?colorDetection.py

要執(zhí)行我的腳本，運(yùn)行以下命令并把圖片名作為參數(shù)（我這里的圖片為yellow_object.JPG）：

python colorDetection.py??

?

?

這個(gè)腳本將顯示原圖（“image”窗口）和OpenCV使用顏色范圍過(guò)濾后的掩膜（“mask”窗口）。

05. 移動(dòng)物體跟蹤 既然我們已經(jīng)知道了如何用掩膜來(lái)選擇出我們的物體，那就讓我們用相機(jī)來(lái)實(shí)時(shí)跟蹤他的移動(dòng)吧。為此，我基于Adrian Rosebrock的OpenCV小球目標(biāo)跟蹤教程寫(xiě)了我的代碼。

我強(qiáng)烈建議你詳細(xì)閱讀Adrian的教程。

首先，請(qǐng)確認(rèn)你已經(jīng)安裝了imutils庫(kù)。它是Adrian基于OpenCV自制的圖像處理基本任務(wù)（如修改尺寸、翻轉(zhuǎn)等）的易用函數(shù)集合。如果你還沒(méi)有安裝，請(qǐng)?jiān)谀愕腜ython虛擬環(huán)境中運(yùn)行下面的命令安裝：

pip install imutils

下面，從我的GitHub下載ball_tracking.py代碼并用下面的命令執(zhí)行：

python ball_traking.py

你將會(huì)看到類似于下面的gif的結(jié)果：

總體而言，我與Adrian的代碼除了“視頻垂直翻轉(zhuǎn)”之外沒(méi)有什么不同：

frame = imutils.rotate(frame, angle=180)

請(qǐng)注意，這里使用的顏色掩膜的邊界值是我們?cè)谏弦徊降玫降摹?/p>

06. 測(cè)試通用 IO

現(xiàn)在我們已經(jīng)搞定OpenCV的基礎(chǔ)了，是時(shí)候給樹(shù)莓派裝個(gè)LED來(lái)試一下通用IO了。

請(qǐng)按照上圖的電路做：LED的負(fù)極接到GPIO 21口，正極接一個(gè)220Ω的電阻再連接GND。

現(xiàn)在使用我們的Python虛擬環(huán)境測(cè)試一下這個(gè)LED吧！

請(qǐng)注意，有可能你的Python虛擬環(huán)境還沒(méi)有安裝樹(shù)莓派的RPi.GPIO。如果還沒(méi)有的話，運(yùn)行下面的命令即可使用pip安裝（請(qǐng)先確定自己在虛擬環(huán)境“cv”中）：

pip install RPi.GPIO

現(xiàn)在用一個(gè)Python腳本來(lái)做個(gè)簡(jiǎn)單的測(cè)試：

import sys
import time
import RPi.GPIO as GPIO


# initialize GPIO and variables
redLed = int(sys.argv[1])
freq = int(sys.argv[2])
GPIO.setmode(GPIO.BCM)
GPIO.setup(redLed, GPIO.OUT)
GPIO.setwarnings(False)


print(" [INFO] Blinking LED (5 times) connected at GPIO {0} 
at every {1} second(s)".format(redLed, freq))
for i in range(5):
    GPIO.output(redLed, GPIO.LOW)
    time.sleep(freq)
    GPIO.output(redLed, GPIO.HIGH)
    time.sleep(freq)
    
# do a bit of cleanup
print(" [INFO] Exiting Program and cleanup stuff ")
GPIO.cleanup()

上邊的代碼需要一個(gè)GPIO端口號(hào)和一個(gè)LED閃爍頻率作為參數(shù)。LED閃爍5次后程序結(jié)束。結(jié)束之前記得釋放GPIO。

也就是說(shuō)，運(yùn)行腳本時(shí)要給出兩個(gè)參數(shù)：“LED GPIO”和frequency。舉個(gè)例子：

python LED_simple_test.py 21 1

上邊的指令意味著使用“GPIO 21”上連接的LED燈，并且每1秒閃爍一次，總共閃爍五次。

同樣，上邊這段代碼也可以在GitHub下載：GPIO_LED_test.py

上邊的圖片顯示了我的程序結(jié)果。至于LED燈亮不亮，就要各位自己去檢驗(yàn)啦。

好，下面讓我們把OpenCV和基本GPIO操作一起耍起來(lái)～

07. 識(shí)別顏色和GPIO(General-purpose input/output：通用型輸入輸出)交互 讓我們開(kāi)始集成 OpenCV 代碼和 GPIO 進(jìn)行交互。我們會(huì)從 最后的OpenCV 代碼開(kāi)始，并且我們將會(huì)把 GPIO_RPI 庫(kù)集成到代碼中，其目的是在攝像頭檢測(cè)到我們的著色物體時(shí)，能使紅色LED常亮。?這一步驟使用的代碼是基于 Adrian 寫(xiě)得非常不錯(cuò)的教程OpenCV, RPi.GPIO, and GPIO Zero on the Raspberry Pi

第一件需要做的事情是：”創(chuàng)建“我們的LED對(duì)象，目的是為了連接上指定的GPIO。

import RPi.GPIO as GPIO
redLed = 21
GPIO.setmode(GPIO.BCM)
GPIO.setwarnings(False)
GPIO.setup(redLed, GPIO.OUT)

第二，我們必須初始化LED（關(guān)燈狀態(tài)）:

GPIO.output(redLed, GPIO.LOW)

ledOn = False
現(xiàn)在，在代碼循環(huán)體中，當(dāng)物體被檢測(cè)到，”圓“被創(chuàng)建時(shí)，我們會(huì)把LED燈打開(kāi)

GPIO.output(redLed, GPIO.HIGH)
ledOn = True

你可以在我的GitHub庫(kù)中下載到完整的代碼：object_detection_LED.py

運(yùn)行代碼使用到的命令行：

python object_detection_LED.py

下面的圖片就是實(shí)現(xiàn)的效果。提示：當(dāng)物體被檢測(cè)到時(shí)，在圖片左下方的LED燈就會(huì)亮著。

試試不同顏色，不同形式的物體，你會(huì)發(fā)現(xiàn)一旦顏色和掩碼范圍內(nèi)匹配的話，LED燈就會(huì)亮起來(lái)。

下面的視頻顯示了一些經(jīng)驗(yàn)。要注意的是，只有在色值一定范圍內(nèi)的黃色物體才會(huì)被檢測(cè)到，LED等會(huì)亮起來(lái)。而其他不同顏色的物體則會(huì)被略過(guò)。

正如最后一步解釋的那樣，我們只是用到了LED燈。但是在視頻中，攝像頭卻集成了云臺(tái)（Pan Tilt：指攝像頭可全方位左右/上下移動(dòng)），所以不妨先忽略它。我們會(huì)下一步驟中實(shí)現(xiàn)云臺(tái)機(jī)制。

08. 云臺(tái)機(jī)制

現(xiàn)在我們已經(jīng)用上了基本的 OpenCV 和 GPIO，那么接下來(lái)我們升級(jí)一下云臺(tái)機(jī)制。

獲取更多細(xì)節(jié)，請(qǐng)查看我的教程：Pan-Tilt-Multi-Servo-Control

伺服（servo：一種微型電子與機(jī)械產(chǎn)品的合體轉(zhuǎn)置）需要連接額外的 5V 電力供應(yīng)模塊，并且這些伺服使用它們的數(shù)據(jù)插口（在我這邊，它們是黃色的布線）連接草莓派的 GPIO，連接方式如下：

GPIO 17 ==> 傾斜伺服

GPIO 27 ==> 水平伺服

不要忘記了將 GND（GND：ground，接地端）引腳 也連到一起 ==> 草莓派——伺服——額外電力供應(yīng)模塊

你有個(gè)可選項(xiàng)：在草莓派 GPIO 和 服務(wù)端的數(shù)據(jù)輸入引腳之間串聯(lián)一個(gè) 1K 歐姆的電阻。這個(gè)舉措可以在伺服發(fā)生問(wèn)題時(shí)保護(hù)你的草莓派。

讓我們一起用這個(gè)機(jī)會(huì)在 虛擬 Python 環(huán)境中測(cè)試一下我們的伺服。
我們執(zhí)行 Python 腳本來(lái)測(cè)試一下驅(qū)動(dòng)器。

from time import sleep
import RPi.GPIO as GPIO)


GPIO.setmode(GPIO.BCM)
GPIO.setwarnings(False)def setServoAngle(servo, angle):
  pwm = GPIO.PWM(servo, 50)
  pwm.start(8)
  dutyCycle = angle / 18. + 3.
  pwm.ChangeDutyCycle(dutyCycle)
  sleep(0.3)
  pwm.stop()


if __name__ ==  __main__ :
import sys
  servo = int(sys.argv[1])
  GPIO.setup(servo, GPIO.OUT)
  setServoAngle(servo, int(sys.argv[2]))
  GPIO.cleanup()

上面代碼的核心是 setServoAngle(servo, angle)方法。這個(gè)方法會(huì)接收的參數(shù)有：一個(gè) GPIO 數(shù)字，一個(gè)伺服被定位的角度值。一旦把角度值輸入到這個(gè)方法中，我們必須將其轉(zhuǎn)換到等效的工作周期中（duty cycle:指伺服進(jìn)入角度變化的時(shí)間段）。

執(zhí)行腳本時(shí)，你要輸入兩個(gè)參數(shù)值：GPIO 伺服對(duì)應(yīng)的端口以及角度值。

例如：python angleServoCtrl.py 17 45

上面的命令行會(huì)將在 連接在GPIO 17端口的伺服（傾斜伺服）定位到45度的”海拔“上。

angleServoCtrl.py 文件可以在我的GitHub上下載到。

09. 實(shí)時(shí)獲取物體位置 將物體定位到屏幕中央的想法會(huì)使用到云臺(tái)機(jī)制。實(shí)現(xiàn)這個(gè)想法壞消息是 我們必須實(shí)時(shí)地定位到物體的位置，但好消息是 如果我們已經(jīng)知道了物體中心坐標(biāo)點(diǎn)，這將會(huì)很容易。

首先，我們使用之前用過(guò)的”object_detect_LED“代碼，以及修改該代碼，以打印出檢測(cè)物體的 x，y坐標(biāo)點(diǎn)。

代碼可以從我的GitHub中下載到：objectDetectCoord.py

代碼核心邏輯是：在檢測(cè)到的物體區(qū)域畫(huà)出一個(gè)圓，并且在圓的中心畫(huà)一個(gè)紅點(diǎn)。

# only proceed if the radius meets a minimum size
if radius > 10:
  # draw the circle and centroid on the frame,
  # then update the list of tracked points
  cv2.circle(frame, (int(x), int(y)), int(radius),
    (0, 255, 255), 2)
  cv2.circle(frame, center, 5, (0, 0, 255), -1)


  # print center of circle coordinates
  mapObjectPosition(int(x), int(y))


  # if the led is not already on, turn the LED on
  if not ledOn:
    GPIO.output(redLed, GPIO.HIGH)
    ledOn = True

我們輸出中心點(diǎn)坐標(biāo)到 mapObjectPosition(int(x), int(y))?方法中，目的是打印這些坐標(biāo)點(diǎn)。方法如下：

def mapObjectPosition (x, y):
    print ("[INFO] Object Center coordinates at 
    X0 = {0} and Y0 =  {1}".format(x, y))

在跑這個(gè)程序時(shí)，我們會(huì)看到在命令行終端上輸出的 （x,y）坐標(biāo)點(diǎn)，如下圖所示：

太好了！我們可以使用這些坐標(biāo)點(diǎn)作為云臺(tái)追蹤系統(tǒng)的開(kāi)始點(diǎn)。

10. 物體位置追蹤系統(tǒng)

我們想要目標(biāo)始終在屏幕的中央，我們來(lái)定義一下，例如：假如滿足下方條件，我們就認(rèn)為物體在中央：

220 < x < 280

160 < y < 210

而在這個(gè)界限之外的話，我們就需要通過(guò)移動(dòng)云臺(tái)裝置來(lái)修正偏差。基于這個(gè)邏輯，我們可以構(gòu)建如下方法mapServoPosition(x, y)。需要注意的是，該方法中使用到的”x“和”y“是和我們之前打印出來(lái)的中心位置一樣的。

# position servos to present object at center of the frame
def mapServoPosition (x, y):
    global panAngle
    global tiltAngle
    if (x < 220):
        panAngle += 10
        if panAngle > 140:
            panAngle = 140
        positionServo (panServo, panAngle)
    if (x > 280):
        panAngle -= 10
        if panAngle < 40:
            panAngle = 40
        positionServo (panServo, panAngle)
    if (y < 160):
        tiltAngle += 10
        if tiltAngle > 140:
            tiltAngle = 140
        positionServo (tiltServo, tiltAngle)
    if (y > 210):
        tiltAngle -= 10
        if tiltAngle < 40:
            tiltAngle = 40
        positionServo (tiltServo, tiltAngle)

基于這些（x,y）坐標(biāo)點(diǎn)，并使用方法positionServo(servo, angle)?，伺服位置命令已經(jīng)產(chǎn)生了。舉個(gè)例子：假如”y“的位置是”50“，這就意味著我們的物體幾乎在屏幕的頂部，也就是說(shuō) 攝像頭的視野是往下的（比如說(shuō)傾斜裝置處于120°上），所以要調(diào)低傾斜裝置的角度（比如說(shuō)調(diào)到100°），如此一來(lái)，攝像頭的視野將會(huì)抬高，進(jìn)而使得物體在屏幕上就會(huì)往下方移動(dòng)（比如 y坐標(biāo)提高到190的位置）。

上面的圖例在幾何上解釋了舉的例子。

思考一下水平裝置上的攝像頭如何移動(dòng)的。要注意的是 屏幕并不是鏡像映射的，也就是說(shuō)，當(dāng)你面對(duì)著攝像頭時(shí)，如果你將物體移動(dòng)到”你的左邊“，但在屏幕上看，物體卻會(huì)在”你的右邊“移動(dòng)。

positionServo(servo, angle)方法可以寫(xiě)成這樣：

def positionServo (servo, angle):

    os.system("python angleServoCtrl.py " + str(servo) + " " +
              str(angle))
    print("[INFO] Positioning servo at GPIO {0} to {1} 
    degrees".format(servo, angle))

上面的代碼中，我們將會(huì)調(diào)用之前展示的伺服移動(dòng)腳本。

注意：?angleServoCtrl.py一定要和 objectDetectTrac.py 在同一個(gè)目錄下。

完整的代碼可以從我的GitHub上下載：objectDetectTrack.py

下面的gif 展示了我們的項(xiàng)目運(yùn)行的效果：

11. 結(jié)論

我一如既往地希望這個(gè)項(xiàng)目能幫助其他人找到進(jìn)入激動(dòng)人心的電子世界的入口。

想要獲取項(xiàng)目細(xì)節(jié)以及最終的代碼，可以瀏覽我的GitHub倉(cāng)庫(kù)：OpenCV-Object-Face-Tracking 。

下面是我下一篇教程的預(yù)告，我們將會(huì)探索”人臉追蹤和檢測(cè)“。

向你們發(fā)出來(lái)自世界南半球的問(wèn)候！

編輯：黃飛

?