概念概述

• 網(wǎng)格劃分：YOLO 首先將輸入圖像劃分為S×S網(wǎng)格。每個(gè)網(wǎng)格單元負(fù)責(zé)預(yù)測(cè)中心位于該單元內(nèi)的物體。這種劃分使模型能夠定位物體并確保檢測(cè)分布在圖像上。

• 邊界框預(yù)測(cè)：對(duì)于每個(gè)網(wǎng)格單元，YOLO 會(huì)預(yù)測(cè)多個(gè)邊界框。每個(gè)邊界框預(yù)測(cè)包括坐標(biāo)（中心、寬度和高度）以及置信度分?jǐn)?shù)，該分?jǐn)?shù)反映了邊界框的準(zhǔn)確性以及該框包含特定對(duì)象的可能性。

• 類別概率：除了邊界框預(yù)測(cè)之外，每個(gè)網(wǎng)格單元還會(huì)預(yù)測(cè)其檢測(cè)到的對(duì)象屬于哪個(gè)類別的概率。這些概率取決于包含對(duì)象的網(wǎng)格單元。

• 組合預(yù)測(cè)：YOLO 流程的最后一步是將邊界框預(yù)測(cè)與類別概率相結(jié)合，以提供完整的檢測(cè)輸出。每個(gè)邊界框的置信度分?jǐn)?shù)由類別概率調(diào)整，確保檢測(cè)既反映邊界框的準(zhǔn)確性，又反映模型對(duì)對(duì)象類別的置信度。

YOLO 架構(gòu)揭曉

從圖像到預(yù)測(cè)

• 卷積主干：YOLO 使用一系列卷積層作為主干。這些層負(fù)責(zé)從輸入圖像中提取特征。這些層的架構(gòu)在 YOLO 的不同版本（例如 YOLOv3、YOLOv4 等）之間可能有所不同，每個(gè)版本都旨在在速度和準(zhǔn)確性之間取得平衡。

• 特征提取：當(dāng)圖像穿過(guò)卷積層時(shí)，網(wǎng)絡(luò)會(huì)提取和下采樣特征，從而創(chuàng)建一個(gè)豐富的特征圖，其中包含檢測(cè)所需的基本信息。

• 預(yù)測(cè)層：在網(wǎng)絡(luò)末端，YOLO 過(guò)渡到預(yù)測(cè)層，該層通常是具有特定數(shù)量濾波器的卷積層。這些濾波器對(duì)應(yīng)于每個(gè)網(wǎng)格單元的預(yù)測(cè)向量，包括邊界框坐標(biāo)、置信度分?jǐn)?shù)和類別概率。

• 輸出張量：輸出是形狀為 (S×S×(B×5+C)) 的張量，其中S×S是網(wǎng)格大小，B是每個(gè)網(wǎng)格單元的邊界框數(shù)量，55 表示四個(gè)邊界框坐標(biāo)加上置信度分?jǐn)?shù)，C表示類別數(shù)量。此張量封裝了網(wǎng)絡(luò)對(duì)圖像進(jìn)行的所有檢測(cè)。

代碼片段：加載和使用預(yù)訓(xùn)練的 YOLO 模型

import torch
import torchvision.transforms as transforms
from PIL import Image


# Load a pre-trained YOLO model
model = torch.hub.load('ultralytics/yolov5', 'yolov5s', pretrained=True)


# Function to perform object detection
def detect_objects(image_path):
# Load and transform the image
image = Image.open(image_path)
transform = transforms.Compose([
transforms.ToTensor(),
])
image = transform(image).unsqueeze(0) # Add batch dimension


# Perform inference
model.eval() # Set the model to evaluation mode
with torch.no_grad():
predictions = model(image)


# Process predictions
# Note: The output format can vary, so adjust the processing as needed
for pred in predictions[0]:
bbox = pred[:4] # Bounding box coordinates
score = pred[4] # Confidence score
class_id = pred[5] # Class ID
print(f'Class: {class_id}, Score: {score}, BBox: {bbox}')


# Example usage
detect_objects('path/to/your/image.jpg')

訓(xùn)練 YOLO 模型

學(xué)會(huì)觀察

• 定位損失：損失函數(shù)的這一部分懲罰邊界框預(yù)測(cè)位置和大小的誤差。它通常關(guān)注預(yù)測(cè)邊界框坐標(biāo)與地面真實(shí)坐標(biāo)之間的差異，通常使用諸如平方誤差和之類的度量。

• 置信度損失：此組件懲罰邊界框置信度分?jǐn)?shù)中的錯(cuò)誤。置信度分?jǐn)?shù)反映了模型對(duì)邊界框包含物體的確定性以及模型認(rèn)為邊界框的準(zhǔn)確度。對(duì)于包含物體的邊界框和不包含物體的邊界框，計(jì)算的損失不同，以幫助模型區(qū)分這兩種情況。

• 分類損失：損失函數(shù)的這一部分針對(duì)每個(gè)網(wǎng)格單元的類別概率預(yù)測(cè)。它通常涉及預(yù)測(cè)概率和獨(dú)熱編碼的真實(shí)類別標(biāo)簽之間的分類交叉熵?fù)p失。

代碼片段：YOLO 的訓(xùn)練設(shè)置

import torch
import torch.optim as optim


# Assuming yolo_model is your YOLO model and train_loader is your data loader


# Define the optimizer
optimizer = optim.Adam(yolo_model.parameters(), lr=0.001)


# Placeholder for the YOLO loss function
# Note: You'll need to define this based on the specific YOLO version and its output format
def yolo_loss(predictions, targets):
    # Compute localization loss, confidence loss, and classification loss
    # localization_loss = ...
    # confidence_loss = ...
    # classification_loss = ...
    
    # Combine the losses
    total_loss = localization_loss + confidence_loss + classification_loss
    return total_loss


# Training loop
for epoch in range(num_epochs):
    for images, targets in train_loader:  # Assuming targets contain ground truth
        optimizer.zero_grad()  # Zero the gradients
        
        # Forward pass
        predictions = yolo_model(images)
        
        # Compute loss
        loss = yolo_loss(predictions, targets)
        
        # Backward pass and optimize
        loss.backward()
        optimizer.step()
    
    print(f'Epoch [{epoch+1}/{num_epochs}], Loss: {loss.item()}')

YOLO 實(shí)際應(yīng)用：真實(shí)世界的應(yīng)用

超越基礎(chǔ)

• 監(jiān)控：YOLO 的實(shí)時(shí)處理能力在監(jiān)控系統(tǒng)中特別有用，它可以同時(shí)檢測(cè)和跟蹤多個(gè)物體，例如個(gè)人、車輛或任何異常活動(dòng)，從而增強(qiáng)公共和私人空間的安全措施。

• 自動(dòng)駕駛：在自動(dòng)駕駛汽車領(lǐng)域，YOLO 有助于完成檢測(cè)和分類汽車、行人和交通標(biāo)志等物體的關(guān)鍵任務(wù)，使汽車能夠做出明智的決策并安全行駛。

• 野生動(dòng)物監(jiān)測(cè)：YOLO 已被用于野生動(dòng)物監(jiān)測(cè)項(xiàng)目，它有助于自動(dòng)檢測(cè)和識(shí)別自然棲息地中的物種，協(xié)助保護(hù)工作和生物多樣性研究。

• 零售和庫(kù)存管理：在零售領(lǐng)域，YOLO 可以通過(guò)實(shí)時(shí)檢測(cè)和跟蹤貨架上的產(chǎn)品來(lái)簡(jiǎn)化庫(kù)存管理，并可以通過(guò)交互式顯示和監(jiān)控來(lái)增強(qiáng)客戶體驗(yàn)。

代碼片段：將 YOLO 應(yīng)用于視頻流

import cv2
import torch


# Load the pre-trained YOLO model
model = torch.hub.load('ultralytics/yolov5', 'yolov5s', pretrained=True)


# Initialize the video stream (replace '0' with a video file path for processing a video file)
cap = cv2.VideoCapture(0)


while True:
    # Read frames from the video stream
    ret, frame = cap.read()
    if not ret:
        break


    # Convert the frame to the format expected by the model
    frame_rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
    results = model([frame_rgb], size=640)  # Adjust size as needed


    # Render the detections on the frame
    frame_with_detections = results.render()[0]


    # Convert the frame back to BGR for displaying with OpenCV
    frame_with_detections_bgr = cv2.cvtColor(frame_with_detections, cv2.COLOR_RGB2BGR)


    # Display the frame with detections
    cv2.imshow('YOLO Object Detection', frame_with_detections_bgr)


    # Break the loop when 'q' is pressed
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break


# Release the video stream and close windows
cap.release()
cv2.destroyAllWindows()