水族館飼養(yǎng)區(qū)追蹤器開(kāi)源分享

描述

這個(gè)項(xiàng)目是用很少的代碼完成的，Roboflow 提供了大量的資源來(lái)完成工作。根據(jù)您的用例調(diào)整多邊形尺寸。

?

import numpy as np
import supervision as sv

# initiate polygon zone
polygon = np.array([
    [1000, 1000],
    [1000, 1000],
    [1000, 1000],
    [1000, 1000]
])
video_info = sv.VideoInfo.from_video_path(VIDEO_PATH)
zone = sv.PolygonZone(polygon=polygon, frame_resolution_wh=video_info.resolution_wh)

# initiate annotators
box_annotator = sv.BoxAnnotator(thickness=4, text_thickness=4, text_scale=2)
zone_annotator = sv.PolygonZoneAnnotator(zone=zone, color=sv.Color.white(), thickness=6, text_thickness=6, text_scale=4)

def process_frame(frame: np.ndarray, _) -> np.ndarray:
    # detect
    results = model(frame, imgsz=1280)[0]
    detections = sv.Detections.from_yolov8(results)
    #detections = detections[detections.class_id == 0]
    zone.trigger(detections)

    # annotate
    box_annotator = sv.BoxAnnotator(thickness=4, text_thickness=4, text_scale=2)
    labels = [f"{model.names[class_id]} {confidence:0.2f}" for _, confidence, class_id, _ in detections]
    frame = box_annotator.annotate(scene=frame, detections=detections, labels=labels)
    frame = zone_annotator.annotate(scene=frame)

    return frame

sv.process_video(source_path=VIDEO_PATH, target_path=f"{HOME}/result.mp4", callback=process_frame)

from IPython import display
display.clear_output()

?

您可以使用 Roboflow Universe 親自試用經(jīng)過(guò)訓(xùn)練的模型：

?

https://universe.roboflow.com/dee-dee-b9kev/aquarium-shrimp-detection-caridina_neocaridina

?

可通過(guò) github 獲得經(jīng)過(guò)訓(xùn)練的 yolov8 模型的 Github 存儲(chǔ)庫(kù)：

?

https://github.com/dfunkapostal/Aquarium-Shrimp-Detection/tree/main

?

該模型可以使用tensorflow.js或 onnxruntime通過(guò) web 部署，具有以下https://github.com/Hyuto存儲(chǔ)庫(kù)。

?

https://github.com/Hyuto/yolov8-seg-tfjs
https://github.com/Hyuto/yolov8-seg-onnxruntime-web

?

攝像頭可以調(diào)整為前置攝像頭調(diào)整網(wǎng)絡(luò)攝像頭設(shè)置 facingMode 為“用戶(hù)”

?

https://github.com/Hyuto/yolov8-seg-tfjs/blob/master/src/utils/webcam.js
open = (videoRef) => {
    if (navigator.mediaDevices && navigator.mediaDevices.getUserMedia) {
      navigator.mediaDevices
        .getUserMedia({
          audio: false,
          video: {
            facingMode: "environment",

?

您的模型應(yīng)上傳到公共文件夾中：

https://github.com/Hyuto/yolov8-seg-tfjs/tree/master/public

model.json應(yīng)替換為保存的 web 文件夾（tensorflow.js 輸出文件夾）中的 .json 文件

https://github.com/Hyuto/yolov8-seg-tfjs/blob/master/src/App.jsx
useEffect(() => {
    tf.ready().then(async () => {
      const yolov8 = await tf.loadGraphModel(
        `${window.location.href}/${modelName}_web_model/model.json`,

labels.json應(yīng)該更新為項(xiàng)目中存在的類(lèi)。

src/utils/labels.json

項(xiàng)目詳情

Caridina 和 Neocaridina 蝦檢測(cè)項(xiàng)目旨在開(kāi)發(fā)和改進(jìn)用于檢測(cè)和區(qū)分不同蝦品種的計(jì)算機(jī)視覺(jué)算法。該項(xiàng)目以觀賞魚(yú)飼養(yǎng)愛(ài)好者以及計(jì)算機(jī)視覺(jué)如何有益于改善矮小蝦的護(hù)理為中心。在這種特殊情況下，區(qū)域計(jì)數(shù)器/跟蹤器的實(shí)現(xiàn)。

Caridina 和 neo-caridina 蝦是兩個(gè)不同的物種，需要不同的水參數(shù)才能達(dá)到最佳健康狀態(tài)。Neocaridina 蝦通常比 caridina 物種更耐寒且更容易飼養(yǎng)，而 caridina 蝦以其引人注目的獨(dú)特圖案而聞名。兩個(gè)物種的身體結(jié)構(gòu)相似（從主題面具可以看出）。

Neo-Caridina 面膜

各類(lèi)類(lèi)型說(shuō)明

該項(xiàng)目的數(shù)據(jù)集包括十三種不同的類(lèi)類(lèi)型。已將 neo-caridina 物種組合在一起以測(cè)試該模型是否可以區(qū)分 caridina 和 neo-caridina 蝦。其余類(lèi)別都是不同類(lèi)型的 caridina 蝦。

RGalaxyPinto 和 BGalaxyPinto 的圖案非常相似，主要區(qū)別在于它們的顏色：一個(gè)是酒紅色，另一個(gè)是深藍(lán)黑色。這兩個(gè)品種的頭部區(qū)域都有明顯的斑點(diǎn)，背部有條紋，非常適合測(cè)試模型區(qū)分顏色的能力。

CRS-CBS水晶紅蝦和水晶黑蝦的花紋與熊貓蜜蜂蝦相似，但色澤不同。熊貓蝦的顏色往往比 CRS-CBS 蝦更深、更豐富，CRS-CBS 的白色環(huán)更厚。

另一方面，熊貓蜜蜂品種以其類(lèi)似熊貓的白色和黑色/紅色環(huán)紋而聞名。色環(huán)往往比水晶紅/黑蝦更厚、更明顯。

在 Caridina 物種中，有各種老虎品種。其中包括 Fancy Tiger、Raccoon Tiger、Tangerine Tiger、Orange Eyed Tiger（金色和全身）。所有這些人的身體兩側(cè)都有條紋?；ㄊ交⑽r的顏色與 CRS 相似，但帶有虎紋圖案。

Raccoon Tiger 和 Orange Eyed Tiger Blonde 看起來(lái)非常相似，但是 Raccoon Tiger 的身體顯得更大，而 Orange Eyed Tiger 以其橙色的眼睛而聞名。Tangerine Tigers 的條紋圖案各不相同，經(jīng)常會(huì)與某些 neo-caridina，特別是黃色或橙色品種混淆。

其余的是最受歡迎的繁殖品種和獨(dú)特的顏色圖案，即藍(lán)蝠、暗影摩蘇拉、白蜂/金蜂和金剛蜂。

?