企鵝計(jì)數(shù)和監(jiān)測(cè)開(kāi)源分享

描述

問(wèn)題

廢棄的網(wǎng)，海洋塑料污染。海溫上升，海洋熱浪。海岸侵蝕和洪水破壞了筑巢棲息地。被野貓、狗、鼬和老鼠捕食。對(duì)于小藍(lán)企鵝（毛利語(yǔ)中的 koror?。﹣?lái)說(shuō)，情況非常糟糕。

挑戰(zhàn)之一是了解這些壓力對(duì)人口的影響。測(cè)量種群的主要方法是在大型殖民地進(jìn)行人口普查，在繁殖季節(jié)檢查筑巢箱（對(duì)于科羅拉來(lái)說(shuō)，可以在 6 月至 3 月的任何地方），或者定期巡邏海灘以抽樣種群 - 這些方法都沒(méi)有真正提供人口的重要指標(biāo)。也有一些研究附加了標(biāo)簽來(lái)跟蹤個(gè)人。

小藍(lán)企鵝的困境（kororā）

在澳大利亞被稱(chēng)為“仙女”企鵝，在新西蘭被稱(chēng)為“小藍(lán)”企鵝或毛利語(yǔ)名稱(chēng)“kororā”。新西蘭自然保護(hù)部 (DOC) 將 kororā 歸類(lèi)為“下降/處于危險(xiǎn)中”。這個(gè)物種是所有企鵝中最小的，只有 1 公斤重。

Kororā 遍布新西蘭和澳大利亞的南部和東南部。

海上威脅包括導(dǎo)致窒息的漁網(wǎng)和海洋塑料污染。海洋熱浪導(dǎo)致海面溫度升高，這迫使魚(yú)進(jìn)入更深的水域，這意味著企鵝必須走得更遠(yuǎn)，潛入更深的地方尋找食物，近年來(lái)導(dǎo)致饑餓和大量死亡。本文顯示提供了有關(guān)此問(wèn)題的更多信息。

新西蘭的海洋熱浪問(wèn)題繼續(xù)惡化 kororā 的困境 -

大規(guī)模死亡變得越來(lái)越普遍和惡化 -

企鵝在海上度過(guò)了很多時(shí)間，但也經(jīng)常返回陸地。在筑巢和繁殖期間，它們返回同一區(qū)域，它們、它們的蛋和小雞在此期間特別容易受到傷害。由于海平面上升、越來(lái)越高強(qiáng)度的風(fēng)暴和潮汐影響筑巢地點(diǎn)，海岸侵蝕（過(guò)去冬天在穆里懷非常嚴(yán)重）。

陸上引進(jìn)的哺乳動(dòng)物捕食者，如野貓、野狗（經(jīng)常被主人帶入企鵝棲息地）、貓、鼬科動(dòng)物（白鼬、黃鼠狼、雪貂）和老鼠吃雞蛋并殺死小雞和成年人。在澳大利亞，狐貍也構(gòu)成嚴(yán)重威脅。

解決方案

這些問(wèn)題的部分解決方案是檢測(cè)、監(jiān)控和保護(hù)企鵝何時(shí)何地上岸。檢測(cè)通常是通過(guò)尋找被占用的洞穴或在退潮時(shí)在沙灘上尋找指紋來(lái)完成，但這些方法不可擴(kuò)展，企鵝經(jīng)常和筑巢的地方往往偏遠(yuǎn)，而且企鵝從黃昏上岸，這使得這項(xiàng)任務(wù)對(duì)人類(lèi)來(lái)說(shuō)很困難去完成。

解決方案是使用 AI 自動(dòng)執(zhí)行此過(guò)程，并使用無(wú)線(xiàn)電 (Lora) 報(bào)告此過(guò)程。

穆里懷企鵝項(xiàng)目

穆里懷企鵝項(xiàng)目是一個(gè)由志愿者管理的團(tuán)體，旨在為企鵝康復(fù)和保護(hù)提供監(jiān)測(cè)、捕食者控制和誘捕、筑巢箱以及教育和籌款。

他們認(rèn)為鼓勵(lì)企鵝回到穆里懷南部海灣是一場(chǎng)漫長(zhǎng)的比賽，但團(tuán)隊(duì)正在取得進(jìn)展，科羅拉開(kāi)始在部署的 20 個(gè)盒子中筑巢。該團(tuán)隊(duì)過(guò)去常常在退潮時(shí)在沙灘上看到捕食者的蹤跡，經(jīng)過(guò)兩年的誘捕，這些蹤跡開(kāi)始消失，而科羅拉又回到海灣筑巢。

自動(dòng)監(jiān)控和計(jì)數(shù)如何提供幫助？

一系列低成本、長(zhǎng)壽命的攝像機(jī)可以幫助提醒企鵝保護(hù)組織注意企鵝在筑巢地點(diǎn)附近的存在，并引發(fā)行動(dòng)以部署更多的誘捕措施，并向當(dāng)?shù)厝颂峁┯嘘P(guān)它們存在的教育，并讓狗遠(yuǎn)離該地區(qū)。

潛在地，相機(jī)還可以用于檢測(cè)捕食者和威脅的存在，例如狗、貓和鼬類(lèi)（白鼬、黃鼠狼、雪貂）和警報(bào)保護(hù)者。

長(zhǎng)期和更大地理區(qū)域上岸的監(jiān)測(cè)數(shù)字可能有助于種群研究并有助于改善對(duì)鳥(niǎo)類(lèi)的保護(hù)。

項(xiàng)目至今

該項(xiàng)目還沒(méi)有完成，挑戰(zhàn)仍然存在（見(jiàn)下文），但有以下幾點(diǎn)：

• 使用 Seeed、Roboflow 和 YoloV5 的 K1100 套件開(kāi)發(fā)的 POC
• Seeed (SenseCAP A1101) 即將推出低成本、工業(yè)品質(zhì)的 AI 傳感器。
• 我參觀(guān)了偏遠(yuǎn)的穆里懷南部海灣；和
• 與當(dāng)?shù)貙?zhuān)家討論企鵝的行為和項(xiàng)目；

我毫不懷疑這個(gè)項(xiàng)目值得在即將到來(lái)的新西蘭夏季進(jìn)行，那時(shí)企鵝更容易進(jìn)入，對(duì)企鵝的影響也更?。ɡ纾坏┬‰u長(zhǎng)出雛形）。

項(xiàng)目挑戰(zhàn)

這個(gè)項(xiàng)目的挑戰(zhàn)相當(dāng)大，主要是由于企鵝居住的地方，以及經(jīng)歷了有記錄以來(lái)新西蘭最潮濕的冬天。

新西蘭奧克蘭西海岸的企鵝生活在非常偏遠(yuǎn)且難以到達(dá)的海灣。由于捕食和干擾，它們很少出現(xiàn)在當(dāng)?shù)厝丝诔砻艿牡貐^(qū)（它們?cè)?jīng)是常見(jiàn)的地方）

進(jìn)入這些地區(qū)的通道受到嚴(yán)格控制，并且是通過(guò)私人土地，其中土地所有者提供了與當(dāng)?shù)丨h(huán)保組織的接觸。由于這個(gè)原因，以及每年收集訓(xùn)練圖像的時(shí)間一直很困難。

由于企鵝每年這個(gè)時(shí)候都會(huì)上岸繁殖和筑巢，因此需要格外小心，以免打擾企鵝。

隨著 kororā 從黃昏到午夜左右上岸，要克服的最大挑戰(zhàn)之一是能夠在夜間監(jiān)測(cè)廣闊的海灘區(qū)域以及如何用 IR 燈照亮該區(qū)域 - 同時(shí)確保 IR 燈不會(huì)干擾企鵝。

這個(gè)挑戰(zhàn)意味著我需要在 POC 中使用太陽(yáng)能裝置進(jìn)行紅外照明。

實(shí)地考察

在項(xiàng)目期間，我多次參觀(guān)了海灣，并能夠觀(guān)察企鵝在巢穴中并坐在蛋上。下面的圖片是在這些訪(fǎng)問(wèn)中拍攝的。

用“代理”鳥(niǎo)測(cè)試 AI 模型

由于收集訓(xùn)練圖像非常困難（直到新西蘭夏季），并且定期進(jìn)入海灣，我決定在我的財(cái)產(chǎn)的一個(gè)池塘上收集圖像。這個(gè)池塘經(jīng)常有兩種鴨子（野鴨和天堂）和一種叫做 Pūkeko 的新西蘭本土鐵路。這將允許我在稍后部署到難以進(jìn)入的南部海灣之前測(cè)試模型和設(shè)備。

此外，由于該項(xiàng)目的挑戰(zhàn)之一是區(qū)分企鵝和海鷗，這將使我能夠測(cè)試模型以區(qū)分物種。

雖然這些鳥(niǎo)不是夜間活動(dòng)的（盡管在黃昏和黎明時(shí)非?；钴S）并且與 kororā 有明顯的不同，但我覺(jué)得它們將是測(cè)試 AI 模型、相機(jī)、圖像采集和紅外照明的“足夠好”的代理.

訓(xùn)練數(shù)據(jù)采集

由于在 Grove AI 設(shè)備或移動(dòng)設(shè)備上為企鵝或我的代理鳥(niǎo)獲取訓(xùn)練數(shù)據(jù)是不切實(shí)際的，因此我使用了幾種方法來(lái)捕獲圖像。

首先，我使用的是 Kogan（澳大利亞在線(xiàn)零售商）的廉價(jià) Trail Camera - ?這允許用于運(yùn)動(dòng)捕捉、視頻、圖像、夜視和視頻捕捉的定時(shí) - 使其適用 - 但是運(yùn)動(dòng)傳感器的范圍很短。

其次，我使用了一個(gè)很棒的相機(jī)，它是我為在 Wio 終端上使用和拍攝圖像而設(shè)置的。請(qǐng)查看附加到該項(xiàng)目的代碼庫(kù)，該代碼庫(kù)顯示了我如何在 Wio 終端上使用它。這是 Adafruits 的精彩指南 用于相機(jī)以及如何使用。

最后，我從網(wǎng)絡(luò)上獲取了圖像，搜索盡可能多的與我的圖像捕獲相似的開(kāi)源圖像。我在 Penguin 模型中使用的所有圖像目前都基于 28 張圖像，我需要更多。

我還嘗試使用 Dall-e AI -生成圖像變體 - 實(shí)際上效果非常好（見(jiàn)下圖左側(cè)的原始圖像和右側(cè)的 4 個(gè)變體） . 這有助于提供更多的訓(xùn)練圖像。

一旦我有更多本地企鵝的圖像，我將調(diào)整我的互聯(lián)網(wǎng)來(lái)源圖像，以模仿 AI 相機(jī)上提供的帶有紅外照明的照明。

太陽(yáng)能設(shè)置

小藍(lán)企鵝的一個(gè)非常方便的地方是它們是夜間活動(dòng)的，只在傍晚上岸，從黃昏到午夜左右。這意味著設(shè)備可以在白天關(guān)閉，而電池正在充電并在晚上打開(kāi)。

由于 Wio 終端沒(méi)有強(qiáng)大的電源管理，我選擇了一個(gè)超級(jí)簡(jiǎn)單的 POC 操作，使用 12v 定時(shí)器來(lái)打開(kāi)和關(guān)閉設(shè)備的電池電源以及從午夜到黃昏的照明。這會(huì)將設(shè)備插入 PWM 充電控制器上的 USB 端口。

使用 Seeed - SenseCAP A1101 - LoRaWAN Vision AI 傳感器部署模型后，由于電池壽命長(zhǎng)，因此只需使用太陽(yáng)能電池為紅外照明供電。

注釋和訓(xùn)練模型

我按照這個(gè) wiki 中的步驟進(jìn)行操作，它使設(shè)置和培訓(xùn)變得超級(jí)簡(jiǎn)單。我使用 Roboflow 來(lái)注釋圖像。最后我只得到了 28 張圖片——現(xiàn)階段全部來(lái)自互聯(lián)網(wǎng)。

https://wiki.seeedstudio.com/Train-Deploy-AI-Model-A1101-Grove-Vision-AI/

我能夠通過(guò)模型獲得非常好的準(zhǔn)確性——盡管訓(xùn)練數(shù)據(jù)非常有限。

地圖 - 83.6%

精度 - 75.0%

召回 - 78.9%

部署和運(yùn)行推理

我再次使用本教程中的標(biāo)準(zhǔn)代碼 - https://wiki.seeedstudio.com/Train-Deploy-AI-Model-A1101-Grove-Vision-AI/并按照步驟使部署相對(duì)容易。我確實(shí)發(fā)現(xiàn)模型在加載時(shí)經(jīng)常會(huì)失敗，我需要重新啟動(dòng)或拔下 Wio 終端才能使其正確加載 - 我不確定這是為什么。

企鵝的行為很容易計(jì)數(shù)，因?yàn)楫?dāng)企鵝上岸時(shí)，它們會(huì)為樹(shù)木或巖石劃出一條 b 線(xiàn)，以擺脫海鷗和海豹的危險(xiǎn)。這有助于確保我們可以準(zhǔn)確地計(jì)算企鵝數(shù)量。

對(duì)于我的用例，Grove AI 相機(jī)模塊有許多限制。

• 低光 - 相機(jī)模塊在低光下沒(méi)有很好的圖像；
• IR 濾光片 - 如果使用 IR 照明，圖像會(huì)完全褪色；
• FOV - 相機(jī)的視野很窄（66 度），因此不適合覆蓋更廣泛的海灘區(qū)域；

我能夠準(zhǔn)確地推斷出企鵝的圖像（使用測(cè)試圖像）。我還沒(méi)有在我的“鴨子代理”設(shè)置上獲得模型的有效結(jié)果。

通過(guò) TTN 和 DataCake 進(jìn)行 Lorawan 監(jiān)控

另一個(gè)挑戰(zhàn)是由于地形和海灘偏遠(yuǎn)且位于懸崖底部，是為了確保我們能夠覆蓋 Lora。Wio 終端 Lora 現(xiàn)場(chǎng)測(cè)試儀非常適合這一點(diǎn)，我能夠輕松檢查覆蓋范圍。

我將 Dragino LPS8 室內(nèi) LoRaWAN 網(wǎng)關(guān)與標(biāo)準(zhǔn)室內(nèi) ariel 一起使用。我從懸崖邊緣到海灘大約 1.3 公里。使用 Wio Field 測(cè)試儀，我能夠確認(rèn)覆蓋范圍足夠，但我計(jì)劃購(gòu)買(mǎi)室外天線(xiàn)以提高覆蓋范圍。

我已經(jīng)設(shè)置了現(xiàn)場(chǎng)測(cè)試儀，將數(shù)據(jù)推送到 TNN 和 DataCake，以便對(duì)海灣的覆蓋范圍有一個(gè)很好的了解。

我還設(shè)置了 Wio 終端，根據(jù) AI 模型對(duì)象檢測(cè)將數(shù)據(jù)推送到 TTN。

最終測(cè)試設(shè)置

在撰寫(xiě)本文時(shí)，我還沒(méi)有在我的測(cè)試站點(diǎn)部署企鵝模型，并且正在用我的“代理”鳥(niǎo)在我的池塘上測(cè)試設(shè)置。這還不是完全防水的，所以我只在天氣好的時(shí)候部署。到目前為止，我的代理鳥(niǎo)模型效果不佳，僅檢測(cè)到了幾次，我認(rèn)為這是因?yàn)橄鄼C(jī)位于塑料容器中，因此圖像不是很清晰，并且水中有反射，我還沒(méi)有有很多訓(xùn)練數(shù)據(jù)。

我將繼續(xù)改進(jìn)這一點(diǎn)，并為“替補(bǔ)”鳥(niǎo)類(lèi)收集更多的訓(xùn)練數(shù)據(jù)。我還有 TTL 和 Trail 相機(jī)也在運(yùn)行以驗(yàn)證檢測(cè)結(jié)果。我想說(shuō)我離在企鵝試驗(yàn)場(chǎng)部署防水裝置還有一段路要走。紅外照明仍有工作要做（如果運(yùn)動(dòng)傳感器被觸發(fā)，目前由 TTL 相機(jī)或 Trail 相機(jī)提供）。

后續(xù)步驟、增強(qiáng)功能和實(shí)驗(yàn)

如前所述，要克服的最大挑戰(zhàn)是收集更多訓(xùn)練圖像，我將在新西蘭夏季完成這項(xiàng)工作 - 截至撰寫(xiě)本文時(shí)（2022 年 9 月 21 日），目前有許多企鵝在蛋上，所以我們希望能夠在接下來(lái)的幾個(gè)月里，每天都拍攝圖像，因?yàn)樗鼈兊男‰u正在發(fā)育，而父母則出海覓食（我們需要等到雞蛋孵化，因?yàn)槲覀儾幌Ｍ谒鼈冏陔u蛋上時(shí)打擾它們）。

其他變化和實(shí)驗(yàn)：

• 改進(jìn)代理鳥(niǎo)模型并部署在我的池塘設(shè)置的防水測(cè)試。
• 調(diào)查將相機(jī)模塊或鏡頭更換成這樣的東西 -
• 對(duì)紅外照明選項(xiàng)進(jìn)行更多調(diào)查，以?xún)?yōu)化我可以覆蓋多少海灘并仍然獲得不錯(cuò)的推斷。
• 使用 Edge Impulses FOMO 模型進(jìn)行調(diào)查 - 即將發(fā)布對(duì) Grove Vision AI 的支持。
• 看看是否可以使用 Edge Impulse Himax We I Plus 編譯器部署模型（我不知道這是否可行）。

?

照片學(xué)分

https://visuals.newzealand.com/assets/389198 - 但尼丁新西蘭

https://visuals.newzealand.com/assets/678356 - 邁爾斯霍爾登