描述

問題

廢棄的網(wǎng)，海洋塑料污染。海溫上升，海洋熱浪。海岸侵蝕和洪水破壞了筑巢棲息地。被野貓、狗、鼬和老鼠捕食。對于小藍企鵝（毛利語中的 kororā）來說，情況非常糟糕。

挑戰(zhàn)之一是了解這些壓力對人口的影響。測量種群的主要方法是在大型殖民地進行人口普查，在繁殖季節(jié)檢查筑巢箱（對于科羅拉來說，可以在 6 月至 3 月的任何地方），或者定期巡邏海灘以抽樣種群 - 這些方法都沒有真正提供人口的重要指標(biāo)。也有一些研究附加了標(biāo)簽來跟蹤個人。

小藍企鵝的困境（kororā）

在澳大利亞被稱為“仙女”企鵝，在新西蘭被稱為“小藍”企鵝或毛利語名稱“kororā”。新西蘭自然保護部 (DOC) 將 kororā 歸類為“下降/處于危險中”。這個物種是所有企鵝中最小的，只有 1 公斤重。

Kororā 遍布新西蘭和澳大利亞的南部和東南部。

海上威脅包括導(dǎo)致窒息的漁網(wǎng)和海洋塑料污染。海洋熱浪導(dǎo)致海面溫度升高，這迫使魚進入更深的水域，這意味著企鵝必須走得更遠，潛入更深的地方尋找食物，近年來導(dǎo)致饑餓和大量死亡。本文顯示提供了有關(guān)此問題的更多信息。

新西蘭的海洋熱浪問題繼續(xù)惡化 kororā 的困境 -

大規(guī)模死亡變得越來越普遍和惡化 -

企鵝在海上度過了很多時間，但也經(jīng)常返回陸地。在筑巢和繁殖期間，它們返回同一區(qū)域，它們、它們的蛋和小雞在此期間特別容易受到傷害。由于海平面上升、越來越高強度的風(fēng)暴和潮汐影響筑巢地點，海岸侵蝕（過去冬天在穆里懷非常嚴(yán)重）。

陸上引進的哺乳動物捕食者，如野貓、野狗（經(jīng)常被主人帶入企鵝棲息地）、貓、鼬科動物（白鼬、黃鼠狼、雪貂）和老鼠吃雞蛋并殺死小雞和成年人。在澳大利亞，狐貍也構(gòu)成嚴(yán)重威脅。

解決方案

這些問題的部分解決方案是檢測、監(jiān)控和保護企鵝何時何地上岸。檢測通常是通過尋找被占用的洞穴或在退潮時在沙灘上尋找指紋來完成，但這些方法不可擴展，企鵝經(jīng)常和筑巢的地方往往偏遠，而且企鵝從黃昏上岸，這使得這項任務(wù)對人類來說很困難去完成。

解決方案是使用 AI 自動執(zhí)行此過程，并使用無線電 (Lora) 報告此過程。

穆里懷企鵝項目

穆里懷企鵝項目是一個由志愿者管理的團體，旨在為企鵝康復(fù)和保護提供監(jiān)測、捕食者控制和誘捕、筑巢箱以及教育和籌款。

他們認(rèn)為鼓勵企鵝回到穆里懷南部海灣是一場漫長的比賽，但團隊正在取得進展，科羅拉開始在部署的 20 個盒子中筑巢。該團隊過去常常在退潮時在沙灘上看到捕食者的蹤跡，經(jīng)過兩年的誘捕，這些蹤跡開始消失，而科羅拉又回到海灣筑巢。

自動監(jiān)控和計數(shù)如何提供幫助？

一系列低成本、長壽命的攝像機可以幫助提醒企鵝保護組織注意企鵝在筑巢地點附近的存在，并引發(fā)行動以部署更多的誘捕措施，并向當(dāng)?shù)厝颂峁┯嘘P(guān)它們存在的教育，并讓狗遠離該地區(qū)。

潛在地，相機還可以用于檢測捕食者和威脅的存在，例如狗、貓和鼬類（白鼬、黃鼠狼、雪貂）和警報保護者。

長期和更大地理區(qū)域上岸的監(jiān)測數(shù)字可能有助于種群研究并有助于改善對鳥類的保護。

項目至今

該項目還沒有完成，挑戰(zhàn)仍然存在（見下文），但有以下幾點：

• 使用 Seeed、Roboflow 和 YoloV5 的 K1100 套件開發(fā)的 POC
• Seeed (SenseCAP A1101) 即將推出低成本、工業(yè)品質(zhì)的 AI 傳感器。
• 我參觀了偏遠的穆里懷南部海灣；和
• 與當(dāng)?shù)貙＜矣懻撈簌Z的行為和項目；

我毫不懷疑這個項目值得在即將到來的新西蘭夏季進行，那時企鵝更容易進入，對企鵝的影響也更小（例如，一旦小雞長出雛形）。

項目挑戰(zhàn)

這個項目的挑戰(zhàn)相當(dāng)大，主要是由于企鵝居住的地方，以及經(jīng)歷了有記錄以來新西蘭最潮濕的冬天。

新西蘭奧克蘭西海岸的企鵝生活在非常偏遠且難以到達的海灣。由于捕食和干擾，它們很少出現(xiàn)在當(dāng)?shù)厝丝诔砻艿牡貐^(qū)（它們曾經(jīng)是常見的地方）

進入這些地區(qū)的通道受到嚴(yán)格控制，并且是通過私人土地，其中土地所有者提供了與當(dāng)?shù)丨h(huán)保組織的接觸。由于這個原因，以及每年收集訓(xùn)練圖像的時間一直很困難。

由于企鵝每年這個時候都會上岸繁殖和筑巢，因此需要格外小心，以免打擾企鵝。

隨著 kororā 從黃昏到午夜左右上岸，要克服的最大挑戰(zhàn)之一是能夠在夜間監(jiān)測廣闊的海灘區(qū)域以及如何用 IR 燈照亮該區(qū)域 - 同時確保 IR 燈不會干擾企鵝。

這個挑戰(zhàn)意味著我需要在 POC 中使用太陽能裝置進行紅外照明。

實地考察

在項目期間，我多次參觀了海灣，并能夠觀察企鵝在巢穴中并坐在蛋上。下面的圖片是在這些訪問中拍攝的。

用“代理”鳥測試 AI 模型

由于收集訓(xùn)練圖像非常困難（直到新西蘭夏季），并且定期進入海灣，我決定在我的財產(chǎn)的一個池塘上收集圖像。這個池塘經(jīng)常有兩種鴨子（野鴨和天堂）和一種叫做 Pūkeko 的新西蘭本土鐵路。這將允許我在稍后部署到難以進入的南部海灣之前測試模型和設(shè)備。

此外，由于該項目的挑戰(zhàn)之一是區(qū)分企鵝和海鷗，這將使我能夠測試模型以區(qū)分物種。

雖然這些鳥不是夜間活動的（盡管在黃昏和黎明時非常活躍）并且與 kororā 有明顯的不同，但我覺得它們將是測試 AI 模型、相機、圖像采集和紅外照明的“足夠好”的代理.

訓(xùn)練數(shù)據(jù)采集

由于在 Grove AI 設(shè)備或移動設(shè)備上為企鵝或我的代理鳥獲取訓(xùn)練數(shù)據(jù)是不切實際的，因此我使用了幾種方法來捕獲圖像。

首先，我使用的是 Kogan（澳大利亞在線零售商）的廉價 Trail Camera - ?這允許用于運動捕捉、視頻、圖像、夜視和視頻捕捉的定時 - 使其適用 - 但是運動傳感器的范圍很短。

其次，我使用了一個很棒的相機，它是我為在 Wio 終端上使用和拍攝圖像而設(shè)置的。請查看附加到該項目的代碼庫，該代碼庫顯示了我如何在 Wio 終端上使用它。這是 Adafruits 的精彩指南 用于相機以及如何使用。

最后，我從網(wǎng)絡(luò)上獲取了圖像，搜索盡可能多的與我的圖像捕獲相似的開源圖像。我在 Penguin 模型中使用的所有圖像目前都基于 28 張圖像，我需要更多。

我還嘗試使用 Dall-e AI -生成圖像變體 - 實際上效果非常好（見下圖左側(cè)的原始圖像和右側(cè)的 4 個變體） . 這有助于提供更多的訓(xùn)練圖像。

一旦我有更多本地企鵝的圖像，我將調(diào)整我的互聯(lián)網(wǎng)來源圖像，以模仿 AI 相機上提供的帶有紅外照明的照明。

太陽能設(shè)置

小藍企鵝的一個非常方便的地方是它們是夜間活動的，只在傍晚上岸，從黃昏到午夜左右。這意味著設(shè)備可以在白天關(guān)閉，而電池正在充電并在晚上打開。

由于 Wio 終端沒有強大的電源管理，我選擇了一個超級簡單的 POC 操作，使用 12v 定時器來打開和關(guān)閉設(shè)備的電池電源以及從午夜到黃昏的照明。這會將設(shè)備插入 PWM 充電控制器上的 USB 端口。

使用 Seeed - SenseCAP A1101 - LoRaWAN Vision AI 傳感器部署模型后，由于電池壽命長，因此只需使用太陽能電池為紅外照明供電。

注釋和訓(xùn)練模型

我按照這個 wiki 中的步驟進行操作，它使設(shè)置和培訓(xùn)變得超級簡單。我使用 Roboflow 來注釋圖像。最后我只得到了 28 張圖片——現(xiàn)階段全部來自互聯(lián)網(wǎng)。

https://wiki.seeedstudio.com/Train-Deploy-AI-Model-A1101-Grove-Vision-AI/

我能夠通過模型獲得非常好的準(zhǔn)確性——盡管訓(xùn)練數(shù)據(jù)非常有限。

地圖 - 83.6%

精度 - 75.0%

召回 - 78.9%

部署和運行推理

我再次使用本教程中的標(biāo)準(zhǔn)代碼 - https://wiki.seeedstudio.com/Train-Deploy-AI-Model-A1101-Grove-Vision-AI/并按照步驟使部署相對容易。我確實發(fā)現(xiàn)模型在加載時經(jīng)常會失敗，我需要重新啟動或拔下 Wio 終端才能使其正確加載 - 我不確定這是為什么。

企鵝的行為很容易計數(shù)，因為當(dāng)企鵝上岸時，它們會為樹木或巖石劃出一條 b 線，以擺脫海鷗和海豹的危險。這有助于確保我們可以準(zhǔn)確地計算企鵝數(shù)量。

對于我的用例，Grove AI 相機模塊有許多限制。

• 低光 - 相機模塊在低光下沒有很好的圖像；
• IR 濾光片 - 如果使用 IR 照明，圖像會完全褪色；
• FOV - 相機的視野很窄（66 度），因此不適合覆蓋更廣泛的海灘區(qū)域；

我能夠準(zhǔn)確地推斷出企鵝的圖像（使用測試圖像）。我還沒有在我的“鴨子代理”設(shè)置上獲得模型的有效結(jié)果。

通過 TTN 和 DataCake 進行 Lorawan 監(jiān)控

另一個挑戰(zhàn)是由于地形和海灘偏遠且位于懸崖底部，是為了確保我們能夠覆蓋 Lora。Wio 終端 Lora 現(xiàn)場測試儀非常適合這一點，我能夠輕松檢查覆蓋范圍。

我將 Dragino LPS8 室內(nèi) LoRaWAN 網(wǎng)關(guān)與標(biāo)準(zhǔn)室內(nèi) ariel 一起使用。我從懸崖邊緣到海灘大約 1.3 公里。使用 Wio Field 測試儀，我能夠確認(rèn)覆蓋范圍足夠，但我計劃購買室外天線以提高覆蓋范圍。

我已經(jīng)設(shè)置了現(xiàn)場測試儀，將數(shù)據(jù)推送到 TNN 和 DataCake，以便對海灣的覆蓋范圍有一個很好的了解。

我還設(shè)置了 Wio 終端，根據(jù) AI 模型對象檢測將數(shù)據(jù)推送到 TTN。

最終測試設(shè)置

在撰寫本文時，我還沒有在我的測試站點部署企鵝模型，并且正在用我的“代理”鳥在我的池塘上測試設(shè)置。這還不是完全防水的，所以我只在天氣好的時候部署。到目前為止，我的代理鳥模型效果不佳，僅檢測到了幾次，我認(rèn)為這是因為相機位于塑料容器中，因此圖像不是很清晰，并且水中有反射，我還沒有有很多訓(xùn)練數(shù)據(jù)。

我將繼續(xù)改進這一點，并為“替補”鳥類收集更多的訓(xùn)練數(shù)據(jù)。我還有 TTL 和 Trail 相機也在運行以驗證檢測結(jié)果。我想說我離在企鵝試驗場部署防水裝置還有一段路要走。紅外照明仍有工作要做（如果運動傳感器被觸發(fā)，目前由 TTL 相機或 Trail 相機提供）。

后續(xù)步驟、增強功能和實驗

如前所述，要克服的最大挑戰(zhàn)是收集更多訓(xùn)練圖像，我將在新西蘭夏季完成這項工作 - 截至撰寫本文時（2022 年 9 月 21 日），目前有許多企鵝在蛋上，所以我們希望能夠在接下來的幾個月里，每天都拍攝圖像，因為它們的小雞正在發(fā)育，而父母則出海覓食（我們需要等到雞蛋孵化，因為我們不希望在它們坐在雞蛋上時打擾它們）。

其他變化和實驗：

• 改進代理鳥模型并部署在我的池塘設(shè)置的防水測試。
• 調(diào)查將相機模塊或鏡頭更換成這樣的東西 -
• 對紅外照明選項進行更多調(diào)查，以優(yōu)化我可以覆蓋多少海灘并仍然獲得不錯的推斷。
• 使用 Edge Impulses FOMO 模型進行調(diào)查 - 即將發(fā)布對 Grove Vision AI 的支持。
• 看看是否可以使用 Edge Impulse Himax We I Plus 編譯器部署模型（我不知道這是否可行）。

?

照片學(xué)分

https://visuals.newzealand.com/assets/389198 - 但尼丁新西蘭

https://visuals.newzealand.com/assets/678356 - 邁爾斯霍爾登