描述

問題

我喜歡露營，但我不是一個“露營愛好者”，我通常每年都會和家人一起露營一到兩次。但也有不少露營愛好者去深林。雖然在深林中露營非常冒險，但存在熊、土狼等野生動物的威脅。有使用攝像頭追蹤野生動物的設備，但問題是攝像頭在黑暗中無法工作。在大多數情況下，野生動物會在夜間襲擊露營者。

我們如何解決？

我們需要一種可以在黑暗中工作并在任何野生動物接近時提醒露營者的設備。我們不能為此使用普通相機。我們需要一些可以在沒有光的情況下工作的東西，比如熱像儀。

解決方案是露營車

隆重推出配備 Grove MLX90640 紅外熱像儀和 Seeed 的 Wio 終端的露營車。在 Wio 終端上運行的 tinyML 模型可以預測是否有任何動物或人類靠近。如果檢測到，數據將發送到 AWS IoT 主題。

?

?

我已經使用 Edge Impulse Studio 構建了 ML 模型。在編寫此項目時（2021 年 11 月），EI 不支持用于開箱即用數據收集的熱像儀饋送，因此從 Wio 終端收集數據并轉發到 Edge Impulse 以構建模型。數據收集過程的靈感來自 Naveen 的hackster項目。

創建EI項目

轉到您的EI 帳戶并創建一個新項目。導航到“密鑰”選項卡并添加新的 HMAC 密鑰。將密鑰復制到某處，稍后您將需要它。

?

數據采集

紅外熱像儀搭載了一個32x24陣列的熱傳感器（MLX90640），它可以檢測腳外物體的溫度，精度為±1.5℃。為了方便地獲取熱圖像，使用I2C協議從相機中獲取低分辨率圖像。數據將是 768 個溫度值的 32x24 數組。MLX90640 通過 I2C 端口連接到 Wio 終端，我已插入 SD 卡以捕獲 CSV 文件中的讀數。Wio 終端上的 3 個按鈕用于標記 3 個類

A - Animal , B- Human , C - Background

使用程序 WIO_Camper_Data_Collector.ino 收集數據。上傳此程序并開始收集數據。

收集數據后，從 Wio Terminal 中取出 SD 卡并插入您的計算機。您應該會看到如下所示的 CVS 文件。

?

每個文件有 768 個值，用逗號分隔。

?

將所有文件復制到文件夾 data 下名為 raw 的目錄中。然后運行程序imager.py ，它將在 /data/visual 文件夾下創建數據的可視化表示。

python3 imager.py

此步驟是可選的。它可以幫助您以圖像格式查看 csv 數據，但與訓練模型無關。

?

數據轉發

這是非常有趣的部分。Edge Impulse 數據轉發器僅支持時間序列原始數據。但是熱像儀數據是非時間序列的。相反，它是一個 32x24 的數組，其中包含 768 個離散值。我們將其視為間隔為 1 微秒的單通道 768 時間序列數據。下圖將幫助您想象我在說什么。

?

您會注意到一張圖像（768 個值）表示為間隔為 1 毫秒的時間序列數據。現在您知道我們希望在上傳到 Edge Impulse 之前如何格式化數據了。讓我們開始吧。

打開data-formatter.py并粘貼您之前獲得的 HMAC 密鑰。然后運行程序。

python3 data-formatter.py

該程序將為每個 cvs 文件創建一個 json 文件并將它們存儲在/data/formatted_data文件夾下。您可以在下面看到值表示為間隔為 1 秒的時間序列數據。只有傳感器數據通道是溫度。

?

當您準備好數據后，我們將使用 Edge Impulse CLI 上傳數據。您需要安裝 CLI。按照本教程設置 CLI。

CD 進入 formatted_data 文件夾并執行以下命令。

edge-impulse-uploader --category split *.json

這應該將所有 json 數據上傳到“數據采集”頁面下的 Edge Impulse 項目。

?

建立模型

當我們收集了數據后，讓我們構建和訓練我們的模型。導航到“創建沖動”頁面。

?

單擊“添加輸入塊”，選擇“時間序列數據”。將窗口大小和窗口增加大小都設置為 768ms。還記得我們的 json 數據有 768 個值，間隔為 1 毫秒嗎？

接下來，單擊“添加處理塊”，選擇“原始數據”。

然后，點擊“Add a learning block”，選擇 Classification (Keras) 并保存 impulse。

?

導航到“原始數據”頁面，保持默認并移動到“NN 分類器”，調整訓練周期和學習率。盡量不要過度擬合模型。如果您的模型表現不佳，請嘗試收集更多數據并重新訓練。

?

下載 Arduino 庫

導航到“部署”頁面，選擇“Arduino”并構建。這會將庫下載為 zip 文件。將此庫導入 Arduino IDE。我假設你的項目名稱是“camper”，你的 arduino 庫文件應該是camper_inferencing.h

?

設置 AWS 物聯網

在這個項目的第一階段，我使用 WiFi 連接將數據發送到 AWS IoT。要使Wio 終端連接wifi，您需要更新設備固件。過程非常簡單。按照此說明進行操作。

要連接到 AWS，您需要創建一個“Thing”并使用證書連接到“Thing”。Seeed studio 編寫了一個實用的 python 程序，它將為您創建所有資源。按照這個。我有另一個項目，我在其中解釋了 AWS 設置。你可以參考這個項目。

create_thing.py將在終端上輸出證書和私鑰。復制它們并粘貼到cogfig.h文件中。

#ifndef _CONFIG_H_
#define _CONFIG_H_

// TODO ADD YOUR CONFIGURATION HERE
// WiFi and MQTT configuration
static auto constexpr WIFI_SSID = "";
static auto constexpr WIFI_PASSWORD = "";

// DHCP client id
static auto constexpr CLIENT_ID = "CLIENTID";
// hostname of your MQTT ATS endpoint
static auto constexpr HOST_ADDRESS = "xxxxxxx-ats.iot.us-east-1.amazonaws.com";

static auto constexpr TOPIC_NAME = "camper";
static auto constexpr ALERT_TOPIC_NAME = "camper_alerts";

// "AWS root CA1 and CA2 (RSA)", see
// https://docs.aws.amazon.com/iot/latest/developerguide/managing-device-certs.html#server-authentication

static auto constexpr aws_root_ca_pem = "CA_Root_Certificate";

// certificate and private key for the thing. See README.md for details
// and use the create_thing.py script to create certificate and key.
// "The certificate for this thing"
auto constexpr certificate_pem_crt = "";
auto constexpr private_pem_key= "";
#endif

您還需要輸入您的 wifi 憑證和 AWS IoT 主機地址。更改后，將 WIO_Camper_Inference.ino 程序上傳到 wio 終端。

設備每分鐘都會向 AWS IoT 主題發送數據，當檢測到動物或人類時，設備也會發出嗡嗡聲。

?

我用我的寵物測試了這個，因為我不經常在外面看到動物，但我計劃找個時間在動物園里測試一下 :)

?

由于數據在 AWS 中，您可以從這里做很多事情。就像將數據發送到 dynamodb、運行一些分析、使用 Amazon Pinpoint 將推送通知發送到手機、將文本消息發送到您的手機。

階段2

正如您所想象的，依賴 wifi 在這里并不是一個好的解決方案，因為該設備主要會在您的家庭 wifi 之外。我的計劃很少

• 我可以構建一個移動應用程序，通過藍牙連接到 Wio 終端并將數據發送到移動應用程序，而不是 wio 終端直接向 AWS 發送數據。然后，移動應用程序將使用 Cognito 將數據發送到 AWS。我在我的伙伴項目中做過類似的事情。
• 我可以完全消除對 wifi 或蜂窩連接的依賴，并直接從設備向 LoRa 網絡（TTN 或 Helium）發送數據。然后 TTN 或 Helium 會將消息委托給 AWS IoT。我以前做過類似的項目。您可以查看保存泥炭地或VFence項目。

?

該項目也發布在PCBWay上。