描述

我們試圖解決什么問題？

社區支持農業 (CSA) 計劃使用溫室或塑料大棚種植時令有機蔬菜。由于他們使用的是不使用殺蟲劑或除草劑的再生農業技術，植物病害和提高作物質量是一項巨大的挑戰。這些溫室通常也位于沒有電源或有線互聯網接入的地區。

我們想要做的是構建一個可以輕松安裝在溫室中的解決方案，使用基于圖像的機器學習來執行植物病害檢測。

現有的解決方案主要集中在室外種植的玉米、小麥、水稻和大豆等作物上，使用 UAV（無人駕駛飛行器）收集圖像。為溫室創建的解決方案假設主電源可用性和/或 WiFi 訪問。

我們的解決方案

該裝置安裝在溫室頂部，這樣就可以使用 Spresense 攝像頭板拍攝溫室中的植物圖像。Sony Spresense 和攝像頭傳感器使我們能夠在電池供電的微控制器上捕獲圖像并執行嵌入式機器學習 (ML)，而無需將圖像發送到云端進行處理。相反，我們可以使用帶有 LTE-M 或 NB-IoT 的 Spresense LTE 擴展板來發送 ML 算法的觀察結果。結果和照片也保存到機載 SD 卡中。

該項目使用 Edge Impulse 在新植物病害數據集中近 23,000（！） 幅番茄植株圖像上訓練和驗證分類器。該分類器可以檢測番茄植株上的 9 種不同植物病害。

設置固件

該固件基于Edge Impulse 提供的4G LTE Con??nected Smart Wildlife Camera 。

• 創建Edge Impulse帳戶
• 安裝Arduino IDE
• 安裝Spresense Arduino 庫
• 在Tools->Board選擇Spresense設備中，然后在Tools->Memory選擇下1536(kB)。
• 從 GitHub 克隆我們的greenhouse-ai倉庫
• 從 Edge Impulse，克隆我們的植物病害庫
• 在克隆的 Edge Impulse 項目中，選擇Arduino Library并單擊build。按照說明將此庫添加到您的 Arduino IDE
• 在 Arduino IDE 中，單擊 File->Open，然后導航到您之前克隆的greenhouse-ai存儲庫文件夾，并打開plant-sketch.ino該文件夾中的文件firmware。
• 構建項目以驗證它是否正確編譯
• 在該4g_camera.ino文件中，使用您的 SIM 卡詳細信息配置 APN。
• 還要4g_camera.ino,指定 Web 服務器的詳細信息。
• 現在，重建并上傳草圖。

設置索尼 Spresense

• 將 2 針 JST-PH 連接器焊接到主板
• 記得在主板上的 IC4 上安裝遮光密封
• 將迷你墊片插入 LTE 擴展板并連接主板，確保板對板連接器正確就位
• 將攝像頭模塊連接到主板
• 將 SD 卡插入 SD 卡槽
• 將 IoT SIM 卡插入 SIM 插槽
• 安裝電池
• 將 Sony Spresense 推入外殼底座，電池位于擴展板下方
• 將攝像頭模塊推入外殼蓋，然后將蓋子推入外殼底座
• 使用 25 毫米（1 英寸）M5 螺栓和螺母將夾具連接到外殼底座
• 使用 Arduino 在 Spresense 上編程固件

打印 Spresense 并將其安裝到外殼中

外殼的設計使所有東西都能壓合，不需要螺絲。需要使用 25 毫米（1 英寸）M5 螺栓和螺母將夾具連接到外殼。如果需要，可以在 OpenSCAD 中編輯設計。

使用以下設置在 Prusa i3 MK3 打印機上打印：

• 燈絲：PETG
• 0.20 毫米速度
• 填充物：20%
• 支持：無

打印外殼大約需要 2 小時，打印夾子需要 30 分鐘。

將 Spresense 壓入外殼底座，電池位于底部

?

將攝像頭模塊壓入外殼蓋

?

將外殼蓋壓入外殼底座

?

使用 1 英寸（25 毫米）M5 螺栓和螺母將夾具連接到外殼

?

設置網絡服務器

當前固件使用 HTTP POST 請求將分類結果作為 JSON 發送，格式如下：

{
    "date": "2022/07/15",
    "time": "16:16:19",
    "observation: "tomato-healthy_",
    "battery": 4030
}

我編寫了一個小的 RESTful API（主要基于Rob Kendal的教程）獲取 JSON 對象并將其存儲為 JSON 文件，這樣您就可以在基本的 Web 服務器上運行它而無需數據庫。

我使用 DigitalOcean 來托管我的服務器，但您可以將它放在任何支持 Node.js 的地方。按照 DigitalOcean 上的步驟在 Ubuntu VPS 上設置 Node.js 生產環境，并在您的服務器上克隆https://github.com/gniezen/greenhouse-ai存儲庫。運行npm install以安裝所有依賴項，并npm start檢查它是否有效。如果它在工作，請按Ctrl-C停止服務器，然后使用 PM2 啟動它，而不是運行pm2 start server.js.

真實世界的用例

我在Summit Good安裝了這個裝置，這是一個當地的 CSA 計劃，在城市的郊區有一個遠程溫室/塑料隧道。

多隧道中成排的番茄植株顯示了該單元的位置

?

該裝置通過金屬橫桿上的夾子安裝

?

該裝置具有以下啟動順序：

• 初始化相機
• 安裝SD卡（保存觀察照片）
• 啟動 GPS 模塊（以獲取準確的觀測時間戳）
• 連接LTE/NB-IoT網絡（發送觀測結果）
• 啟動相機

顯示程序進程的單元串行輸出

?

當 ML 算法檢測到植物時，當檢測到植物時，它會在設備上分類為以下之一：

• 健康植物
• 細菌斑
• 早疫病
• 晚疫病
• 葉霉菌
• 葉斑病
• 花葉病毒
• 葉螨
• 目標點
• 黃曲葉病毒

結果與本地日期和時間以及電池電量一起被轉換為 JSON 格式。然后將觀察結果發送到網絡服務器，并以表格形式顯示如下：

網站上的觀察結果

?

只有當設備通過 GPS 獲得準確的時間戳時，結果才會被保存，并且當蜂窩網絡不可用時，它仍會將結果保存到 SD 卡中。發送結果后，設備將關閉蜂窩和 GPS 模塊并進入深度睡眠狀態 3 小時以節省電池電量。

結論

在這個項目中，我們實施了一個電池供電的解決方案，用于在沒有接入有線互聯網的情況下遙感溫室中的番茄植物病害。ML 分類發生在設備上，只有觀察結果通過 LPWAN 網絡發送到 Web 服務器。

這個項目可以很容易地修改以識別其他類型的植物病害，或者可以使用多個單元來覆蓋更大的區域。該裝置還可以安裝在育苗盤上方，使用Edge Impulse 上的新 FOMO 算法來嘗試檢測發芽的幼苗數量。另一個想法是嘗試檢測育苗盤是濕的還是干的并需要澆水。

我期待看到您如何修改和構建此設計！