描述

在制造業和建筑業，工人每天都面臨著嚴重的健康和安全風險。工地或生產車間的工人可能會被材料和設備絆倒或被掉落的物體擊中。如果不及早發現跌倒，可能會造成嚴重傷害。作為解決方案，我們正在開發一種設備，可以快速檢測監控區域的跌倒情況，并向特定區域的指定人員發出警報。該設備由 Raspberry Pi 4 和一個運行 FOMO 的攝像頭模塊組成，能夠實時檢測跌倒。每個事件都可以寫入數據庫并顯示在網絡儀表盤中，因此安全管理員可以輕松檢查受監控設施中的當前安全狀態。在執行層面，

數據采集??和標記

數據收集是每個機器學習項目的第一步。正確收集數據是影響模型性能的主要因素之一。為您收集的項目提供廣泛的視角和縮放級別會很有幫助。您可以從任何設備或開發板獲取數據，或上傳您自己的數據集，進行數據采集。因為我們有自己的數據集，所以我們使用“數據采集”選項卡上傳它們。首先，我們將 Raspberry pi 與 Edge Impulse 連接起來，并通過將攝像頭安裝在建筑物的屋頂上來捕捉圖像。要將 Raspberry pi 與 Edge Impulse 鏈接起來，請按照本教程進行操作。神經網絡訪問的數據越多，它們識別物體的能力就越好。

?

收集完圖像后，我們通過移至標記隊列對其進行標記。在我們的例子中，我們只有兩個標簽 - Standing 和 Fall。令人驚訝的事實是，Edge Impulse 將嘗試通過在后臺運行對象跟蹤算法來自動執行此過程，以使此標記過程更容易。然后我們將圖像拆分為測試集和訓練集，這對于驗證我們的模型非常重要。在那里我們保持 78/22 的比例，最好保持這樣的比例。

沖量設計

這是我們的沖動。如您所見，我們使用 96x96 圖像并將調整大小模式設置為“適合最短軸”，因為在此設置中，FOMO 表現非常好。

?

在圖像選項卡中，我們使用灰度作為顏色深度。然后我們為我們的圖像生成特征。即使對象相同，特征也可以區分。

?

模型

現在是時候開始訓練機器學習模型了。從頭開始生成機器學習模型需要花費大量時間和精力。相反，我們將使用一種稱為“遷移學習”的技術，該技術使用我們數據上的預訓練模型。這樣我們就可以用更少的數據輸入創建一個準確的機器學習模型。然后我們調整訓練參數以獲得精度更高的模型，最后我們得到了這個。

?

我們使用FOMO (MobileNet V2 0.35)作為神經網絡。這是我們的訓練輸出。我們得到了 98% 的準確率。

?

通過檢查混淆矩陣，很明顯該模型運行良好，但我們需要檢查是否存在過度擬合的可能性。這是我們在模型測試選項卡下的模型測試結果，它也適用于測試數據。

?

測試

為了進行測試，我們使用了測試和訓練中未提供的圖像。在這里，我們正在測試 2 個樣本圖像，讓我們看看我們的模型的表現如何。

?

?

在我們所有的測試樣本中，該模型的表現都非常好，因此我們可以繼續將其部署到設備上。

Linux Python 開發工具包

?

通過使用這個庫，我們可以使用 Python 在 Linux 機器上運行我們的機器學習模型。為此，我們需要遵循此安裝指南。然后我們從 Edge Impulse 下載模型并修改示例代碼，使我們的項目活躍起來。