描述

在制造業(yè)和建筑業(yè)，工人每天都面臨著嚴重的健康和安全風險。工地或生產車間的工人可能會被材料和設備絆倒或被掉落的物體擊中。如果不及早發(fā)現(xiàn)跌倒，可能會造成嚴重傷害。作為解決方案，我們正在開發(fā)一種設備，可以快速檢測監(jiān)控區(qū)域的跌倒情況，并向特定區(qū)域的指定人員發(fā)出警報。該設備由 Raspberry Pi 4 和一個運行 FOMO 的攝像頭模塊組成，能夠實時檢測跌倒。每個事件都可以寫入數(shù)據(jù)庫并顯示在網絡儀表盤中，因此安全管理員可以輕松檢查受監(jiān)控設施中的當前安全狀態(tài)。在執(zhí)行層面，

數(shù)據(jù)采集??和標記

數(shù)據(jù)收集是每個機器學習項目的第一步。正確收集數(shù)據(jù)是影響模型性能的主要因素之一。為您收集的項目提供廣泛的視角和縮放級別會很有幫助。您可以從任何設備或開發(fā)板獲取數(shù)據(jù)，或上傳您自己的數(shù)據(jù)集，進行數(shù)據(jù)采集。因為我們有自己的數(shù)據(jù)集，所以我們使用“數(shù)據(jù)采集”選項卡上傳它們。首先，我們將 Raspberry pi 與 Edge Impulse 連接起來，并通過將攝像頭安裝在建筑物的屋頂上來捕捉圖像。要將 Raspberry pi 與 Edge Impulse 鏈接起來，請按照本教程進行操作。神經網絡訪問的數(shù)據(jù)越多，它們識別物體的能力就越好。

?

收集完圖像后，我們通過移至標記隊列對其進行標記。在我們的例子中，我們只有兩個標簽 - Standing 和 Fall。令人驚訝的事實是，Edge Impulse 將嘗試通過在后臺運行對象跟蹤算法來自動執(zhí)行此過程，以使此標記過程更容易。然后我們將圖像拆分為測試集和訓練集，這對于驗證我們的模型非常重要。在那里我們保持 78/22 的比例，最好保持這樣的比例。

沖量設計

這是我們的沖動。如您所見，我們使用 96x96 圖像并將調整大小模式設置為“適合最短軸”，因為在此設置中，F(xiàn)OMO 表現(xiàn)非常好。

?

在圖像選項卡中，我們使用灰度作為顏色深度。然后我們?yōu)槲覀兊膱D像生成特征。即使對象相同，特征也可以區(qū)分。

?

模型

現(xiàn)在是時候開始訓練機器學習模型了。從頭開始生成機器學習模型需要花費大量時間和精力。相反，我們將使用一種稱為“遷移學習”的技術，該技術使用我們數(shù)據(jù)上的預訓練模型。這樣我們就可以用更少的數(shù)據(jù)輸入創(chuàng)建一個準確的機器學習模型。然后我們調整訓練參數(shù)以獲得精度更高的模型，最后我們得到了這個。

?

我們使用FOMO (MobileNet V2 0.35)作為神經網絡。這是我們的訓練輸出。我們得到了 98% 的準確率。

?

通過檢查混淆矩陣，很明顯該模型運行良好，但我們需要檢查是否存在過度擬合的可能性。這是我們在模型測試選項卡下的模型測試結果，它也適用于測試數(shù)據(jù)。

?

測試

為了進行測試，我們使用了測試和訓練中未提供的圖像。在這里，我們正在測試 2 個樣本圖像，讓我們看看我們的模型的表現(xiàn)如何。

?

?

在我們所有的測試樣本中，該模型的表現(xiàn)都非常好，因此我們可以繼續(xù)將其部署到設備上。

Linux Python 開發(fā)工具包

?

通過使用這個庫，我們可以使用 Python 在 Linux 機器上運行我們的機器學習模型。為此，我們需要遵循此安裝指南。然后我們從 Edge Impulse 下載模型并修改示例代碼，使我們的項目活躍起來。