描述

我們構建了一個數字“魔杖”，可以揮動它來鑄造各種字母。它以多維傳感器數據作為輸入數據，其輸出將是一個簡單的分類，以指示運動所屬的類別。我們利用深度學習的魔力將普通的數字數據轉化為有意義的信息！

魔杖通過點亮 LED 對每個咒語做出反應。此外，它還會向其串口輸出信息，可以在終端上觀察到。

魔術從這里開始！

序幕

手勢識別是計算機視覺中的一個主題，旨在通過數學算法解釋人類手勢。手勢可以源自任何身體動作或狀態，但通常源自面部或手部。

在計算機界面中，可以區分兩種類型的手勢。我們首先考慮在線手勢，也可以將其視為縮放和旋轉等直接操作。相比之下，離線手勢通常在用戶與對象交互之后進行處理。在這個項目中，我們專注于離線手勢。

我們的神奇模型

我們的手勢檢測模型是一個卷積神經網絡，重量約為 20 KB，它接受原始加速度計值作為其輸入。每個值都是一個 32 位浮點數，表示該方向的加速度量。

該模型接受了由許多人執行的四種手勢的訓練。它輸出四個類的概率分數：一個代表每個手勢，如下圖所示。

三個可識別的手勢

魔法工廠

我們的魔法棒基于 Nano 33 BLE Sense（無接頭）的魔法工廠。Nano 33 BLE Sense（不帶接頭連接器）是 Arduino 的 3.3V 人工智能開發板，具有最小的可用外形尺寸：45x18mm！

Nano 33 BLE Sense（無接頭）

魔術表演

我們基本上按照《Tinyml：在 Arduino 和超低功耗微控制器上使用 TensorFlow Lite 進行機器學習》一書第 12 章和第 13 章中的過程構建應用程序。我們最終在 RHEL 7 平臺上實現了奇跡！

我們的實驗是在配備主頻為 3.50GHz 和 32 GB 內存的英特爾(R) 至強(R) CPU E3-1245 v5 的臺式機上執行的。

結語

一個有趣的方向是嘗試使用閾值來使手勢更容易或更難執行（以更多的誤報或漏報為代價）。我們還將玩不同手勢的模型，例如Squid Game系列中的“星形”、“圓形”、“三角形”甚至“傘形”！

?