描述

我們構(gòu)建了一個數(shù)字“魔杖”，可以揮動它來鑄造各種字母。它以多維傳感器數(shù)據(jù)作為輸入數(shù)據(jù)，其輸出將是一個簡單的分類，以指示運(yùn)動所屬的類別。我們利用深度學(xué)習(xí)的魔力將普通的數(shù)字?jǐn)?shù)據(jù)轉(zhuǎn)化為有意義的信息！

魔杖通過點(diǎn)亮 LED 對每個咒語做出反應(yīng)。此外，它還會向其串口輸出信息，可以在終端上觀察到。

魔術(shù)從這里開始！

序幕

手勢識別是計算機(jī)視覺中的一個主題，旨在通過數(shù)學(xué)算法解釋人類手勢。手勢可以源自任何身體動作或狀態(tài)，但通常源自面部或手部。

在計算機(jī)界面中，可以區(qū)分兩種類型的手勢。我們首先考慮在線手勢，也可以將其視為縮放和旋轉(zhuǎn)等直接操作。相比之下，離線手勢通常在用戶與對象交互之后進(jìn)行處理。在這個項目中，我們專注于離線手勢。

我們的神奇模型

我們的手勢檢測模型是一個卷積神經(jīng)網(wǎng)絡(luò)，重量約為 20 KB，它接受原始加速度計值作為其輸入。每個值都是一個 32 位浮點(diǎn)數(shù)，表示該方向的加速度量。

該模型接受了由許多人執(zhí)行的四種手勢的訓(xùn)練。它輸出四個類的概率分?jǐn)?shù)：一個代表每個手勢，如下圖所示。

三個可識別的手勢

魔法工廠

我們的魔法棒基于 Nano 33 BLE Sense（無接頭）的魔法工廠。Nano 33 BLE Sense（不帶接頭連接器）是 Arduino 的 3.3V 人工智能開發(fā)板，具有最小的可用外形尺寸：45x18mm！

Nano 33 BLE Sense（無接頭）

魔術(shù)表演

我們基本上按照《Tinyml：在 Arduino 和超低功耗微控制器上使用 TensorFlow Lite 進(jìn)行機(jī)器學(xué)習(xí)》一書第 12 章和第 13 章中的過程構(gòu)建應(yīng)用程序。我們最終在 RHEL 7 平臺上實現(xiàn)了奇跡！

我們的實驗是在配備主頻為 3.50GHz 和 32 GB 內(nèi)存的英特爾(R) 至強(qiáng)(R) CPU E3-1245 v5 的臺式機(jī)上執(zhí)行的。

結(jié)語

一個有趣的方向是嘗試使用閾值來使手勢更容易或更難執(zhí)行（以更多的誤報或漏報為代價）。我們還將玩不同手勢的模型，例如Squid Game系列中的“星形”、“圓形”、“三角形”甚至“傘形”！

?