描述

隊員：

陳玉婷 (yc119)

王幫舉 (bw27)

喚醒詞檢測技術已廣泛應用于各種語音助手，如 Apple Siri、Microsoft Cortana、Google Assistant。為了更好地理解這項技術，我們在我們的項目Arduino中構建了這個項目，以在資源有限的物聯(lián)網(wǎng)設備中開發(fā)喚醒詞檢測應用程序。

該模型將音頻數(shù)據(jù)作為輸入。正如我們將看到的，這需要大量處理才能將其輸入模型。該模型是一個分類器，輸出類別概率。我們必須解析并理解這個輸出。

使用該模型可以識別包括“是”和“否”在內(nèi)的詞，其他詞可以被檢測為“未知”。需要說明的是，在板檢測到“是”一詞后，燈將亮起 3 秒。同時，識別結果會顯示在屏幕上。檢測到“否”后，指示燈不變，識別結果顯示在屏幕上。此外，當檢測到其他詞時，燈仍然不會改變，屏幕上會顯示“未知”。

我們將使用現(xiàn)有數(shù)據(jù)集，使用 Tensorflow 訓練我們的模型，將其轉(zhuǎn)換為 TensorFlow Lite 模型并將模型部署到 Arduino 中。然后我們將觀察 LED 燈并查看 Arduino IDE 消息以獲取 Arduino 的輸出信息。

如圖所示，該程序包含以下組件：

主循環(huán)

與“hello world”示例一樣，我們的應用程序在連續(xù)循環(huán)中運行。所有后續(xù)進程都包含在其中，并且它們會持續(xù)執(zhí)行，只要微控制器能夠以每秒多次的速度運行它們即可。

音頻供應商

該組件從麥克風捕獲原始音頻數(shù)據(jù)。由于捕獲音頻的方法因設備而異，因此可以覆蓋和自定義此組件。

特征提供者

功能提供者將原始音頻數(shù)據(jù)轉(zhuǎn)換為我們的模型所需的頻譜圖格式。它作為主循環(huán)的一部分在滾動的基礎上這樣做，為解釋器提供一系列重疊的一秒窗口。

TF Lite 解釋器

解釋器運行 TensorFlow Lite 模型，將輸入的頻譜圖轉(zhuǎn)換為一組概率。

模型

該模型作為數(shù)據(jù)數(shù)組包含在內(nèi)，并由解釋器運行。該數(shù)組位于 tiny_conv_micro_features_model_data.cc 中。

識別命令

由于推理每秒運行多次，因此識別命令類會聚合結果并確定平均而言是否聽到了一個已知單詞。

命令響應器

如果聽到命令，命令響應器會使用設備的輸出功能讓用戶知道。根據(jù)設備的不同，這可能意味著 LED 閃爍，或在 LCD 顯示屏上顯示數(shù)據(jù)。可以針對不同的設備類型覆蓋它。