電子發(fā)燒友網(wǎng)>電子資料下載>電子資料>使用Arduino進(jìn)行語音識(shí)別和合成

使用Arduino進(jìn)行語音識(shí)別和合成

2076885 2022-11-17 | zip | 0.59 MB | 次下載 | 2積分

資料介紹

描述

在我之前的項(xiàng)目中，我展示了如何使用Arduino板和BitVoicer 服務(wù)器控制幾個(gè) LED 。在這個(gè)項(xiàng)目中，我會(huì)讓事情變得更復(fù)雜一些。我還將使用Arduino DUE數(shù)模轉(zhuǎn)換器 (DAC)合成語音。如果您沒有 Arduino DUE，您可以使用其他 Arduino 板，但您需要一個(gè)外部 DAC 和一些額外的代碼來操作 DAC（BVSSpeaker庫不會(huì)幫助您）。

在下面的視頻中，您可以看到我還讓 Arduino 播放一首小曲并讓 LED 像鋼琴鍵一樣閃爍。對(duì)不起我的鋼琴技巧，但這是我能做的最好的:)。LED 實(shí)際上以與真正的 C、D 和 E 鍵相同的順序和時(shí)間閃爍，因此如果您周圍有鋼琴，您可以跟隨 LED 并演奏相同的歌曲。這是來自一個(gè)甚至不復(fù)存在的老零售商 (Mappin) 的叮當(dāng)聲。

將執(zhí)行以下程序?qū)⒄Z音命令轉(zhuǎn)換為 LED 活動(dòng)和合成語音：

1. Sparkfun Electret Breakout板將捕獲并放大音頻波；

2.放大的信號(hào)將在Arduino中使用其模數(shù)轉(zhuǎn)換器（ADC）進(jìn)行數(shù)字化和緩沖；

3. 音頻樣本將通過 Arduino 串口流式傳輸?shù)?BitVoicer Server；

4. BitVoicer Server 將處理音頻流并識(shí)別其中包含的語音；

5. 識(shí)別的語音將被映射到預(yù)定義的命令，這些命令將被發(fā)送回 Arduino。如果其中一個(gè)命令是合成語音，BitVoicer Server 將準(zhǔn)備音頻流并將其發(fā)送到 Arduino；

6. Arduino 將識(shí)別命令并執(zhí)行適當(dāng)?shù)牟僮鳌?/font>如果接收到音頻流，它將被排入BVSSpeaker類并使用 DUE DAC 和DMA播放。

7. SparkFun 單聲道音頻放大器將放大 DAC 信號(hào)，以便驅(qū)動(dòng) 8 歐姆揚(yáng)聲器。

材料清單：

Arduino到期：~U$ 50.00

Sparkfun駐極體麥克風(fēng)突破：7.95美元

SparkFun 單聲道音頻放大器突破：7.95 美元

BitVoicer 服務(wù)器 1.0 ：9.90 美元

8 歐姆揚(yáng)聲器：~U$ 2.00

面包板：~U$ 10.00

3 個(gè) LED：~U$ 1.00

3 x 330 Ohm 電阻器：~U$ 0.75

跳線：~U$ 0.50

第 1 步：接線

第一步是將 Arduino 和面包板與組件連接起來，如下圖所示。我不得不在揚(yáng)聲器下方放置一個(gè)小橡膠，因?yàn)樗鼤?huì)振動(dòng)很多，沒有橡膠，音頻質(zhì)量會(huì)受到很大影響。

1 / 4 ? Fritzing 示意圖

在這里，我們與我之前的項(xiàng)目有一個(gè)很小但很重要的區(qū)別。大多數(shù) Arduino 板在 5V 下運(yùn)行，但 DUE 在 3.3V 下運(yùn)行。因?yàn)槲以?3.3V 下運(yùn)行 Sparkfun Electret Breakout 得到了更好的結(jié)果，如果您使用 5V Arduino 板，我建議您在 3.3V 引腳和 AREF 引腳之間添加一個(gè)跳線。DUE 已經(jīng)使用 3.3V 模擬參考，因此您不需要跳線到 AREF 引腳。實(shí)際上，DUE 上的 AREF 引腳通過電阻橋連接到微控制器。要使用 AREF 引腳，電阻 BR1 必須從 PCB 上拆焊。

第 2 步：將代碼上傳到 Arduino

現(xiàn)在您必須將以下代碼上傳到您的 Arduino。為方便起見，本文底部的附件部分也提供了 Arduino 草圖。在上傳代碼之前，您必須將 BitVoicer 服務(wù)器庫正確安裝到 Arduino IDE（導(dǎo)入 .zip 庫）。

Arduino 草圖：BVS_Demo2.ino

這個(gè)草圖有七個(gè)主要部分：

庫引用和變量聲明：前四行包括對(duì)BVSP 、BVMic 、BVSSpeaker和 DAC 庫的引用。這些庫由 BitSophia 提供，可以在 BitVoicer Server 安裝文件夾中找到。當(dāng)您添加對(duì) BVSSpeaker 庫的引用時(shí)，會(huì)自動(dòng)包含 DAC 庫。其他行聲明了整個(gè)草圖中使用的常量和變量。BVSP 類用于與 BitVoicer Server 通信，BVMic 類用于捕獲和存儲(chǔ)音頻樣本，BVSSpeaker 類用于使用 DUE DAC再現(xiàn)音頻。

設(shè)置功能：該功能執(zhí)行以下操作：設(shè)置引腳模式及其初始狀態(tài)；初始化串行通信；并初始化 BVSP、BVMic 和 BVSSpeaker 類。它還為BVSP 類的 frameReceived、modeChanged 和 streamReceived 事件設(shè)置“事件處理程序”（它們實(shí)際上是函數(shù)指針）。

循環(huán)函數(shù)：該函數(shù)執(zhí)行五個(gè)重要操作：向服務(wù)器請(qǐng)求狀態(tài)信息（keepAlive() 函數(shù)）；檢查服務(wù)器是否發(fā)送了任何數(shù)據(jù)并處理接收到的數(shù)據(jù)（receive() 函數(shù)）；控制音頻流的錄制和發(fā)送（isSREAvailable()、startRecording()、stopRecording() 和 sendStream() 函數(shù)）；播放排隊(duì)到 BVSSpeaker 類中的音頻樣本（play() 函數(shù)）；并調(diào)用 playNextLEDNote() 函數(shù)，該函數(shù)控制在接收到 playLEDNotes 命令后 LED 應(yīng)如何閃爍。

BVSP_frameReceived 函數(shù)：每次 receive() 函數(shù)識(shí)別出已接收到一個(gè)完整幀時(shí)，都會(huì)調(diào)用此函數(shù)。在這里，我運(yùn)行從 BitVoicer Server 發(fā)送的命令。控制 LED 的命令包含 2 個(gè)字節(jié)。第一個(gè)字節(jié)表示引腳，第二個(gè)字節(jié)表示引腳值。我使用analogWrite() 函數(shù)為引腳設(shè)置適當(dāng)?shù)闹怠?/font>我還檢查是否收到了 Byte 類型的 playLEDNotes 命令。如果已收到，我將 playLEDNotes 設(shè)置為true并標(biāo)記當(dāng)前時(shí)間。這個(gè)時(shí)間將被 playNextLEDNote 函數(shù)用來使 LED 與歌曲同步。

BVSP_modeChanged 函數(shù)：每次接收（）函數(shù)識(shí)別出站方向（服務(wù)器-> Arduino）中的模式更改時(shí)調(diào)用此函數(shù)。哇！！！那是什么？！BitVoicer Server 可以向 Arduino 發(fā)送幀數(shù)據(jù)或音頻流。在通信從一種模式轉(zhuǎn)到另一種模式之前，BitVoicer Server 會(huì)發(fā)送一個(gè)信號(hào)。BVSP 類識(shí)別此信號(hào)并引發(fā) modeChanged 事件。在 BVSP_modeChanged 函數(shù)中，如果我檢測(cè)到通信正在從流模式轉(zhuǎn)到幀模式，我知道音頻已經(jīng)結(jié)束，所以我可以告訴 BVSSpeaker 類停止播放音頻樣本。

BVSP_streamReceived 函數(shù)：每次 receive() 函數(shù)識(shí)別到已接收到音頻樣本時(shí)，都會(huì)調(diào)用此函數(shù)。我只需檢索樣本并將它們排隊(duì)到 BVSSpeaker 類中，以便 play() 函數(shù)可以重現(xiàn)它們。

playNextLEDNote 函數(shù)：此函數(shù)僅在 BVSP_frameReceived 函數(shù)識(shí)別 playLEDNotes 命令時(shí)運(yùn)行。它控制 LED 并將其與從 BitVoicer 服務(wù)器發(fā)送的音頻同步。為了使 LED 與音頻同步并知道正確的時(shí)間，我使用了Sonic Visualizer 。這個(gè)免費(fèi)軟件讓我可以看到音波，這樣我就可以很容易地分辨出鋼琴鍵是什么時(shí)候按下的。它還顯示了一條時(shí)間線，這就是我獲得此函數(shù)中使用的毫秒數(shù)的方式。聽起來像一個(gè)愚蠢的把戲，它是。我認(rèn)為可以分析音頻流并打開相應(yīng)的 LED，但我無法做到。

第 3 步：導(dǎo)入 BitVoicer 服務(wù)器解決方案對(duì)象

現(xiàn)在您必須設(shè)置 BitVoicer Server 才能與 Arduino 一起使用。BitVoicer Server 有四個(gè)主要的解決方案對(duì)象：位置、設(shè)備、二進(jìn)制數(shù)據(jù)和語音模式。

位置表示安裝設(shè)備的物理位置。就我而言，我創(chuàng)建了一個(gè)名為 Home 的位置。

設(shè)備是 BitVoicer 服務(wù)器客戶端。我創(chuàng)建了一個(gè)混合設(shè)備，將其命名為 ArduinoDUE 并輸入通信設(shè)置。重要提示：即使 Arduino DUE 也有少量?jī)?nèi)存來存儲(chǔ) BitVoicer Server 將流式傳輸?shù)乃幸纛l樣本。如果不限制帶寬，則需要更大的緩沖區(qū)來存儲(chǔ)音頻。由于這個(gè)原因，我遇到了一些緩沖區(qū)溢出，因此我不得不將通信設(shè)置中的數(shù)據(jù)速率限制為每秒 8000 個(gè)樣本。

BinaryData 是 BitVoicer Server 可以發(fā)送到客戶端設(shè)備的一種命令。它們實(shí)際上是可以鏈接到命令的字節(jié)數(shù)組。當(dāng) BitVoicer Server 識(shí)別出與該命令相關(guān)的語音時(shí)，它會(huì)將字節(jié)數(shù)組發(fā)送到目標(biāo)設(shè)備。我為每個(gè)引腳值創(chuàng)建了一個(gè) BinaryData 對(duì)象，并將它們命名為 ArduinoDUEGreenLedOn、ArduinoDUEGreenLedOff 等。我的解決方案中最終有 18 個(gè) BinaryData 對(duì)象，因此我建議您從下面的VoiceSchema.sof文件下載并導(dǎo)入對(duì)象。

語音模式是一切融合在一起的地方。它們定義了應(yīng)該識(shí)別哪些句子以及運(yùn)行哪些命令。對(duì)于每個(gè)句子，您可以根據(jù)需要定義任意數(shù)量的命令以及它們將執(zhí)行的順序。您還可以定義命令之間的延遲。這就是我如何設(shè)法執(zhí)行您在視頻中看到的一系列動(dòng)作。

我的語音模式中的一個(gè)句子是“播放一首小歌”。這句話包含兩個(gè)命令。第一個(gè)命令發(fā)送一個(gè)字節(jié)，指示以下命令將成為音頻流。然后，Arduino 在傳輸音頻時(shí)開始“播放”LED。音頻是我自己錄制的一小段鋼琴曲，并將其設(shè)置為第二個(gè)命令的音頻源。BitVoicer Server 僅支持 8 位單聲道 PCM 音頻（每秒 8000 個(gè)樣本），因此如果您需要將音頻文件轉(zhuǎn)換為這種格式，

您可以從以下文件導(dǎo)入（導(dǎo)入解決方案對(duì)象）我在此項(xiàng)目中使用的所有解決方案對(duì)象。一個(gè)包含 DUE 設(shè)備，另一個(gè)包含語音模式及其命令。

解決方案目標(biāo)文件：

設(shè)備.sof

VoiceSchema.sof

第 4 步：結(jié)論

給你！您可以打開一切并執(zhí)行視頻中顯??示的相同操作。

正如我在之前的項(xiàng)目中所做的那樣，我通過在BitVoicer Server Manager中啟用 Arduino 設(shè)備來啟動(dòng)語音識(shí)別。一旦啟用，Arduino 就會(huì)識(shí)別可用的語音識(shí)別引擎并開始將音頻流式傳輸?shù)?BitVoicer 服務(wù)器。但是，現(xiàn)在您在 Arduino RX LED 中看到更多活動(dòng)，同時(shí)音頻從 BitVoicer 服務(wù)器流式傳輸?shù)?Arduino。

在我的下一個(gè)項(xiàng)目中，我將更加雄心勃勃。我打算將 WiFi 通信添加到一個(gè) Arduino 并通過語音一起控制另外兩個(gè) Arduino。我在想他們之間的某種游戲。非常歡迎提出建議！