描述

注意：由于#cloudgames2022 提交截止日期，我沒有時間添加我設(shè)計的所有功能。待定功能將被標(biāo)記為TBR （待發(fā)布），一些視覺效果的“裝扮”也將被標(biāo)記。在我的日常工作和我的激情之間的無休止的戰(zhàn)斗中，我將繼續(xù)重溫這篇文章。

#CLOUDGAMES2022

非常感謝 Arduino 讓我參與這些 cloudgames2022。通過 Opla IoT Kit 和始終在線的 Arduino 社區(qū)，我了解了音頻再現(xiàn)、數(shù)模轉(zhuǎn)換、與云服務(wù)的集成、PIR 傳感器、光元素中的顏色、TFT 屏幕、UNIX 時間戳等等。在這篇文章中，我分享了我對這些以及我在過去一年中學(xué)到的其他主題的研究和發(fā)現(xiàn)（以及許多鏈接）（自從我開始研究這個微電子兔子洞以來），希望為其他人提供同樣的禮物：在生產(chǎn)有用的東西的同時學(xué)習(xí)的機會。

背景

該項目是使用技術(shù)為自閉癥患者提供替代通信選項的另一項努力（請參閱我的電容式觸摸和藍(lán)牙信板）。認(rèn)識到他們在發(fā)起互動時面臨的挑戰(zhàn)（“自閉癥慣性”，一種影響他們意圖的經(jīng)常使人衰弱的困難），我將 Opla IoT 套件用作遠(yuǎn)程互動的預(yù)定義消息促進者（文本和語音）。

預(yù)定義消息通過多感官（即語音、文本和 RGB LED 序列）為自閉癥個體提供可重復(fù)的體驗，以嘗試加速其熟悉、重復(fù)并因此加速其使用。發(fā)送給 Opla 運營商的消息可以針對特定事件或白天的時刻（例如“晚安，兒子”、“我為你在學(xué)校的努力感到自豪”、“我愛你”等） 和那些使用 Opla 運營商作為來自主題的常規(guī)或重復(fù)消息發(fā)送到儀表板（即“我想要壽司”、“我很高興”、“ ETC。）。

為了進一步提高對 Opla 載體的熟悉度并幫助自閉癥患者將其變成自己的，我們添加了一些應(yīng)用程序，例如智能夜燈。

和大多數(shù)與自閉癥有關(guān)的事情一樣，這是反復(fù)試驗......

OPLA IOT 套件的增強功能

Opla IoT 套件基于 MKR IoT Carrier （備忘單）和 Arduino IoT Cloud （備忘單），并具有許多開箱即用的功能。但與每個微電子項目一樣，每個用例都可以/將需要一些增強功能，因此我添加了兩個新功能：

1. 手機定向通知。當(dāng)IoT Cloud 儀表板中的某些變量發(fā)生變化時， Arduino IoT 遠(yuǎn)程應(yīng)用程序(iOS/Android) 不會產(chǎn)生通知，從而使您錯過重要的閾值，或者在這種情況下，錯過消息。

我開始研究 IFTTT與ClickSend的SMS 集成，以便在我的手機中接收 SMS 消息。雖然簡單且實用，但問題在于在美國和加拿大以外（我在墨西哥），每條消息都涉及成本。

然后我測試了IoT Cloud 與 Telegram 的集成，這很容易實現(xiàn)，但由于它暗示了一個額外的應(yīng)用程序，我為了更簡單而放棄了它。

最后，我意識到 IFTTT 移動應(yīng)用程序 (iOS) 確實會產(chǎn)生通知，因此通過IoT Cloud Webhook將 Arduino 儀表板與 IFTTT 小程序綁定是可行的方法。

這種方法有一個警告：物聯(lián)網(wǎng)云儀表板上的 webhook會在任何變量上發(fā)生任何更改時被調(diào)用。無法進行過濾或選擇，即如果事物有 10 個變量，則 webhook 將在啟動時被調(diào)用10 次。解決方案 #1 是獲得 IFTTT Pro 訂閱，并在 IFTTT 小程序中添加帶有 JavaScript 的過濾器。解決方案 #2 是在 MKR1010 的代碼中對 IFTTT 服務(wù)器使用有針對性的 GET HTTP 語句（只需確保使用安全的 https 連接）。我想將其卸載到云端，但選項 2 更簡單。

手機上的 IFTTT 通知

?

因此，要創(chuàng)建您的 IFTTT 小程序，請從Maker Webhook開始，然后在文檔下（僅在您免費創(chuàng)建 IFTTT 帳戶后才會出現(xiàn)），您將獲得您的密鑰和 JSON 詳細(xì)信息以添加到您的代碼中。請務(wù)必訪問他們的Connect API 文檔以獲取完整的詳細(xì)信息。

2.在運營商中播放預(yù)先錄制的消息。IoT Cloud 儀表板提供向運營商發(fā)送開放或預(yù)定義的文本消息。我添加了此音頻功能，以在發(fā)生特定觸發(fā)時播放存儲在 SD 卡（庫）中的預(yù)先錄制的消息。

我將D 類單聲道放大器連接到 DAC0 以發(fā)送 WAV 數(shù)據(jù)。但由于 DAC0 也用作載體的其中一個觸摸傳感器中的 A0，因此在檢查傳感器中的觸摸事件時，載體代碼的每個循環(huán)都會產(chǎn)生咔噠聲。禁用 A0 上的觸摸會限制運營商的功能，因此使用連接到 MKR1010 板的數(shù)字引腳 14 的放大器的關(guān)閉引腳（我沒有使用分配給 D14 的運營商繼電器）允許僅在播放時打開放大器信息。

對于這個用例，我發(fā)現(xiàn)了幾個具有不同限制的音頻庫：

• TMRpcm是最好的，但僅適用于 AVR MCU（即 UNO、MEGA、Nano Classic 等）

• ArduinoSound非常好，但僅適用于 I2S 設(shè)備（即I2S 3W Amplifie r）

• AudioZero可與我的模擬放大器和 SAMD MCU（即 MKR 系列、Nano 33 IoT 等）配合使用，但采樣率僅為 8kHz，產(chǎn)生較差的語音聲音。

• 我選擇了 D34G 出色的SamdAudioSD （針對基于 SAMD 的 MCU），盡管進行了一些修改：我在我的本地SamdAudioSD.cpp副本中注釋掉了所有對數(shù)字 Pot 功能的引用，因為我沒有使用數(shù)字電位器并且這些部分創(chuàng)建編譯錯誤。

從 DAC0 發(fā)送音頻僅限于 8 位單聲道 PCM WAV 格式（未壓縮和模擬）。SamdAudioSD 庫允許在 WAV 文件中使用 44.1 kHz 的采樣率，從而提供可接受的語音質(zhì)量。使用Audacity輕松制作、增強和轉(zhuǎn)換預(yù)先錄制的消息，這是一個了不起的開源音頻編輯器和錄音機。您還可以從Freesound添??加各種聲音和特殊效果。

大膽的Windows

?

預(yù)錄消息的回放還允許在本地產(chǎn)生事件的反饋或確認(rèn)，即當(dāng)通過移動或觸摸檢測到存在時或當(dāng)從載體發(fā)出消息時。下面是播放的子程序。

播放功能（下面提供完整代碼）

?

IoT Cloud Dashboard for his Use Case的其他限制

• “Messenger”類型的小部件（處理字符串）不識別轉(zhuǎn)義序列（即\n），也不包含長字符串。結(jié)果：長字符串將被截斷。

• 如果接收到的字符串值（即“檢測到存在”）與前一個值相同，即使在不同的時間間隔，也不會創(chuàng)建其接收實例。解決方法：將一個簡單的時間戳添加到發(fā)送到小部件的字符串中以使其唯一。

消息功能

從運營商到儀表板的消息傳遞

• 通過抓住或觸摸載體來檢測存在，然后向接收者的移動設(shè)備和物聯(lián)網(wǎng)云儀表板發(fā)送遠(yuǎn)程通知，表明個人可能已準(zhǔn)備好接收消息。

• 通過 5 個觸摸傳感器選擇預(yù)定義消息之一。觸摸 時，播放所選文本的預(yù)錄語音，作為消息發(fā)送的確認(rèn)。(TBR)

從儀表板到運營商的消息傳遞

• 從物聯(lián)網(wǎng)云儀表板（PC 或移動設(shè)備）中，按相應(yīng)按鈕發(fā)送 4 條預(yù)定義消息中的任何一條。消息以文本形式在屏幕上接收，帶有蜂鳴器和 LED 通知，并播放其分配的預(yù)先錄制的消息。

• 開放文本消息也可以發(fā)送給運營商，盡管除了簡單的通知之外沒有分配的預(yù)先錄制的消息。

• 每條消息都有一個獨特的 GIF 圖像或屏幕上顯示的特征Opla UI 。(TBR)

消息儀表板

?

智能小夜燈

智能夜燈服務(wù)考慮使用單獨的儀表板來管理應(yīng)打開服務(wù)的時間表以及用作夜燈的燈光類型（顏色和亮度）。如果檢測到的房間亮度低于定義的閾值，則夜燈會在時間表內(nèi)自動打開。這也有助于在白天或房間燈打開時節(jié)省電池使用量。

此外，該服務(wù)將使用帶有過濾器的PIR 運動傳感器，根據(jù)定義的時間范圍內(nèi)的大量檢測來確定檢測到的運動是否應(yīng)被視為相關(guān)。這將有助于消除誤報，例如當(dāng)對象上床時（與對象醒著時相反）。發(fā)生這種情況時，該服務(wù)會將夜燈變?yōu)榫G色：有一些研究表明燈光顏色如何影響睡眠。

還要考慮使用 PIR 傳感器的其他一些注意事項。關(guān)于靈敏度和阻塞時間的一些細(xì)微差別不容忽視。

為了選擇夜燈顏色和亮度，我首先嘗試使用與Color 小部件關(guān)聯(lián)的CloudColor 變量（簡單而優(yōu)雅），但這些元素使用 HSV（色相飽和度值）配色方案，而 LED 燈條上運營商使用 RGB（紅-綠-藍(lán)；嗯，實際上是 BGR。參見 MKRIoTCarrier.h 的第 128 行）。運營商 LED 燈條的DotStar 庫具有 HSV 到 RGB 的轉(zhuǎn)換功能，但因為它是針對 RGB（不是 BGR）的，所以我無法及時讓它工作。所以我為每種 RGB 顏色使用了一個單獨的變量和滑塊小部件。

智能燈儀表板

?

附加夜燈功能 (TBR)

• 通過檢測到的運動增加流明輸出。

• 使用RTCZero或RTC庫和一個簡單的子程序?qū)?GMT（從物聯(lián)網(wǎng)云獲得）轉(zhuǎn)換為本地時間（參見代碼中的 updateLocalTime() ）。

• 在檢測到定義的移動閾值后，播放預(yù)定義的消息（即“返回睡眠”等）并將通知發(fā)送到云和/或移動設(shè)備。

下一步是什么

隨著項目的進展要添加的其他功能：

• 遠(yuǎn)程更新運營商 SD 卡上的 WAV 文件。初步選項 1 是從儀表板接收指令，然后觸發(fā) GET HTTP 到數(shù)據(jù)服務(wù)器（如Firebase 或 Firestore ）保存音頻文件。選項 2 是在 MKR1010 上運行 Web 服務(wù)器，網(wǎng)頁在 SD 卡上，并使用像ngrok這樣的公共 URL 服務(wù)來訪問客戶端的文件系統(tǒng)，選擇一個文件，然后將其傳輸?shù)?SD 卡。

• OTA系統(tǒng)更新。這不應(yīng)該出現(xiàn)問題，因為它是由 Arduino 的物聯(lián)網(wǎng)云服務(wù)提供的。

• 電池監(jiān)控。讀取 MKR1010 上的 ADC_Battery（可能通過BatterySense ），并在需要充電時通過儀表板和運營商的 TFT 屏幕進行報告。

• 動畫 GIF。這將增強載體在幾個功能上對主體的適口性。迄今為止最好的選擇是使用 Larry Bank 的AnimatedGIF和他自己的圖像轉(zhuǎn)換工具。真正的問題將是 MKR 1010 上的總可用內(nèi)存。

• 3 呼吸應(yīng)用程序。可以在通過智能夜燈服務(wù)的某個移動閾值后調(diào)用，或由主體有意選擇（或由于過度搖晃載體）或作為儀表板用戶發(fā)送的消息。當(dāng)對象向載體呼吸 3 次時，TFT 屏幕中的氣球圖像會膨脹和放氣（參見動畫 GIF），由濕度傳感器檢測到。呼吸順序由預(yù)先錄制的信息輔助（即“吸氣”、“緩慢呼氣”等）