機(jī)器學(xué)習(xí) (ML) 在服務(wù)器和移動應(yīng)用中已經(jīng)風(fēng)靡多年，現(xiàn)在這種趨勢已蔓延到邊緣設(shè)備，并且變得突出。由于邊緣設(shè)備需要節(jié)能，因此開發(fā)人員需要學(xué)習(xí)和了解如何將ML模型部署到基于微控制器的系統(tǒng)中。

在微控制器上運(yùn)行的ML模型通常被稱為tinyML。然而，將模型部署到微控制器并非易事，但它正在變得越來越容易，沒有經(jīng)過任何專業(yè)培訓(xùn)的開發(fā)人員也能在規(guī)定時(shí)間完成部署。

本文探討了嵌入式環(huán)境開發(fā)人員如何通過STMicroelectronics的STM32微控制器開始使用ML。為此，文中展示了如何通過?X-CUBE-AI?將TensorFlow Lite for Microcontrollers模型轉(zhuǎn)換用于STM32CubeIDE，來創(chuàng)建“Hello World”應(yīng)用。

tinyML用例介紹

tinyML是一個(gè)不斷發(fā)展的領(lǐng)域，它將ML功能整合到微控制器等資源和功耗受限的設(shè)備中，通常采用深度神經(jīng)網(wǎng)絡(luò)。然后，這些微控制器設(shè)備可以運(yùn)行ML模型，在邊緣進(jìn)行有價(jià)值的工作。以下幾個(gè)用例中的tinyML非常值得關(guān)注。

第一個(gè)用例常見于許多移動設(shè)備和家庭自動化設(shè)備，即關(guān)鍵詞識別。通過關(guān)鍵詞識別，嵌入式設(shè)備可以使用麥克風(fēng)捕獲語音并檢測預(yù)先訓(xùn)練的關(guān)鍵詞。tinyML模型使用表示語音的時(shí)間序列輸入，將其轉(zhuǎn)換為語音特征，通常為頻譜圖，其中包含隨時(shí)間變化的頻率信息。然后，將頻譜圖輸入經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，以檢測特定的字詞，結(jié)果就是檢測到特定字詞的概率。圖1顯示了這個(gè)過程的示例。

圖1：關(guān)鍵詞識別是tinyML的有趣用例。輸入的語音被轉(zhuǎn)換為頻譜圖，然后輸入經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，以確定是否有預(yù)先訓(xùn)練的字詞。（圖片來源：Arm）

許多嵌入式環(huán)境開發(fā)人員感興趣的另一個(gè)tinyML用例為圖像識別。微控制器從攝像頭捕獲圖像，然后將其輸入預(yù)先訓(xùn)練的模型。模型可以辨別圖中的內(nèi)容。例如，模型可以確定是否有貓、狗或者魚等等。圖像識別用于邊緣的一個(gè)很好的例子是視頻門鈴。視頻門鈴?fù)ǔ？梢詸z測門口是否有人，或者是否有放下的包裹。 最后一個(gè)非常常見的用例是用tinyML進(jìn)行預(yù)見性維護(hù)。預(yù)見性維護(hù)使用ML基于異常檢測、分類算法和預(yù)測模型來預(yù)測設(shè)備狀態(tài)。同樣，從HVAC系統(tǒng)到工廠車間設(shè)備，應(yīng)用非常廣泛。 盡管上述三個(gè)用例是目前常見的tinyML，但開發(fā)人員無疑還可以找到更多潛在的用例。以下是相關(guān)應(yīng)用的列表：

手勢分類

異常檢測

模擬量表讀取器

指導(dǎo)和控制 (GNC)

包裝檢測

無論哪個(gè)用例，開始熟悉tinyML的最好方法是使用“Hello World”應(yīng)用，它可以幫助開發(fā)人員學(xué)習(xí)和理解實(shí)現(xiàn)并運(yùn)行一個(gè)最基礎(chǔ)的系統(tǒng)所遵循的基本流程。在STM32微控制器上運(yùn)行tinyML模型，有5個(gè)必要步驟：

捕獲數(shù)據(jù)

標(biāo)記數(shù)據(jù)

訓(xùn)練神經(jīng)網(wǎng)絡(luò)

轉(zhuǎn)換模型

在微控制器上運(yùn)行模型

捕獲、標(biāo)記和訓(xùn)練“Hello World”模型

關(guān)于捕獲和標(biāo)記用于訓(xùn)練模型所需的數(shù)據(jù)，開發(fā)人員通常有許多選擇。首先，有大量的線上訓(xùn)練數(shù)據(jù)庫。開發(fā)人員可以搜索他人收集和標(biāo)記的數(shù)據(jù)。例如，對于基本的圖像檢測，有CIFAR-10或ImageNet。如需訓(xùn)練模型來檢測照片中的微笑，也有一個(gè)圖像集。從在線數(shù)據(jù)存儲庫開始顯然是不錯的選擇。

如果所需的數(shù)據(jù)尚未在互聯(lián)網(wǎng)上公開，開發(fā)人員也可以生成自己的數(shù)據(jù)。可以使用Matlab或其他工具來生成數(shù)據(jù)集。如果不能自動生成數(shù)據(jù)，也可以手動完成。最后，如果覺得這些都太耗時(shí)，也可在互聯(lián)網(wǎng)上購買數(shù)據(jù)集。收集數(shù)據(jù)往往是最令人興奮和有趣的選擇，但也最費(fèi)事。

這里探討的“Hello World”示例展示了如何訓(xùn)練模型來生成正弦波并將其部署到STM32上。這個(gè)示例由Pete Warden和Daniel Situnayake整理，當(dāng)時(shí)他們在谷歌開展TensorFlow Litefor Microcontrollers工作。這樣一來，工作變得更容易，因?yàn)樗麄円呀?jīng)整理出了簡單的捕獲、標(biāo)記和訓(xùn)練模型的公開教程。可以在Github上找到（點(diǎn)擊此處）；打開鏈接后，開發(fā)人員應(yīng)點(diǎn)擊“Run in Google Colab”（在Google Colab中運(yùn)行）按鈕。Google Colab是Google Collaboratory的簡稱，它允許開發(fā)人員在瀏覽器中編寫和執(zhí)行Python，無需配置，并提供對Google GPU的免費(fèi)訪問。

瀏覽訓(xùn)練示例將輸出兩個(gè)不同的模型文件；一個(gè)是為微控制器量化的model.tflite TensorFlow模型，一個(gè)是沒有量化的model_no_quant.tflite模型。量化可以表明如何以數(shù)字方式存儲模型的激活和偏置。量化后可以得到更小的模型，更適合于微控制器。好奇的讀者可以在圖2中查看訓(xùn)練過的模型結(jié)果與實(shí)際正弦波結(jié)果的對比。模型的輸出以紅色顯示。正弦波輸出并不完美，但對“Hello World”程序而言，其效果已經(jīng)很好了。

圖2：TensorFlow模型正弦波預(yù)測與實(shí)際值的對比。（圖片來源：BeningoEmbedded Group）

選擇開發(fā)板

在研究如何轉(zhuǎn)換TensorFlow模型以便在微控制器上運(yùn)行之前，需要選擇該模型中部署的微控制器。本文將重點(diǎn)介紹STM32微控制器，因?yàn)镾TMicroelectronics公司有許多tinyML/ML工具，可以很好地轉(zhuǎn)換和運(yùn)行模型。此外，STMicroelectronics有多種與其ML工具兼容的元器件（圖3）。

圖3：圖示為STMicroelectronics AI生態(tài)系統(tǒng)目前支持的微控制器和微處理器單元(MPU)。（圖片來源：STMicroelectronics）

如果辦公室里有這樣一塊開發(fā)板，就非常適合啟動和運(yùn)行“HelloWorld”應(yīng)用。然而，如果對本例之外的應(yīng)用感興趣，想要了解手勢控制或關(guān)鍵詞識別，可以選擇STM32 B-L4S5I-IOT01A開發(fā)套件物聯(lián)網(wǎng)節(jié)點(diǎn)（圖4）。

該開發(fā)板帶有STM32L4+系列Arm Cortex-M4處理器。該處理器有2MB閃存和640KB RAM，為tinyML模型提供了充足的空間。該模塊還帶有STMicroelectronics的MP34DT01微機(jī)電系統(tǒng) (MEMS) 麥克風(fēng)，可用于關(guān)鍵詞識別的應(yīng)用開發(fā)，適用于tinyML用例實(shí)驗(yàn)。此外，同樣來自STMicroelectronics的板載LIS3MDLTR三軸加速計(jì)，可用于基于tinyML的手勢檢測。

圖4：STM32 B-L4S5I-IOT01A開發(fā)套件物聯(lián)網(wǎng)節(jié)點(diǎn)搭載Arm Cortex-M4處理器、MEMS麥克風(fēng)和三軸加速計(jì)，是適應(yīng)性tinyML實(shí)驗(yàn)平臺。（圖片來源：STMicroelectronics）

使用STM32Cube.AI轉(zhuǎn)換和運(yùn)行TensorFlow Lite模型

憑借可以運(yùn)行tinyML模型的開發(fā)板，開發(fā)人員現(xiàn)在可以開始對TensorFlow Lite模型進(jìn)行轉(zhuǎn)換，以便在微控制器上運(yùn)行。TensorFlowLite模型可以直接在微控制器上運(yùn)行，但需要一個(gè)運(yùn)行時(shí)環(huán)境來處理它。

運(yùn)行模型時(shí)，需要執(zhí)行一系列的功能。這些功能首先收集傳感器數(shù)據(jù)，然后篩選，提取必要特征，并反饋給模型。該模型輸出結(jié)果，然后對結(jié)果進(jìn)一步篩選，通常還會再進(jìn)行一些操作。圖5顯示了該過程的概況。

圖5：數(shù)據(jù)如何從傳感器流向運(yùn)行時(shí)，再到tinyML應(yīng)用的輸出。（圖片來源：Beningo Embedded Group）

STM32CubeMx的X-CUBE-AI插件提供了解釋TensorFlow Lite模型的運(yùn)行時(shí)環(huán)境，并提供了開發(fā)人員可以利用的替代運(yùn)行時(shí)和轉(zhuǎn)換工具。X-CUBE-AI插件在項(xiàng)目中默認(rèn)不啟用。然而，在創(chuàng)建新項(xiàng)目并初始化電路板后，在SoftwarePacks-> Select Components（軟件包-> 選擇組件）下，有一個(gè)啟用AI運(yùn)行時(shí)的選項(xiàng)。這里有幾個(gè)選項(xiàng)；確保本例中使用的是Application模板，如圖6所示。

圖6：X-CUBE-AI插件需要使用本例的應(yīng)用模板來啟用。（圖片來源：BeningoEmbedded Group）

啟用X-CUBE-AI后，STMicroelectronics X-CUBE-AI類別將出現(xiàn)在工具鏈中。點(diǎn)擊該類別，開發(fā)人員能選擇自己創(chuàng)建的模型文件并設(shè)置模型參數(shù)，如圖7所示。可通過分析按鈕對模型進(jìn)行分析，并為開發(fā)人員提供RAM、ROM和執(zhí)行周期信息。強(qiáng)烈建議開發(fā)人員比較Keras和TFLite模型選項(xiàng)。在較小的正弦波模型示例中，沒有顯著差異，但卻可以發(fā)現(xiàn)其中的區(qū)別。點(diǎn)擊“Generate code”（生成代碼）可生成該項(xiàng)目。

圖7：分析按鈕為開發(fā)人員提供RAM、ROM和執(zhí)行周期信息。（圖片來源：Beningo Embedded Group）

代碼生成器將初始化項(xiàng)目，并為tinyML模型構(gòu)建運(yùn)行時(shí)環(huán)境。但默認(rèn)情況下，不會為模型提供輸入。開發(fā)人員需要添加代碼，為模型提供輸入值 — x值，模型將解釋該值并生成正弦y值。如圖8所示，需要在acquisition_and_process_data和post_process函數(shù)中增加幾段代碼。

圖8：所示代碼將連接偽輸入傳感器值到正弦波模型。（圖片來源：Beningo Embedded Group）

此時(shí)，本例運(yùn)行就緒。注意：添加一些printf語句來獲取模型輸出，以便快速驗(yàn)證。快速編譯和部署能讓“Hello World”tinyML 模型運(yùn)行。獲取整個(gè)周期的模型輸出得到圖9所示的正弦波。它并不完美，但對于首個(gè)tinyML應(yīng)用來說非常優(yōu)秀。由此，開發(fā)人員可以將輸出與脈沖寬度調(diào)制器 (PWM) 聯(lián)結(jié)起來，并產(chǎn)生正弦波。

圖9：在 STM32上運(yùn)行時(shí)的“Hello World”正弦波模型輸出。（圖片來源：Beningo Embedded Group）

嵌入式系統(tǒng)上的ML技巧和竅門

開發(fā)人員若要在基于微控制器的系統(tǒng)上開始使用ML，需要做相當(dāng)多的工作，才能讓自己的首個(gè)tinyML應(yīng)用運(yùn)行起來。然而，記住幾個(gè)“技巧和竅門”，可以簡化和加快其開發(fā)：

瀏覽TensorFlow Lite forMicrocontrollers的“Hello World”示例，包括Google Colab文件。花點(diǎn)兒時(shí)間調(diào)整參數(shù)，了解這些參數(shù)對經(jīng)過訓(xùn)練的模型的影響。

在微控制器應(yīng)用中使用量化模型。量化模型經(jīng)過壓縮，可以使用uint8_t而非32位浮點(diǎn)數(shù)。因此，該模型更小，執(zhí)行速度更快。

了解TensorFlow Lite forMicrocontrollers資源庫中的其他示例。其他示例包括手勢檢測和關(guān)鍵詞檢測。

以“Hello World”為例，將模型輸出連接到PWM和低通濾波器上，以查看產(chǎn)生的正弦波。執(zhí)行運(yùn)行時(shí)實(shí)驗(yàn)，增加和減少正弦波頻率。

選擇包括“額外”傳感器的開發(fā)板，以便嘗試廣泛的ML應(yīng)用。

盡管收集數(shù)據(jù)很有趣，但一般來說，購買或使用開源數(shù)據(jù)庫來訓(xùn)練模型更容易。

開發(fā)人員遵循這些“技巧和竅門”，可以在確保應(yīng)用安全的同時(shí)節(jié)省更多的時(shí)間并省去更多的麻煩。

本文小結(jié)

機(jī)器學(xué)習(xí)已經(jīng)蔓延至網(wǎng)絡(luò)邊緣，而基于資源受限微控制器的系統(tǒng)是其主要目標(biāo)。最新的工具可以轉(zhuǎn)換和優(yōu)化機(jī)器學(xué)習(xí)模型，以在實(shí)時(shí)系統(tǒng)上運(yùn)行。如圖所示，在STM32開發(fā)板上實(shí)現(xiàn)和運(yùn)行模型相對容易，但也會涉及復(fù)雜性問題。雖然只探討了產(chǎn)生正弦波的簡單模型，但也可以實(shí)現(xiàn)更復(fù)雜的模型，如手勢檢測和關(guān)鍵詞識別。