由于計算機架構的革命性發展以及人工智能和機器學習應用的突破性進展，嵌入式系統技術正在經歷一個轉型時期。

根據設計，機器學習模型使用大量資源，并且需要強大的計算機基礎設施。因此，它們通常是具有更多資源的運行設備，例如 PC 或云服務器，其中數據處理效率很高。機器學習應用程序、ML 框架和處理器計算能力現在可以直接部署在嵌入式設備上，這要歸功于機器學習和高級算法的最新發展。這稱為嵌入式機器學習 （E-ML）。

處理過程被移動到更靠近邊緣的地方，傳感器使用嵌入式機器學習技術收集數據。這有助于消除帶寬和連接問題、通過互聯網傳輸數據的安全漏洞以及數據傳輸功率使用等障礙。此外，它還支持使用神經網絡和其他機器學習框架，以及信號處理服務、模型構建、手勢識別等。根據最大化市場研究小組的報告，2021 年至 2026 年間，全球嵌入式 AI市場預計將以 5.4% 的復合年增長率增長，達到約 388.7 億美元。

嵌入式機器學習的基本概念

如今，嵌入式計算系統正迅速擴展到人類企業的各個領域，從可穿戴健康監測系統、無線監控系統、物聯網 （IoT） 上的網絡系統、家庭自動化的智能家電到汽車的防抱死制動系統，都得到了實際應用。

用于嵌入式平臺的常見 ML 技術包括 SVM（支持向量機）、CNN（卷積神經網絡）、DNN（深度神經網絡）、k-NN（K 最近鄰）和樸素貝葉斯。使用這些技術進行高效訓練和推理需要大量的處理和內存資源。即使具有深度緩存結構、多核改進等，通用 CPU 也無法處理深度學習模型的高計算需求。這些限制可以通過利用 GPU 和 TPU 處理器等資源來克服。這主要是因為復雜的線性代數計算，如矩陣和向量運算，是非平凡深度學習應用程序的組成部分。深度學習算法可以在GPU和TPU上非常有效和快速地運行，這使它們成為理想的計算平臺。

在嵌入式硬件上運行機器學習模型稱為嵌入式機器學習。后者根據以下基本規則工作：雖然模型執行和推理過程發生在嵌入式設備上，但神經網絡等 ML 模型的訓練發生在計算集群或云中。與普遍的看法相反，事實證明，深度學習矩陣操作可以在CPU功能受限的硬件上有效地執行，甚至可以在微型16位/ 32位微控制器上執行。使用極小的硬件（如超低功耗微控制器）來運行ML模型的嵌入式機器學習類型稱為TinyML。

機器學習方法可以分為三大類：強化學習、無監督學習和監督學習。在監督學習中，可以學習標記的數據;在無監督學習中，可以在未標記的數據中找到隱藏的模式;在強化學習中，系統可以通過試錯法從其直接環境中學習。學習過程被稱為模型的“訓練階段”，它經常利用具有大量處理能力的計算機架構（如多個 GPU）進行。然后將訓練好的模型應用于新數據，以便在學習后做出明智的決策。實現的推理階段稱為此過程。物聯網和移動計算設備，以及處理資源有限的其他用戶設備，經常用于進行推理。

機器學習技術

嵌入式機器學習的應用領域

智能傳感器系統

機器學習技術在嵌入式傳感器網絡系統中的有效應用引起了極大的興趣。包括GMM（高斯混合模型）、SVM和DNN在內的眾多機器學習算法正在移動自組織網絡、智能可穿戴系統和智能傳感器網絡等重要領域找到實際應用。

異構計算系統

包含多種類型處理內核的計算機系統稱為異構計算系統。大多數異構計算系統都用作加速單元，以將計算要求苛刻的任務從CPU轉移出去并加速系統。異構多核架構是一個應用領域，為了加速計算昂貴的機器學習技術，中間件平臺將 GPU 加速器集成到已經存在的基于 CPU 的架構中，從而提高 ML 數據模型集的處理效率。

嵌入式 FPGA

由于其低成本、出色的性能、能源經濟性和靈活性，FPGA 在計算行業中越來越受歡迎。它們經常用于預實現ASIC架構和設計加速單元。使用 FPGA 和基于 OpenCL 的 FPGA 硬件加速進行 CNN 優化是使用 FPGA 架構來加速機器學習模型執行的應用領域。

好處

高效的網絡帶寬和功耗

在嵌入式硬件上運行的機器學習模型可以直接從數據源中提取特征和見解。因此，不再需要將相關數據傳輸到邊緣或云服務器，從而節省帶寬和系統資源。微控制器是眾多高能效嵌入式系統之一，無需充電即可長時間運行。與在移動計算系統上執行的機器學習應用程序相比，TinyML可以更大程度地提高嵌入式平臺機器學習應用程序的電源自主性。

全面的隱私

嵌入式機器學習消除了在云服務器上傳輸數據和存儲數據的需要。這降低了數據泄露和隱私泄露的可能性，這對于處理敏感數據（如個人個人信息、醫療數據、知識產權 （IP） 信息和機密信息）的應用程序至關重要。

低延遲

嵌入式 ML 支持低延遲操作，因為它消除了向云進行大量數據傳輸的需要。因此，在各種工業場景中實現現場執行和控制等實時用例時，嵌入式機器學習是一個不錯的選擇。

嵌入式機器學習應用程序是使用方法和工具構建的，這些方法和工具可以在資源有限的節點上創建和部署機器學習模型。它們為希望最大化其數據價值的企業提供了大量創新機會。它還有助于優化其機器學習應用程序的帶寬、空間和延遲。

審核編輯：郭婷