在技術發展的歷史上,技術先獨立發展再相互融合以改變世界的例子比比皆是。原子能和噴氣式發動機的融合催生了核航空母艦,改變了20世紀大部分戰爭的形態。計算機和射頻通信的融合產生了智能手機,同時也重新定義了我們與技術以及彼此之間的互動方式。今天,嵌入式電子和人工智能 (AI) 的融合正日益成為下一個具有顛覆性的技術組合。接下來我們就看一下這種融合的發展演變。
歡迎來到網絡邊緣
人工智能的概念最早出現在古希臘人的著作中,但直到20世紀上半葉,才開始將其作為一種實際技術進行開發。從根本上來說,AI使數字技術像人腦一樣,能夠與模擬世界有效互動、響應溝通。為了使AI在現實世界的應用具有實用性,比如自動駕駛車輛,在處理多個動態輸入時,電子設備和物理世界之間的交互必須接近瞬時完成。值得慶幸的是,隨著機器學習算法的發展,嵌入式電子系統也在不斷進步。他們的聯姻催生了邊緣計算的概念。
邊緣計算獲得了過去只有云端強大的處理硬件才能實現的處理能力,并將這種能力帶給了位于物理-數字接口邊緣的本地設備。再加上微控制器和傳感器等廉價而穩健的嵌入式組件的普及,給自動化領域,無論是規模上還是功能上都帶來了一場革命。
TensorFlow Lite: 微型硬件上的大ML算法
TensorFlow是Google主導開發的一套開源軟件庫,使開發人員能夠輕松地將復雜的數值計算算法和機器學習(ML)集成到他們的項目中(圖1)。按照Google的說法,這些庫為Python(所有平臺上的Python 3.7+)和C提供穩定的應用程序編程接口,另外還提供沒有向后兼容保證的C++、Go、Java 和JavaScript API。此外,還針對Apple公司的Swift語言提供了一個alpha版本。
圖1:Google的TensorFlow Lite for Microcontrollers網站。(資料來源:Google)
TensorFlow為深度神經網絡 (DNN) 的開發和利用提供了所謂的端到端機器學習支持。 DNN是ML的一種實現,它特別擅長模式識別以及對象檢測與分類。TensorFlow庫支持機器學習過程的兩個階段,即訓練和推理。首先是深層神經網絡的訓練,這需要大量算力,通常由服務器級硬件和圖形處理單元 (GPU) 提供。最近開發了被稱為張量處理單元 (TPU) 的專用集成電路來支持這種訓練。第二階段是推理,即利用現實世界中經過訓練的DNN來響應新的輸入,按照培訓好的模型分析這些輸入,并根據分析結果提出建議。這應該是嵌入式產品開發人員比較感興趣的階段。
TensorFlow Lite for Microcontrollers(TensorFlow庫的一個子集)專門用于在內存受限的設備上執行推理,大多數嵌入式系統應用中都存在這種設備。它不允許您訓練新網絡,這仍然需要較高端的硬件。
實用為王:ML應用實例
人工智能、神經網絡和機器學習等術語可以看成是科幻小說或行話。那么這些新興技術的現實意義何在?
運行在嵌入式系統上的AI算法的目標,是以比傳統程序或面向對象的編程方法更高效的方式處理傳感器收集的真實世界數據。也許在大家的意識中,最明顯的使用案例是從傳統汽車到具有自動輔助功能(如車道偏離警報和防撞系統)的汽車,再到無人駕駛汽車這個最終目標的發展歷程。不過,深度學習還有其他一些不那么明顯的用例,雖然你不知道,但已經在使用了。智能手機中的語音識別或Amazon Alexa等虛擬助手均使用了深度學習算法。其他用例包括用于安防領域的面部檢測和/或背景替換、sans綠幕、遠程會議軟件(如Zoom)等。
同時使用機器學習算法和互聯網連接的設備(如物聯網設備)的一個巨大優勢是,隨著時間的推移,產品可以通過簡單的無線固件更新來集成新的或經過更好訓練的模型。這意味著產品可以逐漸變得更加智能,并且不局限于制造時可能實現的功能,只要新型號和固件不超出硬件的物理內存和處理能力即可。
圖2:將TensorFlow模型轉換為可在微控制器等內存受限設備上使用的版本。(資料來源:NXP)
工作流程
根據TensorFlow Lite for Microcontrollers的附帶文檔,開發人員的工作流程可以分為五個關鍵步驟(圖2), 具體如下:
1. | 創建或獲取一個TensorFlow模型:該模型必須足夠小,以便在轉換后適合目標設備,并且它只能使用支持的運算。如果要使用當前不支持的運算,可以提供自定義實現。 |
2. | 將模型轉換為TensorFlow Lite FlatBuffer:您將使用TensorFlow Lite轉換器將模型轉換為標準TensorFlow Lite格式。您可能希望輸出一個量化模型,因為這種模型的尺寸更小,執行效率更高。 |
3. | 將FlatBuffer轉換為C字節數組:模型保存在只讀程序內存中,并以簡單的C文件形式提供。可以使用標準工具將FlatBuffer轉換為C字節數組。 |
4. | 集成TensorFlow Lite for Microcontrollers C++庫:編寫微控制器代碼來收集數據,使用C++庫執行推理,然后使用結果。 |
5. | 部署到設備:編寫程序并將其部署到您的設備。 |
在選擇與TensorFlow Lite庫一起使用的兼容嵌入式平臺時,開發人員應注意以下幾點:
1. | 基于32位架構(如Arm Cortex-M處理器)和ESP32的系統。 |
2. | 它可以運行在內存大小達數十KB的系統上。 |
3. | TensorFlow Lite for Microcontrollers是用C++ 11編寫的。 |
4. | TensorFlow Lite for Microcontrollers可作為Arduino庫提供。該框架還可以為其他開發環境(如Mbed)生成項目。 |
5. | 不需要操作系統支持、動態內存分配或任何C/C++標準庫。 |
接下來的步驟
Google提供四個事先訓練好的模型作為示例,可用于在嵌入式平臺上運行。只需稍做修改,就能在各種開發板上使用。這些示例包括:
● | Hello World:演示使用TensorFlow Lite for Microcontrollers的必備基礎知識。 |
● | Micro-Speech:用麥克風捕捉音頻以檢測單詞“yes”和“no”。 |
● | Person Deflection:用圖像傳感器捕捉攝像頭數據,以檢測是否有人。 |
● | Magic Wand:捕獲加速度計數據以對三種不同的手勢進行分類。 |
審核編輯:郭婷
-
發動機
+關注
關注
33文章
2498瀏覽量
69721 -
嵌入式
+關注
關注
5093文章
19178瀏覽量
307713 -
人工智能
+關注
關注
1796文章
47683瀏覽量
240311
發布評論請先 登錄
相關推薦
評論