通常，人工智能（AI）計算大多是在數據中心、企業核心設備或電信邊緣處理器上遠程執行的，而不是在本地設備上。其中緣由主要是AI計算需要數百個不同類型的芯片來執行，硬件的尺寸、成本和功耗都非常高。但是，對于那些對帶寬、時延敏感的實時性應用而言，全部上“云”就不是最好的選擇了。

幸好，嵌入式AI已經開始改變這一切！

為什么需要嵌入式AI？

過去10年，通用嵌入式計算取得了飛速發展，其應用觸角已延伸至航空航天、工業、電力、消費等各個領域。不過，將嵌入式與AI結合起來是最近幾年才出現的事情。
嵌入式AI，實際上是一種讓AI算法可以在終端設備上運行的技術概念。因嵌入式AI的芯片體積更小，價格相對低廉，產生的熱量和耗電量更是比“云”端設備小得多，因而可以集成到智能手機等手持設備以及機器人等非消費類設備中。正是嵌入式AI或者邊緣AI（edge AI）芯片的出現，減少或消除了將大量數據發送到云端的需要，從而在可用性、速度以及數據安全和隱私方面帶來了極大的便利和好處。

嵌入式AI的目標是能夠在邊緣使用專門的硬件進行高效的計算。這些設備上的人工智能模型需要是可訓練的，無論是在設備級別還是在云端，這就需要將訓練好的模型傳輸回邊緣。回顧人工智能的發展歷程，我們看到了計算能力從云端到邊緣的緩慢卸載（圖1）。

歸納起來，嵌入式AI的出現主要源自下面三個方面的影響。

一是來自硬件支持。這一點非常關鍵。在過去的幾年里，微控制器和應用處理器的技術演進實在是太驚人了。微控制器現在能支持兆字節的閃存和RAM，系統時鐘頻率能達到甚至超過1 GHz，有些控制器還能支持DSP指令，這意味著它們可以有效地執行AI中的推理任務。隨著處理器計算能力的大幅提升，在邊緣支持機器學習不再需要太多額外的成本。

二是大幅簡化的軟件開發過程。機器學習已經成為物聯網和云計算不可或缺的工具，它可以極大地簡化軟件開發。尤其是在語音識別、圖像分類和預測維護等領域，機器學習可以大大簡化開發過程，加快開發速度。以物聯網為例，每天都會產生海量數據，數據分析是一項龐大的任務，通過機器學習訓練出一個模型，然后在嵌入式系統上部署推理，這些數據的分析將不再困難。

三是市場的推動。嵌入式AI正在變成市場的一個營銷熱點。一個產品能否熱銷，除了功能和性能出眾，尋找賣點也很重要。機器學習現在就是市場的熱門話題，將其用于你的產品設計中，它很可能就會成為撬動市場的一個支點。

嵌入式AI還有瓶頸

邊緣嵌入式AI芯片的應用給消費者和企業帶來了重大變化。對于消費者來說，邊緣AI芯片可以提供很多功能——從解鎖手機，到與語音助手進行對話，到在極其困難的條件下拍攝照片，而且不需要互聯網連接。但從長遠來看，邊緣AI芯片的更大影響可能來自于其在企業中的應用。在企業中，邊緣AI芯片可以使公司的物聯網應用達到一個全新的水平。

在這些利好的背后，問題也隨之出現：現有的標準芯片不太符合邊緣側智能化的需求。目前，機器學習主要由CPU、GPU、FPGA和ASIC的混合體來進行所有的訓練和推理。從早期AI直至今天，CPU、GPU和FPGA的應用非常廣泛，它們很好地契合了深度學習的內存密集型需求。不過，開發人員和系統設計人員逐漸發現，要在嵌入式設計中添加某種形式的神經網絡或深度學習能力，將現有的CPU、GPU、FPGA等標準芯片降級為通用嵌入式AI，會出現水土不服的現象。其主要原因是這些通常放在數據中心的芯片普遍尺寸大、價格昂貴、耗電量大。

換句話說，在實際應用中，現在的嵌入式AI還有瓶頸。這個瓶頸不是在算力方面，而是芯片的尺寸、價格、耗電及散熱等方面。因此，面向邊緣智能的嵌入式AI離不開專用芯片支持。

半導體廠商的新商機

嵌入式AI在未來的經濟增長中正在扮演關鍵的角色，它們不可避免地將會出現在汽車、智能家居、機器人以及各種電子設備上。根據德勤公司對人工智能芯片行業的預測，到2020年，全球將售出超過7.5億個邊緣AI芯片，收入達26億美元。與2017年相比，年復合年增長率達到36%。此外，邊緣AI芯片市場的增長速度還將遠遠超過整個芯片市場。到2024年，預計邊緣AI芯片的銷量將超過15億，年銷售額增長至少為20%，這個增速是整個半導體行業預測的9%復合年增長率的兩倍多。按行業看，目前消費端的邊緣AI芯片市場比企業市場大得多，但增速不及后者。預計在2020年至2024年間，消費端的邊緣AI芯片市場復合年增長率將達到18%，企業級為50%。

那么，誰將從嵌入式AI芯片這一新興市場中獲益呢？答案很明顯，他們就是制造嵌入式AI芯片的公司。現在，進入這一行業的半導體公司很多，最具代表性的企業有NXP（恩智浦）、STMicroelectronics、Maxim、arm、Xilinx（賽靈思）、Renesas、Lattice等。他們已經推出硬件、軟件、開發工具等一系列解決方案，相關的生態系統也已逐步建立。
以下是過去一年中我們看到的嵌入式AI芯片領域的“新物種”，從中我們可以看到眾多廠商在這個領域的技術路線圖。

NXP i.MX 8M Plus：將高性能機器學習推向邊緣端

對于許多應用而言，邊緣端是進行機器學習處理的理想位置。NXP i.MX 8M Plus是一款配備了專用高性能機器學習加速器的i.MX應用處理器。因使用了14nm FinFET工藝技術，故i.MX 8M Plus擁有很高的性能且保持低功耗。該處理器還采用了同時支持兩個低成本高清圖像傳感器或一個4K分辨率圖像傳感器的雙攝像頭ISP，足以應對人臉、物體對象和手勢識別等機器學習任務。

此外，它還集成了獨立的800MHz Cortex-M7，用來處理實時任務、H.265和H.264的視頻編解碼、800MHz HiFi4 DSP以及用于語音識別的8通道PDM麥克風輸入。借助i.MX 8M Plus，語音識別、對象檢測、人臉識別、對象分割、增強現實、手勢識別等應用均可在邊緣運行機器學習。

Xilinx Versal ACAP：將智能引入到邊緣設備

Xilinx Versal ACAP是一款自適應計算加速平臺，它融合了用于嵌入式計算的新一代標量引擎、用于FPGA芯片編程的自適應引擎，以及用于AI推斷與高級信號處理的智能引擎，擁有卓越的計算性能和單位功耗。

為了讓更多的開發者受益于賽靈思所提供的從邊緣到云的人工智能和深度學習推斷加速度，賽靈思緊接著又推出了另一款軟件平臺產品——Vitis AI。Vitis AI開發環境是賽靈思在其硬件平臺上進行AI推理的開發平臺，可加速基于賽靈思平臺部署深度學習推斷的進程，其中的模型涵蓋不同的應用，包括ADAS/AD、視頻監控、機器人和數據中心等。

Maxim神經網絡加速器芯片：在邊緣實現復雜的嵌入式決策

Maxim神經網絡加速器MAX78000是一款低功耗微控制器，它支持電池供電的嵌入式IoT設備在邊緣通過快速、低功耗AI推理來制定復雜決策。MAX78000將高能效AI處理與超低功耗微控制器結合在一起，內建的基于硬件的卷積神經網絡 (CNN) 加速器可在電池供電應用執行AI推理，而僅消耗微焦耳級別的能量。

與軟件方案相比，這種快速、低功耗的決策實施使得復雜的AI推理能耗降低到前期方案的百分之一以內，采用AI技術的電池供電系統的運行時間可得到大幅延長。更重要的是，MAX78000的成本只有FPGA或GPU方案的零頭，而執行推理的速度比低功耗微控制器上實施的軟件方案快100倍。

總之，嵌入式AI的興起，使得傳統的嵌入式廠商也有機會參與到AI的盛宴之中。不過要想在分食未來AI應用市場的蛋糕時分得更多的份額，那現在就應該開始行動了！