新的互聯網是物聯網（IoT），它完全是關于數據的 - 以在物聯網之前根本無法想象的規模生成和處理。現在，通過將AI應用于這些數據，我們可以顯著改善見解。人工智能現在可以識別倫敦水網的泄漏，因此工程師可以精確地更換管道。它可以衡量在高峰時段使用東京澀谷口口的人如何影響交通流量。它可以衡量紐約人對時代廣場新廣告的反應。三個例子，三個行業 - 公用事業，物流和營銷 - 都得到了人工智能的增強。

目前物聯網整理的數據量已經很大，但它將變得更大、更有趣。2019年2月，Gartner表示，組織中人工智能的采用率逐年增加了兩倍。對于工程師和工程公司來說，設備網絡智能化的提高意味著我們可以開始實現物聯網的真正潛力。

人工智能在工業物聯網（IIoT）中最有用的地方

AI正迅速成為主流計算資源可以處理的任務;我們已經有了人工智能，以機器學習（ML）推理的形式，在哮喘吸入器等單傳感器設備上運行。我們可以直接在智能手機上訪問AI驅動的照片增強功能，然后在高級車輛中運行計算機視覺應用程序。所有這些都已經在改善人們的生活，但我認為我們將在工業應用中看到最直接的商業價值。

在工業環境中，任何可以提高生產率的技術都是有價值的，并且操作數據通常用于提供對機器及其當前狀況的見解。工業傳感器生成的數據包含模式，通過日益復雜的分析，可以幫助預測資產何時會發生故障，從而在故障對生產率產生更大的整體影響之前對其進行修復。預測和預防性分析的這一分支以前已經在大型服務器和“云”中進行，但AI和ML的發展意味著它現在正在向網絡邊緣靠攏。事實上，它被直接放入構成IIoT的機器中。

邊緣機器學習

ML處理走向邊緣的原因有很多。第一個是最簡單的接受：邊緣是創建數據的地方。不過，還有其他更關鍵的原因;最值得注意的是，數據在移動帶寬和處理指令周期方面都消耗資源。如果通過物聯網生成的所有數據都由服務器處理，它將涉及大量的網絡流量和服務器功率的指數級增長。這正是谷歌等公司正在精簡其一些算法的原因 - 因此它們可以獨立于云，在邊緣AI驅動的設備上運行。

正如在邊緣設備中嵌入 HTML 服務器現在已司空見慣一樣，在端點（如傳感器）中執行 ML 也是可行的。但是，ML在邊緣的實現方式至關重要，它遵循分布式處理的概念。訓練AI算法所需的處理資源相當可觀，但它實際上是一種非經常性費用。執行推理模型所需的資源更為有限，但在數量上可以消耗與訓練階段一樣多（如果不是更多）的處理資源。它們的不同之處在于，與訓練不同，每個推理實例都可以與所有其他實例隔離打包和執行，這意味著它可以很容易地移植到較小的處理資源中，并根據需要多次復制。

這種分布式智能是新互聯網的形態，如有必要，它可以再次孤立地運行，同時仍然是整體的一部分。邊緣處理消除了在日益擁擠的網絡中傳遞數據的需要，并消耗了越來越寶貴的處理資源。

面向機器學習的架構

訓練完成后，AI 框架將提供部署路徑。對于部署在邊緣的資源受限設備，這包括張量流精簡版和 Caffe2 等設備。這些和其他此類平臺通常是開源的，并且通常帶有“入門”介紹;已經過訓練以提供某種形式的推理的模型。這些模型還可以使用自定義數據集進行重新訓練，該過程稱為遷移學習，可以節省數小時的處理時間。

為了在不同的處理架構之間移植，模型通常通過解釋器運行，并由主機軟件使用API訪問。由于模型經過優化，因此整個實現可以適應 100 KB 的低內存。

有許多例子說明ML如何在網絡邊緣，網絡邊緣或附近運行，其中許多將運行基于Linux的操作系統。這些基于 CPU 的 ML 解決方案使用本質上是通用的微處理器，而不是臺式計算機中常見的耗電量大且通常面向 GPU 的大型設備。GPU具有高度并行的執行模塊，并利用多個MAC單元，旨在盡可能快地執行重復的，面向數學的操作，而很少考慮功耗。它們通常難以編程，需要高水平的功率，并且通常不適合資源受限的邊緣設備。

TensorFlow Lite設計用于在較小的處理器上運行一些TensorFlow模型，并提供預訓練的模型，可以提供各種類型的ML，包括圖像分類，對象檢測和分割。這三種類型的模型的工作方式略有不同：圖像分類適用于整個圖像，而對象檢測將圖像分解為矩形，但分割進一步查看每個單獨的像素。要在 TensorFlow 精簡版部署中使用經過訓練的張量流模型，需要轉換這些模型，這可以通過可選的優化來減小文件大小。該轉換器可用作 Python 的 API，下面的代碼示例演示了如何使用它。

導入張量流作為 tf

轉換器 = tf.lite.TFLiteConverter.from_saved_model（saved_model_dir）

tflite_model = converter.convert（）

打開（“converted_model.tflite”，“wb”）。寫入（tflite_model）

在標準處理器上運行ML意味著開發人員還可以利用基于行業標準語言（如Python）的簡單軟件解決方案。在某些情況下，這些處理器可能具有DSP擴展，這些擴展可用于加速部分數據流，但本質上通用處理器可以處理在較小設備中運行ML所需的處理級別，同時仍然處理通用應用程序代碼。

CPU主導的AI已經普遍用于智能手機，例如用于識別照片中的特定特征。在工業應用中也是如此，基于多核處理器（如恩智浦 i.MX 系列）的片上系統（SoC）解決方案通常用于將ML投入工業過程。這包括機器視覺系統，該系統可以在制造過程中識別特定產品。這些 SoC 和其他類似 SoC 是當今如何部署 ML 的完美示例。

超越地平線

雖然CPU或MCU主導的AI現在已經司空見慣，但我們已經期待設備網絡最遠的邊緣，其中尺寸，功耗和成本要求受到超高限制。這就是最新版本的TensorFlow的用武之地：張量流精簡版微軟，或稱為TF精簡微，是框架的一個版本，它被設計為在可能沒有操作系統的微控制器上運行，而不是運行Linux的微處理器。代碼和模型加在一起只需要45KB的閃存，只需要30KB的RAM即可運行。這是在最遠的邊緣的推斷，在設備中完全自主運行，無需任何其他軟件的幫助，或者同樣重要的是，沒有其他硬件的幫助。

使用 TF 精簡版的過程類似于使用張量流精簡版，但附加步驟是編寫深度嵌入的代碼來運行推理。除了在代碼中包含相關的.h文件外，主要步驟還包括：添加代碼以允許模型寫入日志;實例化模型;為輸入分配內存;輸出和中間數組;實例化解釋器;驗證輸入形狀，實際運行模型并獲取輸出。下面的代碼片段是如何獲取輸出的示例。

TfLiteTensor* output = interpreter.output（0）;

uint8_t top_category_score = 0;

int top_category_index;

for （int category_index = 0; category_index 《 kCategoryCount;

++category_index） {

const uint8_t category_score = output-》data.uint8［category_index］;

if （category_score 》 top_category_score） {

top_category_score = category_score;

top_category_index = category_index;

}

}

為了在微控制器上支持 ML，Arm 開發了 CMSIS-NN 軟件庫，這是處理神經網絡的 Cortex 微控制器軟件接口標準 （CMSIS） 的一部分。通過量化，將浮點數減少到整數（這一過程已被證明很少或沒有精度損失），CMSIS-NN幫助開發人員將模型映射到微控制器的有限資源。

超高效的 ML 框架（如 TF 精簡版微處理器）以及 CMSIS-NN 使得使用在超低功耗微控制器上運行的 ML 成為可能。這顯然有許多可能的應用，但一個非常適用于始終在線系統的場景是，系統的大部分保持深度睡眠模式，直到特定條件使其栩栩如生，例如喚醒詞。我們可以將其視為一種新型的中斷服務例程，它使用智能來決定芯片/系統的其余部分何時需要參與。這清楚地表明了超低功耗ML功能在邊緣產生巨大影響的潛力。

展望未來，專注于邊緣推理需求的技術開發將使高度響應和功能強大的ML模型能夠在更低的功率水平下運行。例如，Arm 為 Armv8-M 架構開發了新的矢量擴展，稱為氦。這是 Arm Cortex-M 處理器的最新發展，當 Armv8-M 架構于 2015 年推出時，它獲得了 Arm TrustZone 在安全性方面的優勢。氦矢量擴展的開發將把類似NEON的處理能力與信任區的安全性結合起來。氦矢量擴展還將為Cortex-M級微控制器提供顯著的性能提升，這將有助于實現許多新應用，在邊緣具有更靈敏，更準確的ML。氦氣將使Cortex-M設備的ML提高多達15倍，信號處理將提高多達5倍。

圖 4：氦氣將加速信號處理和機器學習算法。

對于開發人員來說同樣重要的是，這意味著他們將可以在用于其他基于微控制器的開發中使用的相同工具鏈中訪問ML。集成功能，如識別異常振動、意外噪音或警報圖像，將隱含在控制代碼中，從而簡化將ML置于邊緣的整個過程。

機器學習遠非“為了技術而技術”，由于對響應更快，更強大的控制系統的需求正在增加，這些系統不依賴于云服務，并且與物聯網保持始終在線的連接。

如果物聯網要擴展到我們現在意識到的數萬億臺設備來滿足不斷增長的期望，那么在邊緣使用推理來限制在日益擁擠的網絡上傳輸的數據量將是必不可少的。

審核編輯：郭婷