在萬物皆可AI（人工智能）的今天，市場上幾乎每家企業都在宣稱自己的業務中有了AI成分。因此，將AI接入極靠近終端客戶的網絡邊緣也就沒什么懸念了。這里的邊緣人工智能（即Edge AI，或邊緣AI）主要是指將人工智能系統（如預測分析、語音或圖像識別或異常檢測）與邊緣計算相結合的技術實踐。

直白地說，這樣做的好處是提升了系統反應速度，并減少對網絡帶寬的需求。邊緣AI的這些特性使之非常適合于對時間敏感的應用場景，例如自動駕駛汽車、智慧城市和工業物聯網（IoT）以及可穿戴健康監測設備等。

邊緣AI的優勢

對于傳統的人工智能而言，人工智能模型通常位于中央服務器的后端，例如公共云或數據中心，在那里處理和分析發送到中央位置的數據。如果同時處理和分析太多的數據，很可能導致服務器的延遲。

有了邊緣人工智能，機器學習算法可以直接在給定網絡的邊緣運行，在那些更靠近生成運行系統所需的數據和信息的地方，例如物聯網設備或配備邊緣計算設備的機器。每個邊緣設備都可以使用安裝在設備上的集成AI或機器學習模型來分析它收集的數據，并做出智能決策，且不會將所有原始數據發送出去，只是將關鍵的數據傳輸到中央服務器。

分布式人工智能的概念介于邊緣人工智能和傳統人工智能之間。通過分布式系統，數據在一系列互連設備上進行處理和分析，包括中央服務器和邊緣設備，每個節點都處理其中的一小部分，其思想是借助分布式處理來應對大量工作負載。分布式人工智能的缺點是比邊緣人工智能具有更大的延遲，隱私性和安全性較低，管理起來也更復雜。

生成式人工智能、大型語言模型（LLM）和人工智能能力的激增，為AI PC等創新解決方案鋪平了道路，提高了各個行業的生產力和效率。邊緣AI PC是專門為推理和訓練等任務設計的專用計算設備，可以直接在源頭完成復雜的數據處理和機器學習。這種本地化的計算能力對于工業自動化、安全和監控中的應用至關重要。

邊緣AI可以在各種硬件上運行，從現有的CPU到微控制器，以及高級神經網絡處理設備。一些常用的邊緣計算芯片是由Intel、NXP和NVIDIA等大型科技公司制造并提供。據Markets and Markets的分析預測，未來5年邊緣AI硬件市場規模預計將從2024年的242億美元增長到2029年的547億美元，在2024年至2029年的預測期內將以17.7%的復合年增長率增長。

物聯網（loT）設備在智能家居、工業自動化、醫療保健、農業和交通等各個行業的快速增長是邊緣人工智能硬件發展的重要驅動力。

誰在用邊緣AI？

人工智能正日益成為所有行業和廣泛用例中的普遍和關鍵工具。隨著邊緣人工智能的成熟，邊緣處理的應用范圍不斷擴展。Grand View Research的研究數據顯示，截至2022年，邊緣人工智能市場規模為147.88億美元，預計2023年至2030年的復合年增長率將達到21%。

邊緣AI能夠以更高的速度、更低的成本和更低的功耗，更安全地完成數據的實時分析，這使其成為云計算AI極具吸引力的替代品，制造業、醫療保健、智慧城市以及自動駕駛汽車等行業的公司都在加緊Edge AI的應用和部署。

在醫療保健和健康監測行業，醫院及其醫療服務提供者將從邊緣AI中深深獲益。由于邊緣AI能夠在設備本地處理數據，從而在緊急情況下可快速生成決策并執行關鍵操作。基于人工智能的血糖監測儀和生命體征追蹤器等醫療設備，可以為醫生的決策提供數據支持，減輕了他們的工作量。借助邊緣AI，從心臟追蹤器和血壓傳感器等健康監測設備收集的所有數據都可以在本地進行處理和分析，從而實現實時分析，助力醫療專業人員為患者提供更好的護理。此外，邊緣AI還能直接在設備上處理敏感數據，減少了個人健康數據在易受攻擊的網絡中傳輸的風險。

邊緣AI的實現需要結合恰當的硬件、軟件、以及安全、連接和傳感等支持技術，非常重要的是，能將它們集成到降低復雜性、開發進程快的系統中。

在今年的CES上，NXP發布了其醫療保健AI控制器（AICHI），這是一個能夠實時安全收集并分析多模態健康數據的邊緣AI平臺。作為一項概念驗證，AICHI充分展示了邊緣AI在醫療保健領域的巨大潛力。該AI控制器利用環境傳感器以及非侵入式健康設備（如血壓監測儀、心電圖貼片、血糖貼片或醫療智能手表）采集的信息，通過結合邊緣AI和調優后的大語言模型（LLM）用于會話界面（針對i.MX 95 MPU的eIQ Neutron NPU進行了優化），AICHI能夠安全、實時地收集并分析多模態健康與傳感器數據。這一能力實現了早期異常檢測、個性化護理以及積極干預，同時始終保持較高的安全性與效率標準。

在汽車行業，相比那些層出不窮的新功能，安全的重要性永遠排在第一位。當一輛自動駕駛汽車在繁忙的道路上行駛時，每一毫秒都很重要，邊緣AI實現的快速數據處理是系統能夠快速響應周圍環境的基礎。

在智能家居系統中，從視頻門鈴到語音控制燈泡以及可監控食品消費和保質期的冰箱，這些設備今后將不必將所有數據從家里發送到集中式遠程服務器進行處理，邊緣AI可在現場完成所有操控。此外，利用邊緣AI還可以監控供暖、制冷、照明等設施，以優化能源效率。

在智慧城市建設中，邊緣AI設備是其關鍵的組成部分。交通信號燈上的邊緣AI設備可以按時間分析交通模式，調整交通信號，優化交通流量，避免或減少道路的擁堵。邊緣AI對計算機視覺、物體檢測和面部識別的使用使一些安全攝像頭特別有效，它們允許從任何位置進行雙向音頻、數字變焦和遠程監控。智能電表、位于非常偏遠地區的管道和電網設備的自我監控等都將從邊緣AI的應用中獲益。

邊緣AI的技術基石

半導體是邊緣AI的基石，它在技術上的不斷演進保障了邊緣AI任務所需的高性能和效率。現在，領先的半導體供應商已經為高效的邊緣AI設備設計了專用的硬件，一系列的關鍵組件包括CPU、GPU、NPU等，每個組件在實現高級AI功能方面都發揮著獨特的作用。

CPU

CPU是計算系統的大腦，在AI PC中，它是處理和管理復雜任務的中心樞紐。在堅固的邊緣AI設計中，通常會在Arm和x86 CPU架構之間進行選擇。X86架構的優先考慮是芯片的原始計算能力，用以實現多功能性，而Arm架構則強調芯片的高效能和低功耗特性。具體選用哪種架構的芯片需依實際需求而定。

例如Intel的第14代酷睿處理器，旨在處理密集的計算工作負載，CPU在速度、效率和多任務處理能力方面均有顯著提高，是需要強大數據處理和快速決策的人工智能應用的理想選擇。

在基于Arm架構的方案選擇中，NXP的i.MX 8M Plus系列是一款專注于機器學習和視覺、高級多媒體以及具有高可靠性的工業自動化的應用處理器，它內置四核或雙核Arm Cortex-A53處理器，帶有神經處理單元（NPU），運行速率高達2.3TOPS，完全滿足智慧家庭、智能樓宇、智慧城市和工業4.0等應用中的邊緣AI需求。

圖：i.MX 8M Plus系列系統框圖（圖源：NXP）

GPU

GPU對于邊緣AI任務的順利完成至關重要。能夠執行并行處理這一特性對于處理大型數據集和復雜算法是極其關鍵的。在AI PC中，NVIDIA RTX系列或A100 Tensor Core GPU等GPU加速了機器學習模型的訓練和推理，大大減少了這些過程所需的時間。這些GPU在圖像識別、自然語言處理和復雜模擬等任務中特別有效。

NPU

NPU是更大SoC上的一種新的專用處理器或處理單元，專門用于加速AI PC的神經網絡操作和AI任務。與通用CPU和GPU不同，NPU針對數據驅動的并行計算進行了優化，使其在處理視頻和圖像等大量多媒體數據以及處理神經網絡數據方面非常高效。

TMS320F28P55x系列C2000 MCU，是Taxes Instruments面向邊緣AI應用推出的一款具有集成神經處理單元（NPU）的實時微控制器產品，可實現高精度、低延遲的故障檢測。在電動汽車充電基礎設施電源模塊的設計和建設中，可有效執行儲能系統中的電弧故障檢測。

TMS320F28P55x系列MCU使用NPU運行卷積神經網絡（CNN）模型，能夠減輕主CPU的負擔，其延遲時間比軟件實現低 5 到 10 倍，可實現更快、更準確的決策。此外，在集成NPU上運行的模型通過訓練學習和適應不同的環境，能幫助系統實現高于99%的故障檢測準確率，從而在邊緣做出更明智的決策。

Taxes Instruments完整的AI工具鏈包括針對特定應用進行優化和測試的模型，可幫助不同經驗水平的工程師輕松完成 AI 模型開發過程。利用Taxes Instruments的Edge AI Studio - Model Composer或Tiny ML Modelmaker加載與訓練模型，還可獲得高級功能集。

圖：使用NPU運行CNN模型的TMS320F28P55x系列MCU系統框圖（圖源：Taxes Instruments）

為了豐富自己的NPU產品系列，NXP于2025年2月宣布斥資3.07億美元收購可編程NPU企業Kinara。Kinara的產品支持廣泛的邊緣AI應用，包括多模態生成式AI模型，Ara-1是Kinara第一代分立NPU，能夠進行先進的邊緣AI推理。Ara-2作為第二代NPU，其運算能力高達40TOPS（每秒萬億次運算），并針對生成式AI實現系統級高性能進行了優化。Ara-1和Ara-2NPU可以輕松地與嵌入式系統集成，以增強其AI性能，包括對現有現場系統進行升級。這兩款器件均采用創新的架構，能夠映射推理圖，以便在Kinara的可編程專有神經處理單元上高效執行，更大限度地提高邊緣AI性能。

鑒于AI算法未來將不斷從CNN演進至生成式AI，甚至發展出智能體AI等新方法，這種可編程NPU確保了系統的適應性。Ara-1和Ara-2在性能和能效方面表現出色，非常適合用于視覺、語音、手勢等新興AI應用，以及其他各種由生成式AI驅動的多模態實現。收購完成后，恩智浦可將分立NPU及其AI軟件集成到公司的處理器、連接、安全和高級模擬解決方案產品組合中，以進一步增強NXP提供從TinyML到生成式AI的完整、可擴展AI平臺的能力。

AI開發工具

在一系列專用芯片的基礎上，先進的算法和AI開發工具將進一步加速邊緣AI的應用進程。當然，從零開始創建AI/機器學習模型需要海量的數據和一大批數據科學家。現在，通過遷移學習可以加快模型開發過程。

遷移學習是一種熱門技術，可以將現有神經網絡模型中已經學到的特征提取到新的自定義模型中。NVIDIA TAO工具套件基于TensorFlow和PyTorch構建，是NVIDIA TAO框架的低代碼版本，通過抽象出AI/深度學習框架的復雜性來加速模型訓練過程。有了TAO工具套件，AI設計人員將無需具備強大的AI專業知識或者大型訓練數據集，只需利用遷移學習的強大功能和自己的數據對預訓練模型進行微調，并針對推理進行優化，即可自定義構建人工智能模型。

NXP是首家將NVIDIA TAO工具套件API直接集成到其人工智能產品（eIQ機器學習開發環境）中的半導體供應商，并已將NVIDIA經過訓練的人工智能模型部署在恩智浦邊緣處理設備中。借助eIQ機器學習軟件開發環境，用戶可在恩智浦的微控制器和微處理器產品組合中利用人工智能算法。

本文小結

邊緣人工智能是一種利用邊緣位置的有價值數據為深度機器學習提供動力的概念。邊緣計算代表了數據處理發生的位置的轉變。現代技術使得在網絡邊緣的遠程位置執行大部分計算任務成為可能，這些位置更靠近終端用戶，而不是在距離關鍵數據源非常遙遠的傳統數據中心。

在邊緣結合人工智能可以實現原本不可能或不切實際的功能。除了減少延遲和邊緣計算固有的安全優勢外，將AI添加到應用中還帶來了由復雜的ML推動的前所未有的可擴展性。現在，邊緣AI不再是一種概念，它們已經在醫療保健、智能駕駛、智慧城市、智能家居、智能制造等行業獲得廣泛應用。

在此過程中，專用的高性能半導體器件以及先進的人工智能開發工具是邊緣AI發展的基石，并將伴隨著邊緣AI技術和市場的進步而不斷演進。