科技飛速發(fā)展，人工智能與工業(yè)領(lǐng)域的融合日益深入。NXP旗下的i.MX 8M Plus作為一款高端工業(yè)處理器，NPU算力高達(dá)2.3TOPS，正引領(lǐng)著工業(yè)智能化的浪潮，為眾多工業(yè)場(chǎng)景帶來(lái)了前所未有的變革潛力。

i.MX 8M Plus NPU特性

i.MX 8M Plus的NPU支持INT16/INT32/FP16/FP32等多種數(shù)據(jù)類(lèi)型，兼容性卓越，與TensorFlow Lite/Arm NN/ONNX Runtime/DeepViewRT等框架無(wú)縫對(duì)接。這一特性，為開(kāi)發(fā)者們打造了一個(gè)極為豐富的工具和庫(kù)生態(tài)系統(tǒng)，更便利進(jìn)行模型開(kāi)發(fā)與訓(xùn)練工作，輕松應(yīng)對(duì)各種復(fù)雜的大數(shù)據(jù)運(yùn)算場(chǎng)景，無(wú)論是海量工業(yè)數(shù)據(jù)的分析處理，還是精準(zhǔn)智能決策的模型構(gòu)建，更加游刃有余。

i.MX 8M Plus NPU開(kāi)發(fā)流程

第一步：模型開(kāi)發(fā)

首先，從TensorFlow預(yù)訓(xùn)練模型庫(kù)中選擇一個(gè)合適的模型，或根據(jù)具體任務(wù)需求創(chuàng)建自定義模型。然后，收集和準(zhǔn)備訓(xùn)練數(shù)據(jù)集。

第二步：模型訓(xùn)練

可通過(guò)eIQ Toolkit工具調(diào)整參數(shù)（如Weight initialization、Input size、Learning rate等）優(yōu)化模型性能，配置訓(xùn)練參數(shù)后，開(kāi)始模型訓(xùn)練。

第三步：模型量化

可通過(guò)量化一個(gè)訓(xùn)練后的模型，減少其大小，并加快在NPU上的推理時(shí)間，實(shí)現(xiàn)最小的精度損失。

圖 2 開(kāi)發(fā)流程示意圖

NPU開(kāi)發(fā)案例演示

本文主要介紹基于i.MX 8M Plus的NPU開(kāi)發(fā)案例，適用開(kāi)發(fā)環(huán)境如下。

Windows開(kāi)發(fā)環(huán)境：Windows 7 64bit、Windows 10 64bit

虛擬機(jī)：VMware15.5.5

開(kāi)發(fā)環(huán)境：Ubuntu20.04.6 64bit

U-Boot：U-Boot-2022.04

Kernel：Linux-5.15.71-rt51

LinuxSDK：Real-Time Edge Software 2.5

硬件平臺(tái)：創(chuàng)龍科技TLIMX8MP-EVM工業(yè)評(píng)估板（基于i.MX 8M Plus）

為了簡(jiǎn)化描述，本文僅摘錄部分方案功能描述與測(cè)試結(jié)果，詳細(xì)產(chǎn)品資料請(qǐng)掃描文末二維碼下載。

案例說(shuō)明

案例基于預(yù)訓(xùn)練的TensorFlow Lite模型實(shí)現(xiàn)對(duì)圖片中目標(biāo)對(duì)象的分類(lèi)。TensorFlow Lite模型循環(huán)測(cè)試10次，統(tǒng)計(jì)出推理的平均處理耗時(shí)和幀率，獲取模型輸出的前五個(gè)標(biāo)簽及置信度打印至串口終端并通過(guò)HDMI顯示屏繪制標(biāo)簽及置信度概率最大的對(duì)象結(jié)果。

程序處理流程圖如下：

圖 4

案例演示

通過(guò)網(wǎng)線將評(píng)估板千兆網(wǎng)口ETH0連接至路由器，將HDMI顯示器與評(píng)估板HDMI2 OUT接口(CON22)連接。

圖 5

在可執(zhí)行文件所在目錄，執(zhí)行如下命令，對(duì)圖片目標(biāo)對(duì)象進(jìn)行推理。

Target#./mobilenetv1_label_image -m mobilenet_v1_1.0_224_quant.tflite -y ./bmp_image -l labels.txt -c 10 --external_delegate_path=/usr/lib/libvx_delegate.so

圖 6 圖 7

程序滾動(dòng)識(shí)別多張圖片，以第1張圖片識(shí)別結(jié)果為例，輸出結(jié)果信息如下所示。

圖 8

從輸出信息可知，本張圖片識(shí)別為桌面電腦、屏幕、監(jiān)控器、筆記本電腦、桌子的概率分別為53.7255%、20%、7.45098%、4.31373%、2.7451%，程序循環(huán)運(yùn)行10次模型平均耗時(shí)為2.6519ms，幀率為377fps。

案例程序?qū)y(cè)試圖片的目標(biāo)對(duì)象進(jìn)行識(shí)別后，通過(guò)HDMI顯示屏繪制標(biāo)簽及置信度概率最大的對(duì)象結(jié)果如下所示。

圖 9

若您希望深入了解更多i.MX 8M Plus相關(guān)的精彩案例演示，可以通過(guò)公眾號(hào)(Tronlong創(chuàng)龍科技）獲取詳細(xì)資料，快來(lái)一起試試吧！

審核編輯 黃宇