支撐工業(yè) 4.0 的關(guān)鍵技術(shù)之一是在邊緣實(shí)施機(jī)器學(xué)習(xí)推理的能力。根據(jù)應(yīng)用程序的需要，機(jī)器學(xué)習(xí)推理可以分析遙測(cè)數(shù)據(jù)以對(duì)預(yù)測(cè)性維護(hù)進(jìn)行建模，以防止出現(xiàn)停線情況。或者，應(yīng)用程序可以檢查生產(chǎn)線上制造或包裝的物品。

對(duì)生產(chǎn)線上的項(xiàng)目進(jìn)行目視檢查的能力需要一個(gè)能夠以高幀率（>30fps 幀/秒）運(yùn)行圖像處理和機(jī)器學(xué)習(xí)算法的高性能系統(tǒng)。能夠?qū)嵤┠軌蜻M(jìn)行此類處理的解決方案也需要強(qiáng)大的功能。這正是 Xilinx 的 Xilinx ? Kria? K26 系統(tǒng)級(jí)模塊 (SoM) 和 KV260 Vision AI 入門套件等產(chǎn)品可以提供幫助的地方。

Xilinx ? Kria ? SoM 和 Vision AI 入門套件

Xilinx ? Kria ? K26 SoM及其 KV260 Vision AI 入門套件支持視覺(jué)和 AI 算法的快速原型設(shè)計(jì)。Kria K26 SoM 為設(shè)計(jì)工程師提供了一個(gè)高性能異構(gòu)系統(tǒng)，它結(jié)合了高性能 Arm ?處理器和高級(jí)可編程邏輯。這種組合允許應(yīng)用程序在處理系統(tǒng)或可編程邏輯中得到最佳實(shí)現(xiàn)。這種融合的結(jié)果是一個(gè)基于邊緣的解決方案，它提供了一個(gè)響應(yīng)迅速、確定性和節(jié)能的解決方案。

Kria 不同于傳統(tǒng)的 Xilinx 產(chǎn)品，因?yàn)樗亲鳛?SoM 交付的。SoM 不僅結(jié)合了集成電路，還包括必要的支持易失性和非易失性存儲(chǔ)器、時(shí)鐘和電源。Kria K26 SoM 由 SoC (XCK26) 以及 4GB DDR4 內(nèi)存、16GB eMMC、512Mb QSPI、TPM 安全模塊和必要的電源基礎(chǔ)設(shè)施組成（圖 1）。雙 240 針連接器可分出 245 個(gè) I/O，可輕松連接您的應(yīng)用程序。

圖 1：Xilinx Kria K26 SoM 允許設(shè)計(jì)工程師利用可編程邏輯的并行特性與高性能 Arm ?處理器內(nèi)核相結(jié)合。（來(lái)源：貿(mào)澤電子）

為幫助設(shè)計(jì)工程師著手開(kāi)展工作，Xilinx提供了Kria KV260 Vision AI 入門套件。Kria KV260 Vision AI Starter Kit 包含一個(gè)用于 SoM 的載卡，它提供以下接口：

3個(gè)MIPI接口

USB 3

HDMI

顯示端口

國(guó)標(biāo)以太網(wǎng)

模式

這些接口使設(shè)計(jì)工程師能夠創(chuàng)建復(fù)雜的基于視覺(jué)的 AI 解決方案。這些解決方案可以支持從 MIPI 到 USB 攝像頭和以太網(wǎng)實(shí)時(shí)流協(xié)議 (RTSP) 以及傳統(tǒng) HDMI 和 DisplayPort 接收器的一系列視頻源和接收器。

該入門套件還附帶一系列應(yīng)用程序，展示了開(kāi)始開(kāi)發(fā)基于視覺(jué)的 AI 應(yīng)用程序是多么容易。這些應(yīng)用包括可以檢測(cè)人臉的智能相機(jī)；多流跟蹤和識(shí)別；缺陷檢測(cè)；和自然語(yǔ)言處理。Kria 開(kāi)箱即用架構(gòu)的優(yōu)點(diǎn)之一是能夠重新編譯不同的網(wǎng)絡(luò)并替換示例網(wǎng)絡(luò)。

設(shè)計(jì)工程師可以使用 Vitis ? AI 來(lái)利用常用的 AI 開(kāi)發(fā)框架，例如 Caffe、TensorFlow 和 Pytorch。Vitis AI 支持在邊緣和云端加速 AI 推理算法。Vitis AI 技術(shù)堆棧支持常用框架，并提供在 Xilinx 設(shè)備上開(kāi)發(fā)和部署 ML/AI 算法所需的一切，包括 Kria K26 SoM。

Vitis AI 堆棧的核心是 Xilinx 深度學(xué)習(xí)處理器單元 (DPU)，它在可編程邏輯中實(shí)現(xiàn)，并針對(duì)卷積神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)進(jìn)行了優(yōu)化（圖 2）。可用于實(shí)現(xiàn)VGG、ResNet、GoogLeNet、YOLO、SSD、MobileNet、FPN等網(wǎng)絡(luò)。

圖 2：Vitis AI Stack 工作流提供了在 Xilinx DPU 上部署深度學(xué)習(xí)推理應(yīng)用程序的過(guò)程。（來(lái)源：賽靈思）

為了利用可編程邏輯的并行特性，DPU 執(zhí)行已使用 AI 量化器量化為 int-8 的網(wǎng)絡(luò)。

在硬件中實(shí)現(xiàn) DPU 模型并使用 Vitis AI 訓(xùn)練和編譯網(wǎng)絡(luò)后，就可以使用 Vitis 開(kāi)發(fā)軟件以創(chuàng)建完整的最終解決方案（圖 3）。

圖 3：Xilinx Vitis AI 部署模型圖（來(lái)源：Xilinx）

制造應(yīng)用用例

讓我們更深入地了解 Xilinx Kria SoM 如何用于制造應(yīng)用。創(chuàng)建制造應(yīng)用程序不一定需要任何可編程邏輯設(shè)計(jì)。但是，它需要軟件開(kāi)發(fā)以及使用 Xilinx 的 Vitis AI 訓(xùn)練和編譯新機(jī)器學(xué)習(xí)模型的能力。

Kria K26 SoM 和 KV260 Vision 入門套件非常適合需要快速圖像處理的應(yīng)用，例如檢測(cè)標(biāo)簽是否已正確貼在生產(chǎn)線上的裝運(yùn)箱上。在此示例中，設(shè)計(jì)工程師使用 Kria K26 SoM 在生產(chǎn)線上檢查包裹，并通過(guò) Mobilenet 網(wǎng)絡(luò)正確識(shí)別盒子上標(biāo)簽的位置。可以從包含正確和錯(cuò)誤標(biāo)簽位置的圖像數(shù)據(jù)集中訓(xùn)練該網(wǎng)絡(luò)（圖 4和圖 5）。

圖 4：使用 Mobilenet 網(wǎng)絡(luò)的正確標(biāo)簽位置示例（來(lái)源：貿(mào)澤電子）

圖 5：使用 Mobilenet 網(wǎng)絡(luò)的錯(cuò)誤標(biāo)簽位置示例（來(lái)源：貿(mào)澤電子）

訓(xùn)練完成后，該網(wǎng)絡(luò)可以部署在 Kria K26 SoM 上，結(jié)合 Linux GStreamer 支持，實(shí)時(shí)檢查生產(chǎn)線上的包裹（圖 6）。如果檢測(cè)到貼錯(cuò)標(biāo)簽的盒子，部署的應(yīng)用程序可以做出適當(dāng)?shù)捻憫?yīng)。

圖 6：Xilinx 正確識(shí)別正確標(biāo)簽的示例（來(lái)源：貿(mào)澤電子）

結(jié)論

生產(chǎn)線是快節(jié)奏的環(huán)境。在發(fā)貨前檢測(cè)制造或包裝缺陷的能力對(duì)于提高交付和客戶滿意度至關(guān)重要。然而，自動(dòng)化檢測(cè)設(shè)備需要在不減慢生產(chǎn)線速度的情況下進(jìn)行處理和決策。Xilinx Kria K26 SoM 和 Kria KV260 Vision AI 入門套件等產(chǎn)品可以提供幫助。

設(shè)計(jì)工程師可以使用 Kria KV260 視覺(jué) AI 入門套件快速開(kāi)始開(kāi)發(fā)視覺(jué)和 AI 原型設(shè)計(jì)解決方案并演示概念驗(yàn)證。Kria K26 SoM 實(shí)現(xiàn)了設(shè)計(jì)的可移植性，從概念、原型設(shè)計(jì)到最終設(shè)計(jì)解決方案，所需的更改極少，除了與載卡的接口。

使用 Kria K26 SoM 可以降低與創(chuàng)建具有復(fù)雜異構(gòu) FPGA、存儲(chǔ)器和電源架構(gòu)的嵌入式系統(tǒng)解決方案相關(guān)的開(kāi)發(fā)成本和風(fēng)險(xiǎn)。通過(guò)結(jié)合 Vitis AI 堆棧和開(kāi)箱即用的解決方案，Kria K26 SoM 使開(kāi)發(fā)團(tuán)隊(duì)能夠通過(guò)利用可編程邏輯的高性能特性來(lái)創(chuàng)建復(fù)雜的視覺(jué)和基于 AI 的解決方案，而無(wú)需進(jìn)行可編程邏輯設(shè)計(jì)專家。

學(xué)到更多

如果您想了解有關(guān) Kria SOM 的更多信息并查看為工業(yè)應(yīng)用程序創(chuàng)建 AI 解決方案的分步演練，請(qǐng)參閱使用 KRIA SoM項(xiàng)目文章部署基于邊緣的 AI。

審核編輯黃昊宇