描述

Xilinx 最近為其全新的 SoM（模塊上系統(tǒng)）芯片組系列發(fā)布了第一款開發(fā)板，即Kria KV260 Vision AI Starter 套件。它專為開發(fā)高級視覺人工智能應(yīng)用程序而設(shè)計和構(gòu)建，這些應(yīng)用程序需要硬件加速，但不需要開發(fā)人員/工程師擁有復(fù)雜的硬件設(shè)計知識來從頭開始實現(xiàn)硬件加速。

我通常會帶著我得到的任何新的 Xilinx 開發(fā)板直接前往 Vivado。然而，Kria KV260 開發(fā)板開箱即用，以至于我什至沒有打開 Vivado，就讓 USB 網(wǎng)絡(luò)攝像頭正常工作，并將視頻流式傳輸回我的主機(jī) PC，并成功使用人臉檢測 AI 應(yīng)用程序識別任何進(jìn)入框架的面孔。（要充分理解這一點，請在此處查看我在過去的項目中為使用 MicroZed 的網(wǎng)絡(luò)攝像頭付出了多少工作）。

Kria KV260 開發(fā)入門套件隨附安裝在基板上的 Kria SoM，其外圍設(shè)備包括 USB 3.0、以太網(wǎng)、HDMI、PMOD 等。它需要 12V 筒形插孔電源。如果您還沒有，可以在此處與購買入門套件一起購買。還需要 USB 或 MIPI 攝像頭，以及 micro-USB 電纜、以太網(wǎng)電纜和 microSD 卡。

建議使用 HDMI 電纜，但對于基本的智能相機(jī)應(yīng)用程序不是必需的，因為可以選擇通過實時流協(xié)議通過有線以太網(wǎng)傳輸視頻饋送。Xilinx 還將所有這些物品捆綁在一個可選附件包中，如果您還沒有所有物品，可以與 Kria 一起購買。

使用 KV260 啟動套件映像加載 SD 卡

在Kria KV260 的入門門戶上，有一個鏈接可以專門下載KV260 的嵌入式 Linux 映像。我專門針對 KV260 板說，因為 Kria SoM 本身可以安裝在其他底板上，但 KV260 是 Kria SoM 與這個特定底板的組合。由于 Linux 中的設(shè)備樹期望在此基板上實時看到的大多數(shù)外圍設(shè)備，Linux 映像在具有不同基板的 Kria 上將無法正常工作。

下載 Linux 映像并使用 balenaEtcher 之類的映像工具將其編程到至少 16GB 大小的 10 類 SD 卡上。我在 Kria 的基本附件包中收到的 SD 卡是空白的，請注意那些也購買了基本附件包的人。

使用 balenaEtcher 之類的映像工具將 KV260 的 Linux 映像編程到 SD 卡上。

?

連接一切

對 SD 卡進(jìn)行映像后，將其安裝在位于底板頂部的 SD 卡插槽中。連接微型 USB 電纜、以太網(wǎng)電纜和相機(jī)。我正在使用 Logitech Brio 網(wǎng)絡(luò)攝像頭，因此我將它連接到 KV260 上的四個 USB 3.0 端口之一。

有兩個選項可以查看來自連接到 KV260 的攝像機(jī)的視頻流：通過 HDMI 電纜在外接顯示器上，或在主機(jī) PC 上使用能夠處理RTSP源的媒體播放器，例如通過以太網(wǎng)電纜處理VLC或ffplay . 我個人選擇通過以太網(wǎng)路由進(jìn)行 RTSP 饋送，因為我的顯示器是 USB C 并且我不想使用適配器處理潛在的轉(zhuǎn)換問題，因為這仍然是驅(qū)動它的嵌入式 Linux 映像。

將微型 USB 連接到主機(jī) PC，將以太網(wǎng)連接到路由器/調(diào)制解調(diào)器，但暫時斷開筒形插孔電源線。

打開 COM 端口和上電板

將 micro-USB 電纜連接到主機(jī) PC 后，至少會出現(xiàn)兩個枚舉的串行端口。編號較低的 COM 端口是與 KV260 的 UART 相關(guān)聯(lián)的端口，用于連接選擇的串行終端（例如 TeraTerm、Putty、Serial 等）。

我個人有四個 COM 端口出現(xiàn)在我的計算機(jī)上（我在我的機(jī)器的 Mac OS 端運行），而編號第二低的一個最終是 KV260 的 UART。

使用波特率 115200 的串行終端打開 COM 端口，然后通過將電源連接到筒形插孔來打開 KV260。

?

第一次啟動 KV260 的 Linux 映像時，它會要求您設(shè)置自己的密碼。用戶名已設(shè)置為petalinux 。

連接到互聯(lián)網(wǎng)

隨著 Kria SoM 的推出，其他令人興奮的事情之一是 Xilinx 推出了第一個嵌入式應(yīng)用商店。用于驅(qū)動帶有面部識別算法的 USB 網(wǎng)絡(luò)攝像頭的 Smart Camera 加速應(yīng)用程序可在 Xilinx 的嵌入式應(yīng)用商店免費獲得，并且 KV260 需要連接到互聯(lián)網(wǎng)才能下載。

將 KV260 連接到 Internet 的最簡單方法是將以太網(wǎng)電纜插入路由器/調(diào)制解調(diào)器，Linux 映像將使用 DHCP 為自己分配 IP 地址。

通過對google.com的簡單 ping 驗證互聯(lián)網(wǎng)連接

root@xilinx-k26-starterkit-2020_2:~# ping google.com

?

從 Xilinx 嵌入式應(yīng)用商店下載智能相機(jī)應(yīng)用

Xilinx 還開發(fā)了自己的平臺管理實用程序xmutil來處理加速的應(yīng)用程序包/文件。因此，從 Embedded App Store 下載新應(yīng)用程序到在 Linux 映像中將它們切換出來，大多數(shù)事情都是使用xmutil命令完成的。

查看 Xilinx 嵌入式應(yīng)用商店中可用的加速應(yīng)用列表（僅顯示免費應(yīng)用，付費應(yīng)用必須直接下載）。

root@xilinx-k26-starterkit-2020_2:~# sudo xmutil getpkgs

?

目前，嵌入式應(yīng)用商店提供三款免費的加速 AI 視覺應(yīng)用。使用dnf命令下載并安裝 Smart Camera 加速應(yīng)用程序。KV260 的 Linux 映像配置為使其鏡像已指向 Embedded App Store。

root@xilinx-k26-starterkit-2020_2:~# sudo dnf install packagegroup-kv260-smartcam.noarch

這部分可能需要幾分鐘，具體取決于您的互聯(lián)網(wǎng)速度。

?

加載智能相機(jī)加速應(yīng)用

雖然可以安裝多個應(yīng)用程序，但一次只能在 KV260 上運行一個加速應(yīng)用程序。這是xmutil用來處理諸如檢查當(dāng)前加載哪個應(yīng)用程序以運行并將它們切換出來之類的事情的地方。

root@xilinx-k26-starterkit-2020_2:~# sudo xmutil listapps

listapps選項顯示當(dāng)前安裝在Kria上的所有應(yīng)用程序，并顯示當(dāng)前處于活動狀態(tài)的應(yīng)用程序（即當(dāng)前加載的應(yīng)用程序）。

?

使用unloadapp選項卸載默認(rèn)的 kv260-dp 應(yīng)用程序：

root@xilinx-k26-starterkit-2020_2:~# sudo xmutil unloadapp

并使用loadapp選項加載 Smart Camera 應(yīng)用程序：

root@xilinx-k26-starterkit-2020_2:~# sudo xmutil loadapp kv260-smartcam

一旦顯示 Smart Camera 應(yīng)用程序已成功加載的行出現(xiàn)，請按 Enter 以返回命令行。

應(yīng)用加載成功后按回車鍵返回命令行。

?

運行智能相機(jī)加速應(yīng)用程序

每個加速應(yīng)用程序都有自己的一組命令來控制它，這些命令將在應(yīng)用程序安裝和加載后可用。Smart Camera 應(yīng)用程序由smartcam命令控制。

運行以有線以太網(wǎng)連接為目標(biāo)的智能相機(jī)應(yīng)用程序并指定網(wǎng)絡(luò)攝像頭的 USB 設(shè)備編號（如果通過 MIPI 連接器使用相機(jī)，則使用 --mipi 標(biāo)志而不是 --usb 標(biāo)志）。

root@xilinx-k26-starterkit-2020_2:~# sudo smartcam --usb 0 -W 1920 -H 1080 -r 30 --target rtsp

在 --target 標(biāo)志之后傳遞的 rtsp 選項告訴智能相機(jī)應(yīng)用程序通過以太網(wǎng)電纜發(fā)送視頻饋送，如果您使用帶有 HDMI 電纜的外接顯示器，請傳遞 dp 和目標(biāo)選項。

root@xilinx-k26-starterkit-2020_2:~# sudo smartcam --usb 0 -W 1920 -H 1080 -r 30 --target dp

當(dāng)使用以太網(wǎng)流式傳輸視頻源時，智能相機(jī)應(yīng)用程序?qū)⑼ㄟ^ UART 回顯的第一件事是 RTSP 源的 IP 地址、端口號和通道名稱。

?

設(shè)置 VLC 以查看視頻流

要查看 RTSP 提要，我個人選擇使用 VLC 播放器。設(shè)置 VLC 播放器以查看流，方法是轉(zhuǎn)到文件>打開網(wǎng)絡(luò)...選中流輸出框：然后單擊其右側(cè)的設(shè)置...按鈕。

配置 feed 流并在本地顯示流（播放流時會自動彈出視頻 feed 窗口）。使用從 Smart Camera 應(yīng)用程序輸出到 UART 的 IP 地址、端口號和通道名稱來配置 VLC 中的流，如下所示：

?

?

?

?

1 / 2 ? VLC 中 RTSP 源的配置設(shè)置。

?

通過從播放列表中選擇流并單擊播放按鈕來查看視頻流。有時我確實必須在視頻源窗口彈出之前單擊播放幾次，但一旦這樣做，它就會立即識別幀中的任何面孔。

下一步

讓 KV260 在攝像頭和 AI 視覺應(yīng)用程序運行的情況下輕松啟動并運行，我感到非常興奮。我目前正計劃使用 KV260 使用實時網(wǎng)絡(luò)攝像頭項目重新訪問我的咖啡店數(shù)字菜單。我想看看我如何通過使用對象檢測來識別某些糕點何時用完并將它們從鏈接到二維碼的數(shù)字菜單中刪除來改進(jìn)該項目。

?

?