描述

學(xué)習(xí)曲線和挑戰(zhàn)！

我最初參加自適應(yīng)計(jì)算挑戰(zhàn)賽時(shí)的想法是在您的房屋周圍創(chuàng)建情境意識(shí)：家庭輔助情境意識(shí) (HASA)。使用對象檢測模型、流式攝像頭和 Kria KV260 Vision AI 套件，其目的是識(shí)別房子周圍感興趣的事件（汽車/貨車/卡車出現(xiàn)在您的車道上，一個(gè)人正在走向您的房子或正在在您的車道上，校車到達(dá)等），然后在該事件發(fā)生時(shí)通過短信通知您。我已經(jīng)用 Jetson Nano（用 Python 編寫）做過類似的事情，所以我認(rèn)為用 Kria KV260 進(jìn)行模擬并不難。是不是讓我大吃一驚！

作為自適應(yīng)計(jì)算挑戰(zhàn)賽的一部分，我是獲得 Kria KV260 Vision AI Starter Kit 的幸運(yùn)者之一。它由電路板和附件包組成，其中包括 USB 電纜、HDMI 電纜、以太網(wǎng)電纜、MicroSD 卡、相機(jī)模塊和電源適配器。

Kria KV260 Vision AI 入門套件，帶附件包

?

我遇到的第一個(gè)挑戰(zhàn)是使用哪種操作系統(tǒng)？比賽開始后不久，Xilinx 宣布Ubuntu現(xiàn)在是 Kria KV260 的一個(gè)選項(xiàng)。鑒于我以前從未使用過 Petalinux，我認(rèn)為 GUI 是安全的選擇。這樣做的缺點(diǎn)是操作系統(tǒng)太新了，大多數(shù)賽靈思文檔都提到了 Petalinux 操作系統(tǒng)，而且許多示例僅與 Petalinux 兼容（即 Smartcamera）。我想我可以使用自己的模型并開發(fā)自己的可執(zhí)行文件。

第二個(gè)挑戰(zhàn)是硬件沒有配備 Wifi！無論好壞，我的房子都是用無線的，而且我要工作的區(qū)域并不靠近路由器或接入點(diǎn)，所以我必須想辦法實(shí)現(xiàn)無線！我從另一個(gè)硬件中借了一個(gè) Realtek USB Wifi 適配器，并尋找可以與 Kria 一起使用的驅(qū)動(dòng)程序。經(jīng)過幾個(gè)小時(shí)的網(wǎng)絡(luò)搜索和一些死胡同，我終于有了一個(gè)可以工作的 USB Wifi 適配器！是的！

Kria 上的 Wifi，耶！

?

一旦我加載了操作系統(tǒng)并啟動(dòng)了 Wifi，我的下一步就是測試 NLP Smartvision 示例。該示例相當(dāng)集中在其自己的目錄中，因此使用起來相當(dāng)簡單。這是有道理的，因?yàn)榻煌Ｐ偷囊鈭D是駕駛汽車的視角。

?

?

?

我嘗試了 RGB 顏色輸入和黑白（用于陽光漂白的條件），模型在兩者中都表現(xiàn)良好。當(dāng)檢測到感興趣的對象時(shí)，會(huì)發(fā)送一條短信提醒房主：

檢測到事件時(shí)發(fā)送文本消息。

?

結(jié)論

這個(gè)項(xiàng)目對我來說是一個(gè)挑戰(zhàn)，花了很多時(shí)間。我對 FPGA 沒有太多經(jīng)驗(yàn)，這是我第一次涉足 AMD-Xilinx 硬件。我花了很多時(shí)間和研究來學(xué)習(xí) Vitis AI 庫的結(jié)構(gòu)和功能。瀏覽Vitis AI 模型動(dòng)物園并測試與這些模型兼容的示例 真的很巧妙。

未來的能力將是根據(jù)我的確切需求增加或定制模型。我嘗試使用自己的模型，但未能成功使其與 Kria 一起使用。我很高興我能夠從 SSD 流量模型轉(zhuǎn)移到 SSD Mobilenet V2 模型并獲得更好的結(jié)果。我希望你喜歡這個(gè)，并隨時(shí)與任何問題聯(lián)系。謝謝！

?

?