描述

該項(xiàng)目使用ResNet50作為訓(xùn)練網(wǎng)絡(luò)，使用已經(jīng)標(biāo)注關(guān)鍵點(diǎn)的手部圖像作為訓(xùn)練集，使用Pytorch作為訓(xùn)練模型的工具。然后通過(guò) Xilinx 提供的 Vitis AI 工具對(duì)該模型進(jìn)行量化、編譯和部署在 Xilinx KV260 Vision AI Starter Kit 中。該程序是對(duì)手部21個(gè)關(guān)鍵點(diǎn)的測(cè)試，測(cè)試圖像如下圖所示。

圖1 運(yùn)行結(jié)果演示

?

?

1 關(guān)于 ResNet

ResNet 于 2015 年提出并因其“簡(jiǎn)單實(shí)用”而在 ImageNet 競(jìng)賽分類任務(wù)中獲得第一名，此后許多方法都建立在 ResNet50 或 ResNet101 上用于檢測(cè)、分割和識(shí)別。檢測(cè)、分割、識(shí)別等領(lǐng)域一直在使用ResNet。

?

2 數(shù)據(jù)集

該數(shù)據(jù)集包括網(wǎng)絡(luò)圖像和數(shù)據(jù)集<>，用于過(guò)濾一些動(dòng)作重復(fù)低的圖像進(jìn)行生產(chǎn)，有49、062個(gè)樣本。

感謝“Massive Multi-view 3D Hand Pose Dataset”數(shù)據(jù)集的貢獻(xiàn)者：Francisco Gomez-Donoso、Sergio Orts-Escolano 和 Miguel Cazorla。“海量多視圖 3D 手部姿勢(shì)數(shù)據(jù)集”。arXiv 電子版 1707.03742，2017 年 7 月。

?

3 培訓(xùn)

對(duì)于模型訓(xùn)練，我使用了上述公開(kāi)可用的數(shù)據(jù)集。我通過(guò) PyTorch 為 ResNet50 實(shí)現(xiàn)了網(wǎng)絡(luò)，并使用 RTX 3070Ti 作為 GPU 油門來(lái)獲取 PyTorch 模型（.pth 文件）。我準(zhǔn)備了5張自己手上的照片來(lái)測(cè)試模型的訓(xùn)練，圖片如下圖所示。

?

?

?

?

?

1 / 4 ?圖 2 張開(kāi)手

?

?

4 配置 Vitis AI

Vitis AI 庫(kù)是一組高級(jí)庫(kù)和 API，旨在使用 DPU 高效執(zhí)行 AI 推理。它使用 Vitis 運(yùn)行時(shí)統(tǒng)一 API 構(gòu)建在 Vitis AI 運(yùn)行時(shí)之上，以提供對(duì) XRT 的完整支持。

Vitis AI 庫(kù)通過(guò)封裝大量高效、高質(zhì)量的神經(jīng)網(wǎng)絡(luò)，提供易于使用且統(tǒng)一的界面。Vitis AI 庫(kù)讓您可以專注于開(kāi)發(fā)自己的應(yīng)用程序，而不是底層硬件。

參考 Vitis AI 用戶指南（UG1414），我們可以在上位機(jī)上快速配置環(huán)境，如下圖所示。

圖 6 已配置的 Vitis AI

?

?

5 使用 Vitis AI 量化工具量化模型

Vitis AI 量詞當(dāng)前支持 TensorFlow（1.x 和 2.x）、PyTorch 和 Caffe。由于我們使用的是 PyTorch，因此需要安裝 vai_q_pytorch。在這里使用 Docker 容器安裝它似乎更容易。請(qǐng)注意，在創(chuàng)建獨(dú)立的 Conda vai_q_pytorch 環(huán)境之前，我們需要進(jìn)入 vitis-ai-pytorch 環(huán)境。使用以下命令進(jìn)行安裝。

/opt/vitis_??ai/scripts/replace_pytorch.sh new_conda_env_name

?

圖 7 更新 vai_q_pytorch 環(huán)境

?

?

然后我們將 petalinux 固件燒錄到 Xilinx KV260 Vision AI 套件中包含的 SD 卡中（感謝 Xilinx 為參與者提供的硬件支持。雖然小 SD 卡的價(jià)格非常低，但足夠看到 Xilinx 正在考慮用戶的觀點(diǎn)）。確保沒(méi)有先連接USB數(shù)據(jù)線、以太網(wǎng)線、直流電源線。

在電腦上安裝 MobaXterm 軟件，新建一個(gè)串口通訊任務(wù)。插入U(xiǎn)SB數(shù)據(jù)線電腦會(huì)彈出兩個(gè)串口，我們選擇COM號(hào)小號(hào)作為USB通訊接口，波特率選擇115200建立連接。

插上直流電源后，我們可以從串口界面觀察petalinux的啟動(dòng)過(guò)程。配置密碼后，我們使用命令“sudo addr show”來(lái)查看 IP 地址（見(jiàn)下文）。我們通過(guò) MobaXterm 軟件與 KV260 建立 SSH 連接，用于以后的數(shù)據(jù)傳輸。

?

圖 8 查看 IP 地址

?

配置完成后，我們?yōu)?vai_q_pytorch 準(zhǔn)備輸入文件。第一個(gè)文件是預(yù)訓(xùn)練的 PyTorch 模型，通常是 PTH 文件。第二個(gè)是包含浮點(diǎn)模型結(jié)構(gòu)定義的 Python 腳本。第三個(gè)是訓(xùn)練數(shù)據(jù)集的一個(gè)子集，包含 100 到 1000 張用于定量測(cè)試的圖像。三個(gè)文件準(zhǔn)備好后，我們使用“--quant_mode calib”運(yùn)行命令來(lái)量化模型。在運(yùn)行期間，會(huì)跳過(guò)日志日志中顯示的損失和準(zhǔn)確度。Vitis AI 編譯器的 xmodel 文件位于輸出目錄中。/量化結(jié)果。該文件可用于部署到 FPGA。

?

6編譯、部署和運(yùn)行

對(duì)于 PyTorch，量化器 NNDCT 直接以 XIR 格式輸出量化模型。請(qǐng)使用vai_c_xir 編譯它。

vai_c_xir -x /PATH/TO/quantized.xmodel -a /PATH/TO/arch.json -o /OUTPUTPATH -n 網(wǎng)絡(luò)名

之后就可以部署模型來(lái)觀察實(shí)際檢測(cè)效果如圖9，盡情享受吧！

?

圖9，盡情享受吧！

?

?