簡(jiǎn) 介 《在AI愛(ài)克斯開(kāi)發(fā)板上用OpenVINO加速YOLOv8目標(biāo)檢測(cè)模型》介紹了在AI愛(ài)克斯開(kāi)發(fā)板上使用OpenVINO開(kāi)發(fā)套件部署并測(cè)評(píng)YOLOv8的目標(biāo)檢測(cè)模型，本文將介紹在AI愛(ài)克斯開(kāi)發(fā)板上使用OpenVINO加速YOLOv8-seg實(shí)例分割模型。 ?請(qǐng)先下載本文的范例代碼倉(cāng)，并搭建好YOLOv8的OpenVINO推理程序開(kāi)發(fā)環(huán)境。 git clone https://gitee.com/ppov-nuc/yolov8_openvino.git 導(dǎo)出YOLOv8-seg實(shí)例分割OpenVINO IR模型 YOLOv8-seg的實(shí)例分割模型有5種，在COCO數(shù)據(jù)集完成訓(xùn)練，如下表所示。 ?首先使用命令：yolo export model=yolov8n-seg.pt format=onnx，完成yolov8n-seg.onnx模型導(dǎo)出，如下圖所示。 ?然后使用命令：mo -m yolov8n-seg.onnx --compress_to_fp16，優(yōu)化并導(dǎo)出FP16精度的OpenVINO IR格式模型，如下圖所示。 ? ?用benchmark_app測(cè)試YOLOv8-seg實(shí)例分割模型的推理計(jì)算性能 benchmark_app是OpenVINOTM工具套件自帶的AI模型推理計(jì)算性能測(cè)試工具，可以指定在不同的計(jì)算設(shè)備上，在同步或異步模式下，測(cè)試出不帶前后處理的純AI模型推理計(jì)算性能。 使用命令：benchmark_app -m yolov8n-seg.xml -d GPU，獲得yolov8n-seg.xml模型在AI愛(ài)克斯開(kāi)發(fā)板的集成顯卡上的異步推理計(jì)算性能，如下圖所示。 ? ?使用OpenVINO Python API編寫(xiě)YOLOv8-seg實(shí)例分割模型推理程序 用Netron打開(kāi)yolov8n-seg.onnx可以看到模型的輸入和輸出，跟YOLOv5-seg模型的輸入輸出定義很類似：

• 輸入節(jié)點(diǎn)名字：“images”；數(shù)據(jù)：float32[1,3,640,640]。

• 輸出節(jié)點(diǎn)1的名字：“output0”；數(shù)據(jù)：float32[1,116,8400]。其中116的前84個(gè)字段跟 YOLOv8目標(biāo)檢測(cè)模型輸出定義完全一致，即cx,cy,w,h和80類的分?jǐn)?shù)；后32個(gè)字段用于計(jì)算掩膜數(shù)據(jù)。

• 輸出節(jié)點(diǎn)2的名字：“output1”；數(shù)據(jù)：float32[1,32,160,160]。output0后32個(gè)字段與output1的數(shù)據(jù)做矩陣乘法后得到的結(jié)果，即為對(duì)應(yīng)目標(biāo)的掩膜數(shù)據(jù)。

基于OpenVINO Python API的YOLOv8-seg實(shí)例分割模型范例程序yolov8_seg_ov_sync_infer_demo.py的核心源代碼，如下所示：

# Initialize the VideoCapture

cap =cv2.VideoCapture("store-aisle-detection.mp4")

# Initialize YOLOv5 Instance Segmentator

model_path ="yolov8n-seg.xml"

device_name ="GPU"

yoloseg =YOLOSeg(model_path, device_name, conf_thres=0.3, iou_thres=0.3)

whilecap.isOpened():

# Read frame from the video

ret, frame =cap.read()

ifnotret:

break

# Update object localizer

start =time.time()

boxes, scores, class_ids, masks =yoloseg(frame)

# postprocess and draw masks

combined_img =yoloseg.draw_masks(frame)

end =time.time()

# show FPS

fps =(1/(end -start))

fps_label ="Throughput: %.2fFPS"%fps

cv2.putText(combined_img, fps_label, (10, 25), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 0, 255), 2)

# show ALL

cv2.imshow("YOLOv8 Segmentation OpenVINO inference Demo", combined_img)

# Press Any key stop

ifcv2.waitKey(1) >-1:

print("finished by user")

break

運(yùn)行結(jié)果，如下圖所示： 結(jié) 論 AI愛(ài)克斯開(kāi)發(fā)板借助N5105處理器的集成顯卡(24個(gè)執(zhí)行單元)和OpenVINO，可以在YOLOv8-seg的實(shí)例分割模型上獲得相當(dāng)不錯(cuò)的性能。通過(guò)異步處理和AsyncInferQueue，還能進(jìn)一步提升計(jì)算設(shè)備的利用率，提高AI推理程序的吞吐量。下一篇將繼續(xù)介紹在《在AI愛(ài)克斯開(kāi)發(fā)板上用OpenVINO加速YOLOv8-pose姿態(tài)檢測(cè)模型》。 審核編輯 ：李倩