實(shí)例分割概念

圖像實(shí)例分割是在對(duì)象檢測(cè)的基礎(chǔ)上進(jìn)一步細(xì)化，分離對(duì)象的前景與背景，實(shí)現(xiàn)像素級(jí)別的對(duì)象分離。所以圖像實(shí)例分割是基于對(duì)象檢測(cè)的基礎(chǔ)上進(jìn)一步提升。圖像實(shí)例分割在目標(biāo)檢測(cè)、人臉檢測(cè)、表情識(shí)別、醫(yī)學(xué)圖像處理與疾病輔助診斷、視頻監(jiān)控與對(duì)象跟蹤、零售場(chǎng)景的貨架空缺識(shí)別等場(chǎng)景下均有應(yīng)用。很多人會(huì)把圖像語(yǔ)義分割跟實(shí)例分割搞混淆，其實(shí)圖像的語(yǔ)義分割(Semantic Segmentation)與圖像的實(shí)例分割(Instance Segmentation)是兩個(gè)不同的概念，看下圖：

圖-1（來(lái)自COCO數(shù)據(jù)集論文）

左側(cè)是圖像語(yǔ)義分割的結(jié)果，幾個(gè)不同的類(lèi)別人、羊、狗、背景分別用不同的顏色表示；右側(cè)是圖像實(shí)例分割的結(jié)果，對(duì)每只羊都用不同的顏色表示，而且把每個(gè)對(duì)象從背景中分離出來(lái)。這個(gè)就是語(yǔ)義分割跟實(shí)例分割的區(qū)別，直白點(diǎn)可以說(shuō)就是語(yǔ)義分割是對(duì)每個(gè)類(lèi)別、實(shí)例分割是針對(duì)每個(gè)對(duì)象（多個(gè)對(duì)象可能屬于同一個(gè)類(lèi)別）。

常見(jiàn)的實(shí)例分割網(wǎng)絡(luò)

Mask-RCNN實(shí)例分割網(wǎng)絡(luò)

圖像實(shí)例分割是在對(duì)象檢測(cè)的基礎(chǔ)上再多出個(gè)基于ROI的分割分支，基于這樣思想的實(shí)例分割Mask-RCNN就是其經(jīng)典代表，它的網(wǎng)絡(luò)結(jié)構(gòu)如下：

圖-2（來(lái)自Mask-RCNN的論文）

Mask-RCNN可以簡(jiǎn)單地認(rèn)為是Faster-RCNN的基礎(chǔ)上加上一個(gè)實(shí)例分割分支。

RetinaMask實(shí)例分割網(wǎng)絡(luò)

RetinaMask可以看成RetinaNet對(duì)象檢測(cè)網(wǎng)絡(luò)跟Mask-RCNN實(shí)例分割網(wǎng)絡(luò)的兩個(gè)優(yōu)勢(shì)組合，基于特征金字塔實(shí)現(xiàn)了更好的Mask預(yù)測(cè)，網(wǎng)絡(luò)結(jié)構(gòu)圖示如下：

圖-3（來(lái)自RetinaMask論文）

PANet實(shí)例分割網(wǎng)絡(luò)

PANet主要工作是基于Mask-RCNN網(wǎng)絡(luò)上改進(jìn)所得，作者通過(guò)改進(jìn)Backbone部分提升了特征提取能力，通過(guò)自適應(yīng)的池化操作得到更多融合特征，基于全鏈接融合產(chǎn)生mask，最終取得了比Mask-RCNN更好的實(shí)例分割效果，該模型的結(jié)構(gòu)如下：

圖-4（來(lái)自PANet論文）

其中全鏈接特征融合mask分支如下圖：

圖-5（來(lái)自PANet論文）

YOLACT實(shí)例分割網(wǎng)絡(luò)

該實(shí)例分割網(wǎng)絡(luò)也是基于RetinaNet對(duì)象檢測(cè)網(wǎng)絡(luò)的基礎(chǔ)上，添加一個(gè)Mask分支，不過(guò)在添加Mask分支的時(shí)候它的Mask分支設(shè)計(jì)跟RetinaMask有所不同，該網(wǎng)絡(luò)的結(jié)構(gòu)圖示如下：

圖-6（來(lái)自YOLACT作者論文）

CenterMask實(shí)例分割網(wǎng)絡(luò)

該實(shí)例網(wǎng)絡(luò)是基于FCOS對(duì)象檢測(cè)框架的基礎(chǔ)上，設(shè)計(jì)一個(gè)Mask分支輸出，該Mask分支被稱為空間注意力引導(dǎo)蒙板(Spatial Attention Guided Mask)，該網(wǎng)絡(luò)的結(jié)構(gòu)如下：

圖-7（來(lái)自CenterMask論文）

OpenVINO 支持Mask-RCNN模型

OpenVINO 中支持兩種實(shí)例分割模型分別是Mask-RCNN與YOLACT模型，其中Mask-RCNN模型支持來(lái)自英特爾官方庫(kù)文件、而YOLACT則來(lái)自公開(kāi)的第三方提供。我們這里以官方的Mask-RCNN模型instance-segmentation-security-0050為例說(shuō)明，該模型基于COCO數(shù)據(jù)集訓(xùn)練，支持80個(gè)類(lèi)別的實(shí)例分割，加上背景為81個(gè)類(lèi)別。

OpenVINO 支持部署Faster-RCNN與Mask-RCNN網(wǎng)絡(luò)時(shí)候輸入的解析都是基于兩個(gè)輸入層，它們分別是：

im_data : NCHW=[1x3x480x480]

im_info: 1x3 三個(gè)值分別是H、W、Scale=1.0

輸出有四個(gè)，名稱與輸出格式及解釋如下：

name: classes, shape: [100, ] 預(yù)測(cè)的100個(gè)類(lèi)別可能性，值在[0~1]之間

name: scores: shape: [100, ] 預(yù)測(cè)的100個(gè)Box可能性，值在[0~1]之間

name: boxes, shape: [100, 4] 預(yù)測(cè)的100個(gè)Box坐標(biāo)，左上角與右下角，基于輸入的480x480

name: raw_masks, shape: [100, 81, 28, 28] Box ROI區(qū)域的實(shí)例分割輸出，81表示類(lèi)別（包含背景），28x28表示ROI大小，注意：此模型輸出大小為14x14

模型實(shí)例分割代碼演示

因?yàn)槟Ｐ偷募虞d與推理部分的代碼跟前面系列文章的非常相似，這里就不再給出。代碼演示部分重點(diǎn)在輸出的解析，為了簡(jiǎn)化，我用了兩個(gè)for循環(huán)設(shè)置了輸入與輸出數(shù)據(jù)精度，然后直接通過(guò)hardcode的輸出層名稱來(lái)獲取推理之后各個(gè)輸出層對(duì)應(yīng)的數(shù)據(jù)部分，首先獲取類(lèi)別，根據(jù)類(lèi)別ID與Box的索引，直接獲取實(shí)例分割mask，然后隨機(jī)生成顏色，基于mask實(shí)現(xiàn)與原圖BOX ROI的疊加，產(chǎn)生了實(shí)例分割之后的效果輸出。解析部分的代碼首先需要獲取推理以后的數(shù)據(jù)，獲取數(shù)據(jù)的代碼如下：

float w_rate = static_cast(im_w) / 480.0;

float h_rate = static_cast(im_h) / 480.0;

auto scores = infer_request.GetBlob("scores");

auto boxes = infer_request.GetBlob("boxes");

auto clazzes = infer_request.GetBlob("classes");

auto raw_masks = infer_request.GetBlob("raw_masks");

const float* score_data = static_cast::value_type*>(scores->buffer());

const float* boxes_data = static_cast::value_type*>(boxes->buffer());

const float* clazzes_data = static_cast::value_type*>(clazzes->buffer());

const auto raw_masks_data = static_cast::value_type*>(raw_masks->buffer());

const SizeVector scores_outputDims = scores->getTensorDesc().getDims();

const SizeVector boxes_outputDims = boxes->getTensorDesc().getDims();

const SizeVector mask_outputDims = raw_masks->getTensorDesc().getDims();

const int max_count = scores_outputDims[0];

const int object_size = boxes_outputDims[1];

printf("mask NCHW=[%d, %d, %d, %d] ", mask_outputDims[0], mask_outputDims[1], mask_outputDims[2], mask_outputDims[3]);

int mask_h = mask_outputDims[2];

int mask_w = mask_outputDims[3];

size_t box_stride = mask_h * mask_w * mask_outputDims[1];

然后根據(jù)輸出數(shù)據(jù)格式開(kāi)始解析Box框與Mask，這部分的代碼如下：

for (int n = 0; n < max_count; n++) {

float confidence = score_data[n];

float xmin = boxes_data[n*object_size] * w_rate;

float ymin = boxes_data[n*object_size + 1] * h_rate;

float xmax = boxes_data[n*object_size + 2] * w_rate;

float ymax = boxes_data[n*object_size + 3] * h_rate;

if (confidence > 0.5) {

cv::Scalar color(rng.uniform(0, 255), rng.uniform(0, 255), rng.uniform(0, 255));

cv::Rect box;

float x1 = std::max(0.0f, xmin), static_cast(im_w));

float y1 = std::max(0.0f, ymin), static_cast(im_h));

float x2 = std::max(0.0f, xmax), static_cast(im_w));

float y2 = std::max(0.0f, ymax), static_cast(im_h));

box.x = static_cast(x1);

box.y = static_cast(y1);

box.width = static_cast(x2 - x1);

box.height = static_cast(y2 - y1);

int label = static_cast(clazzes_data[n]);

std::cout << "confidence: " << confidence << " class name: " << coco_labels[label] << std::endl;

// 解析mask

float* mask_arr = raw_masks_data + box_stride * n + mask_h * mask_w * label;

cv::Mat mask_mat(mask_h, mask_w, CV_32FC1, mask_arr);

cv::Mat roi_img = src(box);

cv::Mat resized_mask_mat(box.height, box.width, CV_32FC1);

cv::resize(mask_mat, resized_mask_mat, cv::Size(box.width, box.height));

cv::Mat uchar_resized_mask(box.height, box.width, CV_8UC3, color);

roi_img.copyTo(uchar_resized_mask, resized_mask_mat <= 0.5);

cv::addWeighted(uchar_resized_mask, 0.7, roi_img, 0.3, 0.0f, roi_img);

cv::putText(src, coco_labels[label].c_str(), box.tl() + (box.br() - box.tl()) / 2, cv::FONT_HERSHEY_PLAIN, 1.0, cv::Scalar(0, 0, 255), 1, 8);

}

}

其中Mask部分的時(shí)候有個(gè)技巧的地方，首先獲取類(lèi)別，然后根據(jù)類(lèi)別，直接獲取Mask中對(duì)應(yīng)的通道數(shù)據(jù)生成二值Mask圖像，添加上顏色，加權(quán)混合到ROI區(qū)域即可得到輸出結(jié)果。

責(zé)任編輯：lq6