計(jì)算機(jī)視覺是一門研究如何讓計(jì)算機(jī)達(dá)到人類那樣“看”的技術(shù)。使用攝像頭和電腦來代替人類完成一些復(fù)雜的工作，例如對目標(biāo)進(jìn)行分類、識(shí)別、分割、跟蹤等，計(jì)算機(jī)視覺技術(shù)已經(jīng)在很多行業(yè)的應(yīng)用場景中大放異彩。

本文將主要介紹計(jì)算機(jī)視覺中的幾個(gè)重要的研究方向。主要包括圖像分類、目標(biāo)檢測、語義分割、實(shí)例分割、全景分割等。通過對這幾個(gè)計(jì)算機(jī)視覺任務(wù)的對比，我們將更好的理解每個(gè)視覺任務(wù)的含義以及應(yīng)用場景。我們將通過這張對比圖來對以上的概念進(jìn)行說明。

一、圖像分類

圖像分類是計(jì)算機(jī)視覺任務(wù)中的一個(gè)重要的概念，目標(biāo)檢測技術(shù)的發(fā)展之初也主要是通過圖像分類思想來實(shí)現(xiàn)的。

圖像分類，顧名思義，即是輸入一張圖像，我們通過算法來輸出這個(gè)圖像的類別，例如判斷出這張圖像是貓或者狗。對于經(jīng)典的Mnist數(shù)據(jù)集來說，這個(gè)數(shù)據(jù)集包括了0到9共10個(gè)數(shù)字的手寫體圖片，所以這就是一個(gè)典型的圖像多分類問題，即將這些圖片分為0到9共10個(gè)類別。傳統(tǒng)的圖像分類的主要步驟是進(jìn)行特征提取，然后訓(xùn)練分類器。

2012年，基于神經(jīng)網(wǎng)絡(luò)的AlexNet網(wǎng)絡(luò)提出，在2012年的ImageNet競賽中奪得冠軍。之后，更多的更深的神經(jīng)網(wǎng)絡(luò)被提出，比如優(yōu)秀的vgg、GoogLeNet、ResNet等。

二、目標(biāo)檢測

目標(biāo)檢測是對圖像中的目標(biāo)進(jìn)行分類和定位，如圖所示，即找出圖像中的三個(gè)目標(biāo)，將其劃分為“羊”這個(gè)類別，然后對每一只羊的位置進(jìn)行定位，用邊界框的形式將其位置標(biāo)注出來，目標(biāo)檢測的應(yīng)用非常廣泛。

目前目標(biāo)檢測領(lǐng)域的深度學(xué)習(xí)方法主要分為兩類：兩階段的目標(biāo)檢測算法、單階段目標(biāo)檢測算法。兩階段目標(biāo)檢測是指首先由算法生成一系列作為樣本的候選框，再通過卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行樣本分類。常見的兩階段算法有R-CNN、Fast R-CNN、Faster R-CNN等。單階段目標(biāo)檢測算法不需要產(chǎn)生候選框，直接將目標(biāo)框定位的問題轉(zhuǎn)化為回歸問題處理。常見的算法有YOLO系列算法、SSD算法等。

三、語義分割

語義分割是一種像素級(jí)別的分類，就是把圖像中每個(gè)像素賦予一個(gè)類別標(biāo)簽（比如羊、草地等），對比圖中的語義分割沒有對草地和天空進(jìn)行劃分，只是單純的將每一個(gè)像素劃分為：是羊的像素；不是羊的像素。將羊的像素部分用顏色表示出來，我們一般將其稱為二進(jìn)制掩碼，即一個(gè)0-1矩陣，其中羊的像素部分取值為1，不是羊的像素部分，取值為0。于是上述的圖片如果使用語義分割算法進(jìn)行圖像分割，得到的二進(jìn)制掩碼如下圖所示：

通過對掩碼的解析，我們就可以知道當(dāng)前圖像中是否存在羊，以及羊處于什么位置。但是語義分割有一個(gè)局限性，比如如果一個(gè)像素被標(biāo)記為橙色，那就代表這個(gè)像素所在的位置是一只羊，但是如果有兩個(gè)都是橙色的像素，語義分割無法判斷它們是屬于同一只羊還是不同的羊。也就是說語義分割只能判斷類別，無法區(qū)分個(gè)體。

語義分割中的經(jīng)典算法為全卷積網(wǎng)絡(luò)FCN，通常CNN網(wǎng)絡(luò)在卷積層之后會(huì)接上若干個(gè)全連接層,將卷積層產(chǎn)生的特征圖映射成一個(gè)固定長度的特征向量。以AlexNet為代表的經(jīng)典CNN結(jié)構(gòu)適合于圖像級(jí)的分類和回歸任務(wù)。與經(jīng)典的CNN在卷積層之后使用全連接層得到固定長度的特征向量進(jìn)行分類不同，F(xiàn)CN可以接受任意尺寸的輸入圖像，采用反卷積層對最后一個(gè)卷積層的feature map進(jìn)行上采樣,使它恢復(fù)到輸入圖像相同的尺寸，從而可以對每個(gè)像素都產(chǎn)生了一個(gè)預(yù)測,同時(shí)保留了原始輸入圖像中的空間信息,最后在上采樣的特征圖上進(jìn)行逐像素分類。

語義分割領(lǐng)域中的經(jīng)典算法有Deeplab系列算法、DFANet、BiseNet、ENet等。

四、實(shí)例分割

實(shí)例分割算法有點(diǎn)類似于語義分割和目標(biāo)檢測的結(jié)合，不過目標(biāo)檢測輸出的是邊界框的坐標(biāo)，實(shí)例分割除了輸出邊界框的坐標(biāo)，還會(huì)輸出二進(jìn)制掩碼。實(shí)例分割和語義分割不同，它不需要對每個(gè)像素進(jìn)行標(biāo)記，它只需要找到感興趣物體的邊緣輪廓就行，實(shí)例分割是在像素級(jí)識(shí)別對象輪廓的任務(wù)。比如上圖中的羊就是感興趣的物體。我們可以看到每只羊都是不同的顏色的輪廓，因此我們可以區(qū)分出單個(gè)個(gè)體。

經(jīng)典的實(shí)例分割算法有Mask-RCNN算法、SOLO算法，以及提升速度的YOLACT算法、BlendMask算法等。

五、全景分割

全景分割最先由FAIR與德國海德堡大學(xué)聯(lián)合提出，其任務(wù)是為圖像中每個(gè)像素點(diǎn)賦予類別Label和實(shí)例ID，生成全局的、統(tǒng)一的分割圖像。全景分割任務(wù)要求圖像中的每個(gè)像素點(diǎn)都必須被分配給一個(gè)語義標(biāo)簽和一個(gè)實(shí)例ID。其中，語義標(biāo)簽指的是物體的類別，而實(shí)例ID則對應(yīng)同類物體的不同編號(hào)。全景分割的一個(gè)重要的特征在于其對背景也進(jìn)行了檢測和分割。全景分割可以認(rèn)為是語義分割和實(shí)例分割的結(jié)合。

常見的全景分割算法有UPSNet、OANet、EfficientPS等。

計(jì)算機(jī)視覺任務(wù)目前的主要應(yīng)用場景主要有：人臉識(shí)別、自動(dòng)駕駛、人群計(jì)數(shù)、視頻監(jiān)控、文字識(shí)別、醫(yī)學(xué)圖像分割等。其應(yīng)用領(lǐng)域涉及諸多行業(yè)。通過將圖像的分類、識(shí)別、分割、跟蹤等技術(shù)進(jìn)行結(jié)合，可以在更多的行業(yè)場景中發(fā)揮作用。

原文標(biāo)題：常見的計(jì)算機(jī)視覺任務(wù)綜述

文章出處：【微信公眾號(hào)：新機(jī)器視覺】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯：haq