自動(dòng)駕駛無(wú)疑是目前汽車圈兒里最常見的討論話題了，特斯拉剛剛推出的全自動(dòng)駕駛硬件更是把這個(gè)話題炒得火熱，這次全自動(dòng)駕駛夢(mèng)想似乎離我們更近了一步。

　　硅谷出來(lái)的公司總喜歡搞“硬件先行，軟件升級(jí)”，蘋果如此，強(qiáng)制更新的微軟也不例外，特斯拉也一樣。在推出V7.0 OTA空中升級(jí)包固件后，特斯拉將獲得前所未有科技功能——自動(dòng)駕駛，必須強(qiáng)調(diào)的事：特斯拉的自動(dòng)駕駛技術(shù)≠無(wú)人駕駛，并且如同蘋果手機(jī)升級(jí)新系統(tǒng)一樣，升級(jí)這個(gè)功能是有前提條件的。

　　說起特斯拉，大家可能立馬會(huì)想到16年5 月份發(fā)生在特斯拉 Model S 自動(dòng)駕駛上的一宗奪命車禍。初步的調(diào)查表明，在強(qiáng)烈的日照條件下，駕駛員和自動(dòng)駕駛系統(tǒng)都未能注意到牽引式掛車的白色車身，因此未能及時(shí)啟動(dòng)剎車系統(tǒng)。而由于牽引式掛車正在橫穿公路，且車身較高，這一特殊情況導(dǎo)致 Model S 從掛車底部通過時(shí)，其前擋風(fēng)玻璃與掛車底部發(fā)生撞擊，導(dǎo)致駕駛員不幸遇難。

　　無(wú)獨(dú)有偶，同年8月國(guó)密蘇里州的一名男子、特斯拉 Model X 車主約書亞?尼利（Joshua Neally）在上班途中突發(fā)肺栓塞。在 Model X 的 Autopilot 自動(dòng)駕駛功能的幫助下，他安全抵達(dá)了醫(yī)院。這「一抑一揚(yáng)」著實(shí)讓人回味無(wú)窮，略有些「敗也蕭何，成也蕭何」之意。

　　今天，我們就來(lái)談?wù)勛詣?dòng)駕駛系統(tǒng)中的一項(xiàng)重要核心技術(shù)——圖像語(yǔ)義分割（semantic image segmentation）。圖像語(yǔ)義分割作為計(jì)算機(jī)視覺（computer vision）中圖像理解（image understanding）的重要一環(huán)，不僅在工業(yè)界的需求日益凸顯，同時(shí)語(yǔ)義分割也是當(dāng)下學(xué)術(shù)界的研究熱點(diǎn)之一。

　　什么是圖像語(yǔ)義分割？

　　圖像語(yǔ)義分割可以說是圖像理解的基石性技術(shù)，在自動(dòng)駕駛系統(tǒng)（具體為街景識(shí)別與理解）、無(wú)人機(jī)應(yīng)用（著陸點(diǎn)判斷）以及穿戴式設(shè)備應(yīng)用中舉足輕重。

　　我們都知道，圖像是由許多像素（pixel）組成，而「語(yǔ)義分割」顧名思義就是將像素按照?qǐng)D像中表達(dá)語(yǔ)義含義的不同進(jìn)行分組（grouping）／分割（segmentation）。下圖取自圖像分割領(lǐng)域的標(biāo)準(zhǔn)數(shù)據(jù)集之一 PASCAL VOC。其中，左圖為原始圖像，右圖為分割任務(wù)的真實(shí)標(biāo)記（ground truth）：紅色區(qū)域表示語(yǔ)義為「person」的圖像像素區(qū)域，藍(lán)綠色代表「motorbike」語(yǔ)義區(qū)域，黑色表示「background」，白色（邊）則表示未標(biāo)記區(qū)域。

　　顯然，在圖像語(yǔ)義分割任務(wù)中，其輸入為一張 H×W×3 的三通道彩色圖像，輸出則是對(duì)應(yīng)的一個(gè) H × W 矩陣，矩陣的每一個(gè)元素表明了原圖中對(duì)應(yīng)位置像素所表示的語(yǔ)義類別（semantic label）。因此，圖像語(yǔ)義分割也稱為「圖像語(yǔ)義標(biāo)注」（image semantic labeling）、「像素語(yǔ)義標(biāo)注」（semantic pixel labeling）或「像素語(yǔ)義分組」（semantic pixel grouping）。

　　從上圖和題圖中，大家可以明顯看出圖像語(yǔ)義分割任務(wù)的難點(diǎn)便在于這「語(yǔ)義」二字。在真實(shí)圖像中，表達(dá)某一語(yǔ)義的同一物體常由不同部件組成（如，building，motorbike，person 等），同時(shí)這些部分往往有著不同的顏色、紋理甚至亮度（如building），這給圖像語(yǔ)義的精確分割帶來(lái)了困難和挑戰(zhàn)。

　　前 DL 時(shí)代的語(yǔ)義分割

　　從最簡(jiǎn)單的像素級(jí)別「閾值法」（thresholding methods）、基于像素聚類的分割方法（clustering-based segmentation methods）到「圖劃分」的分割方法（graph partitioning segmentation methods），在深度學(xué)習(xí)（deep learning， DL）「一統(tǒng)江湖」之前，圖像語(yǔ)義分割方面的工作可謂「百花齊放」。在此，我們僅以「normalized cut」［1］和「grab cut」 ［2］這兩個(gè)基于圖劃分的經(jīng)典分割方法為例，介紹一下前 DL 時(shí)代語(yǔ)義分割方面的研究。

　　Normalized cut （N-cut）方法是基于圖劃分（graph partitioning）的語(yǔ)義分割方法中最著名的方法之一，于 2000 年 Jianbo Shi 和 Jitendra Malik 發(fā)表于相關(guān)領(lǐng)域頂級(jí)期刊 TPAMI。通常，傳統(tǒng)基于圖劃分的語(yǔ)義分割方法都是將圖像抽象為圖（graph）的形式 G=（V，E） （V 為圖節(jié)點(diǎn)，E 為圖的邊），然后借助圖理論（graph theory）中的理論和算法進(jìn)行圖像的語(yǔ)義分割。

　　常用的方法為經(jīng)典的最小割算法（min-cut algorithm）。不過，在邊的權(quán)重計(jì)算時(shí)，經(jīng)典 min-cut 算法只考慮了局部信息。如下圖所示，以二分圖為例（將 G 分為不相交的 ， 兩部分），若只考慮局部信息，那么分離出一個(gè)點(diǎn)顯然是一個(gè) min-cut，因此圖劃分的結(jié)果便是類似 或 這樣離群點(diǎn)，而從全局來(lái)看，實(shí)際想分成的組卻是左右兩大部分。

　　針對(duì)這一情形，N-cut 則提出了一種考慮全局信息的方法來(lái)進(jìn)行圖劃分（graph partitioning），即，將兩個(gè)分割部分 A，B ， 與全圖節(jié)點(diǎn)的連接權(quán)重（assoc（A，V） 和 assoc（B，V））考慮進(jìn)去：

　　如此一來(lái)，在離群點(diǎn)劃分中，中的某一項(xiàng)會(huì)接近 1，而這樣的圖劃分顯然不能使得是一個(gè)較小的值，故達(dá)到考慮全局信息而摒棄劃分離群點(diǎn)的目的。這樣的操作類似于機(jī)器學(xué)習(xí)中特征的規(guī)范化（normalization）操作，故稱為normalized cut。N-cut不僅可以處理二類語(yǔ)義分割，而且將二分圖擴(kuò)展為 K 路（ -way）圖劃分即可完成多語(yǔ)義的圖像語(yǔ)義分割，如下圖例。

　　Grab cut 是微軟劍橋研究院于 2004 年提出的著名交互式圖像語(yǔ)義分割方法。與 N-cut 一樣，grab cut 同樣也是基于圖劃分，不過 grab cut 是其改進(jìn)版本，可以看作迭代式的語(yǔ)義分割算法。Grab cut 利用了圖像中的紋理（顏色）信息和邊界（反差）信息，只要少量的用戶交互操作即可得到比較好的前后背景分割結(jié)果。

　　在 grab cut 中，RGB 圖像的前景和背景分別用一個(gè)高斯混合模型（gaussian mixture model， GMM）來(lái)建模。兩個(gè) GMM 分別用以刻畫某像素屬于前景或背景的概率，每個(gè) GMM 高斯部件（gaussian component）個(gè)數(shù)一般設(shè)為 。

　　接下來(lái)，利用吉布斯能量方程（gibbs energy function）對(duì)整張圖像進(jìn)行全局刻畫，而后迭代求取使得能量方程達(dá)到最優(yōu)值的參數(shù)作為兩個(gè) GMM 的最優(yōu)參數(shù)。GMM 確定后，某像素屬于前景或背景的概率就隨之確定下來(lái)。

　　在與用戶交互的過程中，grab cut 提供兩種交互方式：一種以包圍框（bounding box）為輔助信息；另一種以涂寫的線條（scribbled line）作為輔助信息。以下圖為例，用戶在開始時(shí)提供一個(gè)包圍框，grab cut 默認(rèn)的認(rèn)為框中像素中包含主要物體／前景，此后經(jīng)過迭代圖劃分求解，即可返回扣出的前景結(jié)果，可以發(fā)現(xiàn)即使是對(duì)于背景稍微復(fù)雜一些的圖像，grab cut 仍有不俗表現(xiàn)。

　　不過，在處理下圖時(shí)，grab cut 的分割效果則不能令人滿意。此時(shí)，需要額外人為的提供更強(qiáng)的輔助信息：用紅色線條／點(diǎn)標(biāo)明背景區(qū)域，同時(shí)用白色線條標(biāo)明前景區(qū)域。在此基礎(chǔ)上，再次運(yùn)行 grab cut 算法求取最優(yōu)解即可得到較為滿意的語(yǔ)義分割結(jié)果。grab cut 雖效果優(yōu)良，但缺點(diǎn)也非常明顯，一是僅能處理二類語(yǔ)義分割問題，二是需要人為干預(yù)而不能做到完全自動(dòng)化。

　　其實(shí)大家不難看出，前 DL 時(shí)代的語(yǔ)義分割工作多是根據(jù)圖像像素自身的低階視覺信息（low-level visual cues）來(lái)進(jìn)行圖像分割。由于這樣的方法沒有算法訓(xùn)練階段，因此往往計(jì)算復(fù)雜度不高，但是在較困難的分割任務(wù)上（如果不提供人為的輔助信息），其分割效果并不能令人滿意。

　　在計(jì)算機(jī)視覺步入深度學(xué)習(xí)時(shí)代之后，語(yǔ)義分割同樣也進(jìn)入了全新的發(fā)展階段，以全卷積神經(jīng)網(wǎng)絡(luò)（fully convolutional networks，F(xiàn)CN）為代表的一系列基于卷積神經(jīng)網(wǎng)絡(luò)「訓(xùn)練」的語(yǔ)義分割方法相繼提出，屢屢刷新圖像語(yǔ)義分割精度。下面就介紹三種在 DL時(shí)代語(yǔ)義分割領(lǐng)域的代表性做法。