分辨率極限，無(wú)論對(duì)于圖像重建或是圖像后處理算法的研究者，都是一項(xiàng)無(wú)法回避的技術(shù)指標(biāo)。在實(shí)際的應(yīng)用場(chǎng)景中，受限于圖像采集設(shè)備成本、視頻圖像傳輸帶寬，抑或是成像模態(tài)本身的技術(shù)瓶頸，我們并不是每一次都有條件獲得邊緣銳化，無(wú)塊狀模糊的大尺寸高清圖像。在這種需求背景下，超分辨重建技術(shù)應(yīng)運(yùn)而生。

圖1：圖片壓縮與傳輸

應(yīng)用場(chǎng)景I：圖片壓縮與傳輸，即以較低的碼率進(jìn)行圖像編碼，在傳輸過(guò)程中可極大節(jié)省轉(zhuǎn)發(fā)服務(wù)器的流量帶寬，在客戶端解碼得到相對(duì)低清晰度的圖片，最后通過(guò)超分辨重建技術(shù)處理獲得高清晰度圖片

圖2：生物組織成像

應(yīng)用場(chǎng)景II：生物組織成像 左圖：光聲顯微成像圖像 右圖：光聲超分辨顯微圖像，細(xì)微的蜜蜂翅膀紋理清晰可見(jiàn)

傳統(tǒng)超分辨重建技術(shù)大體上可分為4類，分別是預(yù)測(cè)型（prediction-based）, 邊緣型（edge-based）, 統(tǒng)計(jì)型（statistical）和圖像塊型（patch-based/example-based）的超分辨重建方法。

我們選擇了4篇基于深度學(xué)習(xí)的圖像塊型超分辨重建的經(jīng)典論文進(jìn)行關(guān)鍵技術(shù)點(diǎn)分析，從中我們可以看出研究者們對(duì)于超分辨任務(wù)的不同的理解與解決問(wèn)題思路。在2012年AlexNet以15.4%的歷史性超低的分類錯(cuò)誤率獲得ImageNet大規(guī)模視覺(jué)識(shí)別挑戰(zhàn)賽年度冠軍，吹響了深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)領(lǐng)域爆炸發(fā)展的號(hào)角之后。超分辨重建技術(shù)也開(kāi)始采用深度學(xué)習(xí)的思想，以期獲得更優(yōu)的算法表現(xiàn)。

SRCNN

SRCNN是基于深度學(xué)習(xí)的超分辨重建領(lǐng)域的開(kāi)山之作，繼承了傳統(tǒng)機(jī)器學(xué)習(xí)領(lǐng)域稀疏編碼的思想，利用三層卷積層分別實(shí)現(xiàn):

圖像的圖像塊抽取與稀疏字典建立

圖像高、低分辨率特征之間的非線性映射

高分辨率圖像塊的重建

具體地，假設(shè)需要處理的低分辨率圖片的尺寸為H × W × C， 其中H、W、C分別表示圖片的長(zhǎng)、寬和通道數(shù)；SRCNN第一層卷積核尺寸為C × f1 × f1 × n1,可以理解為在低分辨率圖片上滑窗式地提取f1 × f1的圖像塊區(qū)域進(jìn)行n1種類型的卷積操作。在全圖范圍內(nèi)，每一種類型卷積操作都可以輸出一個(gè)特征向量，最終n1個(gè)特征向量構(gòu)成了低分辨率圖片的稀疏表示的字典，字典的維度為H1 × W1 × n1；SRCNN第二層卷積核尺寸為n1 × 1 × 1 × n2，以建立由低分辨率到高分辨率稀疏表示字典之間的非線性映射，輸出的高分辨率稀疏字典的維度為H1 × W1 × n2，值得注意的是在這一步中SRCNN并未采用全連接層（fully connected layer）來(lái)進(jìn)行特征圖或是稀疏字典之間的映射，而是采用1x1卷積核，從而使得空間上每一個(gè)像素點(diǎn)位置的映射都共享參數(shù)，即每一個(gè)空間位置以相同的方式進(jìn)行非線性映射； SRCNN第三層卷積核尺寸為n2 × f3 × f3 × C，由高分辨率稀疏字典中每一個(gè)像素點(diǎn)位置的n2 × 1向量重建f3 × f3圖像塊，圖像塊之間相互重合覆蓋，最終實(shí)現(xiàn)圖片的超分辨率重建。

圖3：SRCNN的三層卷積結(jié)構(gòu)

ESPCN

在SRCNN將CNN引入超分辨率重建領(lǐng)域之后，研究者們開(kāi)始考慮如何利用“卷積”來(lái)解決更深入的問(wèn)題。

如果對(duì)一幅高分辨率圖片做高斯平滑或是降采樣可以等效為卷積操作，那么由降采樣后低分辨率圖片恢復(fù)高分辨率的過(guò)程則相應(yīng)的等效為反卷積操作（deconvolution）。此時(shí)我們的計(jì)算任務(wù)是學(xué)習(xí)合適的解卷積核，從低分辨率圖片中恢復(fù)高分辨率圖像。

CNN中反卷積層的標(biāo)準(zhǔn)做法如圖4所示，對(duì)一幅低分辨率圖片填充零值（zero padding），即以每一個(gè)像素點(diǎn)位置為中心，周圍2×2或3×3鄰域填充0，再以一定尺寸的卷積核進(jìn)行卷積操作。

圖4：標(biāo)準(zhǔn)反卷積層實(shí)現(xiàn)示意圖

但是標(biāo)準(zhǔn)反卷積操作的弊端是顯而易見(jiàn)的，首先，填充的零值并不包含任何圖像相關(guān)的有效信息，其次填充后的圖片卷積操作的計(jì)算復(fù)雜度有所增加。

在這種情況下，Twitter圖片與視頻壓縮研究組將sub-pixel convolution的概念引入SRCNN中。

圖5：Efficient Sub-Pixel Convolutional Neural Network (ESPCN)網(wǎng)絡(luò)結(jié)構(gòu)

Sub-Pixel核心思想在于對(duì)于任意維度為H × W × C的圖像，標(biāo)準(zhǔn)反卷積操作輸出的特征圖維度為rH × rW × C，其中r為超分辨系數(shù)即圖片尺寸放大的倍數(shù)，而sub-pixel的輸出特征圖維度為H × W × C × r2，即令特征圖與輸入圖片的尺寸保持一致，但增加卷積核的通道數(shù)，既使得輸入圖片中鄰域像素點(diǎn)的信息得到有效利用，還避免了填充0引入的計(jì)算復(fù)雜度增加。

Perceptual Loss

相較于其他機(jī)器學(xué)習(xí)任務(wù)，如物體檢測(cè)（object detection）或者實(shí)例分割（instance segmentation），超分辨重建技術(shù)中學(xué)習(xí)任務(wù)的損失函數(shù)的定義通常都相對(duì)簡(jiǎn)單粗暴，由于我們重建的目的是為了使得重建的高分辨率圖片與真實(shí)高清圖片之間的峰值信噪比（Peak Signal-to-Noise Ratio, PSNR）盡可能的大，因此絕大多數(shù)的基于深度學(xué)習(xí)的超分辨重建研究都直接的將損失函數(shù)設(shè)計(jì)為平均均方差（Mean Square Error, MSE），即計(jì)算兩幅圖片所有對(duì)應(yīng)像素位置點(diǎn)之間的均方差，由于MSE Loss要求像素點(diǎn)之間位置一一對(duì)應(yīng)，因此又被稱作Per-Pixel Loss。

但隨著技術(shù)的發(fā)展，研究者慢慢發(fā)現(xiàn)Per-Pixel Loss的局限性。考慮一個(gè)極端的情況，將高清原圖向任意方向偏移一個(gè)像素，事實(shí)上圖片本身的分辨率與風(fēng)格并未發(fā)生太大的改變，但Per-Pixel Loss卻會(huì)因?yàn)檫@一個(gè)像素的偏移而出現(xiàn)顯著的上升，因此Per-Pixel Loss的約束并不能反應(yīng)圖像高級(jí)的特征信息（high-level features）。

因此研究圖像風(fēng)格遷移的研究者們相對(duì)于Per-Pixel Loss在2016年的CVPR會(huì)議上提出了Perceptual Loss的概念。

圖6：基于Perceptual Loss的全卷積網(wǎng)絡(luò)結(jié)構(gòu)

基于Per-Pixel Loss的超分辨重建網(wǎng)絡(luò)目標(biāo)在于直接最小化高清原圖與超分辨重建圖像之間的差異，使得超分辨重建圖像逐步逼近原圖的清晰效果。但Perceptual Loss最小化的是原圖與重建圖像的特征圖之間的差異，為了提高計(jì)算效率，Perceptual Loss中的特征圖由固定權(quán)重值的卷積神經(jīng)網(wǎng)絡(luò)提取，例如在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練得到的VGG16網(wǎng)絡(luò)，如圖7所示，不同深度的卷積層提取的特征信息不同，反映的圖像的紋理也不同。

圖7：不同深度的卷積層提取的圖片特征示意圖

因此研究者們?cè)谟?xùn)練超分辨神經(jīng)網(wǎng)絡(luò)時(shí)，利用跨間隔的卷積層（strided convolution layer）代替池化層（pooling layer）構(gòu)建全卷積神經(jīng)網(wǎng)絡(luò)（Fully Convolutional Network, FCN）進(jìn)行超分辨重建，并在卷積層之間添加殘差結(jié)構(gòu)（residual block）以在保證網(wǎng)絡(luò)擬合性能的前提下加深網(wǎng)絡(luò)深度獲得更佳表現(xiàn)。最終利用VGG16網(wǎng)絡(luò)對(duì)原圖與重建圖像進(jìn)行特征提取，最小化兩者特征圖之間的差異使得超分辨重建圖像不斷逼近原圖的分辨率。

RAISR

前面提到的幾種典型的圖像塊型（也被稱作樣例型）超分辨技術(shù)，都是在高低分辨率圖像塊一一對(duì)應(yīng)的數(shù)據(jù)基礎(chǔ)上，學(xué)習(xí)由低分辨率到高分辨率圖像塊的映射。具體的來(lái)說(shuō)，通常這種映射是一系列的濾波器，針對(duì)輸入圖片不同像素位置點(diǎn)的不同的紋理特征來(lái)選擇適當(dāng)?shù)臑V波器進(jìn)行超分辨重建。基于這種思想，Google于2016年在SRCNN，A+以及ESPCN等超分辨研究的基礎(chǔ)上發(fā)布了RAISR算法。

該算法主打高速的實(shí)時(shí)性能與極低的計(jì)算復(fù)雜度，核心思想在于利用配對(duì)的高低分辨率圖像塊訓(xùn)練得到一系列的濾波器，在測(cè)試時(shí)根據(jù)輸入圖片的局部梯度統(tǒng)計(jì)學(xué)特性索引選擇合適的濾波器完成超分辨重建。因此RAISR算法由兩部分組成，第一部分是訓(xùn)練高低分辨率映射（LR/HR mapping）的濾波器，第二部分是建立濾波器索引機(jī)制（hashing mechanism）。

圖8：RAISR 2倍上采樣濾波器

下圖為RAISR在2x上采樣率時(shí)與SRCNN，A+等超分辨算法的技術(shù)指標(biāo)對(duì)比。左為PSNR-runtime指標(biāo)，右圖為SSIM-runtime指標(biāo)。

圖9：RAISR在2x上采樣率時(shí)與SRCNN，A+等超分辨算法的技術(shù)指標(biāo)對(duì)比

結(jié)語(yǔ)

超分辨率重建在醫(yī)學(xué)影像處理、壓縮圖像增強(qiáng)等方面具有廣闊的應(yīng)用前景，近年來(lái)一直是深度學(xué)習(xí)社區(qū)研究的熱點(diǎn)領(lǐng)域。卷積和殘差構(gòu)件的改進(jìn)、不同種類Perceptual Loss的進(jìn)一步分析、對(duì)抗生成網(wǎng)絡(luò)用于超分辨率重建的探索等都是值得關(guān)注的方向。相信我們很快就能看到深度學(xué)習(xí)在超分辨率重建領(lǐng)域的更多重大進(jìn)展。