深度學(xué)習(xí)的出現(xiàn)使得算法對圖像的語義級操作成為可能。本文即是介紹深度學(xué)習(xí)技術(shù)在圖像超清化問題上的最新研究進展。

　　深度學(xué)習(xí)最早興起于圖像，其主要處理圖像的技術(shù)是卷積神經(jīng)網(wǎng)絡(luò)，關(guān)于卷積神經(jīng)網(wǎng)絡(luò)的起源，業(yè)界公認是Alex在2012年的ImageNet比賽中的煌煌表現(xiàn)。雖方五年，卻已是老生常談。因此卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)細節(jié)本文不再贅述。在下文中，使用CNN（Convolutional Neural Network）來指代卷積神經(jīng)網(wǎng)絡(luò)。

　　CNN出現(xiàn)以來，催生了很多研究熱點，其中最令人印象深刻的五個熱點是：

　　深廣探索：VGG網(wǎng)絡(luò)的出現(xiàn)標(biāo)志著CNN在搜索的深度和廣度上有了初步的突破。

　　結(jié)構(gòu)探索：Inception及其變種的出現(xiàn)進一步增加了模型的深度。而ResNet的出現(xiàn)則使得深度學(xué)習(xí)的深度變得“名副其實”起來，可以達到上百層甚至上千層。

　　內(nèi)容損失：圖像風(fēng)格轉(zhuǎn)換是CNN在應(yīng)用層面的一個小高峰，涌現(xiàn)了一批以Prisma為首的小型創(chuàng)業(yè)公司。但圖像風(fēng)格轉(zhuǎn)換在技術(shù)上的真正貢獻卻是通過一個預(yù)訓(xùn)練好的模型上的特征圖，在語義層面生成圖像。

　　對抗神經(jīng)網(wǎng)絡(luò)（GAN）：雖然GAN是針對機器學(xué)習(xí)領(lǐng)域的架構(gòu)創(chuàng)新，但其最初的應(yīng)用卻是在CNN上。通過對抗訓(xùn)練，使得生成模型能夠借用監(jiān)督學(xué)習(xí)的東風(fēng)進行提升，將生成模型的質(zhì)量提升了一個級別。

　　Pixel CNN：將依賴關(guān)系引入到像素之間，是CNN模型結(jié)構(gòu)方法的一次比較大的創(chuàng)新，用于生成圖像，效果最佳，但有失效率。

　　這五個熱點，在圖像超清這個問題上都有所體現(xiàn)。下面會一一為大家道來。

　　CNN的第一次出手

　　圖2 首個應(yīng)用于圖像超清問題的CNN網(wǎng)絡(luò)結(jié)構(gòu)（輸入為低清圖像，輸出為高清圖像。該結(jié)構(gòu)分為三個步驟：低清圖像的特征抽取、低清特征到高清特征的映射、高清圖像的重建。）

　　圖像超清問題的特點在于，低清圖像和高清圖像中很大部分的信息是共享的，基于這個前提，在CNN出現(xiàn)之前，業(yè)界的解決方案是使用一些特定的方法，如PCA、Sparse Coding等將低分辨率和高分辨率圖像變?yōu)樘卣鞅硎?，然后將特征表示做映射?/p>

　　基于傳統(tǒng)的方法結(jié)構(gòu)，CNN也將模型劃分為三個部分，即特征抽取、非線性映射和特征重建。由于CNN的特性，三個部分的操作均可使用卷積完成。因而，雖然針對模型結(jié)構(gòu)的解釋與傳統(tǒng)方法類似，但CNN卻是可以同時聯(lián)合訓(xùn)練的統(tǒng)一體，在數(shù)學(xué)上擁有更加簡單的表達。

　　不僅在模型解釋上可以看到傳統(tǒng)方法的影子，在具體的操作上也可以看到。在上述模型中，需要對數(shù)據(jù)進行預(yù)處理，抽取出很多patch，這些patch可能互有重疊，將這些Patch取合集便是整張圖像。上述的CNN結(jié)構(gòu)是被應(yīng)用在這些Patch而不是整張圖像上，得到所有圖像的patch后，將這些patch組合起來得到最后的高清圖像，重疊部分取均值。

相關(guān)電子資料下載

• 深度學(xué)習(xí)在工業(yè)缺陷檢測中的應(yīng)用 63
• 探討目前主流3D激光SLAM算法方案 94
• 華為成為中國首個PyTorch基金會Premier會員 453
• 《人工智能在指揮和控制系統(tǒng)中的決策支持》 133
• 中國手機廠商發(fā)力這一領(lǐng)域 外媒：大戲剛剛開始 262
• 百度智能云推出國內(nèi)首個大模型全鏈路生態(tài)支持體系 251
• 人工智能領(lǐng)域存在第一性原理嗎？ 53
• 基于機器視覺檢測技術(shù)現(xiàn)狀 41
• 自動駕駛規(guī)控決策方面的建議與解決方案 40
• 里程碑 主線科技無人集卡在舟山港開啟全天候真無人常態(tài)化運營 166