在深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)算法出現(xiàn)之前，我們無(wú)法通過(guò)計(jì)算將低分辨率、模糊不清的圖像轉(zhuǎn)換為平滑的高分辨率圖像。現(xiàn)在，由于算法的突破，圖像可以放大 8 倍或 16 倍，并可重新創(chuàng)建分辨率，該技術(shù)被稱為圖像超分辨率技術(shù)。為了實(shí)時(shí)執(zhí)行該技術(shù)，處理器需要具備專用神經(jīng)網(wǎng)絡(luò)加速器，如新思科技的 DesignWare ARC EV 處理器 IP，以在不增加功耗和面積預(yù)算的情況下，也能滿足密集計(jì)算的功耗需求。圖像超分辨率技術(shù)現(xiàn)已應(yīng)用于視頻監(jiān)控、人臉識(shí)別、醫(yī)療診斷、數(shù)字電視、游戲、多功能打印機(jī)和遠(yuǎn)程傳感成像等應(yīng)用。

低分辨率轉(zhuǎn)換至高分辨率的問題

我們都觀看過(guò)早期拍攝的電視劇或電影。英勇的偵探掌握了一個(gè)突破點(diǎn) — 他們從監(jiān)控?cái)z像機(jī)中得到了罪犯開車離開犯罪現(xiàn)場(chǎng)的圖像。但是，圖像放大后極其模糊不清。偵探轉(zhuǎn)向技術(shù)人員，用極盡嚴(yán)肅的聲音說(shuō)：“你們能讓圖像清晰一些嗎？” 技術(shù)人員使用鍵盤經(jīng)過(guò)數(shù)秒激烈緊張的操作，或是執(zhí)行一些需要數(shù)小時(shí)處理的迭代操作后，將顯示器轉(zhuǎn)向偵探，上面出現(xiàn)了一幅分辨率高很多的清晰圖像，清楚地顯示了逃逸汽車的車牌。案件得以偵破！

但實(shí)際上，讓圖像變得更加清晰遠(yuǎn)不是這么回事。無(wú)論花多少時(shí)間處理圖像，其實(shí)都無(wú)法滿足偵探的這個(gè)要求。在深度學(xué)習(xí)出現(xiàn)之前，采用最先進(jìn)的技術(shù)可以完成一定程度的圖像銳化，但無(wú)法糾正嚴(yán)重模糊的圖像（或像素化非常嚴(yán)重的放大圖像）。

Adobe Photoshop 等程序中就有圖像銳化或縮放技術(shù)的示例，有三種使用較為廣泛：

最近鄰插值在圖像放大時(shí)復(fù)制圖像中的像素。

雙線性插值在圖像縮放到更高分辨率時(shí)均化周圍像素顏色值，以插入新像素。

雙三次插值分析 16 （4x4） 個(gè)像素（相對(duì)于雙線性插值的 4 （2x） 個(gè)像素），創(chuàng)建插值偽影較少的平滑圖像。雙三次插值盡管計(jì)算復(fù)雜程度較高，卻能產(chǎn)生最理想的銳化結(jié)果。

這三種技術(shù)的局限性都源于同一種理論概念，稱為數(shù)據(jù)處理不等式。簡(jiǎn)而言之，數(shù)據(jù)處理不等式即您無(wú)法將信息添加到不存在的圖像中。放大圖像時(shí)無(wú)法恢復(fù)丟失的數(shù)據(jù)。雖然這些技術(shù)可以將模糊不清的原始圖像適度銳化，但在原始圖像放大 8 或 16 倍后，這些技術(shù)就無(wú)法處理了。

或者說(shuō)，至少在深度學(xué)習(xí)和超分辨率神經(jīng)網(wǎng)絡(luò)出現(xiàn)之前，情況都是如此。

神經(jīng)網(wǎng)絡(luò)來(lái)救急了！

如果數(shù)據(jù)處理不等式的嚴(yán)酷現(xiàn)實(shí)阻礙了雙三次插值技術(shù)發(fā)揮作用，為什么深度學(xué)習(xí)算法會(huì)表現(xiàn)得更好呢？嗯，他們有秘技。基于學(xué)習(xí)的算法是用大數(shù)據(jù)集進(jìn)行“訓(xùn)練”的（例如，輸入大量帶標(biāo)注的圖像，用于校準(zhǔn)網(wǎng)絡(luò)的系數(shù)），所以它們成為縮放圖像和恢復(fù)分辨率的理想算法。恢復(fù)圖像所需的額外數(shù)據(jù)來(lái)自神經(jīng)網(wǎng)絡(luò)的訓(xùn)練集，而不是從原始圖像中獲取。例如，如果一個(gè)神經(jīng)網(wǎng)絡(luò)經(jīng)過(guò)訓(xùn)練用于學(xué)習(xí)人臉，那么當(dāng)原始圖像被縮放到高分辨率時(shí)，它就可以合理地將訓(xùn)練集的數(shù)據(jù)插入到原始圖像中。

單圖像超分辨率的第一個(gè)深度學(xué)習(xí)方法是 2014 年的超分辨率卷積神經(jīng)網(wǎng)絡(luò) （SRCNN）。在用 SRCNN 進(jìn)行訓(xùn)練期間，使用雙三次插值將低分辨率的輸入圖像放大到所需的分辨率，然后將其送入一個(gè)相當(dāng)淺的 CNN（跳過(guò)池化層以保持相同大小的圖像分辨率）。在輸出圖像和原始圖像之間采用均方平均 （MSE） 損失函數(shù)。通過(guò)多次訓(xùn)練迭代，盡可能地減少損失以產(chǎn)生最完善的輸出圖像。結(jié)果（圖 2）顯示，相對(duì)于雙三次插值，SRCNN 的峰值信噪比 （PSNR） 有了顯著改善。

在 SRCNN 開辟了使用 CNN 實(shí)現(xiàn)超分辨率的道路之后，許多其他方法也在這個(gè)概念上進(jìn)行了改進(jìn)。2016 年，快速超分辨率卷積神經(jīng)網(wǎng)絡(luò) （Fast Super-Resolution Convolutional Neural Network， FSRCNN） 取代了 SRCNN 的雙三次插值，它具有更多的 CNN 層，并結(jié)合了其他技術(shù)，能夠產(chǎn)生更快、圖像質(zhì)量更高的解決方案。同樣在 2016 年，超分辨率加深網(wǎng)絡(luò)結(jié)構(gòu) （Very Deep network for Super-Resolution， VDSR） 將 SRCNN 的三層擴(kuò)展到二十層，以提高準(zhǔn)確度。2015 年底發(fā)布的超分辨率殘差網(wǎng)絡(luò) （SRResNet） 將殘差網(wǎng)絡(luò) （ResNet） 層增加至 152 層，以提高準(zhǔn)確度。所有這些方法都提供了較高的 PSNR（更高的準(zhǔn)確度），但經(jīng)常遺漏高頻細(xì)節(jié)，因此被認(rèn)為不夠悅目。

2017 年，超分辨率生成對(duì)抗網(wǎng)絡(luò) （Super-Resolution Generative Adversarial Network， SRGAN） 將 2014 年發(fā)布的 GANS 概念應(yīng)用到超分辨率上，取得了令人矚目的成果。GAN 由兩個(gè)網(wǎng)絡(luò)組成：一個(gè)生成器和一個(gè)鑒別器（圖 3），它們相互競(jìng)爭(zhēng)以實(shí)現(xiàn)“對(duì)抗目標(biāo)”。在網(wǎng)絡(luò)訓(xùn)練期間，生成器輸入低分辨率圖像并力圖創(chuàng)建高分辨率版本。鑒別器網(wǎng)絡(luò)則致力于確定輸入的是真正的高分辨率圖像還是生成器放大的圖像。換句話說(shuō)，生成器試圖偽造圖像蒙混過(guò)關(guān)，而鑒別器則會(huì)努力捕捉偽造圖像。訓(xùn)練期間的這一迭代過(guò)程迫使生成器改進(jìn)其輸出。

訓(xùn)練部分完成后，SRGAN 的生成器網(wǎng)絡(luò)只需將低分辨率圖像轉(zhuǎn)換為更高分辨率的圖像。

SRGAN 的一個(gè)關(guān)鍵點(diǎn)是使用了感知損失函數(shù)，該函數(shù)會(huì)對(duì)比像素級(jí) MSE 損失和對(duì)抗性損失（鑒別器遇到自然圖像而不是生成圖像的概率）。正因?yàn)槿绱耍琒RGAN 的輸出圖像的 PSNR 值并不高，但被認(rèn)為更加悅目。

現(xiàn)在，研究SRGAN 提供的一個(gè)變體。增強(qiáng)型超分辨率生成對(duì)抗網(wǎng)絡(luò) （Enhanced Super-Resolution Generative Adversarial Network， ESRGAN） 已成為游戲界的熱門產(chǎn)品，用于高端復(fù)古視頻游戲。雖然 ESRGAN 經(jīng)過(guò)自然圖像訓(xùn)練，但應(yīng)用于模糊不清的復(fù)古視頻游戲時(shí)也能改善圖形質(zhì)量。

超分辨率的另一個(gè)有趣用途是恢復(fù)舊電影的色彩和為其上色。超分辨率可以放大幀率和分辨率、填充缺失數(shù)據(jù)、改善模糊畫質(zhì)，以及為黑白電影提供逼真的上色。

實(shí)時(shí)實(shí)現(xiàn)超分辨率

處理單個(gè)圖像、視頻游戲或舊電影以實(shí)現(xiàn)離線超分辨率，不需要實(shí)時(shí)執(zhí)行。如果時(shí)間充裕，您可以讓 CPU 或 GPU 在后臺(tái)處理這一過(guò)程。如果應(yīng)用程序需要實(shí)時(shí)渲染和顯示圖像（可能是游戲或增強(qiáng)現(xiàn)實(shí)），要想在顯示之前運(yùn)用超分辨率技術(shù)來(lái)改善圖像，則只能采用較低分辨率完成渲染，以節(jié)省功耗并提高每秒幀數(shù) （fps）。而要想以極快的速度解決圖像質(zhì)量改善，或從較低視頻分辨率提高到較高視頻分辨率，則需要專門的神經(jīng)網(wǎng)絡(luò)解決方案。

新思科技的 DesignWare ARC EV 系列處理器 IP，可為一系列實(shí)時(shí)超分辨率需求提供可擴(kuò)展的神經(jīng)網(wǎng)絡(luò)解決方案。新思科技的 EV 架構(gòu)結(jié)合了可編程性和硬件優(yōu)化的特性，能以最小的面積和功耗提供最快的性能。EV7x（圖 5）將視覺引擎（用于單指令、多數(shù)據(jù) （SIMD） 并行處理的 512bit 向量 DSP）和一個(gè)深度神經(jīng)網(wǎng)絡(luò)加速器相結(jié)合，該加速器能夠從 880 乘累加單元擴(kuò)展到 14，080 乘累加單元 （MAC），是神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的關(guān)鍵構(gòu)建模塊。

圖 5. DesignWare EV7x Vision 處理器 IP 通過(guò)從 LPDDR5 向配置內(nèi)部存儲(chǔ)器輸入部分輸入圖像、經(jīng)過(guò)訓(xùn)練的系數(shù)和中間特征圖，在其深度神經(jīng)網(wǎng)絡(luò)加速器中執(zhí)行神經(jīng)網(wǎng)絡(luò)算法。

MetaWare EV （MWEV） 軟件開發(fā)工具包為DesignWare EV7x 處理器 IP 系列提供完美支持，該工具包是一條集成工具鏈，可為經(jīng)過(guò)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)執(zhí)行編譯、調(diào)試、優(yōu)化、仿真和映射。MWEV 神經(jīng)網(wǎng)絡(luò)軟件開發(fā)套件 （NN SDK） 采用 SRCNN、FSRCN、VDSR 等超分辨率圖形，然后自動(dòng)映射至 EV7x 硬件，進(jìn)行實(shí)時(shí)操作。

性能要求

實(shí)時(shí)實(shí)現(xiàn)的性能要求各不相同。多功能打印機(jī)可能需要以 5 fps 的速度銳化圖像。但是，從 30fps 視頻升級(jí)為 60fps 圖像，需要在較短的時(shí)間內(nèi)進(jìn)行較多的處理。影響處理器性能的要求包括：

超分辨模型（不同模型需要不同的計(jì)算復(fù)雜程度）

輸入圖像分辨率

輸出圖像分辨率

帶寬限制（千兆字節(jié)/秒，GB/s）

期望的幀速率 （fps）

借助這些參數(shù)，設(shè)計(jì)人員可以確定他們所需的深度神經(jīng)網(wǎng)絡(luò)加速器配置。新思科技可以與設(shè)計(jì)師合作，根據(jù)輸入分辨率和帶寬限制為所選超分辨率網(wǎng)絡(luò)的不同 MAC 配置確定 fps。例如，多功能打印機(jī)實(shí)現(xiàn)可能只需要具有 880 MAC 加速器的最小 EV71 處理器。速度飛快的高端游戲應(yīng)用程序可能需要更大的處理器，如 EV72 或 EV74 和多達(dá) 14，080 個(gè) MAC。

功耗要求

除了性能之外，另一個(gè)嵌入式系統(tǒng)的關(guān)鍵要求通常是功耗。一旦知道要求，就可以計(jì)算功耗。然而，考慮到神經(jīng)網(wǎng)絡(luò)的計(jì)算復(fù)雜性和仿真所有這些計(jì)算所需的時(shí)間（可能需要數(shù)周的時(shí)間），很難準(zhǔn)確地仿真神經(jīng)網(wǎng)絡(luò)的功耗。新思科技使用了既快速又準(zhǔn)確的仿真模型，來(lái)確定 EV7x 硬件實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的功耗。

位分辨率要求

通常使用 32 bit精度訓(xùn)練神經(jīng)網(wǎng)絡(luò)；然而，對(duì)于神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)而言，這是一種過(guò)度消耗。必要時(shí)，EV7x 的 DNN 可提供 8bit分辨率，以及可實(shí)現(xiàn)更高精度的高達(dá) 12bit的分辨率。MWEV NN SDK 將根據(jù)硬件中選定的位分辨率量化神經(jīng)網(wǎng)絡(luò)。還可以優(yōu)化每層的量化/精度，盡可能使用 8bit，而僅在需要確保準(zhǔn)確度時(shí)才使用12bit。

結(jié)語(yǔ)

研究人員在不斷改進(jìn)當(dāng)今的先進(jìn)技術(shù)，所以超分辨率神經(jīng)網(wǎng)絡(luò)將會(huì)繼續(xù)發(fā)展。從 CNN 分類網(wǎng)絡(luò)的演進(jìn)可以看出，首先側(cè)重于提高精度，然后再轉(zhuǎn)向提高算法效率。總體目標(biāo)是用最少的計(jì)算量和數(shù)據(jù)移動(dòng)獲得最高的準(zhǔn)確度，從而將較低分辨率的圖像重新調(diào)整/升級(jí)為更高分辨率的圖像，實(shí)現(xiàn)悅目的效果。由于 DesignWare ARC EV7x 處理器 IP 系列是可編程的，它可以隨著研究的持續(xù)進(jìn)行而發(fā)展為超分辨率網(wǎng)絡(luò)。

原文標(biāo)題：老電影秒變4K畫質(zhì)，超分辨率技術(shù)大發(fā)神威

文章出處：【微信公眾號(hào)：電子發(fā)燒友網(wǎng)】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq