盡管生成式面部先驗(yàn)和結(jié)構(gòu)化面部先驗(yàn)最近已經(jīng)證明了可以生成高質(zhì)量的人臉盲修復(fù)結(jié)果，穩(wěn)定、可靠生成更細(xì)粒度的臉部細(xì)節(jié)仍然是一個(gè)具有挑戰(zhàn)性的問題。這篇文章受最近基于字典的方法和基于矢量量化的方法啟發(fā)，提出了一種 基于矢量量化（VQ-based）的人臉盲修復(fù)方法VQFR。VQFR從高質(zhì)量的圖像中抽取特征，構(gòu)建low-level特征庫從而恢復(fù)逼真的面部細(xì)節(jié)。

這篇工作重點(diǎn)關(guān)注如下兩個(gè)問題：

1.codebook中每個(gè)code對(duì)應(yīng)的原圖patch大小會(huì)極大影響人臉網(wǎng)絡(luò)修復(fù)結(jié)果的質(zhì)量與保真度權(quán)衡，而實(shí)際落地應(yīng)用中，質(zhì)量與保真度需要做到良好的平衡以獲得最佳視覺效果。

2.原圖退化特征需要與來自codebook的高質(zhì)量特征做融合，融合過程中，如何做到高質(zhì)量特征不被退化特征所干擾而導(dǎo)致性能降低？

詳細(xì)介紹引入

人臉恢復(fù)的目標(biāo)是恢復(fù)低質(zhì)量（LQ）面孔并糾正未知退化，例如噪聲、模糊、下采樣引起的退化等。在實(shí)際情況下，此任務(wù)變得更具挑戰(zhàn)性，因?yàn)榇嬖诟鼜?fù)雜的退化、多樣的面部姿勢和表情。以前的作品通常利用特定于人臉的先驗(yàn)，包括幾何先驗(yàn)、生成先驗(yàn)和參考先驗(yàn)。具體來說，幾何先驗(yàn)通常包括面部標(biāo)志、面部解析圖和面部組件熱圖。它們可以為恢復(fù)準(zhǔn)確的面部形狀提供全局指導(dǎo)，但不能幫助生成逼真的細(xì)節(jié)。

此外，幾何先驗(yàn)是從退化圖像中估計(jì)出來的，因此對(duì)于具有嚴(yán)重退化的輸入變得不準(zhǔn)確。這些特性促使研究人員尋找更好的先驗(yàn)。最近的人臉修復(fù)工作開始研究生成先驗(yàn)（GAN-Prior），并取了優(yōu)異的性能。這些方法通常利用預(yù)先訓(xùn)練的人臉生成對(duì)抗網(wǎng)絡(luò)(例如StyleGAN)的強(qiáng)大生成能力來生成逼真的紋理。這些方法通常將退化的圖像投影回GAN潛在空間，然后使用預(yù)先訓(xùn)練的生成器解碼高質(zhì)量（HQ）人臉結(jié)果。

盡管基于GAN先驗(yàn)的方法最初從整體上講具有良好的恢復(fù)質(zhì)量，但仍然無法生成細(xì)粒度的面部細(xì)節(jié)，特別是精細(xì)的頭發(fā)和精致的面部組件。這是因?yàn)橛?xùn)練有素的GAN模型，其潛在空間仍然是不夠完善的。基于參考的方法(Reference-based methods）—探索了高質(zhì)量的指導(dǎo)面孔或面部組件字典來解決面部恢復(fù)問題。

DFDNet是該類別中的代表方法，它不需要訪問相同身份的面孔，就可以產(chǎn)生高質(zhì)量的結(jié)果。它明確建立高質(zhì)量的“紋理庫”，用于幾個(gè)面部組件，然后用字典中最近的高質(zhì)量面部組件替換退化的面部組件。這種離散的替換操作可以直接彌合低質(zhì)量面部部件與高質(zhì)量部件之間的差距，因此具有提供良好面部細(xì)節(jié)的潛力。然而，DFDNet中的面部組件字典仍然有兩個(gè)缺點(diǎn)。

1）它使用預(yù)先訓(xùn)練的VGGFace網(wǎng)絡(luò)進(jìn)行離線生成，該網(wǎng)絡(luò)是為識(shí)別任務(wù)優(yōu)化的，明顯并不適合恢復(fù)任務(wù)。

2）它只關(guān)注幾個(gè)面部組件(即眼睛、鼻子和嘴巴)，但不包括其他重要區(qū)域，例如頭發(fā)和皮膚。

面部組件字典的局限性促使VQFR探索矢量量化（VQ）碼本，這是一個(gè)為所有面部區(qū)域構(gòu)建的字典。VQFR提出的人臉恢復(fù)方法VQFR既利用字典方法又利用GAN訓(xùn)練，但不需要任何幾何或GAN先驗(yàn)。與面部組件字典相比，VQ碼本可以提供更全面的低層特征庫，而不局限于有限的面部組件。

它也是通過面部重建任務(wù)以端到端的方式來學(xué)習(xí)的。此外，矢量量化的機(jī)制使其在不同的退化情況下更加穩(wěn)健。盡管簡單地應(yīng)用VQ碼本可以取得不錯(cuò)的效果，但要實(shí)現(xiàn)良好的結(jié)果也不容易。后續(xù)進(jìn)一步介紹了兩個(gè)特殊的網(wǎng)絡(luò)設(shè)計(jì)以應(yīng)對(duì)前文提到的兩個(gè)problems，這將幫助VQFR在細(xì)節(jié)生成和身份保留方面都超越先前的方法。

具體來說，為了生成逼真的細(xì)節(jié)，作者發(fā)現(xiàn)選擇適當(dāng)?shù)膲嚎s補(bǔ)丁大小至關(guān)重要，它表示codebook的一個(gè)code“由多大的補(bǔ)丁表示”。如圖2所示，較大的patch可以帶來更好的視覺質(zhì)量，但是真實(shí)度卻會(huì)下降。經(jīng)過全面的調(diào)查，我們建議輸入圖像大小512x512時(shí)，32大小的patch size最合適。然而，這種選擇只是在質(zhì)量和真實(shí)度之間進(jìn)行權(quán)衡。

表情和身份也可能會(huì)因適當(dāng)?shù)膲嚎s補(bǔ)丁大小而有很大的變化。一個(gè)直接的解決方案是將輸入特征與不同的解碼器層融合，這與GFP-GAN中的操作類似。盡管輸入特征可以帶來更多的真實(shí)度信息，但它們也會(huì)干擾從VQ代碼本生成的逼真細(xì)節(jié)特征。這個(gè)問題引出了作者的第二個(gè)網(wǎng)絡(luò)設(shè)計(jì)：并行解碼器。

具體而言，并行解碼器結(jié)構(gòu)包括紋理解碼器和主解碼器。VQFR的紋理解碼器僅接收來自VQ代碼本的潛在表示的信息，而主解碼器將紋理解碼器中的特征做變換以匹配退化輸入的需保留的特征。

為了避免高質(zhì)量細(xì)節(jié)的損失并更好地匹配退化的面部，VQFR在主解碼器中進(jìn)一步采用了具有可變卷積的紋理變換模塊。通過VQ codebook作為面部字典和并行解碼器設(shè)計(jì)，VQFR可以實(shí)現(xiàn)更高質(zhì)量的面部細(xì)節(jié)修復(fù)，同時(shí)盡可能得保留面部恢復(fù)的真實(shí)度。

VQFR方法概述

VQFR模型架構(gòu)圖。VQFR由一個(gè)編碼器組成，用于映射退化的人臉進(jìn)入潛在和并行解碼器以利用 HQ 代碼和輸入功能。編碼器和解碼器由矢量量化模型和預(yù)訓(xùn)練的 HQ 碼本，將編碼的latent feature替換為 HQ 代碼

Vector-Quantized Codebook最早在VQVAE中被引入，旨在學(xué)習(xí)離散的先驗(yàn)來編碼圖像。VQFR中的codebook部分與VQGAN中的基本一致。VQGAN 主要是采用了感知損失和對(duì)抗性損失以鼓勵(lì)具有更好感知質(zhì)量的重建。VQFR方法主要基于以下兩個(gè)觀察來提高修復(fù)性能：

通過采用合適的壓縮補(bǔ)丁大小，可以用僅由高品質(zhì)人臉訓(xùn)練的VQ碼本來去除LQ人臉的退化。

在訓(xùn)練恢復(fù)任務(wù)時(shí)，在改進(jìn)的細(xì)節(jié)紋理和保真度變化之間需要保持一個(gè)平衡。

針對(duì)觀察現(xiàn)象一，VQFR采用合適的f大小來控制codebook效果，f取32最佳。針對(duì)觀察現(xiàn)象二，VQFR提出利用雙分支架構(gòu)的decoder來逐漸將高質(zhì)量紋理特征補(bǔ)充進(jìn)待修復(fù)特征中，texture warp module利用可變形卷積很好的實(shí)現(xiàn)了這一目的。反觀之前的相似工作，之前工作中單一分支decoder架構(gòu)很難較好的融合低質(zhì)特征和高質(zhì)量特征，這導(dǎo)致了恢復(fù)性能不佳。

實(shí)驗(yàn)

VQFR在CelebA-Test數(shù)據(jù)集和LFW數(shù)據(jù)集上均取得了領(lǐng)先的性能結(jié)果，值得關(guān)注的是其PSNR/SSIM指標(biāo)并不十分出色，但是FID、NIQE、LMD指標(biāo)非常不錯(cuò)，視覺效果也體現(xiàn)了該方法的優(yōu)越性。

真實(shí)度與保真度的平衡

可以看出VQFR取得了非常不錯(cuò)的真實(shí)度與保真度的平衡，實(shí)驗(yàn)效果很出色。

總結(jié)

本文提出的VQFR是一種性能非常不錯(cuò)的人臉盲修復(fù)方法，文章思路非常清晰，明確點(diǎn)出核心motivation和為解決的相關(guān)問題，最后的實(shí)驗(yàn)結(jié)果也非常精彩，很好的證明了方法的基本理論與出發(fā)點(diǎn)，更多細(xì)節(jié)建議大家參考原文。

審核編輯：劉清