前不久，AI換臉楊冪，“復活”哥哥都火了一把。近幾日，氣質美女林青霞也被AI舊照換新顏，猝不及防的上了熱搜?？靵硪欢昧智嘞嫉膬A國容顏吧！

AI修復的林青霞猝不及防上了熱搜。

網友們紛紛感嘆好美好有氣質，甚至還有人起哄說道：“趕緊把7080年代的時候的港臺男女明星都修復一下，那時候顏值基本上個個都賞心悅目?！?/p>

先給大家上一波福利。

上圖中既有林青霞拍電影時的劇照，也有日常生活的照片。經過AI修復后，原本模糊，噪點極大照片變得相對較為清晰。用網友的話說，大方立體的五官，富有線條感的臉部輪廓，AI修復的林青霞，真的美到讓人驚嘆！

圖像修復術與一鍵磨皮不同

在一片拜倒、贊美的聲浪中，也有網友提出了疑問：“這就是一鍵磨皮”？

盡管修復老照片，一鍵磨皮，都利用了卷積神經網絡，但二者并不一樣。

修復老照片是利用AI算法替代圖像數據中缺失或者損壞的部分。而一鍵磨皮是在保護頭發、眼睛等細節部位外，其它部位進行模糊處理，相當于是一種粗糙的去噪聲的方式，并不能很好的去除模糊和提升清晰度。

常用的磨皮算法包括均值模糊、高斯模糊、中值濾波等，它們的去噪效果很好，但視覺效果太差。效果比較好的去噪算法是雙邊濾波算法。

一位接受采訪的圖像識別專家告訴我們，AI修復的林青霞照片采用的算法包括，人物區域監測，任務區域去噪音，去模糊等算法。

通常來說，圖像修復包括多種任務：降噪/去噪、超分辨率重建、圖像填充、圖像去模糊、JPEG去塊等。

傳統上，圖像修復可以使用基于擴散方法來處理，這種方法將局部結構傳播到位置部分，或者基于示例的方法，每一次構建缺失部分的一個像素點（塊）同時保持和周圍像素點的一致性。

當缺失部分很大時，這些方法會失效，因此需要一個額外的部件提供合理的想象力（來自機器的幻覺）。這些附加的信息可能是由自然圖像的高階模型提供，例如由深度神經網絡計算的那些。

依賴預訓練神經網絡的幻覺來填補圖像中的大洞。深度神經網絡使用監督圖像分類。在監督圖像分類中，每個圖像都有一個特定的標簽，并且神經網絡通過一連串的基本操作運算來學習圖像到標簽之間的映射。

當在巨大的數據集（數百萬張帶有成千個的標簽的圖像）上被訓練后，神經網絡具有卓越的分類表現并且偶爾可以超越人類的準確率。實施一個判別式預訓練的神經網絡來指導圖像重建，其中神經網絡的最后一層在圖像修復問題中被直接運用。

在圖像修復過程中，最值得關注的信息有哪些呢？上述接受采訪的圖像識別專家告訴我們，“圖像修復過程中，人物區域的識別信息，相關圖片的噪聲強度，模糊程度信息很關鍵?！?/p>

結合深度學習的圖像修復是如何實現的？知乎答主QZhang 為大家整理了13篇論文，供學習參考：

CVPR 2016的Context-Encoders（CNN+GAN， 鼻祖級的 NN修復方法）。

鏈接：

https://arxiv.org/abs/1604.07379

CVPR 2017的High Resolution Inpainting(Context-Encoders+CNNMRF框架)，結合了風格遷移的思路。

鏈接：

https://arxiv.org/abs/1611.09969

ICCV 2017的on demanding learning(本質上還是Context-Encoders的衍生版)。

鏈接：

http://vision.cs.utexas.edu/projects/on_demand_learning/

SIGGRAPH 2017 (ACM ToG)的Globally and Locally Consistent Image Completion (CE中加入Global+Local兩個判別器的改進)。

Github代碼：

https://github.com/satoshiiizuka/siggraph2017_inpainting

ECCV 2018的Image Inpainting for Irregular Holes Using Partial Convolutions （引入了局部卷積，能夠修復任意非中心、不規則區域）。

鏈接：https://arxiv.org/abs/1804.07723

CVPR 2018的Generative Image Inpainting with Contextual Attention，一作大佬jiahui Yu 后續還有個工作: Free-Form Image Inpainting with Gated Convolution。

Github代碼：

https://github.com/JiahuiYu/generative_inpainting

ECCV 2018的Shift-Net: Image Inpainting via Deep Feature Rearrangement （哈工大 左旺孟教授組的工作）效果也不錯。

Github代碼：

https://github.com/Zhaoyi-Yan/Shift-Net_pytorch

ECCV 2018的Contextual-based Image Inpainting，inpainting大佬Chao Yang(NPS的一作)等人的又一力作。

鏈接：

https://arxiv.org/pdf/1711.08590.pdf

ACM MM 2018的Semantic Image Inpainting with Progressive Generative Networks，簡稱PGN，采用了由外至內的步進式修補策略。

Github代碼：

https://github.com/crashmoon/Progressive-Generative-Networks

NIPS 2018的Image Inpainting via Generative Multi-column Convolutional Neural Networks，用了不少trick。

Github代碼：

https://github.com/shepnerd/inpainting_gmcnn

ArXiv 2019（不清楚作者投哪了）的EdgeConnect: Generative Image Inpainting with Adversarial Edge Learning, 采用邊緣推斷信息的思路進行重建。

Github代碼：

https://github.com/knazeri/edge-connect

CVPR 2019的Foreground-aware Image Inpainting, 思路類似于上面的工作，也是先推斷生成輪廓邊緣，輔助缺失區域進行修復。

鏈接：https://arxiv.org/abs/1901.05945

CVPR 2019的Pluralistic Image Completion。

鏈接：https://arxiv.org/abs/1903.04227