英偉達的研究人員發布了一種可以編輯圖像或重建已損壞圖像的深度學習方法，實現了一鍵P圖，而且“毫無ps痕跡”。通過使用“部分卷積”層，該方法優于其他方法。

在計算機視覺研究領域，NVIDIA常常讓人眼前一亮。

比如“用Progressive Growing的方式訓練 GAN，生成超逼真高清圖像”，“用條件 GAN 進行 2048x1024 分辨率的圖像合成和處理”的pix2pixHD項目，或者腦洞大開的讓晴天下大雨、小貓變獅子、黑夜轉白天的“無監督圖像翻譯網絡”（Unsupervised Image-to-Image Translation Networks）。

近日，NVIDIA在arXiv放出一篇今年ICLR的論文，同樣很厲害。論文題為“Image Inpainting for Irregular Holes Using Partial Convolutions”，即使用“Partial Convolutions”進行圖像修復。

在視頻中左側的操作界面，只需用工具將圖像中不需要的內容簡單涂抹掉，哪怕形狀很不規則，NVIDIA的模型能夠將圖像“復原”，用非常逼真的畫面填補被涂抹的空白。可謂是一鍵P圖，而且“毫無ps痕跡”。

該研究來自Nvidia的Guilin Liu等人的團隊，他們發布了一種可以編輯圖像或重建已損壞圖像的深度學習方法，即使圖像穿了個洞或丟失了像素。這是目前state-of-the-art的方法。

該方法還可以通過移除圖像中的某些內容，并填補移除內容后造成的空白，從而實現編輯圖像。

這個過程叫做“image inpainting”，可以在圖片編輯軟件中實現去除不需要的內容，同時用計算機生成的逼真的替代方式填補空白。

圖：被遮蓋的圖像，及使用基于部分卷積的網絡得到的修復結果

“我們的模型可以很好地處理任何形狀、大小、位置或距離圖像邊界任何距離的空白。以前的深度學習方法主要集中在位于圖像中心附近的矩形區域，并且通常需要依賴成本很高的后期處理。“英偉達的研究人員在他們的研究報告中寫道，“此外，我們的模型能夠很好地處理越來越大的空白區域。”

為了訓練神經網絡，研究團隊首先生成了55116個隨機色條、形狀和大小任意的masks，用于訓練。他們還生成了25000個圖像用于測試。為了提高重建圖像的精度，研究人員根據相對于輸入圖像的大小，將這些訓練圖像進一步分為6類。

圖：一些用于測試的masks

使用NVIDIATeslaV100GPU和cuDNN加速的PyTorch深度學習框架，該團隊通過將生成的mask應用在ImageNet數據集Places2和CelebA-HQ兩個數據集的圖像，訓練其神經網絡。

圖：ImageNet上的測試結果對比

圖：Place2數據集上的測試結果對比

在訓練階段，將空白或缺失的部分引入上述數據集的完整訓練圖像中，以使網絡能夠學習重建缺失的像素。

在測試階段，另一批沒有在訓練期間使用的空白或缺失部分被引入數據集里的測試圖像，以對重建的圖像的精度進行無偏驗證。

圖：基于典型卷積層的結果（Conv）和“部分卷積”層的結果（PConv）對比

研究人員表示，現有的基于深度學習的圖像修復方法不夠好，因為丟失像素的輸出必然取決于輸入的值，而這些輸入必須提供給神經網絡，以找出丟失的像素。這就導致圖像中出現諸如顏色差異或模糊之類的artifacts。

為了解決這個問題，NVIDIA團隊開發了一種方法，確保丟失像素的輸出不依賴于為這些像素提供的輸入的值。這種方法使用一個“部分卷積”層，根據其對相應的接受域（receptivefield）的有效性，對每個輸出進行重新歸一化（renormalization）。這種重新歸一化可以確保輸出值與每個接受域中缺失像素的值無關。

該模型是利用這些部分卷積實現的UNet架構構建的。使用一組損失函數，匹配VGG模型的特征損失以及風格損失，進而訓練模型以產生逼真的輸出。

表：各種不同方法的結果對比

研究團隊稱，該模型優于以前的方法。

“據我們所知，我們是第一個在不規則形狀的孔洞上展示深度學習圖像修復模型效果的人，”NVIDIA的研究人員說。

研究人員還在論文中提及，相同的框架也可以用來處理圖像超分辨率任務。