編者按：下雨時拍照總有種朦朧的美感，但是附著在相機、窗戶上的水滴會降低背景的能見度，讓照片模糊不清。為了去除照片上的水滴，北京大學計算機科學與技術研究院的研究人員創建了一種注意力生成對抗網絡，效果不錯。以下是論智對論文的編譯。

下雨時拍出的照片模糊是由于雨滴覆蓋的區域和沒有雨滴的區域圖像內容不同，同時，雨滴的形狀是球形，光線經過折射會變成“魚眼”效果，讓寬廣的景色濃縮到一點。另外，在大多數情況中，相機的焦點都在背景上，所以會讓前景中的雨滴變得模糊。

在這篇文章中，我們解決了這一問題。給定一張有雨水的照片，我們的目標是讓其變得清晰。大致效果如圖1所示。

圖1

我們的方法是完全自動的，相信這能為圖像處理和計算機視覺的應用提供幫助，尤其是處理相似的問題，例如去除照片上的污漬等。

遇到的困難

通常來說，去除水滴的問題比較棘手。因為首先我們不知道被雨水遮蓋的區域原本的圖像（本文是根據單張圖片進行還原，沒有對照圖片）。另外，遮擋區域背景的信息我們也無從得知。如果雨滴較大、分布得更密集，問題就更加麻煩。為了解決這個問題，我們選擇了生成對抗網絡。

雨水是透明的，但是由于它們特殊的形狀和光的折射，雨滴中一個像素區域就會受到整個環境的影響，所以使得這個雨滴和它的背景有很大的差別。在雨滴的某些區域，尤其是邊緣和透明的地方，通常會傳達有關背景的信息。我們發現這些信息可以通過分析用在網絡中。

我們將含有雨滴的模糊圖像用以下等式表示：

其中I表示輸入圖片，M表示二進制掩碼。在該掩碼中，M(x)=1意味著像素x是雨滴的一部分，否則該像素就是背景的一部分。B是背景圖像，R是雨滴帶來的影響，表示復雜的背景信息和光折射產生的現象。⊙表示各種元素相乘。

網絡結構

圖2展示了我們所提出的網絡結構：

圖2

其中，生成對抗損失可以表示成：

G表示生成網絡，D表示判別網絡，I是含有雨滴的樣本圖片，之后會輸入到生成網絡中，R是未經污染的自然圖像。

為了處理這個復雜的問題，我們的生成網絡首先會生成一個注意力地圖，這是整個網絡最重要的部分，因為它將指導網絡下一步該關注哪些區域。該地圖由一個包含深度ResNet的循環網絡生成，同時結合了卷積LSTM和幾個標準卷積層，我們將其稱為注意力循環網絡。

圖3展示了在訓練過程中，我們的網絡是如何生成注意力地圖的。可以看到，我們的網絡不僅在確定雨滴的區域而且還要找出周圍環境的結構。

圖3

生成網絡的第二部分是一個自動編碼器，語境自動編碼器的目的是生成一張沒有雨滴的圖片，輸入的照片和注意力地圖會同時輸入到該編碼器中。我們的深度自動編碼器有16個conv-relu模塊，同時還添加了跳躍式連接以防止輸出模糊的圖像。語境自動編碼器的結構如圖4所示。

圖4

為了獲得更多語境信息，我們在自動編碼器的解碼器一端添加了多尺度的損失。每個損失都比較了卷積層的輸出和對應的標準之間的差異。卷積層的輸入是解碼層的特征。除了這些損失，我們還在自動編碼器的最終輸出上應用了一個感知損失，讓其更接近真實場景。這個最終的輸出也是生成網絡的輸出。

之后，判別網絡就會檢查上述輸出是否真實。和其他去水印、去障礙物的方法類似，我們的判別網絡會從局部和全局來進行檢查。唯一不同的是，在我們的問題中，尤其在測試階段，有雨滴的目標區域并不會給出。因此，判別網絡無法關注局部區域，因為沒有可用信息。為了解決這一問題，我們用注意力地圖來引導判別網絡識別需要處理的局部區域。

實驗結果

表1展示了我們的方法和目前的Eigen13和Pix2Pix之間的對比：

表1

與其他兩種方法相比，我們的方法PSNR和SSIM分數都比較高，這說明我們的方法生成的結果更接近于真實場景。

同時我們還將完整的GAN結構和我們網絡的部分相對比：A表示只有自動編碼器，沒有注意力地圖；A+D表示沒有注意力自動編碼器，也沒有注意力判別器；A+AD表示沒有注意力自動編碼器，但是有注意力判別器；AA+AD表示既有注意力自動編碼器也有注意力判別器。可以看出，AA+AD表現得比其他方法要好。

反映在圖像上，如圖6和圖7所示：

圖6

圖7

近距離觀察：

用Google Vision API對我們的方法進行測試，結果如下：

可以看到谷歌的這款工具在經過處理后的圖像上能更好地識別出場景中的物體。