來自瑞士蘇黎世聯邦理工學院的研究人員們提出了一種基于生成對抗網絡（GAN）的框架，可以以高畫質壓縮圖像，并保證圖像尺寸降到最小。以下是論智對原論文的大致報道。

基于深度神經網絡的圖像壓縮系統最近逐漸受到人們的關注。這些系統通常比目前由編碼解碼器驅動的系統（如BPG、WebP和JPEG2000）表現得好，除了能在自然圖像上實現更高的壓縮率之外，他們可以很容易地適應特定目標領域，例如立體圖像或醫學圖像，并且可以從壓縮版本中直接進行高效地處理和索引。

然而，對于低于像素深度低于0.1bpp的圖像來說，這些算法仍會導致嚴重的畫質下降。隨著比特率趨近于零，想呈現完整地圖像內容就很困難，而且這樣會使峰值信噪比（PSNR）或多比例結構相似性（MS-SSIM）等常見指標將變得毫無意義，因為它們更傾向于精確地保留局部（高熵）結構，而不是保持總體的紋理。

為了進一步提升深度圖像壓縮的質量，開發超越PSNR和MS-SSIM的新指標非常重要。其中重點關注的是對抗損失，最近的成果表明它能捕捉到全局的語義信息和局部紋理，產生強大的生成器，從而通過語義標簽映射生成在視覺上吸引人的高分辨率圖像。

于是，來自蘇黎世聯邦理工學院的研究人員們提出并研究了基于生成對抗網絡（GAN）的針對極限壓縮圖像的框架，目標是像素深度低于0.1bpp的圖像。他們提出了一個通用性的GAN公式，用于深度圖像壓縮，可以生成不同程度的圖像內容。與先前的圖像壓縮工作相比，這次的生成器/解碼器在全分辨率的圖像上工作，并用多尺度鑒別器進行訓練。

研究人員對兩種操作模式進行了分別研究：

全局生成壓縮（GC），保留圖像所有內容，同時生成不同尺寸的結構，例如樹上的葉子或者某建筑物陽臺上的窗戶；

選擇性生成壓縮（SC），只通過語義標簽映射生成圖像的部分內容，同時以高還原度保留用戶指定區域。

上圖是研究人員所提出的壓縮網絡。E代表圖像x的編碼器，或者作為圖像s的語義標簽映射。q將潛在的代碼w量化為w^。G是生成器，產生解壓縮的圖像x^，D是用于對抗訓練的鑒別器。對于SC，F從s中提取特征，經過二次采樣的熱圖乘以z^以分配空間位。

GC的典型應用場景是帶寬受限的區域，在這種情況下用戶想盡可能保留完整的圖像，但沒有足夠的位數儲存原始像素，無法合成塊狀或模糊的斑點，只能合成內容。SC可以用于視頻場景，如果用戶想要完全保留視頻中的人物，但是看起來吸引人的合成背景能滿足我們的目的，即作為真實的背景。在GC操作模式下，圖像被轉換成比特流格式，并且用算數編碼進行編碼。SC需要一個原圖的語義或實例標簽映射，它們可以從語義或實例分割網絡得來（例如PSPNet或Mask R-CNN）。相比于編碼的成本，這種圖像壓縮的開銷是少的。另一方面，壓縮圖像的大小根據語義標簽生成的區域按比例減少，通常也會降低儲存成本。

經過綜合性的研究，在GC方面，研究人員提出的壓縮系統生成的圖像結果比BPG和基于自動編碼器的深度壓縮系統更好（BPG是目前最優秀的壓縮算法）。尤其是從Cityscapes數據集中選取的街景圖片，用戶更喜歡本次系統生成的圖片，即使BPG使用的位數是我們的兩倍。據他們所知，這是第一個證明深度壓縮方法由于BPG的研究。

在SC操作模式中，該系統能將圖像中保留下來的內容和合成內容無縫銜接，即使被許多物體隔開的場景也很自然。利用這種分區域圖像生成的方法，圖像的像素深度減少了50%，但是沒有明顯降低圖像質量。

結果對比

下面的表格展示了本文提出的方法的結果和最先進的系統在Cityscapes數據集上的對比：

此次試驗結果要比BPG好，即使當BPG使用的bpp數量是我們的兩倍也是如此。在本文中，系統在ADE20K數據集和Kodak壓縮基準測試上獲得了相似的結果。

接著，研究人員用經過預訓練的PSPNet來測量保留的語義，結果如下：

與BPG相比，我們達到了較高的mIoU的值，利用語義進行訓練時這個值進一步增加

將所提的方法與其他方法對比。同樣一張Kodak Image 13，用本文所提出的方法壓縮與BPG、JPEG2000等方法效果非常不同：

在選擇性合成方面，該方法可以選擇性地保留一部分內容，將剩下的部分重新合成。

左下角的熱圖顯示了合成對象，灰色是合成的部分。同時還顯示了每張圖的bpp，以及由于選擇性生成節省的尺寸