代碼鏈接：

概述

生成式數據擴增通過條件生成模型生成新樣本來擴展數據集，從而提高各種學習任務的分類性能。然而，很少有人從理論上研究生成數據增強的效果。為了填補這一空白，我們在這種非獨立同分布環境下構建了基于穩定性的通用泛化誤差界。基于通用的泛化界，我們進一步了探究了高斯混合模型和生成對抗網絡的學習情況。

在這兩種情況下，我們證明了，雖然生成式數據增強并不能享受更快的學習率，但當訓練集較小時，它可以在一個常數的水平上提高學習保證，這在發生過擬合時是非常重要的。最后，高斯混合模型的仿真結果和生成式對抗網絡的實驗結果都支持我們的理論結論。

主要的理論結果

2.1 符號與定義

讓 作為數據輸入空間， 作為標簽空間。定義 為 上的真實分布。給定集合 ，我們定義 為去掉第 個數據后剩下的集合， 為把第 個數據換成 后的集合。我們用 表示 total variation distance。

我們讓 為所有從 到 的所有可測函數， 為學習算法，為從數據集 中學到的映射。對于一個學到的映射 和損失函數，真實誤差 被定義為。相應的經驗的誤差 被定義為。

我們文章理論推導采用的是穩定性框架，我們稱算法 相對于損失函數 是一致 穩定的，如果

2.2 生成式數據增強

2.3 一般情況

▲ corollary

1. 當數據量 足夠時，即使我們采用“最有效的增強數量”，生成式數據增強也難以提高下游任務的分類性能。
2. 當數據量 較小的，此時主導泛化誤差的是維度等其他項，此時進行生成式數據增強可以常數級降低泛化誤差，這意味著在過擬合的場景下，生成式數據增強是很有必要的。

2.5 生成對抗網絡

1. 當數據量 足夠時，生成式數據增強也難以提高下游任務的分類性能，甚至會惡化。
2. 當數據量 較小的，此時主導泛化誤差的是維度等其他項，此時進行生成式數據增強可以常數級降低泛化誤差，同樣地，這意味著在過擬合的場景下，生成式數據增強是很有必要的。

實驗

3.1 高斯混合模型模擬實驗

我們在混合高斯分布上驗證我們的理論，我們調整數據量 ，數據維度 以及 。實驗結果如下圖所示：

▲ simulation

1. 觀察圖（a），我們可以發現當 相對于 足夠大的時候，生成式數據增強的引入并不能明顯改變泛化誤差。
2. 觀察圖（d），我們可以發現當 固定時，真實的泛化誤差確實是 階的，且隨著增強數量 的增大，泛化誤差呈現常數級的降低。
3. 另外 4 張圖，我們選取了兩種情況，驗證了我們的 bound 能在趨勢上一定程度上預測泛化誤差。

▲ deep

1. 在沒有額外數據增強的時候， 較小，分類器陷入了嚴重的過擬合。此時，即使選取的 cDCGAN 很古早（bad GAN），生成式數據增強都能帶來明顯的提升。
2. 在有額外數據增強的時候， 充足。此時，即使選取的 StyleGAN 很先進（SOTA GAN），生成式數據增強都難以帶來明顯的提升，在 50k 和 100k 增強的情況下甚至都造成了一致的損害。

3. 我們也測試了一個 SOTA 的擴散模型 EDM，發現即使在有額外數據增強的時候，生成式數據增強也能提升分類效果。這意味著擴散模型學習分布的能力可能會優于 GAN。