01

如何理解域適應

域適應是計算機視覺的一個領域，我們的目標是在源數據集上訓練一個神經網絡，并確保在顯著不同于源數據集的目標數據集上也有良好的準確性。為了更好地理解域適應和它的應用，讓我們先看看它的一些用例。

我們有很多不同用途的標準數據集，比如GTSRB用于交通標志識別，LISA和LARA dataset用于交通信號燈檢測，COCO用于目標檢測和分割等。然而，如果你想讓神經網絡很好地完成你的任務，比如識別印度道路上的交通標志，那么你必須首先收集印度道路的所有類型的圖像，然后為這些圖像做標注，這是一項費時費力的任務。在這里我們可以使用域適應，因為我們可以在GTSRB(源數據集)上訓練模型，并在我們的印度交通標志圖像(目標數據集)上測試它。

在很多情況下很難收集數據集，這些數據集具有訓練魯棒神經網絡所需的所有變化和多樣性。在這種情況下，在不同的計算機視覺算法的幫助下，我們可以生成具有我們需要的所有變化的大型合成數據集。然后在合成數據集(源數據集)上訓練神經網絡，并在真實數據集(目標數據集)上測試它。

為了更好地理解，我假設我們對目標數據集沒有可用的標注，但這不是唯一的情況。因此在域適應方面，我們的目標是在一個標簽可用的數據集(源)上訓練神經網絡，并在另一個標簽不可用的數據集(目標)上保證良好的性能。

分類pipeline

現在讓我們看看如何實現我們的目標。考慮以上圖像分類的例子。為了從一個域適應到另一個域，我們希望我們的分類器能夠很好地從源數據集和目標數據集中提取特征。由于我們已經在源數據集上訓練了神經網絡，分類器必須在源數據集上表現良好。然而，為了使分類器在目標數據集上表現良好，我們希望從源數據集和目標數據集提取的特征是相似的。因此，在訓練時，我們加強特征提取，為源和目標域圖像提取相似的特征。

成功的域適應

02

基于目標域的域自適應類型

根據目標域提供的數據類型，域適應可分為以下幾類:

監督— 你已經標記了來自目標域的數據，目標域數據集的大小比源數據集小得多。

半監督— 你既有目標域的標記數據也有未標記數據。

無監督的— 你有很多目標域的未標記樣本。

域適應技術

主要采用三種技術實現任意域適應算法。以下是域適應的三種技術：

基于分布的域適應

基于對抗性的域適應

基于重建的域適應

現在讓我們逐個來看每種技術。

基于分布的域適應

基于散度的域適應原理是最小化源與目標分布之間的散度準則，從而得到域不變性特征。常用的分布準則有對比域描述、相關對齊、最大平均差異(MMD)，Wasserstein等。為了更好地理解這個算法，讓我們先看看一些不同的分布。在最大平均差異(MMD)中，我們試圖找出給定的兩個樣本是否屬于相同的分布。我們將兩個分布之間的距離定義為平均嵌入特征之間的距離。如果我們有兩個在集合X上的分布P和Q，MMD通過一個特征映射來定義