19.1.1.1。目標(biāo)函數(shù)

學(xué)習(xí)算法的性能可以看作是一個(gè)函數(shù) f:X→R從超參數(shù)空間映射x∈X到驗(yàn)證損失。對于每一個(gè)評價(jià)f(x)，我們必須訓(xùn)練和驗(yàn)證我們的機(jī)器學(xué)習(xí)模型，對于在大型數(shù)據(jù)集上訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)，這可能是時(shí)間和計(jì)算密集型的。鑒于我們的標(biāo)準(zhǔn)f(x)我們的目標(biāo)是找到 x?∈argminx∈Xf(x).

沒有簡單的方法來計(jì)算的梯度f關(guān)于 x，因?yàn)樗枰谡麄€(gè)訓(xùn)練過程中傳播梯度。雖然最近有工作 （Franceschi等人，2017 年，Maclaurin等人，2015 年）通過近似“超梯度”驅(qū)動(dòng) HPO，但現(xiàn)有方法中沒有一種與最先進(jìn)的方法具有競爭力，我們將不在這里討論它們。此外，評估的計(jì)算負(fù)擔(dān)f 要求 HPO 算法以盡可能少的樣本接近全局最優(yōu)。

神經(jīng)網(wǎng)絡(luò)的訓(xùn)練是隨機(jī)的（例如，權(quán)重是隨機(jī)初始化的，mini-batches 是隨機(jī)采樣的），因此我們的觀察結(jié)果會(huì)很嘈雜：y～f(x)+?，我們通常假設(shè)?～N(0,σ) 觀察噪聲呈高斯分布。

面對所有這些挑戰(zhàn)，我們通常會(huì)嘗試快速識別一小組性能良好的超參數(shù)配置，而不是準(zhǔn)確地達(dá)到全局最優(yōu)值。然而，由于大多數(shù)神經(jīng)網(wǎng)絡(luò)模型的大量計(jì)算需求，即使這樣也可能需要數(shù)天或數(shù)周的計(jì)算時(shí)間。我們將在19.4 節(jié)中探討如何通過分布搜索或使用目標(biāo)函數(shù)的評估成本更低的近似值來加快優(yōu)化過程。

我們從計(jì)算模型驗(yàn)證誤差的方法開始。

class HPOTrainer(d2l.Trainer): #@save
  def validation_error(self):
    self.model.eval()
    accuracy = 0
    val_batch_idx = 0
    for batch in self.val_dataloader:
      with torch.no_grad():
        x, y = self.prepare_batch(batch)
        y_hat = self.model(x)
        accuracy += self.model.accuracy(y_hat, y)
      val_batch_idx += 1
    return 1 - accuracy / val_batch_idx

我們優(yōu)化了關(guān)于超參數(shù)配置的驗(yàn)證錯(cuò)誤config，由learning_rate. 對于每個(gè)評估，我們訓(xùn)練我們的模型max_epochsepochs，然后計(jì)算并返回其驗(yàn)證錯(cuò)誤：

def hpo_objective_softmax_classification(config, max_epochs=8):
  learning_rate = config["learning_rate"]
  trainer = d2l.HPOTrainer(max_epochs=max_epochs)
  data = d2l.FashionMNIST(batch_size=16)
  model = d2l.SoftmaxRegression(num_outputs=10, lr=learning_rate)
  trainer.fit(model=model, data=data)
  return trainer.validation_error().detach().numpy()

19.1.1.2。配置空間

隨著目標(biāo)函數(shù)f(x)，我們還需要定義可行集x∈X優(yōu)化過來，稱為配置空間或搜索空間。對于我們的邏輯回歸示例，我們將使用：

config_space = {"learning_rate": stats.loguniform(1e-4, 1)}

這里我們使用loguniformSciPy 中的對象，它表示對數(shù)空間中 -4 和 -1 之間的均勻分布。這個(gè)對象允許我們從這個(gè)分布中抽樣隨機(jī)變量。

每個(gè)超參數(shù)都有一個(gè)數(shù)據(jù)類型，例如floatfor learning_rate，以及一個(gè)封閉的有界范圍（即下限和上限）。我們通常為每個(gè)超參數(shù)分配一個(gè)先驗(yàn)分布（例如，均勻分布或?qū)?shù)均勻分布）以從中進(jìn)行采樣。一些正參數(shù)（例如learning_rate）最好用對數(shù)標(biāo)度表示，因?yàn)樽罴阎悼赡芟嗖顜讉€(gè)數(shù)量級，而其他參數(shù)（例如動(dòng)量）則采用線性標(biāo)度。

下面我們展示了一個(gè)配置空間的簡單示例，該配置空間由多層感知器的典型超參數(shù)組成，包括它們的類型和標(biāo)準(zhǔn)范圍。