PyTorch教程19.1之什么是超參數(shù)優(yōu)化

19.1.1.1。目標函數(shù)

學(xué)習算法的性能可以看作是一個函數(shù) f:X→R從超參數(shù)空間映射x∈X到驗證損失。對于每一個評價f(x)，我們必須訓(xùn)練和驗證我們的機器學(xué)習模型，對于在大型數(shù)據(jù)集上訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)，這可能是時間和計算密集型的。鑒于我們的標準f(x)我們的目標是找到 x?∈argminx∈Xf(x).

沒有簡單的方法來計算的梯度f關(guān)于 x，因為它需要在整個訓(xùn)練過程中傳播梯度。雖然最近有工作 （Franceschi等人，2017 年，Maclaurin等人，2015 年）通過近似“超梯度”驅(qū)動 HPO，但現(xiàn)有方法中沒有一種與最先進的方法具有競爭力，我們將不在這里討論它們。此外，評估的計算負擔f 要求 HPO 算法以盡可能少的樣本接近全局最優(yōu)。

神經(jīng)網(wǎng)絡(luò)的訓(xùn)練是隨機的（例如，權(quán)重是隨機初始化的，mini-batches 是隨機采樣的），因此我們的觀察結(jié)果會很嘈雜：y～f(x)+?，我們通常假設(shè)?～N(0,σ) 觀察噪聲呈高斯分布。

面對所有這些挑戰(zhàn)，我們通常會嘗試快速識別一小組性能良好的超參數(shù)配置，而不是準確地達到全局最優(yōu)值。然而，由于大多數(shù)神經(jīng)網(wǎng)絡(luò)模型的大量計算需求，即使這樣也可能需要數(shù)天或數(shù)周的計算時間。我們將在19.4 節(jié)中探討如何通過分布搜索或使用目標函數(shù)的評估成本更低的近似值來加快優(yōu)化過程。

我們從計算模型驗證誤差的方法開始。

class HPOTrainer(d2l.Trainer): #@save
  def validation_error(self):
    self.model.eval()
    accuracy = 0
    val_batch_idx = 0
    for batch in self.val_dataloader:
      with torch.no_grad():
        x, y = self.prepare_batch(batch)
        y_hat = self.model(x)
        accuracy += self.model.accuracy(y_hat, y)
      val_batch_idx += 1
    return 1 - accuracy / val_batch_idx

我們優(yōu)化了關(guān)于超參數(shù)配置的驗證錯誤config，由learning_rate. 對于每個評估，我們訓(xùn)練我們的模型max_epochsepochs，然后計算并返回其驗證錯誤：

def hpo_objective_softmax_classification(config, max_epochs=8):
  learning_rate = config["learning_rate"]
  trainer = d2l.HPOTrainer(max_epochs=max_epochs)
  data = d2l.FashionMNIST(batch_size=16)
  model = d2l.SoftmaxRegression(num_outputs=10, lr=learning_rate)
  trainer.fit(model=model, data=data)
  return trainer.validation_error().detach().numpy()

19.1.1.2。配置空間

隨著目標函數(shù)f(x)，我們還需要定義可行集x∈X優(yōu)化過來，稱為配置空間或搜索空間。對于我們的邏輯回歸示例，我們將使用：

config_space = {"learning_rate": stats.loguniform(1e-4, 1)}

這里我們使用loguniformSciPy 中的對象，它表示對數(shù)空間中 -4 和 -1 之間的均勻分布。這個對象允許我們從這個分布中抽樣隨機變量。

每個超參數(shù)都有一個數(shù)據(jù)類型，例如floatfor learning_rate，以及一個封閉的有界范圍（即下限和上限）。我們通常為每個超參數(shù)分配一個先驗分布（例如，均勻分布或?qū)?shù)均勻分布）以從中進行采樣。一些正參數(shù)（例如learning_rate）最好用對數(shù)標度表示，因為最佳值可能相差幾個數(shù)量級，而其他參數(shù)（例如動量）則采用線性標度。

下面我們展示了一個配置空間的簡單示例，該配置空間由多層感知器的典型超參數(shù)組成，包括它們的類型和標準范圍。