多層感知器多層感知器（MLP）是由一個(gè)輸入層、一個(gè)或多個(gè)隱藏層和一個(gè)稱為輸出層的最終層組成的人工神經(jīng)網(wǎng)絡(luò)（ANN）。通常，靠近輸入層的層稱為較低層，靠近輸出層的層稱為外層，除輸出層外的每一層都包含一個(gè)偏置神經(jīng)元，并與下一層完全相連。當(dāng)一個(gè) ANN 包含一個(gè)很深的隱藏層時(shí)，它被稱為深度神經(jīng)網(wǎng)絡(luò)（DNN）。在本文中，我們將在 MNIST 數(shù)據(jù)集上訓(xùn)練一個(gè)深度 MLP，并通過指數(shù)增長來尋找最佳學(xué)習(xí)率，繪制損失圖，并找到損失增長的點(diǎn)，以達(dá)到 85％以上的準(zhǔn)確率。對于最佳的實(shí)踐過程，我們將實(shí)現(xiàn)早期停止，保存檢查點(diǎn)，并使用 TensorBoard 繪制學(xué)習(xí)曲線。你可以在這里查看 jupyter Notebook：https：／／github．com／lukenew2／learning＿rates＿and＿best＿practices ／blob／master／optimal＿learning＿rates＿with＿keras＿api．ipynb 指數(shù)學(xué)習(xí)率學(xué)習(xí)率可以說是最重要的超參數(shù)。一般情況下，最佳學(xué)習(xí)速率約為最大學(xué)習(xí)速率（即訓(xùn)練算法偏離的學(xué)習(xí)速率）的一半。找到一個(gè)好的學(xué)習(xí)率的一個(gè)方法是訓(xùn)練模型進(jìn)行幾百次迭代，從非常低的學(xué)習(xí)率（例如，1e－5）開始，逐漸增加到非常大的值（例如，10）。這是通過在每次迭代時(shí)將學(xué)習(xí)速率乘以一個(gè)常數(shù)因子來實(shí)現(xiàn)的。如果你將損失描繪為學(xué)習(xí)率的函數(shù)，你應(yīng)該首先看到它在下降，但過一段時(shí)間后，學(xué)習(xí)率會(huì)變得很高，這時(shí)損失會(huì)迅速回升：最佳學(xué)習(xí)率將略低于轉(zhuǎn)折點(diǎn)，然后你可以重新初始化你的模型，并使用此良好的學(xué)習(xí)率對其進(jìn)行正常訓(xùn)練。

?