考慮兩個正在努力準備期末考試的大學生。通常，這種準備將包括通過參加前幾年的考試來練習和測試他們的能力。盡管如此，在過去的考試中取得好成績并不能保證他們在重要的時候會出類拔萃。例如，想象一個學生 Elephantine Ellie，她的準備工作完全包括記住前幾年考試問題的答案。即使艾莉被賦予了象象般的記憶力，因此可以完美地回憶起任何以前見過的問題的答案，但當她面對一個新的（以前沒見過的）問題時，她可能還是會僵住） 問題。相比之下，想象另一個學生，Inductive Irene，記憶能力相對較差，但有能力挑選模式。請注意，如果考試真的由前一年的重復問題組成，那么 Ellie 將輕松勝過 Irene。即使 Irene 的推斷模式產生了 90% 的準確預測，它們也永遠無法與 Ellie 的 100% 召回率相提并論。然而，即使考試完全由新題組成，艾琳也可能保持 90% 的平均分。

作為機器學習科學家，我們的目標是發現模式。但是我們如何確定我們真的發現了一個普遍的模式而不是簡單地記住了我們的數據呢？大多數時候，我們的預測只有在我們的模型發現這種模式時才有用。我們不想預測昨天的股價，而是明天的。我們不需要為以前見過的病人識別已經診斷出的疾病，而是需要識別以前沒見過的病人的以前未確診的疾病。這個問題——如何發現泛化的模式——是機器學習的根本問題，可以說是所有統計學的根本問題。我們可以把這個問題看作是一個涵蓋所有科學的更宏大問題的一部分：我們什么時候有理由從特定的觀察到更一般的陳述（波普爾，2005 年）？

在現實生活中，我們必須使用有限的數據集合來擬合模型。該數據的典型規模在不同領域差異很大。對于許多重要的醫學問題，我們只能訪問幾千個數據點。在研究罕見病時，我們可能幸運地接觸到數百種疾病。相比之下，由標記照片組成的最大公共數據集（例如，ImageNet （Deng等人，2009 年））包含數百萬張圖像。而一些未標記的圖像集合，例如 Flickr YFC100M 數據集可能更大，包含超過 1 億張圖像（Thomee等人，2016 年）. 然而，即使在這種極端規模下，與 1 百萬像素分辨率下所有可能圖像的空間相比，可用數據點的數量仍然是無限小的。每當我們處理有限樣本時，我們必須牢記這樣的風險，即我們可能會擬合我們的訓練數據，卻發現我們未能發現可概括的模式。

擬合更接近我們的訓練數據而不是底層分布的現象稱為過度擬合，而對抗過度擬合的技術通常稱為正則化方法。雖然沒有什么可以替代對統計學習理論的適當介紹（參見Boucheron等人（2005 年）、Vapnik（1998 年）），但我們將為您提供足夠的直覺來開始學習。我們將在全書的許多章節中重新審視泛化，探索各種模型中泛化的基本原理的已知內容，以及已經發現的啟發式技術（根據經驗）可以對實際感興趣的任務產生改進的泛化。