在Vladimir Vapnik創(chuàng)立支持向量機(jī)前，已有如下結(jié)論：在二分類情況中，如果一個數(shù)據(jù)集線性可分，即存在一個超平面可將兩個類別完全分開，那么一定存在無數(shù)個超平面將這兩個類別完全分開。

在特征空間為二維平面時，分類訓(xùn)練數(shù)據(jù)的超平面的具體圖形為直線，下文介紹在無數(shù)個此類直線中選擇可使分類效果最優(yōu)的直線。

一、直觀感覺分類效果最優(yōu)的直線

如圖一左圖所示，有三條直線可將圖一左圖中的圓圈和叉分為兩類，該三條直線分別為1號線、2號線、3號線。在選擇可使圓圈和叉分類效果最優(yōu)的直線（下文簡稱“最優(yōu)分類直線”）時，可能多數(shù)人會選擇2號線。但根據(jù)免費午餐定理，在未假設(shè)訓(xùn)練數(shù)據(jù)的先驗分布的情況下，三條直線對于圓圈和叉分類效果相同。人的直觀感覺似乎和免費午餐定理產(chǎn)生矛盾。

其實，似乎矛盾的原因是人們在選擇最優(yōu)分類直線時，已對訓(xùn)練樣本的先驗分布做出假設(shè)。例如，多數(shù)人選擇2號線為最優(yōu)分類直線可能的假設(shè)為訓(xùn)練樣本的位置在空間中具有測量誤差（選擇2號線為最優(yōu)分類直線的先驗分布假設(shè)不唯一）。

如圖一右圖所示，如果紅色實線圓圈的位置分布具有測量誤差，其實際位置處于虛線圓圈位置，那么1號線的分類效果不如2號線的分類效果；如果紅色叉的位置分布具有測量誤差，其實際位置處于虛線圓圈位置，那么3號線的分類效果不如2號線的分類效果，即2號線更可抵御訓(xùn)練樣本誤差，因此，在訓(xùn)練樣本的位置在空間中具有測量誤差的先驗假設(shè)下，2號線為最優(yōu)分類直線。





圖一，圖片來源：中國慕課大學(xué)《機(jī)器學(xué)習(xí)概論》

二、尋找最優(yōu)分類直線

Vladimir Vapnik基于最優(yōu)化理論，對尋找最優(yōu)分類直線的回答如下：任意一條可將圓圈和叉完全分類的直線向一側(cè)平行移動，直至其穿過一側(cè)一個或幾個訓(xùn)練樣本；再向另一側(cè)平行移動，直至其穿過另一側(cè)一個或幾個訓(xùn)練樣本。如圖二所示，定義被穿過的數(shù)據(jù)（圖二中的紅圓圈和叉）為支持向量（Support Vector），定義穿過圓圈和叉的直線間的距離為間隔，則最優(yōu)分類直線為間隔最大的直線。



圖二，圖片來源：中國慕課大學(xué)《機(jī)器學(xué)習(xí)概論》

根據(jù)Vladimir Vapnik的回答，因為前文所述問題中的2號線的間隔最大，所以2號線為最優(yōu)分類直線。



圖片來源：中國慕課大學(xué)《機(jī)器學(xué)習(xí)概論》

但僅根據(jù)間隔最大不能得出唯一的最優(yōu)分類直線，例如，前文所述問題中，所有與2號線平行的線均為間隔最大的直線。因此，為可得出唯一直線，最優(yōu)分類直線被限定處于穿過兩側(cè)支持向量的兩條直線中間的直線，即最優(yōu)直線與兩側(cè)支持向量的距離相等。

綜上，支持向量機(jī)尋找的最優(yōu)分類直線應(yīng)滿足：

（1）該直線可將訓(xùn)練數(shù)據(jù)完全分為兩類。

（2）該直線可最大化間隔。

（3）該直線處于間隔的中間，其與所有支持向量的距離相等。

審核編輯：劉清