樸素貝葉斯法是基于貝葉斯定理與特征條件獨(dú)立假設(shè)的分類方法。最為廣泛的兩種分類模型是決策樹模型（Decision Tree Model）和樸素貝葉斯模型（Naive Bayesian Model，NBM）。

　　和決策樹模型相比，樸素貝葉斯分類器（Naive Bayes Classifier，或 NBC）發(fā)源于古典數(shù)學(xué)理論，有著堅(jiān)實(shí)的數(shù)學(xué)基礎(chǔ)，以及穩(wěn)定的分類效率。同時(shí)，NBC模型所需估計(jì)的參數(shù)很少，對(duì)缺失數(shù)據(jù)不太敏感，算法也比較簡(jiǎn)單。理論上，NBC模型與其他分類方法相比具有最小的誤差率。但是實(shí)際上并非總是如此，這是因?yàn)镹BC模型假設(shè)屬性之間相互獨(dú)立，這個(gè)假設(shè)在實(shí)際應(yīng)用中往往是不成立的，這給NBC模型的正確分類帶來了一定影響。

　　模型講解

　　條件概率分布的參數(shù)數(shù)量是指數(shù)級(jí)的，也就是X和Y的組合很多，造成維數(shù)災(zāi)難，導(dǎo)致實(shí)際無法運(yùn)算。此處，樸素貝葉斯法對(duì)它做了條件獨(dú)立性的假設(shè)：

　　也就是各個(gè)維度的特征在類確定的情況下都是獨(dú)立分布的。這一假設(shè)簡(jiǎn)化了計(jì)算，也犧牲了一定的分類準(zhǔn)確率。基于此假設(shè)，以及貝葉斯定理，后驗(yàn)概率為：

　　分母其實(shí)是P（X=x），等同于枚舉ck求聯(lián)合分布的和：∑P（X=x，Y=ck），此聯(lián)合分布按公式：

　　拆開，等于上式分母。將獨(dú)立性假設(shè)代入上式，得到：

　　樸素貝葉斯分類器可以表示為：

　　也就是給定參數(shù)，找一個(gè)概率最大的ck出來。注意到上式分母其實(shí)就是P（X=x），x給定了就固定了，跟ck一點(diǎn)關(guān)系都沒有，所以分母可以去掉，得到：

　　后驗(yàn)概率最大化等價(jià)于期望風(fēng)險(xiǎn)最小化。如下解釋

　　選擇0-1損失函數(shù)，如下：

　　f（X）就是分類器的決策函數(shù)，損失函數(shù)的參數(shù)其實(shí)是一個(gè)聯(lián)合分布。此時(shí)期望風(fēng)險(xiǎn)函數(shù)為：

　　上面說過，這是一個(gè)聯(lián)合分布P（X，Y），是一個(gè)and（連乘）的形式，由此取條件期望為風(fēng)險(xiǎn)函數(shù)：

　　所謂條件期望，就是指X=x時(shí)，Y的期望。上式其實(shí)可以這么推回去：Ex∑［L（）］P（ck|X）=∑P（X）∑［L（）］P（X，ck）/P（X）=∑［L（）］P（X，ck）=E［L（）］，格式比較亂，但愿意思到了。為了最小化上式，只需對(duì)每個(gè)X=x執(zhí)行最小化，那么加起來肯定是極小化的，由此有：

　　參數(shù)估計(jì)

　　極大似然估計(jì)：

　　前面說過，樸素貝葉斯法要學(xué)習(xí)的東西就是P（Y=ck）和P（X=x|Y=ck），這兩個(gè)概率的估計(jì)用極大似然估計(jì)法（簡(jiǎn)單講，就是用樣本猜測(cè)模型參數(shù)，或者說使得似然函數(shù)最大的參數(shù)）進(jìn)行：

　　也就是用樣本中ck的出現(xiàn)次數(shù)除以樣本容量：

　　分子是樣本中變量組合的出現(xiàn)次數(shù)，分母是上面說過的樣本中ck的出現(xiàn)次數(shù)。

　　貝葉斯估計(jì)：

　　最大似然估計(jì)有個(gè)隱患，假設(shè)訓(xùn)練數(shù)據(jù)中沒有出現(xiàn)某種參數(shù)和類別的組合怎么辦？此時(shí)估計(jì)的概率值為0，但是這不代表真實(shí)數(shù)據(jù)中就沒有這樣的組合。解決辦法是采用貝葉斯估計(jì)，以下顯示的是先驗(yàn)概率的貝葉斯估計(jì)和條件概率的貝葉斯估計(jì)：

　　分子和分母分別比最大似然估計(jì)多了一點(diǎn)東西，其意義是在隨機(jī)變量每個(gè)取值的頻數(shù)上加一個(gè)常量，當(dāng)此常量取0時(shí)，就是最大似然估計(jì)，當(dāng)此常量取1時(shí)，稱為拉普拉斯平滑，常用來解決零概率的問題。

　　算法流程

　　總結(jié)如下算法流程：