如今已經(jīng)進(jìn)入2020年了，5G的時(shí)代已經(jīng)到來(lái)，而機(jī)器人應(yīng)用將更加的廣泛，下面就讓我們?nèi)チ私鈾C(jī)器人在學(xué)習(xí)中的兩類模型，這文章告訴兩種類型的區(qū)別，推薦給對(duì)機(jī)器人感興趣的朋友們閱讀！

在機(jī)器學(xué)習(xí)中，對(duì)于有監(jiān)督學(xué)習(xí)可以將其分為兩類模型：判別式模型和生成式模型。簡(jiǎn)單地說(shuō)，判別式模型是針對(duì)條件分布建模，而生成式模型則針對(duì)聯(lián)合分布進(jìn)行建模。

01 基本概念

假設(shè)我們有訓(xùn)練數(shù)據(jù)（X，Y），X是屬性集合，Y是類別標(biāo)記。這時(shí)來(lái)了一個(gè)新的樣本樣本 x ，我們想要預(yù)測(cè)它的類別y。

我們最終的目的是求得最大的條件概率 P（y|x）作為新樣本的分類。

1. 判別式模型這么做

根據(jù)訓(xùn)練數(shù)據(jù)得到分類函數(shù)和分界面，比如說(shuō)根據(jù)SVM模型得到一個(gè)分界面，然后直接計(jì)算條件概率 P（y|x），我們將最大的 P（y|x）。

作為新樣本的分類。判別式模型是對(duì)條件概率建模，學(xué)習(xí)不同類別之間的最優(yōu)邊界，無(wú)法反映訓(xùn)練數(shù)據(jù)本身的特性，能力有限，其只能告訴我們分類的類別。

2. 生成式模型這么做

一般會(huì)對(duì)每一個(gè)類建立一個(gè)模型，有多少個(gè)類別，就建立多少個(gè)模型。比如說(shuō)類別標(biāo)簽有｛貓，狗，豬｝，那首先根據(jù)貓的特征學(xué)習(xí)出一個(gè)貓的模型，再根據(jù)狗的特征學(xué)習(xí)出狗的模型，之后分別計(jì)算新樣本X跟三個(gè)類別的聯(lián)合概率 P（y|x），然后根據(jù)貝葉斯公式：

分別計(jì)算 P（y|x），選擇三類中最大的 P（y|x）作為樣本的分類。

3.兩個(gè)模型的小結(jié)

不管是生成式模型還是判別式模型，它們最終的判斷依據(jù)都是條件概率 P（y|x），但是生成式模型先計(jì)算了聯(lián)合概率P（x，y），再由貝葉斯公式計(jì)算得到條件概率。因此，生成式模型可以體現(xiàn)更多數(shù)據(jù)本身的分布信息，其普適性更廣。

02 用例子說(shuō)明概念

1. 山羊綿羊的例子

判別式模型：要確定一個(gè)羊是山羊還是綿羊，用判別式模型的方法是從歷史數(shù)據(jù)中學(xué)習(xí)到模型，然后通過(guò)提取這只羊的特征來(lái)預(yù)測(cè)出這只羊是山羊的概率，是綿羊的概率。

生成式模型：是根據(jù)山羊的特征首先學(xué)習(xí)出一個(gè)山羊的模型，然后根據(jù)綿羊的特征學(xué)習(xí)出一個(gè)綿羊的模型，然后從這只羊中提取特征，放到山羊模型中看概率是多少，再放到綿羊模型中看概率是多少，哪個(gè)大就是哪個(gè)。

2. 模型范例

假設(shè)現(xiàn)在有一個(gè)分類問(wèn)題，X是特征，Y是類標(biāo)記。用判別式模型學(xué)習(xí)一個(gè)條件概率分布 P（y|x），用生成式模型學(xué)習(xí)一個(gè)聯(lián)合概率分布P（x，y）。

用一個(gè)簡(jiǎn)單的例子來(lái)說(shuō)明這個(gè)問(wèn)題。假設(shè)X就是兩個(gè)特征（1或2），Y有兩類（0或1），有如下訓(xùn)練樣本（1，0）、（1，0）、（1，1）、（2，1）。

則學(xué)習(xí)到的條件概率分布（判別式模型）如下：

而學(xué)習(xí)到的聯(lián)合概率分布（生成式模型）如下：

在實(shí)際分類問(wèn)題中，判別式模型可以直接用來(lái)判斷特征的類別情況；而生成式模型需要加上貝葉斯公式，然后應(yīng)用到分類中。但是，生成式模型的概率分布可以有其他應(yīng)用，就是說(shuō)生成式模型更一般更普適。不過(guò)判別式模型更直接，更簡(jiǎn)單。兩種方法目前交叉較多。由生成式模型可以得到判別式模型，但由判別式模型得不到生成式模型。

03 判別式模型和生成式模型的區(qū)別

1. 判別式模型和生成式模型的對(duì)比圖

上圖左邊為判別式模型而右邊為生成式模型，可以很清晰地看到差別，判別式模型是在尋找一個(gè)決策邊界，通過(guò)該邊界來(lái)將樣本劃分到對(duì)應(yīng)類別。而生成式模型則不同，它學(xué)習(xí)了每個(gè)類別的邊界，它包含了更多信息，可以用來(lái)生成樣本。

2. 判別式模型和生成式模型的特點(diǎn)

判別式模型特點(diǎn)：

判別式模型直接學(xué)習(xí)決策函數(shù)Y=f（X），或者條件概率P（Y|X），不能反映訓(xùn)練數(shù)據(jù)本身的特性，但它尋找不同類別之間的最優(yōu)分裂面，反映的是異類數(shù)據(jù)之間的差異，直接面對(duì)預(yù)測(cè)往往學(xué)習(xí)準(zhǔn)確度更高。具體來(lái)說(shuō)有以下特點(diǎn)：

對(duì)條件概率建模，學(xué)習(xí)不同類別之間的最優(yōu)邊界。

捕捉不同類別特征的差異信息，不學(xué)習(xí)本身分布信息，無(wú)法反應(yīng)數(shù)據(jù)本身特性。

學(xué)習(xí)成本較低，需要的計(jì)算資源較少。

需要的樣本數(shù)可以較少，少樣本也能很好學(xué)習(xí)。

預(yù)測(cè)時(shí)擁有較好性能。

無(wú)法轉(zhuǎn)換成生成式。

生成式模型的特點(diǎn)：

生成式模型學(xué)習(xí)的是聯(lián)合概率密度分布P（X，Y），可以從統(tǒng)計(jì)的角度表示分布的情況，能夠反映同類數(shù)據(jù)本身的相似度，它不關(guān)心到底劃分不同類的邊界在哪里。生成式模型的學(xué)習(xí)收斂速度更快，當(dāng)樣本容量增加時(shí)，學(xué)習(xí)到的模型可以更快的收斂到真實(shí)模型，當(dāng)存在隱變量時(shí)，依舊可以用生成式模型，此時(shí)判別式方法就不行了。具體來(lái)說(shuō)，有以下特點(diǎn)：

對(duì)聯(lián)合概率建模，學(xué)習(xí)所有分類數(shù)據(jù)的分布。

學(xué)習(xí)到的數(shù)據(jù)本身信息更多，能反應(yīng)數(shù)據(jù)本身特性。

學(xué)習(xí)成本較高，需要更多的計(jì)算資源。

需要的樣本數(shù)更多，樣本較少時(shí)學(xué)習(xí)效果較差。

推斷時(shí)性能較差。

一定條件下能轉(zhuǎn)換成判別式。

總之，判別式模型和生成式模型都是使后驗(yàn)概率最大化，判別式是直接對(duì)后驗(yàn)概率建模，而生成式模型通過(guò)貝葉斯定理這一“橋梁”使問(wèn)題轉(zhuǎn)化為求聯(lián)合概率。

03 二者所包含的算法