CNN的求解

CNN在本質(zhì)上是一種輸入到輸出的映射，它能夠?qū)W習(xí)大量的輸入與輸出之間的映射關(guān)系，而不需要任何輸入和輸出之間的精確的數(shù)學(xué)表達(dá)式，只要用已知的模式對(duì)卷積網(wǎng)絡(luò)加以訓(xùn)練，網(wǎng)絡(luò)就具有輸入輸出對(duì)之間的映射能力。

卷積網(wǎng)絡(luò)執(zhí)行的是監(jiān)督訓(xùn)練，所以其樣本集是由形如：**（輸入向量，理想輸出向量）**的向量對(duì)構(gòu)成的。所有這些向量對(duì)，都應(yīng)該是來(lái)源于網(wǎng)絡(luò)即將模擬系統(tǒng)的實(shí)際“運(yùn)行”結(jié)構(gòu)，它們可以是從實(shí)際運(yùn)行系統(tǒng)中采集來(lái)。

1）參數(shù)初始化：

在開(kāi)始訓(xùn)練前，所有的權(quán)都應(yīng)該用一些不同的隨機(jī)數(shù)進(jìn)行初始化。“小隨機(jī)數(shù)”用來(lái)保證網(wǎng)絡(luò)不會(huì)因權(quán)值過(guò)大而進(jìn)入飽和狀態(tài)，從而導(dǎo)致訓(xùn)練失敗；“不同”用來(lái)保證網(wǎng)絡(luò)可以正常地學(xué)習(xí)。實(shí)際上，如果用相同的數(shù)去初始化權(quán)矩陣，則網(wǎng)絡(luò)無(wú)學(xué)習(xí)能力。

2）訓(xùn)練過(guò)程包括四步

① 第一階段：前向傳播階段

從樣本集中取一個(gè)樣本，輸入網(wǎng)絡(luò)

計(jì)算相應(yīng)的實(shí)際輸出；在此階段信息從輸入層經(jīng)過(guò)逐級(jí)的變換，傳送到輸出層，這個(gè)過(guò)程也是網(wǎng)絡(luò)在完成訓(xùn)練之后正常執(zhí)行時(shí)執(zhí)行的過(guò)程

② 第二階段：后向傳播階段

計(jì)算實(shí)際輸出與相應(yīng)的理想輸出的差

按照極小化誤差的方法調(diào)整權(quán)值矩陣

網(wǎng)絡(luò)的訓(xùn)練過(guò)程如下：

選定訓(xùn)練組，從樣本集中分別隨機(jī)地尋求N個(gè)樣本作為訓(xùn)練組；

將各權(quán)值、閾值，置成小的接近于0的隨機(jī)值，并初始化精度控制參數(shù)和學(xué)習(xí)率；

從訓(xùn)練組中取一個(gè)輸入模式加到網(wǎng)絡(luò)，并給出它的目標(biāo)輸出向量；

計(jì)算出中間層輸出向量，計(jì)算出網(wǎng)絡(luò)的實(shí)際輸出向量；

將輸出向量中的元素與目標(biāo)向量中的元素進(jìn)行比較，計(jì)算出輸出誤差；對(duì)于中間層的隱單元也需要計(jì)算出誤差；

依次計(jì)算出各權(quán)值的調(diào)整量和閾值的調(diào)整量；

調(diào)整權(quán)值和調(diào)整閾值；

當(dāng)經(jīng)歷M后，判斷指標(biāo)是否滿足精度要求，如果不滿足，則返回（3），繼續(xù)迭代；如果滿足就進(jìn)入下一步；

訓(xùn)練結(jié)束，將權(quán)值和閾值保存在文件中。這時(shí)可以認(rèn)為各個(gè)權(quán)值已經(jīng)達(dá)到穩(wěn)定，分類(lèi)器已經(jīng)形成。再一次進(jìn)行訓(xùn)練，直接從文件導(dǎo)出權(quán)值和閾值進(jìn)行訓(xùn)練，不需要進(jìn)行初始化。