基于BP算法的前饋神經網絡
BP神經網絡
首先給出只包含一個隱層的BP神經網絡模型（兩層神經網絡）：
BP神經網絡其實由兩部分組成：
- 前饋神經網絡：神經網絡是前饋的，其權重都不回送到輸入單元，或前一層輸出單元（數據信息是單向傳播的，不會回流），區別于循環神經網絡RNN。
- BP算法（Back Propagation）：誤差反向傳播算法，用于更新網絡中的權重。
BP神經網絡思想：
- 表面上：1. 數據信息的前向傳播，從輸入層到隱含層，最后到輸出層。2. 誤差的反向傳播：輸出結果與真實結果的誤差值，從輸出層傳遞到隱含層，最后到輸入層。
- 本質上：針對每個輸入樣本，采用隨機梯度下降算法，動態更新網絡中的權重和偏倚，以使網絡的輸出不斷地接近期望的輸出。
BP神經網絡算法推導（更新權重和偏倚）：
從上面推導可以發現：
對于任意從神經元i（輸出神經元/隱層神經元）至 神經元j（隱層神經元/輸出層神經元）的權重w ijwijw_{ij}，其權重更新量Δw ijΔwijDelta w_{ij}=學習步長η ηeta × × imes 前一層神經元的輸出（x ixix_{i} 或y jyjy_{j}）× × imes 后一層神經元（y jyjy_{j}或o koko_{k}）的誤差
神經元偏倚的變化量：ΔΘ ΔΘ Delta Theta=學習步長η ηeta × × imes 乘以神經元的誤差
BP神經網絡算法過程
網絡的初始化：包括權重和偏倚的初始化
計算隱含層的輸入輸出
計算輸出層的輸入輸出
誤差的計算：隱層和輸出層的誤差
權值的更新：1. 輸入層—隱層。2. 隱層—輸出層
偏倚的更新：神經元的步長η ηeta × × imes 相應的誤差err
判斷算法迭代是否結束：1.超過迭代次數，2.相鄰的兩次誤差之間的差別小于閾值等。
誤差的反向傳播描述
反向傳播過程是這樣的：輸出層每個節點都會得到一個誤差e（d k ?o kdk?okd_{k}-o_{k}），把e作為輸出層反向輸入，這時候就像是輸出層當輸入層一樣把誤差往回傳播，先得到輸出層誤差err kerrkerr_{k}，然后將輸出層err kerrkerr_{k}根據連接權重往隱層傳輸，得到隱層誤差err jerrjerr_{j}。具體如下圖所示（畫的有點難看，將就看吧。。）
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規問題，請聯系本站處理。
舉報投訴
-
神經網絡
+關注
關注
42文章
4811瀏覽量
103040 -
BP神經網絡
+關注
關注
2文章
127瀏覽量
30890
發布評論請先 登錄
相關推薦
熱點推薦
什么是BP神經網絡的反向傳播算法
BP神經網絡的反向傳播算法（Backpropagation Algorithm）是一種用于訓練神經網絡的有效方法。以下是關于BP
BP神經網絡的學習機制
BP神經網絡（Backpropagation Neural Network），即反向傳播神經網絡，是一種基于梯度下降算法的多層前
全連接前饋神經網絡與前饋神經網絡的比較
隨著人工智能技術的飛速發展，神經網絡作為其核心組成部分，在各個領域展現出了強大的應用潛力和價值。在眾多神經網絡類型中，全連接前饋神經網絡（F
bp神經網絡和反向傳播神經網絡區別在哪
反向傳播神經網絡（Backpropagation Neural Network，簡稱BP神經網絡）是一種多層前饋
bp神經網絡算法過程包括
BP神經網絡（Backpropagation Neural Network）是一種多層前饋神經網絡，具有強大的非線性映射能力，廣泛應用于模式
反向傳播神經網絡和bp神經網絡的區別
反向傳播神經網絡（Backpropagation Neural Network，簡稱BP神經網絡）是一種多層前饋
bp神經網絡和卷積神經網絡區別是什么
結構、原理、應用場景等方面都存在一定的差異。以下是對這兩種神經網絡的比較： 基本結構 BP神經網絡是一種多層前饋
BP神經網絡激活函數怎么選擇
BP神經網絡（Backpropagation Neural Network）是一種多層前饋神經網絡，其核心思想是通過反向傳播
工商網監
評論