5. 神經網絡的學習規則：神經網絡的學習規則是修正權值的一種算法，分為聯想式和非聯想式學習，有監督學習和無監督學習等。下面介紹幾個常用的學習規則。

(1)、誤差修正型規則：是一種有監督的學習方法，根據實際輸出和期望輸出的誤差進行網絡連接權值的修正，最終網絡誤差小于目標函數達到預期結果。

誤差修正法，權值的調整與網絡的輸出誤差有關， 它包括δ學習規則、Widrow-Hoff學習規則、感知器學習規則和誤差反向傳播的BP(Back Propagation)學習規則等。

(2)、競爭型規則：無監督學習過程，網絡僅根據提供的一些學習樣本進行自組織學習，沒有期望輸出，通過神經元相互競爭對外界刺激模式響應的權利進行網絡權值的調整來適應輸入的樣本數據。

對于無監督學習的情況，事先不給定標準樣本，直接將網絡置于“環境”之中，學習(訓練)階段與應用(工作)階段成為一體。

(3)、Hebb型規則：利用神經元之間的活化值(激活值)來反映它們之間聯接性的變化，即根據相互連接的神經元之間的活化值(激活值)來修正其權值。

在Hebb學習規則中，學習信號簡單地等于神經元的輸出。Hebb學習規則代表一種純前饋﹑無導師學習。該學習規則至今在各種神經網絡模型中起著重要作用。典型的應用如利用Hebb規則訓練線性聯想器的權矩陣。

(4)、隨機型規則：在學習過程中結合了隨機、概率論和能量函數的思想，根據目標函數（即網絡輸出均方差）的變化調整網絡的參數，最終使網絡目標函數達到收斂值。

6. 激活函數：在神經網絡中，網絡解決問題的能力與效率除了與網絡結構有關外，在很大程度上取決于網絡所采用的激活函數。激活函數的選擇對網絡的收斂速度有較大的影響，針對不同的實際問題，激活函數的選擇也應不同。

神經元在輸入信號作用下產生輸出信號的規律由神經元功能函數f（Activation Function）給出，也稱激活函數，或稱轉移函數，這是神經元模型的外特性。它包含了從輸入信號到凈輸入、再到激活值、最終產生輸出信號的過程。綜合了凈輸入、f函數的作用。f函數形式多樣，利用它們的不同特性可以構成功能各異的神經網絡。

常用的激活函數有以下幾種形式：

(1)、閾值函數：該函數通常也稱為階躍函數。當激活函數采用階躍函數時，人工神經元模型即為MP模型。此時神經元的輸出?。被颍?，反應了神經元的興奮或抑制。

(2)、線性函數：該函數可以在輸出結果為任意值時作為輸出神經元的激活函數，但是當網絡復雜時，線性激活函數大大降低網絡的收斂性，故一般較少采用。

(3)、對數S形函數：對數S形函數的輸出介于0~1之間，常被要求為輸出在０～１范圍的信號選用。它是神經元中使用最為廣泛的激活函數。

(4)、雙曲正切S形函數：雙曲正切S形函數類似于被平滑的階躍函數，形狀與對數S形函數相同，以原點對稱，其輸出介于-１~１之間，常常被要求為輸出在-１~１范圍的信號選用。

7. 神經元之間的連接形式：神經網絡是一個復雜的互連系統，單元之間的互連模式將對網絡的性質和功能產生重要影響。互連模式種類繁多。

(1)、前向網絡(前饋網絡)：網絡可以分為若干“層”，各層按信號傳輸先后順序依次排列，第i層的神經元只接受第(i-1)層神經元給出的信號，各神經元之間沒有反饋。前饋型網絡可用一有向無環路圖表示，如下圖所示：

可以看出，輸入節點并無計算功能，只是為了表征輸入矢量各元素值。各層節點表示具有計算功能的神經元，稱為計算單元。每個計算單元可以有任意個輸入，但只有一個輸出，它可送到多個節點作輸入。稱輸入節點層為第零層。計算單元的各節點層從下至上依次稱為第1至第N層，由此構成N層前向網絡。(也有把輸入節點層稱為第1層，于是對N層網絡將變為N+1個節點層序號。)

第一節點層與輸出節點統稱為“可見層”，而其他中間層則稱為隱含層(hidden layer)，這些神經元稱為隱節點。BP網絡就是典型的前向網絡。

(2)、反饋網絡：典型的反饋型神經網絡如下圖a所示：