神經網絡的聯想記憶功能可以分為兩種，一是自聯想記憶，另一種是異聯想記憶。Hopfield神經網絡就屬于自聯想記憶。由Kosko B.1988 年提出的雙向聯想記憶神經網絡BAM(Bidirectional Associative Memory)屬于異聯想記憶。BAM有離散型﹑連續型和自適應型等多種形式。

8. CMAC模型

BP神經網絡﹑Hopfield神經網絡和BAM雙向聯想記憶神經網絡分別屬于前饋和反饋神經網絡，這主要是從網絡的結構來劃分的。如果從神經網絡的函數逼近功能這個角度來分，神經網絡可以分為全局逼近網絡和局部逼近網絡。當神經網絡的一個或多個可調參數（權值和閾值）在輸入空間的每一點對任何一個輸出都有影響，則稱該神經網絡為全局逼近網絡，多層前饋BP網絡是全局逼近網絡的典型例子。對于每個輸入輸出數據對，網絡的每一個連接權均需進行調整，從而導致全局逼近網絡學習速度很慢，對于有實時性要求的應用來說常常是不可容忍的。如果對網絡輸入空間的某個局部區域只有少數幾個連接權影響網絡輸出，則稱網絡為局部逼近網絡。對于每個輸入輸出數據對，只有少量的連接權需要進行調整，從而使局部逼近網絡具有學習速度快的優點，這一點對于有實時性要求的應用來說至關重要。目前常用的局部逼近神經網絡有CMAC網絡、徑向基函數RBF網絡和B樣條網絡等，其結構原理相似。

1975年J.S.Albus提出一種模擬小腦功能的神經網絡模型，稱為Cerebellar Model Articulation Controller，簡稱CMAC。CMAC網絡是仿照小腦控制肢體運動的原理而建立的神經網絡模型。小腦指揮運動時具有不假思索地作出條件反射迅速響應的特點，這種條件反射式響應是一種迅速聯想。

CMAC 網絡有三個特點：

(1)、作為一種具有聯想功能的神經網絡，它的聯想具有局部推廣（或稱泛化）能力，因此相似的輸入將產生相似的輸出，遠離的輸入將產生獨立的輸出；

(2)、對于網絡的每一個輸出，只有很少的神經元所對應的權值對其有影響，哪些神經元對輸出有影響則有輸入決定；

(3)、CMAC的每個神經元的輸入輸出是一種線性關系，但其總體上可看做一種表達非線性映射的表格系統。由于CMAC網絡的學習只在線性映射部分，因此可采用簡單的δ算法，其收斂速度比BP算法快得多，且不存在局部極小問題。CMAC最初主要用來求解機械手的關節運動，其后進一步用于機械人控制、模式識別、信號處理以及自適應控制等領域。

9. RBF模型

對局部逼近神經網絡，除CMAC神經網絡外，常用的還有徑向基函數RBF網絡和B樣條網絡等。徑向基函數（RBF，Radial Basis Function）神經網絡，是由J.Moody 和C.Darken于20世紀80年代末提出的一種神經網絡，徑向基函數方法在某種程度上利用了多維空間中傳統的嚴格插值法的研究成果。在神經網絡的背景下，隱藏單元提供一個“函數”集，該函數集在輸入模式向量擴展至隱層空間時為其構建了一個任意的“基”；這個函數集中的函數就被稱為徑向基函數。徑向基函數首先是在實多變量插值問題的解中引入的。徑向基函數是目前數值分析研究中的一個主要領域之一。

最基本的徑向基函數（RBF）神經網絡的構成包括三層，其中每一層都有著完全不同的作用。輸入層由一些感知單元組成，它們將網絡與外界環境連接起來；第二層是網絡中僅有的一個隱層，它的作用是從輸入空間到隱層空間之間進行非線性變換，在大多數情況下，隱層空間有較高的維數；輸出層是線性的，它為作用于輸入層的激活模式提供響應。

基本的徑向基函數RBF網絡是具有單穩層的三層前饋網絡。由于它模擬了人腦中局部調整、相互覆蓋接受域（或稱感受域，Receptive Field）的神經網絡結構，因此，RBF網絡是一種局部逼近網絡，現已證明它能以任意精度逼近任一連續函數.

RBF網絡的常規學習算法，一般包括兩個不同的階段：

(1)、隱層徑向基函數的中心的確定階段。常見方法有隨機選取固定中心法；中心的自組織選擇法等。

(2)、徑向基函數權值學習調整階段。常見方法有中心的監督選擇法；正則化嚴格插值法等。

10. SOM模型

芬蘭Helsink大學Kohonen T.教授提出一種自組織特征映射網絡SOM(Self-organizing feature Map)，又稱Kohonen網絡。Kohonen認為，一個神經網絡接受外界輸入模式時，將會分為不同的對應區域，各區域對輸入模式有不同的響應特征，而這個過程是自動完成的。SOM網絡正是根據這一看法提出的，其特點與人腦的自組織特性相類似。

自組織神經網絡結構

(1)、定義：自組織神經網絡是無導師學習網絡。它通過自動尋找樣本中的內在規律和本質屬性，自組織、自適應地改變網絡參數與結構。

(2)、結構：層次型結構，具有競爭層。典型結構：輸入層＋競爭層。

輸入層：接受外界信息，將輸入模式向競爭層傳遞，起“觀察”作用。

競爭層：負責對輸入模式進行“分析比較，尋找規律，并歸類。

自組織神經網絡的原理

(1)、分類與輸入模式的相似性：分類是在類別知識等導師信號的指導下，將待識別的輸入模式分配到各自的模式類中，無導師指導的分類稱為聚類，聚類的目的是將相似的模式樣本劃歸一類，而將不相似的分離開來，實現模式樣本的類內相似性和類間分離性。由于無導師學習的訓練樣本中不含期望輸出，因此對于某一輸入模式樣本應屬于哪一類并沒有任何先驗知識。對于一組輸入模式，只能根據它們之間的相似程度來分為若干類，因此，相似性是輸入模式的聚類依據。

(2)、相似性測量：神經網絡的輸入模式向量的相似性測量可用向量之間的距離來衡量。常用的方法有歐氏距離法和余弦法兩種。

(3)、競爭學習原理:競爭學習規則的生理學基礎是神經細胞的側抑制現象：當一個神經細胞興奮后，會對其周圍的神經細胞產生抑制作用。最強的抑制作用是競爭獲勝的“唯我獨興”，這種做法稱為“勝者為王”，（Winner-Take-All）。競爭學習規則就是從神經細胞的側抑制現象獲得的。它的學習步驟為：A、向量歸一化；B、尋找獲勝神經元；C、網絡輸出與權調整；D、重新歸一化處理。

SOM網絡的拓撲結構：SOM網絡共有兩層。即：輸入層和輸出層。

(1)、輸入層：通過權向量將外界信息匯集到輸出層各神經元。輸入層的形式與BP網相同，節點數與樣本維數相同。

(2)、輸出層：輸出層也是競爭層。其神經元的排列有多種形式。分為一維線陣,二維平面陣和三維柵格陣。最典型的結構是二維形式。它更具大腦皮層的形象。

輸出層的每個神經元同它周圍的其他神經元側向連接，排列成棋盤狀平面；輸入層為單層神經元排列。

SOM權值調整域

SOM網采用的算法，稱為Kohonen算法，它是在勝者為王WTA(Winner-Take-All)學習規則基礎上加以改進的，主要區別是調整權向量與側抑制的方式不同：WTA：側抑制是“封殺”式的。只有獲勝神經元可以調整其權值，其他神經元都無權調整。Kohonen算法：獲勝神經元對其鄰近神經元的影響是由近及遠，由興奮逐漸變為抑制。換句話說，不僅獲勝神經元要調整權值，它周圍神經元也要不同程度調整權向量。

SOM網絡運行原理

SOM網絡的運行分訓練和工作兩個階段。在訓練階段，網絡隨機輸入訓練集中的樣本，對某個特定的輸入模式，輸出層會有某個節點產生最大響應而獲勝，而在訓練開始階段，輸出層哪個位置的節點將對哪類輸入模式產生最大響應是不確定的。當輸入模式的類別改變時，二維平面的獲勝節點也會改變。獲勝節點周圍的節點因側向相互興奮作用也產生較大影響，于是獲勝節點及其優勝鄰域內的所有節點所連接的權向量均向輸入方向作不同程度的調整，調整力度依鄰域內各節點距離獲勝節點的遠近而逐漸減小。網絡通過自組織方式，用大量訓練樣本調整網絡權值，最后使輸出層各節點成為對特定模式類敏感的神經元，對應的內星權向量成為各輸入模式的中心向量。并且當兩個模式類的特征接近時，代表這兩類的節點在位置上也接近。從而在輸出層形成能反應樣本模式類分布情況的有序特征圖。

11. CPN模型

1987年美國學者RobertHecht —Nielson提出了對偶傳播神經網絡(Counter--propagation Networks，簡記為CPN)。CPN最早是用來實現樣本選擇匹配系統的。它能存儲二進制或模擬值的模式對，因此CPN網絡可以用作聯想存儲﹑模式分類﹑函數逼近和數據壓縮等用途。與BP網相比，CPN的訓練速度要快很多，所需的時間大約是BP網所需時間的1％。但是，它的應用面卻因網絡的性能相對來說比較窄。

從網絡的拓撲結構來看，CPN與BP網類似，CPN是一個三層的神經網絡，只不過這競爭層和輸出層執行的訓練算法是不同的。所以，稱CPN 是一個異構網。與同構網相比，網絡的異構性使它更接近于人腦。在人腦中存在有各種特殊的模塊，它們使用完成不同的運算。例如，在聽覺通道的每一層，其神經元與神經纖維在結構上的排列與頻率的關系十分密切，對某一些頻率，其中某些相應的神經元會獲得最大的響應。這種聽覺通道上的神經元的有序排列一直延續到聽覺皮層。盡管許多低層次上的神經元是預先排列好的，但高層次上的神經元的組織則是通過學習自組織形成的。

在RobertHecht—Nielson提出的CPN神經網絡中，其競爭層和輸出層分別執行較早些時候出現的兩個著名算法：即Kohonen l981年提出的自組織映射SOM算法和Grossberg l969年提出的外星(Outstar)算法。人們將執行自組織映射的層稱為Kohonen層，執行外星算法的層則被稱為Grossberg層。按這種方法將這兩種算法組合在一起后所獲得的網絡，不僅提供了一種設計多級網訓練算法的思路，解決了多級網絡的訓練問題，突破了單極網的限制，而且還使得網絡具有了許多新的特點。多級網絡的訓練問題主要是在解決隱藏層神經元相應的聯接權調整時，需要通過隱藏層神經元的理想輸出來實現相關誤差的估計。然而，它們對應的理想輸出又是未知的。在無導師訓練中是不需要知道理想輸出的，因此可以考慮讓網絡的隱藏層執行無導師學習。這是解決多級網絡訓練的另一個思路。實際上，CPN就是將無導師訓練算法與有導師訓練算法結合在一起，用無導師訓練解決網絡隱藏層的理想輸出未知的問題，用有導師訓練解決輸出層按系統的要求給出指定的輸出結果的問題。

Kohonen提出的自組織映射由四部分組成，包括一個神經元陣列(用它構成CPN的Kohonen層)，一種比較選擇機制，一個局部互聯，一個自適應過程。實際上，這一層將實現對輸入進行分類的功能。所以，該層可以執行無導師的學習，以完成對樣本集中所含的分類信息的提取。

Grossberg層主要用來實現類表示。由于相應的類應該是用戶所要求的，所以，對應每—個輸入向量，用戶明確地知道它對應的理想輸出向量，故該層將執行有導師的訓練。兩層的有機結合，就構成—個映射系統。所以，有人將CPN 看成一個有能力進行一定的推廣的查找表(Look—up table)。它的訓練過程就是將輸入向量與相應的輸出向量對應起來。這些向量可以是二值的，也可以是連續的。一旦網絡完成了訓練，對一個給定的輸入就可以給出一個對應的輸出。網絡的推廣能力表明，當網絡遇到一個不太完整的、或者是不完全正確的輸入時，只要該“噪音”是在有限的范圍內，CPN 都可以產生一個正確的輸出。這是因為Kohonen 層可以找到這個含有噪音的輸入應該屬于的分類，而對應的Grossberg層則可以給出該分類的表示。從整個網絡來看，就表現出一種泛化能力。這使得網絡在模式識別、模式完善、信號處理等方面可以有較好的應用。另外，上述映射的逆映射如果存在的話，可以通過對此網的簡單擴展，來實現相應的逆變換。這被稱為全對傳網。

12. ART模型

在神經網絡學習中，當網絡規模給定后，由權矩陣所能記憶的模式類別信息量總是有限的，新輸入的模式樣本必然會對已經記憶的模式樣本產生抵消或遺忘，從而使網絡的分類能力受到影響。靠無限擴大網絡規模解決上述問題是不現實的。如何保證在適當增加網絡規模的同時，在過去記憶的模式和新輸入的訓練模式之間作出某種折中，既能最大限度地接收新的模式信息，同時又能保證較少地影響過去的樣本模式呢？ ART網絡在一定程度上能較好解決此問題。

1976年，美國Boston大學CarpenterG.A.教授提出了自適應共振理論ART(Adaptive Resonance Theory)。隨后Carpenter G.A.又與他的學生GrossbergS.合作提出了ART神經網絡。

經過多年的研究和發展，ART 網絡已有幾種基本形式：

(1)、ART1型神經網絡：處理雙極性和二進制信號；

(2)、ART2型神經網絡：它是ART1型的擴展，用于處理連續型模擬信號；

(3)、ART綜合系統：將ART1和ART2綜合在一起，系統具有識別﹑補充和撤消等綜合功能。即所謂的3R（Recognition﹑Reinforcement﹑Recall）功能。

(4)、ART3型神經網絡：它是一種分級搜索模型，兼容前兩種結構的功能并將兩層神經網絡擴大為任意多層神經元網絡，由于ART3型在神經元的模型中納入了生物神經元的生物電－化學反應機制，因而它具備了很強的功能和擴展能力。

13. 量子神經網絡

量子神經網絡的概念出現于上個世紀90年代后期，一經提出后便引起了不同領域的科學家的關注，人們在這個嶄新的領域進行了不同方向的探索，提出了很多想法和初步的模型，充分體現了量子神經網絡研究的巨大潛力。主要研究方向可以概括為：

(1)、量子神經網絡采用神經網絡的連接思想來構造量子計算機，通過神經網絡模型來研究量子計算中的問題；

(2)、量子神經網絡在量子計算機或量子器件的基礎上構造神經網絡，充分利用量子計算超高速、超并行、指數級容量的特點，來改進神經網絡的結構和性能；

(3)、量子神經網絡作為一種混合的智能優化算法在傳統的計算機上的實現，通過引入量子理論中的思想對傳統神經網絡改進，利用量子理論中的概念、方法(如態疊加、“多宇宙”觀點等)，建立新的網絡模型；改善傳統神經網絡的結構和性能；

(4)、基于腦科學、認知科學的研究。

以上整理的內容主要摘自：

1. 《人工神經網絡原理及應用》，2006，科學出版社

2. 《神經網絡郵件分類算法研究》，2011，碩論，電子科技大學

3. 《人工神經網絡原理、分類及應用》，2014，期刊，科技資訊