1987年，美國學者Robert Hecht-Nielsen提出了對偶傳播神經網絡模型 （Counter Propagation Network，CPN），CPN最早是用來實現樣本選擇匹配系統的。CPN 網能存儲二進制或模擬值的模式對，因此這種網絡模型也可用于聯想存儲、模式分類、函數逼近、統計分析和數據壓縮等用途。

1. 網絡結構與運行原理

網絡結構如圖所示，各層之間的神經元全互聯連接。從拓撲結構看，CPN網與三層BP網絡相近，但實際上CPN是由自組織網和Grossberg外星網組合而成。隱層為競爭層，采用無導師的競爭學習規則，而輸出層為Grossberg層，采用有導師信號的Widrow-Hoff規則或Grossberg規則學習。

網絡各層按兩種學習規則訓練好之后，運行階段首先向網絡送入輸入變量，隱含層對這些輸入進行競爭計算，獲勝者成為當前輸入模式類的代表，同時該神經元成為如下圖(a)所示的活躍神經元，輸出值為1而其余神經元處于非活躍狀態，輸出值為0。競爭取勝的隱含神經元激勵輸出層神經元，使其產生如下圖(b)所示的輸出模式。由于競爭失敗的神經元輸出為0，不參與輸出層的整合。因此輸出就由競爭勝利的神經元的外星權重確定。

2. 學習算法

網絡學習分為兩個階段：

第一階段是競爭學習算法對隱含層神經元的內星權向量進行訓練；

第二階段是采用外星學習算法對隱含層的神經元的外星權向量進行訓練。

因為內星權向量采用的是競爭學習規則，跟前幾篇博文所介紹的算法步驟基本類似，這里不做介紹，值得說明的是競爭算法并不設置優勝臨域，只對獲勝神經元的內星權向量進行調節。

下面重點介紹一下外星權向量的訓練步驟:

（1）輸入一個模式以及對應的期望輸入，計算網絡隱節點凈輸入，隱節點的內星權向量采用上一階段中訓練結果。

（2）確定獲勝神經元使其輸出為1。

（3）調整隱含層到輸出層的外星權向量，調整規則如下：

β為外星規則學習速率，為隨時間下降的退火函數。O(t)為輸出層神經元的輸出值。

由以上規則可知，只有獲勝神經元的外星權向量得到調整，調整的目的是使外星權向量不斷靠近并等于期望輸出，從而將該輸出編碼到外星權向量中。

3. 改進CPN網

（1） 雙獲勝神經元CPN

指的是在完成訓練后的運行階段允許隱層有兩個神經元同時競爭獲得勝利，這兩個獲勝神經元均取值為1，其他神經元則取值為0。于是有兩個獲勝神經元同時影響網絡輸出。下圖給出了一個例子，表明了CPN網能對復合輸入模式包含的所有訓練樣本對應的輸出進行線性疊加，這種能力對于圖像的疊加等應用十分合適。

（2） 雙向CPN網

將CPN網的輸入層和輸出層各自分為兩組，如下圖所示。雙向CPN網的優點是可以同時學習兩個函數，例如：Y＝f （X）；X′＝f （Y′）

當兩個函數互逆時，有X ＝X′，Y ＝Y′。雙向CPN可用于數據壓縮與解壓縮，可將其中一個函數f作為壓縮函數，將其逆函數g作為解壓縮函數。

事實上，雙向CPN網并不要求兩個互逆函數是解析表達的，更一般的情況是f和g是互逆的映射關系，從而可利用雙向CPN實現互聯想。

4.CPN網應用

下圖給出了CPN網用于煙葉顏色模式分類的情況，輸入樣本分布在下圖(a)所示的三維顏色空間中，該空間的每個點用一個三維向量表示，各分量分別代表煙葉的平均色調H，平均亮度L和平均飽和度S。可以看出顏色模式分為4類，分別對應紅棕色，橘黃色，檸檬色和青黃色。下圖(b)給出了CPN網絡結構，隱層共設了10個神經元，輸出層設4個神經元，學習速率為隨訓練時間下降的函數，經過2000次遞歸之后，網絡分類的正確率達到96%。