對偶傳播神經(jīng)網(wǎng)絡(luò)的詳細資料說明

1987年，美國學者Robert Hecht-Nielsen提出了對偶傳播神經(jīng)網(wǎng)絡(luò)模型 （Counter Propagation Network，CPN），CPN最早是用來實現(xiàn)樣本選擇匹配系統(tǒng)的。CPN 網(wǎng)能存儲二進制或模擬值的模式對，因此這種網(wǎng)絡(luò)模型也可用于聯(lián)想存儲、模式分類、函數(shù)逼近、統(tǒng)計分析和數(shù)據(jù)壓縮等用途。

1. 網(wǎng)絡(luò)結(jié)構(gòu)與運行原理

網(wǎng)絡(luò)結(jié)構(gòu)如圖所示，各層之間的神經(jīng)元全互聯(lián)連接。從拓撲結(jié)構(gòu)看，CPN網(wǎng)與三層BP網(wǎng)絡(luò)相近，但實際上CPN是由自組織網(wǎng)和Grossberg外星網(wǎng)組合而成。隱層為競爭層，采用無導師的競爭學習規(guī)則，而輸出層為Grossberg層，采用有導師信號的Widrow-Hoff規(guī)則或Grossberg規(guī)則學習。

網(wǎng)絡(luò)各層按兩種學習規(guī)則訓練好之后，運行階段首先向網(wǎng)絡(luò)送入輸入變量，隱含層對這些輸入進行競爭計算，獲勝者成為當前輸入模式類的代表，同時該神經(jīng)元成為如下圖(a)所示的活躍神經(jīng)元，輸出值為1而其余神經(jīng)元處于非活躍狀態(tài)，輸出值為0。競爭取勝的隱含神經(jīng)元激勵輸出層神經(jīng)元，使其產(chǎn)生如下圖(b)所示的輸出模式。由于競爭失敗的神經(jīng)元輸出為0，不參與輸出層的整合。因此輸出就由競爭勝利的神經(jīng)元的外星權(quán)重確定。

2. 學習算法

網(wǎng)絡(luò)學習分為兩個階段：

第一階段是競爭學習算法對隱含層神經(jīng)元的內(nèi)星權(quán)向量進行訓練；

第二階段是采用外星學習算法對隱含層的神經(jīng)元的外星權(quán)向量進行訓練。

因為內(nèi)星權(quán)向量采用的是競爭學習規(guī)則，跟前幾篇博文所介紹的算法步驟基本類似，這里不做介紹，值得說明的是競爭算法并不設(shè)置優(yōu)勝臨域，只對獲勝神經(jīng)元的內(nèi)星權(quán)向量進行調(diào)節(jié)。

下面重點介紹一下外星權(quán)向量的訓練步驟:

（1）輸入一個模式以及對應的期望輸入，計算網(wǎng)絡(luò)隱節(jié)點凈輸入，隱節(jié)點的內(nèi)星權(quán)向量采用上一階段中訓練結(jié)果。

（2）確定獲勝神經(jīng)元使其輸出為1。

（3）調(diào)整隱含層到輸出層的外星權(quán)向量，調(diào)整規(guī)則如下：

β為外星規(guī)則學習速率，為隨時間下降的退火函數(shù)。O(t)為輸出層神經(jīng)元的輸出值。

由以上規(guī)則可知，只有獲勝神經(jīng)元的外星權(quán)向量得到調(diào)整，調(diào)整的目的是使外星權(quán)向量不斷靠近并等于期望輸出，從而將該輸出編碼到外星權(quán)向量中。

3. 改進CPN網(wǎng)

（1） 雙獲勝神經(jīng)元CPN

指的是在完成訓練后的運行階段允許隱層有兩個神經(jīng)元同時競爭獲得勝利，這兩個獲勝神經(jīng)元均取值為1，其他神經(jīng)元則取值為0。于是有兩個獲勝神經(jīng)元同時影響網(wǎng)絡(luò)輸出。下圖給出了一個例子，表明了CPN網(wǎng)能對復合輸入模式包含的所有訓練樣本對應的輸出進行線性疊加，這種能力對于圖像的疊加等應用十分合適。

（2） 雙向CPN網(wǎng)

將CPN網(wǎng)的輸入層和輸出層各自分為兩組，如下圖所示。雙向CPN網(wǎng)的優(yōu)點是可以同時學習兩個函數(shù)，例如：Y＝f （X）；X′＝f （Y′）

當兩個函數(shù)互逆時，有X ＝X′，Y ＝Y(jié)′。雙向CPN可用于數(shù)據(jù)壓縮與解壓縮，可將其中一個函數(shù)f作為壓縮函數(shù)，將其逆函數(shù)g作為解壓縮函數(shù)。

事實上，雙向CPN網(wǎng)并不要求兩個互逆函數(shù)是解析表達的，更一般的情況是f和g是互逆的映射關(guān)系，從而可利用雙向CPN實現(xiàn)互聯(lián)想。

4.CPN網(wǎng)應用

下圖給出了CPN網(wǎng)用于煙葉顏色模式分類的情況，輸入樣本分布在下圖(a)所示的三維顏色空間中，該空間的每個點用一個三維向量表示，各分量分別代表煙葉的平均色調(diào)H，平均亮度L和平均飽和度S?？梢钥闯鲱伾Ｊ椒譃?類，分別對應紅棕色，橘黃色，檸檬色和青黃色。下圖(b)給出了CPN網(wǎng)絡(luò)結(jié)構(gòu)，隱層共設(shè)了10個神經(jīng)元，輸出層設(shè)4個神經(jīng)元，學習速率為隨訓練時間下降的函數(shù)，經(jīng)過2000次遞歸之后，網(wǎng)絡(luò)分類的正確率達到96%。