一種基于ART2神經網絡的算法改進

胡鑫+葉青+郭庚山

摘 要： 針對傳統的ART2神經網絡中對于主觀設置的警戒參數以及識別分類過程中產生模式漂移的問題，提出基于改進算法的ART2神經網絡模型，用于解決分析模式識別問題。通過自組織，加權，迭代等過程推導合理的警戒參數用于聚類運算，通過對ART2神經網絡的權值訓練方面進行修正，減緩學習速率，降低模式漂移速度，近一步對聚類對象進行合理分類。實驗結果證明，該方法是可行的和有效的。

關鍵詞： ATR2神經網絡； 警戒值； 模式漂移； 模式識別

中圖分類號： TN911?34 文獻標識碼： A 文章編號： 1004?373X（2014）18?0041?03

An improved algorithm based on ART2 neural network

HU Xin， YE Qing， GUO Geng?shan

（Changsha University of Science and Technology， Changsha 410114， China）

Abstract： Aiming at the problems of setting vigilance parameter and pattern drift produced in the process of classification identification of the traditional ART2 neural network， a new ART2 neural network model based on modified algorithm is presen?

ted in this article to solve problems concerning analysis of pattern identification. Reasonable vigilance parameter needed by clustering is deduced through the processing of self?organization， weighting and iteration. In order to conduct reasonable classification of clustering objects， the measures of slowing learning rate which can be realized by modifying the weight training of ART2 neural network to reduce the speed of pattern drifting should be taken. The experimental results have proved that the new model is of high validity and feasibility.

Keywords： ATR2 neural network； security value； pattern drift； pattern recognition

0 引 言

ART2神經網絡的輸入為任意模擬輸入矢量，所以它有非常廣泛的應用范圍，通過對警戒值的調整，ART2神經網絡可以對輸入的模擬矢量進行不同精度的分類。ART2是基于自適應諧振理論的一種自組織神經網絡，通過競爭學習和自穩機制原理實現分類，它主要是為了解決下列問題而提出的：設計一個學習系統，同時擁有穩定性和可塑性，即系統在不斷學習新知識的時候能保持原有的知識[1?2]。

迄今為止，基于ART網絡的模式分類方法有很大發展，其中具有代表性的就是S.Grossberg和A.carpenter提出的用于并行分類和自適應模式分類方法[3?4]。

傳統的自適應諧振神經網絡也存在著一些缺陷，主要體現在：傳統的ART神經網絡在網絡訓練前要給出警戒參數，該警戒參數對于網絡聚類結果具有直接的影響。當警戒參數較高時，ART系統對模式的相似性要求就越高，類的劃分就越細，形成的類別就越多；當警戒參數較低時，網絡有較強的容錯能力，因此就產生較少的分類數目[5?6]。

由于傳統的ART2網絡在對輸入模式識別分類時，會產生模式漂移現象，從而無法實現更準確的分類。對部分權值的修正放慢學習速度，將改善模式漂移現象。

1 ART2神經網絡的結構和原理

1.1 ART2神經網絡結構

ART2系統由定向子系統OS和注意子系統AS構成，注意子系統AS由感受層SL和反應層RL和控制增益GC組成，既有短時記憶[OS（t）]和[OR（t）]，又有長時記憶，包括自低向上的長時記憶[Ω（SR）]和自頂向下的長時記憶[Ω（RS）]。作為神經計算的模型，ART2系統是由人工神經元形成的系統。感覺神經元構成了系統的感受層，而反應神經元構成了系統的反應層，ART2網絡的結構如圖1所示。

圖1 ART2神經網絡基本結構

在系統中，各感覺神經元之間的聯結關系包括：[Dab：SLa→SLb]，[Dbc：SLb→SLc]，[Dcd：SLc→SLd]，[Dde：SLd→SLe]，[Def：SLe→SLf]，[Dda：SLd→SLa]，[Dfc：SLf→SLc]。各子集[SLk（V（S）k）（k∈{a，b，c，d，e，f}）]之間的聯結關系式對應元素之間的聯結，因而，其聯結關系矩陣[Dij（i，j∈{a，b，c，d，e，f}）]均為對角矩陣。

在感受層SL中，只有子集[SLa（V（s）a）]可以接受外部輸入信號[x]，另外只有子集[SLe（V（S）e）]的狀態向量[OSe]能作為系統感受層SL的輸出，用于系統的反應層RL[3]。

1.2 ART2神經網絡的工作原理

1.2.1 參數及聯結權值初始化

所有神經元的輸出置0向量，計數器初始值為[C=0]；SL層從下到上的長時記憶初始為：

[Ω（SR）=0.5（1-α3）·mnm]

RL層從上到下的長時記憶初始為：

[Ω（RS）=（0）mn]

各參數確定為：

[α1>0， α2>0，0<ε?1，0<α3<1，0<α4<1，0<ρ<1]

1.2.2 計算步驟

ART2網絡的運行按照如下的步驟進行：

（1） [SLa]運算：

[O（S）a=x+α1O（S）d]

（2） [SLb]運算：

[O（S）b=O（S）aε+O（S）a]

（3） [SLc]運算：

[O（S）c=f（O（S）b）+α2f（O（S）f）]

式中：[x>α3]時[f（x）=x]，[x≤α3]時[f（x）=0]。

（4） [SLd]運算：

[O（S）d=O（S）cε+O（S）c]…

（5） [SLe]運算：

[O（S）e=O（S）d， C=0O（S）d+ω（RS）kα4， C>0]

（6） [SLf]運算：

[O（S）f=O（S）eε+O（S）e]

（7） SL測試：如果短時記憶[O（S）i（i∈a，b，c，d，e，f）]沒有達到穩定狀態，轉到步驟（11）。

（8） 計數和轉移：如果[C=0]，轉到步驟（11）。

（9） OS運算：

[r=O（S）d+α4O（S）eε+O（S）d+α4O（S）e]

若[r<ρ]則[r=1]，否則[r=0]。

（10） 復位操作：如果復位信號[r=1]，則置[O（S）k=0]，抑制[v（R）k]到ART2系統達到“諧振”狀態，重置短時記憶[OS=0]和[C=0]，轉到步驟（1）；否則[r=0]，轉向步驟（14）。

（11） RL運算：

[O（R）k=α4， ω（SR）TkO（S）e=maxω（SR）TiO（S）e0， 其他]

其中[O（R）k=α4] 的單元[v（R）k]記作競爭獲勝單元。

（12） 引發期待：[Ω（RS）T→ω（RS）k]。

（13） 計數和轉移：[C=C+1]，轉向步驟（5） 。

（14） 諧振：[r=1]說明[x]與[ω（RS）k]匹配，ART2系統達到諧振狀態，ART2快速學習機制啟動。

（15） 前饋學習：更新前饋聯結關系[Ω（SR）]的第[k]個列向量[ω（SR）k]：

[ω（SR）k=O（S）d1-α4]

（16） 反饋學習：更新反饋聯結關系[Ω（RS）]的第[k]個行向量[ω（RS）k]：

[ω（RS）k=O（S）d1-α4]

（17） 停機條件：若對于任意輸入[x]，[Ω（RS）]和[Ω（SR）]都是穩定的，ART2系統停止運行；否則刪除輸入模式，RL中所有被抑制的反應神經元恢復起始，重置短時記憶[OR=0]和[OS=0]，重置計數器[C=0]。

2 改進的ART2神經網絡

在上述傳統的ART2神經網絡算法中對于警戒值[ρ]的選擇是根據經驗所得，這里提出了一種在神經網絡計算前對[ρ]的選取算法。同時為了解決模式漂移的問題，對ART2神經網絡中F2至p層和p層至F2層的權值進行修改，減緩學習速率，從而可以有效地減少模式漂移帶來的誤差[7]。

2.1 具體算法描述

（1） 設置警戒參數初值ρ，開始設置接近l，在初始聚類時，對于接近的輸人向量也會在這個過程進行融合，每個差異較大的輸入向量就會產生一個類別。

（2） 由于ART2模型的輸出端是一維陣列，可按神經元模值將神經元放置在x軸上，以模值大小順序對輸出層神經元的位置進行重新排列，以模值為判斷依據，同時對自頂向下和自低向上權重矩陣進行調整。

（3） 在解決漂移模式問題中，模式漂移現象主要

原因是權值的修正方法不準確引起的，在傳統的ART2算法中，權值修正公式在每次輸入模式結束時，權值都近似等于[O（S）d1-α4]，在學習新的模式之后容易遺忘已經學過的輸入模式，權值總是向當前的輸入數據靠近。所以對ART2神經網絡中F2至p層和p層至F2層的權值進行修改，減緩學習速率，修正后的權值為：

從F2層到p層的權值為：

[Ωnewji=Ωoldji+α（Οd-Ωoldji）]；

從p層到F2層的權值為：

[Ωnewij=Ωoldij+α（Οd-Ωoldij）]；

2.2 具體算法步驟

加入警戒值選擇和權值修改后的改進ART2神經網絡算法如下：

（1） ρ=ρ-del ；del為警戒參數遞減值；

（2） 將第k次迭代神經網絡輸出層的每一個神經元代表的類別向量組成第k+1次迭代神經網絡的輸入向量樣本集X（k+1）；

（3） 按序輸入X（k）樣本集中每個向量，訓練的算法按照步驟（4）整個過程；

（4） 在傳統ART2神經網絡學習中的對步驟（15），步驟（16）進行修改如下：

步驟（15） 前饋學習：更新前饋自適應聯結關系[Ω（SR）]的權值：

[Ωnewji=Ωoldji+α（Οd-Ωoldji）]

步驟（16） 反饋學習：更新反饋自適應聯結關系[Ω（RS）]的權值：

[Ωnewij=Ωoldij+α（Οd-Ωoldij）]停機條件不變。

3 實驗及其結果分析

為了驗證算法改進后的分類效果，對傳統ART?2神經網絡算法和改進后的算法進行了實驗比較[8?10]。本文采用實際數據做為測試數據。實際數據采用來自美國加州Irvine大學信息與計算機科學系中所提供的Glass數據。Glass數據是在記錄玻璃所包含的化學元素情況，記錄中包含了處理過與非處理過的建筑用窗戶、處理過與非處理過的貨車窗戶、容器、餐具以及車燈共7種類別，而在G1ass數據中則有9種不同的化學元素，分別是鋯、鈉、鎂、鋁、硅、鉀、鈣、鋇、鐵九種屬性，Glass數據集一共是214組。在不同用途的玻璃中化學元素的含量不同，如表1所示。

表1 不同用途的玻璃中化學元素的含量

在進行ART2神經網絡的訓練時候，對于參數設為ρ=0.95，a=10，b=10，c=0.1，d=0.9，del=0.01。將神經網絡程序運行結果， 與數據集中正確分類進行對比之后，發現以前ART2網絡由于模式漂移和警戒參數人工設置問題設置產生了10個分類，產生了較大分錯率。由改進的ART2網絡下運行結果顯示降低了這些問題的影響，只產生了8個分類，而且在每一類的分類中，改進后的神經網絡可以更好地對每一組數據進行正確的分類。如表2所示。

表2 傳統神經網絡和改進后神經網絡的分類比較

4 結 語

針對本文中摘要提出的警戒值選取問題，在改進的ART2神經網絡聚類算法中，利用以前警戒參數訓練神經網絡結果的基礎上迭代，改變了神經網絡主觀設定警戒參數的問題。針對模式漂移的問題，通過改進聯結權值，使改進后的ART2神經網絡網絡減慢了學習速率，近而降低了模式漂移的速度。實驗證明，在改進選取警戒值和對聯結權值修改后的ART2神經網絡更好地實現了聚類分類，同時提高了模式識別的精度。

參考文獻

[1] 陳國燦，高茂庭.ATR2神經網絡的一種改進[J].計算機工程與應用，2013（4）：2?3.

[2] 沈艷超，葉青.車輛特征提取和分類方法的研究[D].長沙：長沙理工大學，2010.

[3] 阮曉剛.神經計算科學[M].北京：國防工業出版社，2006.

[4] CARPENTER G A， GROSSBERG S. ART2 self?organization of stable category recognition codes for analog input patterns [J]. Applied Optics， 1987， 26（l）： 4920?4927.

[5] 錢曉東，王正歐.基于算法改進的ART2數據聚類方法研究[J].哈爾濱工業大學學報，2006（9）：1549?1553.

[6] 錢曉東，王正歐.基于神經網絡等技術的數據與文本聚分類研究[D].天津：天津大學，2005.

[7] 譚錦華，鄺獻濤.基于ART2神經網絡與動態聚類的分類器[J].控制工程，2005（z1）：68?70.

[8] 姚光順.ART?2神經網絡的缺點及其改進[J].儀器儀表用戶，2008（2）：117?118.

[9] 周潤景，張麗娜.基于Matlab與FUZZYTECH的模糊與神經網絡設計[M].北京：電子工業出版社，2010（3）：163?187.

[10] 賈鵬.引入遺忘機制的ART2改進模型[J].計算機工程與應用，2006（9）：60?62.

[Ωnewij=Ωoldij+α（Οd-Ωoldij）]停機條件不變。

3 實驗及其結果分析

為了驗證算法改進后的分類效果，對傳統ART?2神經網絡算法和改進后的算法進行了實驗比較[8?10]。本文采用實際數據做為測試數據。實際數據采用來自美國加州Irvine大學信息與計算機科學系中所提供的Glass數據。Glass數據是在記錄玻璃所包含的化學元素情況，記錄中包含了處理過與非處理過的建筑用窗戶、處理過與非處理過的貨車窗戶、容器、餐具以及車燈共7種類別，而在G1ass數據中則有9種不同的化學元素，分別是鋯、鈉、鎂、鋁、硅、鉀、鈣、鋇、鐵九種屬性，Glass數據集一共是214組。在不同用途的玻璃中化學元素的含量不同，如表1所示。

表1 不同用途的玻璃中化學元素的含量

在進行ART2神經網絡的訓練時候，對于參數設為ρ=0.95，a=10，b=10，c=0.1，d=0.9，del=0.01。將神經網絡程序運行結果， 與數據集中正確分類進行對比之后，發現以前ART2網絡由于模式漂移和警戒參數人工設置問題設置產生了10個分類，產生了較大分錯率。由改進的ART2網絡下運行結果顯示降低了這些問題的影響，只產生了8個分類，而且在每一類的分類中，改進后的神經網絡可以更好地對每一組數據進行正確的分類。如表2所示。

表2 傳統神經網絡和改進后神經網絡的分類比較

4 結 語

針對本文中摘要提出的警戒值選取問題，在改進的ART2神經網絡聚類算法中，利用以前警戒參數訓練神經網絡結果的基礎上迭代，改變了神經網絡主觀設定警戒參數的問題。針對模式漂移的問題，通過改進聯結權值，使改進后的ART2神經網絡網絡減慢了學習速率，近而降低了模式漂移的速度。實驗證明，在改進選取警戒值和對聯結權值修改后的ART2神經網絡更好地實現了聚類分類，同時提高了模式識別的精度。

參考文獻

[1] 陳國燦，高茂庭.ATR2神經網絡的一種改進[J].計算機工程與應用，2013（4）：2?3.

[2] 沈艷超，葉青.車輛特征提取和分類方法的研究[D].長沙：長沙理工大學，2010.

[3] 阮曉剛.神經計算科學[M].北京：國防工業出版社，2006.

[4] CARPENTER G A， GROSSBERG S. ART2 self?organization of stable category recognition codes for analog input patterns [J]. Applied Optics， 1987， 26（l）： 4920?4927.

[5] 錢曉東，王正歐.基于算法改進的ART2數據聚類方法研究[J].哈爾濱工業大學學報，2006（9）：1549?1553.

[6] 錢曉東，王正歐.基于神經網絡等技術的數據與文本聚分類研究[D].天津：天津大學，2005.

[7] 譚錦華，鄺獻濤.基于ART2神經網絡與動態聚類的分類器[J].控制工程，2005（z1）：68?70.

[8] 姚光順.ART?2神經網絡的缺點及其改進[J].儀器儀表用戶，2008（2）：117?118.

[9] 周潤景，張麗娜.基于Matlab與FUZZYTECH的模糊與神經網絡設計[M].北京：電子工業出版社，2010（3）：163?187.

[10] 賈鵬.引入遺忘機制的ART2改進模型[J].計算機工程與應用，2006（9）：60?62.

[Ωnewij=Ωoldij+α（Οd-Ωoldij）]停機條件不變。

3 實驗及其結果分析

為了驗證算法改進后的分類效果，對傳統ART?2神經網絡算法和改進后的算法進行了實驗比較[8?10]。本文采用實際數據做為測試數據。實際數據采用來自美國加州Irvine大學信息與計算機科學系中所提供的Glass數據。Glass數據是在記錄玻璃所包含的化學元素情況，記錄中包含了處理過與非處理過的建筑用窗戶、處理過與非處理過的貨車窗戶、容器、餐具以及車燈共7種類別，而在G1ass數據中則有9種不同的化學元素，分別是鋯、鈉、鎂、鋁、硅、鉀、鈣、鋇、鐵九種屬性，Glass數據集一共是214組。在不同用途的玻璃中化學元素的含量不同，如表1所示。

表1 不同用途的玻璃中化學元素的含量

在進行ART2神經網絡的訓練時候，對于參數設為ρ=0.95，a=10，b=10，c=0.1，d=0.9，del=0.01。將神經網絡程序運行結果， 與數據集中正確分類進行對比之后，發現以前ART2網絡由于模式漂移和警戒參數人工設置問題設置產生了10個分類，產生了較大分錯率。由改進的ART2網絡下運行結果顯示降低了這些問題的影響，只產生了8個分類，而且在每一類的分類中，改進后的神經網絡可以更好地對每一組數據進行正確的分類。如表2所示。

表2 傳統神經網絡和改進后神經網絡的分類比較

4 結 語

針對本文中摘要提出的警戒值選取問題，在改進的ART2神經網絡聚類算法中，利用以前警戒參數訓練神經網絡結果的基礎上迭代，改變了神經網絡主觀設定警戒參數的問題。針對模式漂移的問題，通過改進聯結權值，使改進后的ART2神經網絡網絡減慢了學習速率，近而降低了模式漂移的速度。實驗證明，在改進選取警戒值和對聯結權值修改后的ART2神經網絡更好地實現了聚類分類，同時提高了模式識別的精度。

參考文獻

[1] 陳國燦，高茂庭.ATR2神經網絡的一種改進[J].計算機工程與應用，2013（4）：2?3.

[2] 沈艷超，葉青.車輛特征提取和分類方法的研究[D].長沙：長沙理工大學，2010.

[3] 阮曉剛.神經計算科學[M].北京：國防工業出版社，2006.

[4] CARPENTER G A， GROSSBERG S. ART2 self?organization of stable category recognition codes for analog input patterns [J]. Applied Optics， 1987， 26（l）： 4920?4927.

[5] 錢曉東，王正歐.基于算法改進的ART2數據聚類方法研究[J].哈爾濱工業大學學報，2006（9）：1549?1553.

[6] 錢曉東，王正歐.基于神經網絡等技術的數據與文本聚分類研究[D].天津：天津大學，2005.

[7] 譚錦華，鄺獻濤.基于ART2神經網絡與動態聚類的分類器[J].控制工程，2005（z1）：68?70.

[8] 姚光順.ART?2神經網絡的缺點及其改進[J].儀器儀表用戶，2008（2）：117?118.

[9] 周潤景，張麗娜.基于Matlab與FUZZYTECH的模糊與神經網絡設計[M].北京：電子工業出版社，2010（3）：163?187.

[10] 賈鵬.引入遺忘機制的ART2改進模型[J].計算機工程與應用，2006（9）：60?62.