ART2神經網絡的一種改進

陳國燦，高茂庭

上海海事大學信息工程學院，上海 201306

ART2神經網絡的一種改進

陳國燦，高茂庭

上海海事大學信息工程學院，上海 201306

1 引言

自適應共振理論（Adaptive Resonance Theory，ART）神經網絡是一種自組織、無監督學習神經網絡[1-3]，具有能夠迅速自組織地進行對輸入模式的識別并聚類，并且能夠把陷入在各種噪聲背景里的近似信號挑出來并進行加強等優點[2，4]。

但傳統的ART2神經網絡[2，5]在對輸入模式進行識別聚類時，由于只利用了輸入模式的相位信息，而忽視了其幅度信息的作用[6-7]，在處理相位相同而幅度不同的輸入模式簇時，難以將它們區分開，聚類效果不理想；同時，它還對輸入模式中各神經元取值存在著一定的限制，在F1層中將輸入模式中非正實數統一作為0處理，導致輸入模式的部分信息丟失，影響了聚類結果。

本文對傳統的ART2網絡從幾個方面進行改進，一方面，在輸入模式進入網絡學習的同時，既考慮它的相位信息，同時也計算其到各個簇的中心點的最短距離，綜合考慮其幅度信息；另一方面，還對非線性變換函數（濾噪）做了相應的處理，使其能正確地處理負數的輸入，并在F1層穩定后仍保持其負數形式，不會導致輸入模式的信息丟失；再一方面，為了消除離群點對聚類結果的影響，本文還對輸入模式進行了離群點的判定。最后，通過實驗驗證了這種改進方法的可行性和有效性。

2 傳統的ART2神經網絡

2.1 ART2神經網絡的結構

ART2神經網絡的基本思想是競爭學習機制和自穩學習機制[2]，ART2神經網絡為兩層結構[5，8]，分別為F1層和F2層，其中F1層有n個輸入節點，F2層有m個輸出節點。網絡的兩層之間既存在從F1層到F2層的前饋連接權wij(i=1，2，…，n;j=1，2，…，m)，也存在從F2層到F1層的反饋連接權tij(i=1，2，…，n;j=1，2，…，m)，此外，網絡還包含一個復位信號R來實現F2層的重置。ART2神經網絡中單個神經元的典型結構如圖1所示。

圖1 ART2神經網絡中單個神經元結構圖

ART2神經網絡也可以分成注意子系統和取向子系統。注意子系統完成自下向上矢量的競爭選擇及矢量間相似度的比較，取向子系統檢查相似度能否達到滿意的標準，并作出相應的動作。

2.2 ART2神經網絡學習算法

其中公式（3）中函數f(x)是非線性處理函數，用于對傳送的信號進行非線性變換，歸一化處理和非線性處理的結合確定了噪聲判定標準，并使網絡能夠從噪聲中分離出信號，非線性處理函數f(x)的非線性程度決定了對比增強和噪聲抑制的程度，函數f(x)定義為：

F2層選擇出獲勝神經元j并送回一個反饋信號，然后計算STM變量P和U的匹配度‖‖R，也就是F1層中經過處理的STM信號與激活的LTM（Long Time Memory）信號之間的匹配度，計算公式如下：

當‖R‖大于規定的警戒值ρ時，LTM信號進入學習階段，即

反之，取向子系統發出重置信號，F2層神經元重新競爭，相似度第二大的神經元獲勝。

3 一種改進的ART2神經網絡

傳統的ART2神經網絡是按相位信息聚類的，與幅值信息無關[9-15]。傳統的ART2神經網絡在處理相同相位信息而幅值信息不同的兩個簇時，效果很不理想。一些文章中也提到了通過比較權值和輸入樣本的模來恢復幅度信息[7]，但這種權值并不能反映模式原型的幅度信息，所以仍然無法利用幅度信息。

對原始數據有正有負的數據樣本，由于傳統的ART2網絡存在輸入域的限制[13]，傳統的ART2網絡的F1層中將樣本數據的非正實數抑制為0，因此傳統的ART2網絡不能將位于第二、三、四象限的數據樣本進行有效地分類。

同時，傳統的ART2神經網絡對離群點的存在不敏感，為了盡量消除離群點對聚類結果的影響，本文改進算法通過將離群點另外作為一類，以減小離群點對聚類結果的影響。

針對傳統ART2神經網絡存在的上述不足之處，本文通過在輸入激活過程中，計算其到各個簇的中心點的最短距離，綜合考慮其幅度信息，若相位和幅度兩者均超過相應的警戒閾值時，才發生諧振并調整權值；對非線性變換函數（濾噪），也做了相應的處理，使其能正確地處理負數的輸入，并在F1層穩定后仍保持其負數形式，以免導致輸入模式的信息丟失；為了消除離群點對聚類結果的影響，本文還對輸入模式進行了離群點的判定，并增加一個閾值R_dis來檢測離群點。改進的ART2神經網絡相位與幅度匹配如圖2所示。

圖2 改進的ART2神經網絡中相位與幅度匹配

該方法的主要思想是：在數據樣本進入F1層，經過F1層的自穩學習后，幅度信息原型Ii通過進行競爭學習找出獲勝神經元，與其距離最短的神經元獲勝。獲勝神經元自上向下反饋一個信號強度，反饋的信息P=(p1，p2，…，pn)與F1層中穩定的輸入模式的相位信息U=(u1，u2，…，un)進行相位匹配度計算以及離群點檢測，若兩者有一個不符合所設定的閾值要求，則重新開辟一個簇，否則將輸入模式歸入獲勝神經元所在的簇。改進的ART2神經網絡算法流程如圖3所示。

圖3 改進的ART2算法流程圖

改進后的ART2網絡也包含注意子系統和取向子系統。注意子系統包括F1和F2兩個短期存儲單元STM以及連接F1和F2層的長期存儲單元LTM即連接權向量Wn×m和Tn×m，此時自下向上的連接權向量wij記錄的是簇的中心點幅度信息，其中第j列表示第j類的中心點。取向子系統的作用是計算輸入模式與記憶模式間相位匹配程度，即F1層穩定的中間模式U與獲勝神經元自上向下的反饋模式P進行相位匹配，以及對輸入模式進行離群點檢測，以此來決定網絡接下來的動作：共振或重置。

首先，對網絡進行初始化設置。改進的ART2網絡中F1層的初始化以及自上向下的權向量Tn×m的初始化和傳統的ART2網絡相同。簇的個數m設置為1，自下向上的連接權向量Wn×m初始化第一個輸入模式作為第一個簇的中心點，即同時還需要設定兩個閾值ρ和R_dis，ρ作為相位匹配度的警戒值，R_dis作為離群點判定的警戒值。

當n維輸入模式I=(I1，I2，…，In)進入F1層后，通過公式（1）～（6）計算F1層的穩定狀態，由于傳統的ART2網絡將非正實數統一作為0處理，非線性轉換函數將其作為噪聲處理，使得網絡丟失了該部分的信息，影響了整個聚類結果。因此需要調整非線性處理函數以便能正確地處理非正實數，防止將有用的信息誤作為噪聲處理。非線性處理函數調整為：

F1層達到穩定狀態后，輸入模式I經過自下向上的連接權向量Wn×m傳入F2層并進行競爭學習，找到與其距離最短的神經元作為獲勝神經元，即獲勝神經元被激活，其他神經元則處于抑制狀態，F2層選擇出獲勝神經元j并送回一個反饋信號，并計算F1層中經過處理的STM信號U與激活神經元的LTM信號的反饋值P之間的相位匹配度‖‖R。由于‖‖R反映的是P和U的整體匹配程度，而不管P和U的各分量之間的差異，在這里本文仍采用公式（11）進行相位匹配計算。若匹配度‖‖R大于所設定的閾值ρ，則對輸入模式進行離群點判定，即若kj大于預先設定的閾值R_dis，則將該輸入模式作為離群點處理，將該輸入模式作為單獨的一個類，將輸入模式劃入第j類中，網絡進入學習階段，自下向上的權向量wij更新為第j類的新的中心點即第j類所有數據樣本的各分量的均值，自上向下的權向量tij按公式（13）進行更新。

對于傳統ART2網絡，當輸入模式進入F1層后，進行共振直到F1層處于穩定狀態，由于輸入模式進入F1層時，F2層無反饋信息進入，實際上只需要1～2次共振使得F1層處于穩定狀態，再進入F2層，計算與F2層m個神經元的相似度，最大相似度神經元獲勝，獲勝神經元反饋一個信號，并進行匹配計算，如果匹配度小于預先設定的閾值則F2層重置，尋找次勝神經元，最壞情況下F2層重置次數為m次，否則網絡進入學習階段，因此，算法時間復雜度O(mn)，其中，n為輸入模式的個數；改進的ART2網絡在F1層仍只需要進行1～2次共振就能達到穩定狀態，F1層穩定后輸入模式傳遞至F2層，計算出與m個神經元的距離，距離最短的神經元獲勝，獲勝神經元反饋一個信號，并進行匹配計算，如果匹配度小于預先設定的閾值則F2層重置，尋找次勝神經元，最壞情況下F2層重置次數為m次，否則網絡進行一次離群點判定，改進算法F2層的判定次數要比傳統的ART2的判定次數多一次，即F2層重置次數的最壞情況為m+1次，故改進算法的時間復雜度仍為O(mn)。雖然改進算法的復雜度在數量級上無變化，但在處理相同相位不可分的情況下的準確率要比傳統ART2網絡有明顯提高。

4 實驗和結果分析

本文利用上述算法針對橫、縱坐標在[0，1]的范圍內隨機生成的5個特征明顯的類，每類包含30個數據樣本進行聚類。分別用傳統的ART2與改進后的ART2網絡對該數據樣本進行聚類，聚類結果分別如圖4和圖5所示，其中各個參數設置如表1所示，其中參數a、b、c、d、e的取值均參照文獻[2]中的參數設置，這些參數還可通過實驗經驗來取值。

圖4 傳統ART2網絡聚類結果

圖5 改進后ART2網絡聚類結果

表1 網絡參數設置表

圖6 傳統ART2的四個象限內數據聚類

圖7 改進后四個象限內數據樣本的聚類

傳統的ART2網絡在數據處理過程中將樣本數據進行歸一化處理，只保留了數據的相位信息，相位信息通過競爭學習進行聚類后，得到的聚類結果只考慮了數據樣本的相位信息而忽略了數據的幅度信息，將相位信息相同或相近的樣本數據劃分在同一個類中。由圖4可以看出，相位相同或相近的數據樣本被劃分在同一個類中，無法將相位相同或相近的兩個類區分開來。改進后的ART2網絡，在數據處理的過程中不僅將數據進行歸一化處理，同時還保留了數據原型的幅度信息。在競爭學習時，通過將幅度和相位信息兩者結合，能夠有效地對相位相同而幅度不同的兩個類進行正確聚類。由圖5還可看出，改進后的ART2網絡能對離群點進行有效地識別，類別6表示該數據點與其他5個類的中心點的最短距離要大于設定的閾值R_dis，該數據點被作為離群點處理。

對原始數據有正有負的數據樣本，由于傳統的ART2網絡存在輸入域的限制，傳統的ART2網絡的F1層中將樣本數據的非正實數抑制為0，因此傳統的ART2網絡不能將位于四個象限的數據樣本進行有效的分類。改進后的ART2網絡的非線性變換函數能處理負數的輸入，并在F1層穩定后仍保持其負數形式，所以該網絡還能對分別位于四個象限內的數據樣本進行有效地聚類。

本文針對傳統的ART2網絡和改進后的ART2網絡對分別位于四個象限的數據樣本的聚類作了一個對比分析，數據樣本是橫、縱坐標在[-1，1]范圍內隨機生成的5個特征明顯的類，每類包含30個數據樣本進行聚類。網絡的各個參數設置見表1。由圖6可以看出，傳統的ART2網絡對位于四個象限內的數據樣本的聚類效果很差，而圖7是使用改進后的ART2網絡對其進行聚類，顯而易見，改進后的ART2網絡可以對四個象限的數據進行很好的分類。

5 結論

通過上述理論和實驗結果，表明本文提出的一種改進的ART2神經網絡在處理相同相位的兩個簇時，性能優于傳統的ART2。該網絡同時考慮了數據的相位信息和數據原型的幅度信息，并消除了離群點對聚類結果的影響。通過變換非線性變換函數，改進后的ART2網絡能夠處理負值數據，對四個象限的數據能夠進行有效地聚類。通過實驗表明改進的ART2網絡在處理需要考慮幅度信息以及離群點的數據樣本時性能要明顯優于傳統的ART2網絡。

[1]Carpenter G A，Grossberg S.A massively parallel architecture for a self-organizing neural pattern recognition machine[J].ComputerVision，GraphicsandImageProcessing，1987，37（1）：54-115.

[2]Carpenter G A，Grossberg S.ART-2：self-organization of stable category recognition codes for analog input pattern[J].Applied Optics，1987，26（23）：4919-4930.

[3]Carpenter G A，Grossberg S.ART-3：hierarchical search usingchemicaltransmittersinself-organizingpattern recognition architectures[J].Neural Networks，1990，3（2）：129-152.

[4]馬銳，人工神經網絡原理[M].北京：機械工業出版社，2010.

[5]Frank T，Kraiss K F，Kuhlen T.Comparative-analysis of fuzzy art and ART2A network clustering performance[J]. IEEE Trans on Neural Nerwork，1988，9（3）：544-549.

[6]Li Liangjun，Zhang Bin，Che Yuanyuan.The improved algorithm of ART2 in data mining[C]//2009 1st International Workshop on Database Technology and Applications. Washington，DC：IEEE Computer Society，2009：177-180.

[7]顧民，葛良全.一種ART2神經網絡的改進算法[J].計算機應用，2007，27（4）：945-947.

[8]Hagan M T，Demuth H B.神經網絡設計[M].戴葵，譯.北京：機械工業出版社，2002.

[9]申岸偉，俞斌.一種提高ART-2神經網絡分類器性能的方法[J].信號處理，1996，12（1）：28-32.

[10]唐紅衛，桑農，曹治國，等.ART-2神經網絡的研究和改進[J].紅外與激光工程，2004，33（1）：101-106.

[11]徐永成，溫熙森，易曉山，等.ART-2A的同相位不可分問題及其解決方法[J].數據采集與處理，2001，16（4）：393-396.

[12]從爽，鄭毅松，王怡雯.ART-2神經網絡的改進及建模實現[J].計算機工程與應用，2002，38（14）：25-27.

[13]黎明，嚴超華，劉高航.具有更嚴格警戒測試準則的ART-2神經網絡[J].中國圖象圖形學報，2001，6（1）：81-85.

[14]姚關順.ART-2神經網絡的缺點及其改進[J].儀器儀表用戶，2008，15（2）：112-113.

[15]楊興，朱大奇，桑慶兵.一種改進的ART型神經網絡學習算法[J].計算機技術與發展，2006，16（9）：27-29.

CHEN Guocan,GAO Maoting

College of Information Engineering,Shanghai Maritime University,Shanghai 201306,China

While the matching measure of the pattern in clustering is only about the phase information and neglects the effects of the amplitude information of the patterns,traditional ART2 neural network can not cluster well for two clusters with the same phase but different amplitudes,and it also has limitation problem for inputs domain.As to the above disadvantages,an improved ART2 algorithm is put forward.The amplitude information of the patterns is also saved during the input pattern entering the network in the learning process,and the limitation is relaxed in a nonlinear transformation of negative numbers,and the shortest distance from the input pattern to the center of each cluster is taken into consideration. At the same time,a threshold to judge outliers is added to eliminate the influence of outliers on clustering results.Experimental results demonstrate that the performance of the improved ART2 is superior to the traditional ART2 when they cluster the two clusters with the same phase.

Adaptive Resonance Theory（ART）2 neural network;clustering;phase information;amplitude information

傳統ART2神經網絡在聚類過程中模式的匹配度量僅僅與模式的相位信息相關，這種匹配度量忽略了模式的幅度信息的作用，在對相位信息相同而幅度信息不同的兩個簇進行聚類時，效果很差；同時，它還存在輸入域限制的問題。針對這些不足之處，提出了一種改進的ART2神經網絡，在輸入模式進入網絡學習過程中，保存其幅值信息，放寬對負實數的非線性轉換，并考慮輸入模式到各個簇的中心點的最短距離，同時增加一個閾值對離群點進行判定，消除了離群點對聚類結果的影響。實驗驗證，改進的ART2網絡在對相同相位的兩個簇聚類時，性能明顯優于傳統的ART2網絡。

自適應共振理論（ART）2網絡；聚類；相位信息；幅度信息

A

TP391

10.3778/j.issn.1002-8331.1210-0155

CHEN Guocan,GAO Maoting.Improvement for ART2 neural network.Computer Engineering and Applications, 2014,50（18）：137-141.

上海市科委科技創新項目（No.12595810200）；上海海事大學科研項目（No.201100051）。

陳國燦（1990—），男，碩士研究生，CCF學生會員，主要研究領域為數據挖掘；高茂庭（1963—），男，博士，教授，CCF高級會員，主要研究領域為數據挖掘、數據庫與信息系統。E-mail：gcc1990@163.com

2012-10-16

2012-12-03

1002-8331（2014）18-0137-05

CNKI網絡優先出版：2013-01-11,http://www.cnki.net/kcms/detail/11.2127.TP.20130111.1111.028.html