基于神經(jīng)網(wǎng)絡(luò)的模式分類(lèi)方法的研究

摘要：利用神經(jīng)網(wǎng)絡(luò)進(jìn)行模式分類(lèi)時(shí)，可采用有導(dǎo)師分類(lèi)方法，也可進(jìn)行無(wú)導(dǎo)師的聚類(lèi)方法，該文分析比較幾種可用于模式分類(lèi)神經(jīng)網(wǎng)絡(luò)的特征和各自的優(yōu)缺點(diǎn)，提出在特定的情況下可選用特定的神經(jīng)網(wǎng)絡(luò)進(jìn)行分類(lèi)，也可根據(jù)實(shí)際情況進(jìn)行綜合。

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò)；模式；分類(lèi)

中圖分類(lèi)號(hào)：TP183文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1009-3044(2009)04-0922-02

The Research of the Classification of Model with Neural Network

GUO Xiao-yan

(Gansu Agriculture University， Information Science Technology College， Lanzhou 730070， China)

Abstract: The problems of classification of model with neural network can be solved by the help oftutors information， and also be solved by the help of clustering without the tutors information.This article analyzes andcompares several neural network models being used for classification of model，reach a conclusionthat inparticular situation different models of neural network can bechoiced ， and if nessesary aintegratedway can be used.

Key words: neural network; classification; model

傳統(tǒng)的分類(lèi)方法對(duì)于同類(lèi)相聚，異類(lèi)分離比較有優(yōu)勢(shì)，但客觀世界中許多事物在樣本空間中的區(qū)域分割曲面非常復(fù)雜，相近的樣本可能屬于不同的類(lèi)，而遠(yuǎn)離的樣本可能屬于同一類(lèi)1。模式是對(duì)某些感興趣的客體的定量描述或結(jié)構(gòu)描述，模式類(lèi)是具有某些共同特征的模式的集合。模式分類(lèi)可分為兩種類(lèi)型，分類(lèi)和聚類(lèi)，分類(lèi)是在類(lèi)別知識(shí)等導(dǎo)師信息的指導(dǎo)下，將待識(shí)別的輸入模式分配到各自的模式類(lèi)中去。聚類(lèi)是無(wú)導(dǎo)師的分類(lèi)方法，它是將相似的模式樣本劃歸為一類(lèi)，而將不相似的分離開(kāi)，實(shí)現(xiàn)了模式樣本類(lèi)內(nèi)相似性和類(lèi)間分離性。通過(guò)聚類(lèi)，可以發(fā)現(xiàn)原始樣本的分布特性。

神經(jīng)網(wǎng)絡(luò)對(duì)外界的輸入樣本具有很強(qiáng)的識(shí)別能力，可以發(fā)現(xiàn)輸入樣本自身的聯(lián)系和規(guī)律以及輸入樣本和期望輸出之間的非線性規(guī)律，因此在模式分類(lèi)方面具有傳統(tǒng)分類(lèi)方法無(wú)法比擬的優(yōu)點(diǎn)。人工神經(jīng)網(wǎng)絡(luò)在模式分類(lèi)方面提出了大量了網(wǎng)絡(luò)模型，發(fā)現(xiàn)了許多學(xué)習(xí)算法。

1 無(wú)導(dǎo)師分類(lèi)機(jī)制

對(duì)于無(wú)導(dǎo)師的模式分類(lèi)只從輸入樣本入手，通過(guò)分析與比較，找到輸入樣本的特征和內(nèi)在規(guī)律，從而將具有相似性的樣本聚為一類(lèi)。

1.1 SOM網(wǎng)

SOM 網(wǎng)屬于自組織映射神經(jīng)網(wǎng)絡(luò)，SOM神經(jīng)網(wǎng)絡(luò)接收外界的輸入模式時(shí)，會(huì)分為不同的對(duì)應(yīng)區(qū)域，各區(qū)域?qū)Σ煌妮斎肽Ｊ綍?huì)有不同的響應(yīng)特征，利用這個(gè)特征可以對(duì)輸入模式進(jìn)行分類(lèi)。

算法思想：

它的學(xué)習(xí)規(guī)則是“勝者為王”。找出和輸入向量最為相似的競(jìng)爭(zhēng)層神經(jīng)元（即獲勝神經(jīng)元），在一個(gè)以該神經(jīng)元為中心的鄰域內(nèi)對(duì)本區(qū)域內(nèi)的所有神經(jīng)元的權(quán)值進(jìn)行不同程度的調(diào)整，調(diào)整的原則是由遠(yuǎn)及近，由興奮變?yōu)橐种疲瑱?quán)值調(diào)整的結(jié)果是使競(jìng)爭(zhēng)層的特定神經(jīng)元變得對(duì)輸入層的某些樣本敏感，從而達(dá)到分類(lèi)的目的。

算法步驟：

1) 找出獲勝神經(jīng)元

對(duì)于每一個(gè)輸入模式向量 X，競(jìng)爭(zhēng)層的所有神經(jīng)元對(duì)應(yīng)的內(nèi)星權(quán)向量Wj(j=1，2，…，m)均與X進(jìn)行比較，將與X最為相似的神經(jīng)元判為獲勝神經(jīng)元。其權(quán)值記為Wj*。相似性量度為X和W的歐氏距離或夾角余弦。

■

m是競(jìng)爭(zhēng)層神經(jīng)元個(gè)數(shù)。

d=||X-Wj*||=min||X-Wj*||(j=1，2，…，n)

d為輸入向量X離獲勝神經(jīng)元的距離

2) 找出一個(gè)Wj*的一個(gè)鄰域Sj，對(duì)于Sj內(nèi)的所有權(quán)值進(jìn)行調(diào)整。

3) 權(quán)值調(diào)整

Wj(t+1)=Wj(t)+α[X-Wj(t)]

α為學(xué)習(xí)率，隨著t的增加，α的值在不斷地減小。

權(quán)值的調(diào)整是使得獲勝結(jié)點(diǎn)更加接近輸入樣本，從而使競(jìng)爭(zhēng)層的每一個(gè)神經(jīng)元變?yōu)橐粋€(gè)聚類(lèi)中心。當(dāng)向網(wǎng)絡(luò)輸入一個(gè)模式時(shí)，競(jìng)爭(zhēng)層中哪個(gè)神經(jīng)元獲勝使輸出為1，當(dāng)前輸入就歸為哪類(lèi)。

通過(guò)聚類(lèi)進(jìn)行模式劃分的方法還有模糊聚類(lèi)，K-均值聚類(lèi)，HCM，最近鄰聚類(lèi)(NN算法)等，這些算法的最主要優(yōu)點(diǎn)就是不需要導(dǎo)師信號(hào)，這對(duì)于一些無(wú)法得到導(dǎo)師信號(hào)的模式分類(lèi)情況來(lái)說(shuō)是有優(yōu)勢(shì)的。

2 有導(dǎo)師分類(lèi)機(jī)制

基于無(wú)導(dǎo)師的聚類(lèi)算法只考慮輸入樣本，而沒(méi)有考慮輸入樣本所對(duì)應(yīng)的輸出、這就使得這樣的分類(lèi)不是最優(yōu)的。

2.1 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)利用導(dǎo)師信號(hào)和輸入樣本來(lái)訓(xùn)練網(wǎng)絡(luò)的權(quán)值，從而找到從輸入樣本到導(dǎo)師信號(hào)（期望輸出）之間的非經(jīng)性變幻規(guī)律來(lái)修整權(quán)值，經(jīng)過(guò)測(cè)試樣本和期望輸出的多次訓(xùn)練來(lái)使成熟的網(wǎng)絡(luò)穩(wěn)定，當(dāng)有新的輸入時(shí)，就可根據(jù)此規(guī)律對(duì)它樣本進(jìn)行正確的分類(lèi)。

BP神經(jīng)網(wǎng)絡(luò)的算法思想是：輸入樣本自輸入層傳入，由各隱層處理后，傳向輸出層，這屬于正向傳播；如果輸出與期望輸出(導(dǎo)師信號(hào))不符，得到誤差值，輸出誤差通過(guò)隱層向輸入層逐反向傳播，并將誤差分?jǐn)偨o各層的所有單元，從而獲得各層單元的誤差信號(hào)，此誤差信號(hào)成為修正各單元權(quán)值的依據(jù)。

2.1.1 BP神經(jīng)網(wǎng)絡(luò)的描述1(圖2)

1） 正向傳播

對(duì)于有單個(gè)隱層單元的BP神經(jīng)網(wǎng)絡(luò)而言

隱層輸出：

■

輸出層：

■

l 為輸出層神經(jīng)元的個(gè)數(shù)m為隱層神經(jīng)元的個(gè)數(shù)n為輸入層神經(jīng)元的個(gè)數(shù)

f(x)可采用單極性的Sigmoid函數(shù)：

■

2）反向修正權(quán)值

輸出誤差E定義如下：

■

其中d為導(dǎo)師信號(hào)（期望輸出），o為實(shí)際輸出

進(jìn)一步展開(kāi)至輸入層，有：

■

權(quán)值修正：

■

η是學(xué)習(xí)率，可以控制學(xué)習(xí)的時(shí)間和快慢。

在BP神經(jīng)網(wǎng)絡(luò)中，利用導(dǎo)師信號(hào)和神經(jīng)網(wǎng)絡(luò)的輸出得到總誤差E，調(diào)整權(quán)值時(shí)，按誤差梯度下降的原則進(jìn)行。利用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行分類(lèi)時(shí)，可以利用導(dǎo)師信息先規(guī)定類(lèi)別信息，再利用輸入樣本和類(lèi)別信息得出E，從而反向調(diào)整ω，ν值，如果網(wǎng)絡(luò)的總誤差小于一個(gè)特定的值，可認(rèn)為網(wǎng)絡(luò)訓(xùn)練結(jié)束，得到最終的ω，ν值。對(duì)于新的樣本，此訓(xùn)練好的網(wǎng)絡(luò)便可進(jìn)行正確分類(lèi)。

3 徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)

利用BP網(wǎng)絡(luò)進(jìn)行分類(lèi)時(shí)，完全沒(méi)有考慮輸入樣本的特征，只利用導(dǎo)師信息進(jìn)行權(quán)值的修正，因此學(xué)習(xí)時(shí)間很長(zhǎng)，分類(lèi)的精度也不是非常高，錯(cuò)分的情況很多。通常，輸入樣本本身具有某種規(guī)律性，利用現(xiàn)有樣本的自身規(guī)律加上導(dǎo)師信號(hào)的限制，可以大大提高分類(lèi)的精度，同時(shí)可以縮短學(xué)習(xí)的時(shí)間。徑向基函數(shù)網(wǎng)絡(luò)就是基于這種思想。

用徑向基函數(shù)作為隱單元的“基”，構(gòu)成隱含層空間。隱含層對(duì)輸入向量進(jìn)行變換，將低維空間的模式變到高維空間中，使低維空間中的不可分問(wèn)題在高維空間中變得可分。

算法思想：

1）找到分類(lèi)中心向量，也稱(chēng)基向量，(一般用K-均值法，動(dòng)態(tài)聚類(lèi)法等)，假定分類(lèi)中心向量個(gè)數(shù)為 個(gè)，這也就決定隱層神經(jīng)元的個(gè)數(shù)。

2）算出輸入樣本到各個(gè)分類(lèi)中心向量的距離d，利用基函數(shù)f(x)，自變量為d，得到隱層輸出，只有離分類(lèi)中心最近的向量得到較大的輸出。

■

p是輸入樣本個(gè)數(shù)，j是聚類(lèi)中心的個(gè)數(shù)，k是樣本和聚類(lèi)中心向量的維數(shù)。

■

3）最后通過(guò)隱層到輸出層的線性變換得到最終的輸出，則：

■

學(xué)習(xí)算法：

1）利用無(wú)導(dǎo)師機(jī)制選取分類(lèi)中心向量；

2）利用有導(dǎo)師信號(hào)修正隱層到輸出層的權(quán)值，權(quán)值的修正仍用類(lèi)似BP神經(jīng)網(wǎng)絡(luò)的梯度下降算法。

徑向基函數(shù)網(wǎng)絡(luò)對(duì)于輸入層向隱層的變換是非線性的，而隱層到輸出層變換進(jìn)線性的，在確定中心結(jié)點(diǎn)時(shí)，可采用無(wú)導(dǎo)師的聚類(lèi)機(jī)制，當(dāng)修正隱層到輸出層的權(quán)值時(shí)可采用有導(dǎo)師機(jī)制，此兩種方法結(jié)合即可發(fā)現(xiàn)輸入樣本中的內(nèi)在規(guī)律，又可利用導(dǎo)師信號(hào)進(jìn)行約束從而提高分類(lèi)的精度和縮短學(xué)習(xí)的時(shí)間。

3 結(jié)論

利用神經(jīng)網(wǎng)絡(luò)進(jìn)行分類(lèi)時(shí)，如果可以得到導(dǎo)師信號(hào)，可采用徑向基神經(jīng)網(wǎng)絡(luò)，或BP神經(jīng)網(wǎng)絡(luò)，徑向基神經(jīng)網(wǎng)絡(luò)收縮速度快，不容易陷入局部極小值，在解決分類(lèi)時(shí)和般優(yōu)越于BP神經(jīng)網(wǎng)絡(luò)，如果無(wú)法得到導(dǎo)師信號(hào)，則可采用自組織神經(jīng)網(wǎng)絡(luò)SOM網(wǎng)絡(luò)，通常SOM也可以用在徑向基神經(jīng)網(wǎng)絡(luò)的選用中心向量問(wèn)題上。

參考文獻(xiàn)：

[1] 韓力群.人工神經(jīng)網(wǎng)絡(luò)理論、設(shè)計(jì)及應(yīng)用[M].2版.北京:化學(xué)工業(yè)出版社，2007.

[2] 侯媛彬，杜京義，汪梅.神經(jīng)網(wǎng)絡(luò)[M].西安:西安電子科技大學(xué)出版社，2007.

[3] 徐強(qiáng)恩，羅四維，李建瑜.徑向基神經(jīng)網(wǎng)絡(luò)的一種在線學(xué)習(xí)算法[J].北方交通大學(xué)學(xué)報(bào)，2003(2):92-94.