人工神經網絡在計算機中的應用前景分析

曲 川

摘要:神經網絡是人們在模仿人腦處理問題的過程中發展起來的一種新型智能信息處理理論,它通過大量的稱為神經元的簡單處理單元構成非線性動力學系統,對人腦的形象思維、聯想記憶等進行模擬和抽象,實現與人腦相似的學習、識別、記憶等信息處理能力。神經網絡在經歷了40多年的曲折發展之后,在信息科學領域等許多應用方面己顯示出巨大潛力和廣闊的應用前景。

關鍵詞:神經網絡;計算機;智能信息;應用

中圖分類號:TP183

文獻標識碼:A

文章編號:16723198(2009)20028602お

1神經網絡的定義

一般情況下,人工神經元網絡是作為信息處理單元來模仿大腦,執行特定的任務或完成感興趣的功能。關于它的定義有很多種,而下面的Hecht睳ielsen給出的神經網絡定義最具有代表意義: 神經網絡是一種并行的分布式信息處理結構,它通過稱為連接的單向信號通路將一些處理單元互連而成。每一個處理單元都有一個單輸出到所期望的連接。每一個處理單元傳送相同的信號——處理單元輸出信號。處理單元的輸出信號可以是任一種所要求的數學類型。在每一個處理單元中執行的信息處理在它必須完全是局部的限制下可以被任意定義,即它必須只依賴于處理單元所接受的輸入激勵信號的當前值和處理單元本身所存儲記憶的值。

2神經網絡的基本屬性

(1)非線性: 人腦的思維是非線性的,故人工神經網絡模擬人的思維也應是非線性的。

(2)非局域性: 非局域性是人的神經系統的一個特性,人的整體行為是非局域性的最明顯體現。神經網絡以大量的神經元連接模擬人腦的非局域性,它的分布存儲是非局域性的一種表現。

(3)非定常性: 神經網絡是模擬人腦思維運動的動力學系統,它應按不同時刻的外界刺激對自己的功能進行修改,故而它是一個時變的系統。

(4)非凸性:神經網絡的非凸性即是指它有多個極值,也即系統具有不只一個的較穩定的平衡狀態。這種屬性會使系統的演化多樣化。

3神經網絡模型的分類

(1)按照網絡的結構區分,則有前向網絡和反饋網絡。

(2)按照學習方式區分,則有教師學習和無教師學習網絡。

(3)按照網絡性能區分,則有連續型和離散性網絡,隨機型和確定型網絡。

(4)按照突觸性質區分,則有一階線性關聯網絡和高階非線性關聯網絡。

(5)按對生物神經系統的層次模擬區分,則有神經元層次模型,組合式模型,網絡層次模型,神經系統層次模型和智能型模型。

通常人們較多地考慮神經網絡的互連結構。一段而言,神經網絡有分層網絡、層內連接的分層網絡、反饋連接的分層網絡、互連網絡等4種互連結構。在人們提出的幾十種神經網絡模型中,人們較多用的是Hopfield網絡、BP網絡、Kohonen網絡和AR雙自適應共振理論網絡。

Hopfield網絡是最典型的反饋網絡模型,它是目前人們研究得最多的模型之一。Hopfield網絡是由相同的神經元構成的單層,并且不具學習功能的自聯想網絡。它需要對稱連接。這個網絡習以完成制約優化和聯想記憶等功能。

BP網絡是誤差反向傳播(Back Propagation)網絡。它是一種多層前向網絡,采用最小均方差學習方式。這是一種最廣泛應用的網絡。它可用于語言綜合,識別和自適應控制等用途。BP網絡需有教師訓練。

Kohonen網絡是典型的自組織神經網絡,這種網絡也稱為自組織特征映射網絡SOM。它的輸入層是單層單維神經元;而輸出層是二維的神經元,神經元之間存在以“墨西哥帽”形式進行側向交互的作用。因而,在輸出層中,神經元之間有近揚遠抑的反饋特性,從而使Kohonen網絡可以作為模式特征的檢測器。

ART網絡也是一種自組織網絡模型。這是一種無教師學習網絡。它能夠較好地協調適應性,穩定性和復雜性的要求。在ART網絡中,通常需要兩個功能互補的子系統相互作用.這兩個子系統稱注意子系統和取向子系統。ART網絡主要用于模式識別,它不足之處是在于對轉換、失真和規模變化較敏感。

4誤差反向傳播的前饋網絡(BP網絡)

學習是神經網絡一種最重要也最令人注目的特點。自從40年代Hebb提出的學習規則以來,人們相繼提出了各種各樣的學習算法。其中以在1986年Rumelhart等提出的誤差反向傳播法,即BP(error BackPropagation)法影響最為廣泛。直到今天,BP算法仍然是最重要、應用最多的有效算法。

(1)神經網絡的學習機理和機構:在神經網絡中,對外部環境提供的模式樣本進行學習訓練,并能存儲這種模式,則稱為感知器,感知器采用有教師信號進行學習。感知器的學習是神經網絡最典型的學習。這種學習系統分成三個部分:輸入部,訓練部和輸出部。

輸入部接收外來的輸入樣本X,由訓練部進行網絡的權值W調整,然后由輸出部輸出結果。在這個過程中,期望的輸出信號可以作為教師信號輸入,由該教師信號與實際輸出進行比較,產生的誤差去控制修改權值W。

(2)神經網絡學習的梯度算法:從感知器的學習算法可知,學習的目的是在于修改網絡中的權值,使到網絡對于所輸入的模式樣本能正確分類。當學習結束時,也即神經網絡能正確分類時,顯然權值就反映了同類輸人模式樣本的共同特征。換句話講,權值就是存儲了的輸人模式。由于權值是分散存在的,故神經網絡自然而然就有分布存儲的特點。

感知器學習算法相當簡單,當函數不是線性可分時求不出結果,而且不能推廣到一般前饋網絡中,為此出現了另一種算法-梯度算法((LMS)。梯度算法把神經元的激發函數改為可微分函數,例如非對稱Sigmoid函數為f (x) = l/(1 + e-x ),或對稱Sigmoid函數f (x) = (1 - e-x )/ (1 + e-x ) 梯度法比原來感知器的學習算法進了一大步。

(3)反向傳播學習的BP算法:感知機學習算法是一種單層網絡的學習算法。在多層網絡中,它只能改變最后權值。因此,感知機學習算法不能用于多層神經網絡的學習。1986年,Rumelhart提出了反向傳播學習算法,即BP算法。這種算法可以對網絡中各層的權值進行修正,故適用于多層網絡的學習。

它含有輸人層、輸出層以及處于輸入輸出層之間單層或多層的中間層,即隱含層。隱含層雖然和外界不連接,但是,它們的狀態則影響輸入輸出之間的關系。這也是說,改變隱含層的權值,可以改變整個多層神經網絡的性能。

5結語

神經網絡模式識別方法是近幾年興起的模式識別領域的一個新的研究方向。由于神經網絡的高速并行處理、分布存貯信息等特性符合人類視覺系統的基本工作原則,具有很強的自學習性、自組織性、容錯性、高度非線性、高魯棒性、聯想記憶功能和推理意識功能等,能夠實現目前基于計算理論層次上的模式識別理論所無法完成的模式信息處理工作,所以,采用神經網絡進行模式識別,突破了傳統模式識別技術的束縛,開辟了模式識別發展的新途徑。同時,神經網絡模式識別也成為神經網絡最成功和最有前途的應用領域之一。