神經網絡算法研究

王存宇　古衛明　吳翀　周晨

摘 要： 研究了神經網絡的模型和算法。神經網絡是由簡單處理單元構成的大規模并行分布式處理器，是對人腦的抽象、簡化和模擬，反映人腦的基本特性。它是根植于神經科學、數學、統計學、物理學、計算機科學等學科的一種技術。目前，神經網絡主要應用于網絡的軟硬件實現研究、各個領域特定問題的研究等。

關鍵詞： 神經網絡； 分布式處理器； 人腦； 神經元模型

中圖分類號：TP391.9 文獻標志碼：A 文章編號：1006-8228（2016）10-08-03

Study on neural network algorithm

Wang Cunyu， Gu Weiming， Wu Chong， Zhou Chen

（Zhejiang Topcheer Information Technology Co.，Ltd.， Hangzhou， Zhejiang 310006， China）

Abstract： The model and algorithm of neural network are studied in this paper. Neural network is a massive parallel and distributed processor which is composed of the simple processing units. It is an abstraction， simplification and simulation of the human brain， and reflects the basic characteristics of the human brain. It is a kind of technology rooted in the neural science， mathematics， statistics， physics， and computer science and so on. At present， the neural network is mainly used as a study in network hardware and software implementation and in the specific issues in various fields.

Key words： neural network； distributed processor； human brain； neuron model

0 引言

隨著人工智能技術的發展，神經網絡與模糊邏輯、專家系統、遺傳算法、小波、混沌、粗集、分形、證據理論、灰色系統等技術的融合已經成為智能技術的一個重要發展趨勢，有著很好的發展前景[2]。研究神經網絡的算法，最終實現與其他算法的結合是非常有意義的。

1 神經網絡特點

1.1 一般特點[3]

⑴ 由于神經網絡模仿人的大腦，采用自適應算法。使它較之專家系統的固定的推理方式及傳統計算機的指令程序方式更能夠適應環境的變化。總結規律，完成某種運算、推理、識別及控制任務，使其具有更高的智能水平，更接近人的大腦。

⑵ 較強的容錯能力，使神經網絡能夠和人工視覺系統一樣，根據對象的主要特征去識別對象。

⑶ 自學習、自組織功能及歸納能力。

1.2 自組織的特點

自組織特征映射神經網絡的固有特點決定了神經網絡相對傳統方法的優點：

⑴ 自組織特性，減少人為的干預，減少人的建模工作，這一點對于數學模型不清楚的物探數據處理尤為重要，減少不精確的甚至存在錯誤的模型給結果帶來的負面影響。

⑵ 強大的自適應能力大大減少了工作人員的編程工作，使得被解放出來的處理人員有更多的精力去考慮參數的調整對結果的影響，使得更快的改進方法成為可能。

⑶ 網絡工作過程中考慮數據和網絡拓撲結構的問題，更類似人類大腦思考問題的方式，問題的解決更符合人的特點，使得結果的可信程度加大。

⑷ 無導師學習機制，不需要教師信號。對于地球物理勘探這類的很少有準確的教師信號作為指導的問題而言，這一點很有優勢，很好的模仿人腦，所得結果是其他方法處理結果的很好的參考。

2 人類大腦

人的神經系統可看作三階段系統，如圖1（Arbib， 1987）所描繪的框圖所示。系統的中央是人腦，由神經網絡表示，它持續地接收信息，感知它并做出適當的決定。圖中有兩組箭頭，從左到右的箭頭表示攜帶信息的信號通過系統向前傳輸，從右到左的箭頭表示系統中的反債。感受器把來自人體或外界環境的刺激轉換成電沖擊，對神經網絡（大腦）傳送信息。神經網絡的效應器會將神經網絡產生的電沖擊轉換為可識別的響應從而作為系統的輸出。

3 神經網絡

3.1 神經元模型

⑴ 突觸或連接鏈集，每一個都由其權值或者強度作為特征。具體來說，在連到神經元k的突觸j上的輸人信號被乘以k的突觸權值。第一個下標指正在研究的這個神經元，第二個下標指權值所在的突觸的輸入端。和人腦中的突觸不一樣，人工神經元的突觸權值有一個范圍，可以取正值也可以取負值。

⑵ 加法器，用于求輸人信號被神經元的相應突觸加權的和。這個操作構成一個線性組合器。

⑶ 激活函數，用來限制神經元輸出振幅。由于它將輸出信號限制到允許范圍之內的一定值，故而激活函數也稱為壓制函數。通常，一個神經元輸出的正常幅度范圍可寫成單位閉區間[0，1]或者另一種區間[-1，+1]。

偏置bk的作用是根據其為正或為負，相應地增加或降低激活函數的網絡輸人。偏置bk的作用是對輸出作仿射變換，如下所示：

特別地，根據偏置bk取正或取負，神經元k的誘導局部域vk和線性組合器輸出uk的關系如圖3所示。若bk取正，則稱神經元處于激活狀態或興奮狀態，若bk取負，則稱神經元處于抑制狀態。這種“閾值加權和”的神經元模型稱為M-P模型，也稱為神經網絡的一個處理單元（PE）。

3.2 激活函數

激活函數的選擇是構建神經網絡過程中的重要環節。

由于S形函數與雙極S形函數都是可導的，因此適合用在BP神經網絡中。

3.3 神經網絡模型

神經網絡是由大量的神經元互聯而構成的網絡。根據網絡中神經元的互聯方式，常見網絡結構主要可以分為下面3類：

⑴ 前饋神經網絡

前饋網絡也稱前向網絡。在分層網絡中，神經元以層的形式組織。在最簡單的分層網絡中，源節點構成輸入層，直接投射到神經元輸出層（計算節點）上，反之則不然。感知機（ perceptron）與BP神經網絡就屬于前饋網絡。

圖4中是一個三層的前饋神經網絡，其中第一層是輸入單元，第二層稱為隱含層，第三層稱為輸出層（輸入單元不是神經元，因此圖中有兩層神經元）。

⑵ 反饋神經網絡

反饋型神經網絡是一種從輸出到輸入具有反饋連接的神經網絡，其結構比前饋網絡要復雜得多。典型的反饋型神經網絡有：Elman網絡和Hopfield網絡。

⑶ 遞歸網絡

遞歸網絡和前饋網絡的區別在于它至少有一個反饋環。如圖6所示，遞歸網絡可以由單層神經元組成，單層網絡的每一個神經元的輸出都反饋到所有其他神經元的輸人中。這個圖中描繪的結構沒有自反饋環；自反饋環表示神經元的輸出反饋到它自己的輸人上。圖6也沒有隱藏層。

4 結束語

神經網絡理論已在信號處理、人工智能[5]、模式識別、自動控制、輔助決策等眾多研究領域取得了廣泛的應用[6]，但其發展還不十分成熟，比如：神經計算的基礎理論框架以及生理層面的研究仍需深入。新的模型和結構的研究；神經網絡的可理解性問題；神經網絡技術與其他技術更好的結合等。

今后的研究應在充分利用神經網絡優點的基礎上，關注各個領域的新方法、新技術，發現他們之間的結合點，取長補短，并進行有效的融合，從而獲得比單一方法更好的效果。除此之外，還應當加強神經網絡基礎理論方面的研究和在實際應用方面的研究，使其在工程應用中發揮越來越大的作用。

參考文獻（References）：

[1] 樊振宇.BP神經網絡模型與學習算法[J].軟件導刊，2011.10（7）：

66-68

[2] 陳祥光，裴旭東.人工神經網絡技術及應用[M].中國電力出版

社，2003.

[3] 郭志安等著.神經計算機：概念、原理、算法、能力[M].四川教

育出版社，2001.

[4] 毛健，趙紅東，姚婧婧.人工神經網絡的發展及應用[J].電子設

計工程，2011.19（24）：62-65

[5] 虞和濟等著.基于神經網絡的智能[M].冶金工業出版社，2000.

[6] 王洪元，史國棟.人工神經網絡技術及其應用[M].中國石化

出版社，2002.

[7] Li Minyiang. Xu Boyi. Kou Jisong. On the cotnhinalion of

genetic algorithms and neural networks[J]. Systems Engineering-Theory $. Practice，1999.2：65-69