神經網絡介紹及其應用

張曉艷 陳曉豐 游星星 曾星昀 劉書近 劉小軍/重慶交通大學

神經網絡介紹及其應用

張曉艷 陳曉豐 游星星 曾星昀 劉書近 劉小軍/重慶交通大學

本文介紹了神經網絡發展歷史、結構、特點、以及應用范圍，對神經網絡的發展前景進行了展望，最后簡述脈沖控制與脈沖復變神經網絡。

神經元；神經網絡；應用與研究前沿；脈沖控制；脈沖復變神經網絡

1.引言

人工神經網絡是近幾年發展起來的交叉學科，它是用物理或數學方法實現的系統來模擬人腦神經細胞的功能，其涉及生物、電子、計算機、數學和物理等學科，有著非常廣泛的應用前景。人工神經網絡不僅僅是一種算法，而且也可由電子器件組為硬件實現其功能，即它可用軟件或軟件均可實現，它可解決大量復雜的或至今人類無法找出的及未知的函數關系的擬合，可作類似人類的模式識別能力，是由于在構造它的時候，對其進行了大量的訓練，使它積累了有關知識，學會了這種判別能力。

2.神經網絡

2.1神經網絡簡介[1]：

神經網絡，即是以人腦的生理研究成果為基礎的，也是生物神經網絡系統高度簡化后的一種近似，它可以在不同程度、不同層次上模擬人腦神經系統的結構及其信息處理、存儲和檢索等功能。在過去三十年中發展活躍，由于它擁有良好的非線性映射能力、自學習適應能力和并行信息處理能力，可以處理不確定非線性系統問題，因此具有較高的智能水平和實用價值，在眾多領域內得到了廣泛的應用。

2.2神經網絡的更迭：

神經網絡自誕生以來，歷時半個世紀，經歷了5個階段：

奠基階段，上世紀40年代，1943年，美國神經生物學家Mcculloch和數理邏輯學家Pitts從人腦信息處理的立場上出發，運用數理模型研究了腦細胞的動作和結構及生物元的一些基本生理特性，提出了第一個神經計算模型，即神經元的閾值元件模型(M-P型)，他們從原理上證明了人工神經網絡可以計算任何算數和邏輯函數，邁出了人工神經網絡研究的第一步，該模型有興奮和抑制兩種狀態，可以完成有限的邏輯運算，雖然簡單卻沿用至今，并直接影響這一領域研究的進展，成為人工神經網絡研究的先驅。

第一次高潮階段，50年代后期，計算機科學家F·Rosenblatt設計制作了“感知機”--一種多層的神經網絡模型，它由閾值型神經元組成，用以模擬動物和人腦的感知和學習能力，適用于模式識別、聯想記憶等人們感興趣的實用技術，包含了現代神經計算機的基本原理。這項工作首次把人工神經網絡的研究從理論探討付諸工程實踐，掀起了人工神經網絡的第一次研究熱潮。

堅持階段，1960年Bernard Widrow和Ted Hoff提出自適應線性元件網絡，這是一種連續取值的線性加權求和閾值網絡，在后來的誤差反向傳播和自適應信號處理系統中得到了廣泛應用。在1969年，Marvin Minsky和Seymour Papert論證了簡單的線性感知器功能是有限的，并斷言這種感知器無科學價值可言。經管如此，仍有不少學者在極端艱難的條件下致力于神經網絡的研究，如美國學者Stephen Grossberg等提出了自適應共振理論（ART模型），并在之后的若干年發展了ART1、ART2和ART3三種神經網絡模型；芬蘭學者Kohonen提出了自適應映射理論模型，這些工作為以后的神經網絡的研究和發展奠定了理論基礎。

第二次高潮階段，Kohonen提出了自組織映射網絡模型，并在計算機上進行了模擬。80年代初期，模擬與數字混合的超大規模集成電路制作技術提高到新的水平。美國的物理學家Hopfield于1982年和1984年在美國科學院院刊上發表了兩篇關于人工神經網絡研究的論文，引起了巨大的反響，人們重新認識到神經網絡的威力以及付諸應用的現實性。隨即，一大批學者和研究人員圍繞著 Hopfield提出的方法展開了進一步的工作，形成了80年代中期以來人工神經網絡的研究熱潮[2]。

新發展階段，90年代初，對神經網絡的發展產生了很大的影響是諾貝爾獎獲得者 Edelman提出了Darwinism模型，建立了一種神經網絡系統理論。1994年廖曉昕對細胞神經網絡建立了新的數學理論與基礎，得出了一系列結果，如耗散性、平衡位置的數目及表示，平衡態的全局穩定性、區域穩定性、周期解的存在性和吸引性等，使這個領域取得了新的進展。

2.3神經網絡的結構與特點：

神經網絡是一個復雜的互聯系統，單元之間的互聯模式將對網絡的性能與功能產生影響，其由許多相互連接的神經元（也稱為單元或節點）以及外部環境輸入組成，每一個神經元都執行兩個功能：把來自其他神經元的輸入施以不同的連接權并對外部輸入進行疊加，同時對這個疊加的輸入進行非線性變換產生一個輸出，該輸出又通過連接權刺激其他神經元相連。要設計一個神經網絡，必須包含神經元間的連接模式、激勵函數、連接權值和神經元個數這四個方面。

按照其連接方式的不同的特點，神經網絡可以分為兩種，即前饋神經網絡和反饋（遞歸）神經網絡，前饋神經網絡主要是函數映射，其各神經元接收前一層的輸入，并輸出到下一層，沒有反饋。在沒有反饋的神經網絡中，信號一旦通過某個神經元，過程就結束了，而在遞歸神經網絡中，信號要在神經元之間反復往返傳遞，神經網絡處在一種不斷改變狀態的動態過程中。因為有反饋的存在，所以遞歸神經網絡是一個非線性動力系統，可用來實現聯想記憶和求解優化等問題[3]。

利用激勵函數的形式多樣化的特點，并根據其不同特性可以構造功能各異的神經網絡，典型的激勵函數包括階梯函數、線性作用函數和Sigmoid函數等。研究表明，選擇適當的激勵函數可以大大改善神經網絡的性能，因此推廣可使用的激勵函數范圍，在更加廣泛的意義下研究神經網絡的穩定性與混沌同步不僅可以推動神經網絡的完善與發展，而且能為神經網絡的實際應用奠定堅實的基礎。

2.4神經網絡的應用與研究前沿

神經網絡系統是一個高度非線性的超大規模連續時間動力學系統，具備大規模的并行處理和分布式的信息存儲能力，擁有良好的自適應、自組織性以及很強的學習功能、聯想功能和容錯功能，其突破了傳統的以線性處理為基礎的數字電子計算機的局限，標志著人類智能信息處理能力和模擬人腦智能行為能力的一大飛躍。

目前大批學者圍繞神經網絡展開了進一步的研究工作，大量的神經網絡模型相繼被提出，如競爭神經網絡模型、憶阻器神經網絡模型、分數階神經網絡模型等。由于神經網絡獨特的結構和處理信息的方法，使其在最優化計算、自動控制、信號處理、模式識別、故障診斷、海洋遙控、時間序列分析、機器人運動學等許多實際領域表現出良好的智能特性和潛在的應用前景。神經網絡的研究前沿領域還包括以下幾個方面：智能和機器（機器智能化）、神經計算和進化計算（相互促進）、神經網絡結構和神經元芯片（高科技領域中的神經計算機與神經元芯片）等[3]。

神經網絡成功應用的前提是動力學行為，由于其非線性的特征，神經網絡往往具有非常復雜的動力學性態，如平衡點、周期解、分支、行波解和混沌等，在時滯神經網絡（一種復雜的動態系統）中適當的選擇系統的參數和時滯可使其表現出復雜的動態行為，甚至混沌特征。目前，時滯神經網絡的混沌同步在保密通信、圖像處理等應用方面取得了可喜的進展，并通過對耦合混沌神經網絡系統的大量理論研究、數值模擬和電路實驗，提出了許多同步控制方案，如自適應控制、脈沖控制等。

3.脈沖復變神經網絡

3.1脈沖控制

通過對耦合混沌神經網絡系統的研究，提出了許多同步控制方案，包括線性狀態誤差反饋控制、樣本點控制、脈沖控制、間歇控制等，而在實際的應用中，使用連續控制消耗巨大，實用性不強，脈沖控制恰好用來降低成本并減少消耗。

脈沖控制是基于脈沖微分方程的控制方法，其僅僅在某些時點上施加控制，具有控制器結構簡單、易于實現，控制系統的魯棒性比較強（適于解決強非線性、實變、復變等問題）等優點，并在混沌控制、混沌同步、復雜網絡同步等領域得到了越來越廣泛的應用。

3.2脈沖復變神經網絡

神經網絡類型的劃分有多種方法，根據其處理數據的類型，神經網絡可分為兩類：實值神經網絡和復值神經網絡。復值神經網絡神經元的狀態、輸出以及網絡的權值都是復值，它能直接處理復值數據，既自然又方便，另外，由于復值信號能夠攜帶振幅和相位信息，因此能夠直接處理復值數據的復值神經網絡，具有獨特的優勢[4]。結合脈沖既能使穩定的神經網絡不穩定，也能讓不穩定的神經網絡穩定的特點，將脈沖控制引入到復值神經網絡中，建立脈沖復值神經網絡并研究其穩定性具有重要的理論和使用價值。

[1]鐘守銘，劉碧森.神經網絡穩定性理論[M].科學出版社，2008.

[2]劉永紅，http://www.cppblog.com/guijie/archive/2015/02/20/4882.html，2016.4.

[3]甘勤濤，徐瑞.時滯神經網絡的穩定性與同步控制[M].科學出版社，2016.2.

[4]閆歡，宋乾坤，趙振江.時間標度上時滯脈沖復值神經網絡的全局穩定性[D].應用數學和力學，2015.11，36(11):1000-0887.