具有不連續激勵函數的神經網絡有限時間同步方案設計

種倩倩 王定國 劉影影

摘要：本文介紹神經網絡在信息工程領域中的應用，尤其是具有不連續激勵函數神經網絡的研究背景和應用，不同于傳統神經網絡有限時間同步方案，設計了該類神經網絡有限時間同步方案，為相關領域科技工作者提供了參考。

關鍵詞：神經網絡；不連續激勵函數；有限時間；同步

中圖分類號：TP13 文獻標識碼：A 文章編號：1009-3044（2019）05-0165-02

Design of Finite Time Synchronization Scheme for Neural Networks with Discontinuous Activations

CHONG Qian-qian， WANG Ding-guo， LIU Ying-ying

（School of Mathematics and Big Data， Anhui University of Science and Technology， Huainan 232001，China）

Abstract： This paper introduces the application of neural network in the field of information engineering， especially the research background and application of neural network with discontinuous activation functions. Different from the finite-time synchronization scheme of traditional neural networks， the finite-time synchronization scheme is designed for the considered neural networks， which provides a reference for scientific and technological workers in the related fields.

Key words： Neural networks； Discontinuous activations； Finite time； Synchronization

1 應用背景簡介

眾所周知，神經網絡是以大腦的生理研究成果為基礎，通過對人腦和生物系統若干基本特征的抽象和模擬，由人工建立的以有向圖為拓撲結構的大規模神經動力系統；通過對連續或離散的輸入作狀態響應，進而實現信息處理功能，主要用于模擬大腦的一些原理與機制，實現某特定個方面的功能，同時根據人腦微小構造及其智能行為，結合模擬人腦的工作特點和方式所產生的信息處理技術，是人工智能研究領域的一項迫切且重要的研究課題。為了實際需要，諸多類型的神經網絡模型如，Hopfield 神經網絡，BAM 神經網絡，Cohen-Grossberg神經網絡，競爭神經網絡模型等被廣泛提出并應用于被廣泛應用于聯想記憶、優化計算、魯棒控制、模式識別等領域，因此關于其動力學行為的研究成為神經網絡應用的前提條件[1]。神經網絡最為突出的特性是其具有大規模的處理單元及其相互之間的結構，其單元結構雖然簡單，但由于它的非線性特征，其集群行為可能非常復雜，并具有強大的并行和分布計算能力。

從動力學的觀點來看，神經網絡是一個具有高緯度的非線性動力系統，其中，它的前向網的學習工程和反饋網的聯想記憶工程可由它的兩個動力學子系統來運行并實現。神經網絡的記憶具有動態特征，在其信息重現的過程中，為了處理新信息的接收，就需要修正其連接強度，進而產生新的穩定模式，聯想功能體現為在網絡演化中所產生的連續記憶。通過動態地調整網絡單元連接的權值進而實現學習功能，當權值達到所需的特定要求后，就會轉入網絡的狀態動力學過程。在神經網絡的實現過程中，信息之間傳遞中普遍存在滯后現象，為了更好地模擬實際情況，人們進一步提出了時滯神經網絡，如混合時滯神經網絡模型，

其中 [xi]表示神經元的狀態變量，[di>0]第[i]個神經元的自我抑制，[aij]表示第[j]個神經元對第[i]個神經元的連接長度，[bij]和[cij]分別表示時變時滯反饋與分布時滯反饋，[τj（t）]是時變時滯，[pij（s）]是分布時滯的隨機核函數，[gi]表示激勵函數。記[D=diag（d1，...，dn）， A=（aij）， B=（bij）， C=（cij）， I=（I1，...，In）]，其網絡動力學見方框圖1。

2 不連續神經網絡及同步方案

神經網絡在具體的工程應用中，神經元間的信號傳遞或神經元的信息輸出通常表現出不連續的特點，實際上，神經元可以依據其自身的活躍水平，對其他神經元具有激勵、抑制兩種狀態，或激勵、抑制和無影響三種狀態的影響，但是在諸多神經網絡中往往具有不連續的切換狀態，因而，在現實世界中，客觀存在著大量的具有不連續信號傳輸的神經網絡。從數學表達上看，模型中的激勵函數可能會表現出分段線性函數，所有其光滑性缺失，致使現有的動力系統方法及理論不能夠直接應用于不連續神經網絡的動力學研究，鑒于時滯影響的神經網絡的結構復雜性等，均給研究帶來了諸多困難。近些年來，基于Filippov微分包含理論，對具有不連續激勵函數的神經網絡動力學行為結構及特征的討論已經引起大批學者注意，并取得了大量深入的研究成果。近幾十年，對于神經網絡動力學定性和穩定性的研究得到了廣泛關注[2]。但是，混沌控制這一概念自20世紀80 年代出現在控制系統的研究以來，其理論和現實世界中的實用性研究引起廣泛關注，比如保密通信和自動控制領域等。在1990年，混沌耦合系統的同步被提出，使得在混沌同步系統的控制研究方面，出現反饋控制，自適應控制，牽制控制等多種控制方法。同時，在含有混沌同步的保密通信中，混沌同步在保密方面提供了異常重要的理論基礎。保密通信的方式種類繁多，而其原理大多又是相似的，即通過某種方式在發送端對傳送的信號進行加密，在接收端需要掌握適合的密鑰，才能將收到的信號進行解密，否則即使他人截取了信息，也不是那么容易破譯的[3]。由于混沌同步的處理速度與密鑰長度沒有直接關系，所以其不僅效率高而且保密性也很強，因此，混沌同步在加密方式中的異常復雜。除此之外，眾多學者廣泛研究了時滯神經網絡的內部結構以及醫學檢測和周期性等，而神經網絡的功能與應用還在不斷地進行擴大，網絡的穩定性成為系統應用的前提條件，值得注意的是，有限時間穩定不同于通常意義下的穩定性概念。相比于經典的Lyapunov穩定性，有限時間穩定性有限時間下系統的狀態，要求系統狀態在固定的有限時間間隔內不超過一定的界限。而Lyapunov穩定指的是系統無窮時間下系統的狀態。值得提出的是，有限時間穩定的系統與Lyapunov穩定系統，不是同一概念，兩者之間沒有包含關系。而在許多實際應用中，工程技術人員更加關注于有限時間穩定的情形。而同步動力學的研究也即是誤差系統的穩定性研究，縱觀不連續神經網絡同步問題的研究結果，大多數研究結果都是基于無窮時間的漸近過程，如指數同步，漸近同步等[4，5]，這些類型的同步是在時間趨于無窮大時，驅動-反應神經網絡模型才會產生同步。但是，在實際的物理或工程技術領域中，更需要不連續時滯網絡在有限的時間內達到同步狀態。一方面在現有文獻中鮮有對有限時間同步的研究。另一方面，有限時間同步在工業或者實際生活的應用中顯得格外重要。因此，對于如何有效地設計控制器，實現對具有不連續激勵函數神經網絡的有限時間同步成為亟待解決的問題。

縱觀現有神經網絡模型的同步動力學研究文獻，諸多結果都是基于經典的穩定性理論和不等式技巧，在這些結果的影響下，對于處理神經網絡激勵函數的不連續性方面，主要還是采取微分包含理論和Filippov正則化技術，在Filippov解意義和驅動-反應同步框架下，通過設計有效的控制器（甚至是不連續的），構造合適的Lyapunov泛函，借助廣義導數概念和數學分析不等式技巧，利用已有非光滑版本有限時間穩定性理論，便可實現不連續誤差系統的有限時間穩定性，進而實現驅動-反應系統的有限時間同步性。

3 結論

本文簡要介紹神經動力網絡的研究背景和現狀，對激勵函數在不滿足連續性的條件下，借助微分包含理論和非光滑版本的有限時間穩定性理論，給出了具有激勵函數神經網絡有限時間同步的控制方案，為相關領域科技工作者提供了理論參考。

參考文獻：

[1]蒲浩，王來全，劉衍民，等.具有變時滯的高階BAM神經網絡在有限時間內的控制同步[J].中北大學學報（自然科學版），2017（38）：563-581.

[2]王占山，張化光，王智良，一類混沌神經網絡的全局同步[J].物理學報，2006（55）：2687-2693.

[3] 趙耿，鄭德玲，方錦清，混沌保密通信的最新進展[J].自然雜志，2001（23）：97-106.

[4] 邱東強，涂亞慶，神經網絡控制的現狀與展望[J].自動化與儀器儀表，2001（5）：1-7.

[5] 焦李成，楊淑媛，劉芳，等.神經網絡七十年：回顧與展望[J]，計算機學報，2016（39）：1697-1716.

【通聯編輯：唐一東】