帶遞歸單元的模糊感知器的δ-規則的有限收斂性

劉 燕, 閻 慧 臻, 劉 超, 姜 行 健, 楊 開 兵

( 1.大連工業大學 信息科學與工程學院, 遼寧 大連 116034; 2.大連理工大學 機械工程與材料能源學部, 遼寧 大連 16024 )

0 引 言

遞歸神經網絡是指具有遞歸結構的神經網絡,它們主要用來實現時間序列樣本的分析及應用。網絡結構分為全局遞歸連接和局部遞歸連接。全局遞歸神經網絡結構復雜,難于訓練和分析,在應用時需要將其結構簡化。一種簡單而自然的方法是對感知器引入反饋連接,其學習和訓練依舊以前傳為主,同時又包含反饋連接。這種網絡的反饋使其輸出不僅依賴當前的輸入,還和上一時刻的輸出有關,從而使網絡具有動態記憶能力。

文獻[1-3]對最簡單的模糊神經網絡即模糊感知器提出一種學習算法,并證明在一定條件下,該算法的有限收斂性。本文將對帶遞歸單元的模糊感知器的學習算法收斂性問題進行研究。

1 帶遞歸單元的模糊感知器網絡結構及算法

1.1 帶遞歸單元的模糊感知器結構

ζ(ξk)=g(max(W°ξk,λ∧ζk-1))=

(1)

式(1)中,∨、∧分別為取大、取小運算,°為合成算子,W=(w1,…,wn)T為權重向量,wj為連接第j個輸入神經元和輸出神經元的權值,連接遞歸神經元和輸出神經元的權值為λ∈[0,1]。

圖1 具有n-1-1結構的遞歸模糊感知器

1.2 完全隨機輸入的帶遞歸的模糊δ-規則

(2)

λk+1=f(λk+Δλk)=f(λk+η(Ok-ζk))

(3)

其中,l=1,…,n,k=0,1,…,且

2 樣本模糊可分及樣本集性質

為說明方便,記理想輸出為O(s)=0和1的樣本分別為Xm和Yp,m=1,…,M；p=1,…,P；1≤M,P

先定義兩個集合:DM={1,…,M},DP={1,…,P}。

定義1若存在一個模糊向量A={a1,…,an},使得

(4)

成立,則稱該訓練樣本模糊可分。

記模糊向量A中分量元素≥0.5的下標集合為E,分量元素<0.5的下標集合記為F,顯然有E∪F={1,…,n}。

由假設1易得性質1～3[1]:

性質1E≠Φ且F≠Φ。

3 有限收斂定理及證明

模糊感知器常用來解決分類問題,若理想輸出等于實際輸出則有限收斂,定義如下：

(5)

成立,則稱該學習算法有限收斂。

若σ2=0,任取η,則基于隨機輸入的帶遞歸的模糊δ-規則有限收斂。

證明首先對學習算法作3點說明。

則max(Wk°Yp,λk∧ζk-1)≥Wk°Yp≥0.5

ζk=g(max(Wk°Yp,λk∧ζk-1))=1=Ok

由算法(2)知

l=1,…,n

λk+1=f(λk+η(Ok-ζk))=

f(λk+η(1-1))=λk

由算法(2),當權值第k+1次被真正更新,則

λk+1=f(λk+η(Ok-ζk))=f(λk-η)

(3)同說明(2)的推導,可得當λk∧ζk-1≥0.5,樣本Xm,Φm=φ,m∈DM令權值嚴格減小;當λk∧ζk-1<0.5,對權值更新不起作用。

下面證明,權值有限次更新后達到收斂,并給出學習率η的選取范圍。

對Xm,Φm=φ,m∈DM,易證ζ(Xm)=O(Xm)。綜上,該學習算法收斂。

[1] YANG Jie, WU Wei, SHAO Zhi-qiong. A new training algorithm for a fuzzy perceptron and its convergence[J]. Lecture Notes in Computer Science, 2005, 3496:89-118.

[2] 劉燕,楊潔. 帶閾值的模糊感知器的收斂性[J]. 高等學校計算數學學校, 2005, 27(專輯):320-323.

[3] 劉燕,閻慧臻,劉超. 利用模糊感知器解決模糊可分樣本的分類問題[J]. 大連工業大學學報, 2009, 28(1):66-69.

(LIU Yan, YAN Hui-zhen, LIU Chao. Classification of fuzzily separable training patterns based on fuzzy perceptron[J]. Journal of Dalian Polytechnic University, 2009, 28(1):66-69.)

[4] WU Wei, SHAO Zhi-qiong. Convergence of online gradient methods for continuous perceptrons with linearly separable training patterns[J]. Applied Mathematics Letters, 2003, 16(7):999-1002.