Kosko型雙向聯想記憶與Hop field神經網絡的關系

張建國,殷勤業

(西安交通大學電子與信息工程學院,陜西西安 710049）

Kosko型雙向聯想記憶與Hop field神經網絡的關系

張建國,殷勤業

(西安交通大學電子與信息工程學院,陜西西安 710049）

深入理解Kosko型雙向聯想記憶(BAM)網絡是學習使用其它雙向聯想記憶的基礎。如果我們按照傳統的方法介紹BAM網絡,學生很容易產生兩個疑問:能量函數為什么是定義的?BAM網絡與H opfield網絡的內在聯系是什么?本文在說明Kosko型BAM網絡就是一種特殊的 Hopfield網絡后,從H opfield網絡的能量函數出發推導出BAM網絡的能量函數,從而揭示了它與Hopfield網絡之間的內在聯系。

Hopfield神經網絡;雙向聯想記憶;能量函數

0 引言

“神經網絡”是一門重要的研究生課程,部分高校也為高年級本科生開設。Hopfield神經網絡[1]是一種應用廣泛的單層反饋神經網絡,可以用于優化計算和聯想記憶。聯想記憶在信號處理和模式識別等方面都有廣泛的應用。Kosko型雙向聯想記憶(BAM)網絡[2,3]是Hop field網絡的一種典型應用,讓學生深入理解它是正確理解其它雙向聯想記憶網絡的基礎。

大多數教材[4-6]都沿用了Kosko在文獻[2]中的介紹方法,即直接給出BAM網絡能量函數的定義,而不展開論述這樣定義的理由是什么,且通過構造一個大的零塊對角陣(即分塊矩陣對角線上的方陣是零矩陣),可以將任意連接權矩陣對稱化,這樣雙向聯想過程就能轉換為對一組增廣狀態向量的自聯想記憶過程。但由于這些并非是文獻[2]討論的重點,因此教材都未進一步展開討論。

按照傳統的方法介紹Kosko型BAM網絡,學生無法理解能量函數定義的理由,因此很難理解它的基本原理及其與H op field神經網絡之間的內在聯系。

本文從結構上說明Kosko型BAM網絡就是一種特殊的Hop field神經網絡從Hopfield網絡能量函數出發,直接推出它的能量函數。從而揭示了二者之間的內在聯系,使學生在學習后理解地更為深刻。而且,不需要證明BAM網絡的能量在聯想過程中的遞減性。

1 BAM網絡的傳統介紹方法

設雙向聯想記憶網絡需存儲M對矢量,分別用(a i,b i),i=1,…,M表示,其中a i∈{-1,1}為N維列矢量,而b i∈{-1,1}P為P維列矢量。

Kosko型BAM 網絡的結構如圖1所示。其中,下層的N個神經元與矢量a相對應,而上層P個神經元與矢量b對應。圖中的W表示由矢量b聯想矢量a時的突觸權重矩陣,而WT為矢量a聯想矢量b時的突觸權重矩陣,它是W的轉置。W與WT是按Hebb規則學習得到的,即:

圖1 雙向聯想記憶網絡結構示意圖

當由矢量b聯想矢量a時,網絡的演變過程為

直到a、b均為穩定狀態,演變過程結束。

定義Kosko型BAM網絡的能量函數為

其中 ,θ=[θ0,θ1,…θN-1] 、μ=[μ0,μ1,…,μP-1]T分別表示與矢量 a、b對應的神經元的閾值(偏置電流)。

接下來,再給出描述BAM網絡聯想過程動態特性的差分方程。以b聯想a為例,對應a向量的神經元的凈輸入為

則有

其中,符號函數sgn(·)為神經元功能函數。從式(4)可見,如果聯想過程中神經元ai的輸出發生了變化,則 Δa i=a i(t+1)-a i(t)與u i具有相同的符號。

不失一般性,假設從t時刻到t+1時刻,網絡由矢量b聯想矢量a,則聯想前后網絡的能量變化為

若聯想過程中神經元ai的輸出保持不變,則Δa i=0;若發生變化,由前述可知Δa i與u i有相同的符號,因此ΔE ≤0。當且僅當所有神經元輸出都不變時,ΔE=0,此時網絡穩定,輸出即為聯想結果。

按照上述方法講解Kosko型BAM網絡,學生通常問的第一個問題是如此定義能量函數的理由是什么?而第二個容易問到的問題是 BAM網絡與Hop field網絡之間有什么內在的聯系?

2 從Hop field神經網絡到BAM網絡

Hop field利用模擬電子線路構造了單層反饋型人工神經網絡的電路模型,并建立了電路的能量函數[1]。Hopfield網絡的特點是每個神經元的輸出要反饋給除自身外的其它所有神經元。其基本結構示意圖如圖2所示。圖中神經元輸入端的連接點表示各神經元的輸出通過一個連接電導(突觸)反饋到神經元的輸入端。

圖2 Hopfield網絡結構示意圖

如果突觸連接滿足對稱條件,且忽略變化較小的積分項,Hopfield網絡的能量函數可以表示為

設L=N+P,則我們可以將L個神經元分成兩組,分別含有N個和P個神經元。如果組內的任意神經元的輸出都僅反饋到另一組神經元的輸入端,而不反饋到本組任何神經元(包括該神經元本身)的輸入端,如圖3所示。顯然,按此方式組成的網絡仍然是一種對稱Hop field神經網絡。沒有反饋意味著對應的突觸連接系數等于零,因此該Hopfield網絡的突觸連接權矩陣可以表示為如下的分塊形式:

其中,ON×N表示N×N維零矩陣,而W為N×P維矩陣。

圖3 雙向聯想記憶網絡結構的變形

比較圖3和圖1可以發現,兩者的神經元具有相同的連接形式。圖1僅給出了兩組神經元之間的反饋方式。而與圖1相比,圖3把兩組神經元的輸入、輸出以及反饋連接表述得更為清楚一些。

如圖3所示,我們用一組N個神經元表示BAM的a矢量,而用另一組的 P個神經元表示BAM 的b矢量。顯然,式(7)中的W是P個神經元對N個神經元的反饋連接系數,它是由b聯想a的突觸權重矩陣,即W=W。與此類似,式(7)中的WT是由a聯想b的突觸權重矩陣,即WT=WT。所以

網絡的輸出矢量可以用BAM中定義的矢量表示為

類似地,閾值向量可表示為

因此,Kosko型BAM網絡是一種特殊的Hop field神經網絡。

下面,我們從Hopfield網絡的能量函數出發推導Kosko型BAM網絡的能量函數。將式(8)～式(10)代入式(6),可得

令閾值為零,即可得齊次BAM網絡的能量函數為

至此,我們從對稱Hopfield網絡的能量函數出發推出了Kosko型雙向聯想記憶網絡的能量函數,闡明了能量函數定義的理由。

3 需要進一步說明的問題

1)能量函數中閾值項的符號問題

將推導出的式(11)和BAM能量函數的定義式式(2)比較,我們發現兩者閾值項的符號正好相反。這是由于兩種情況下的偏置電流(即閾值)的參考方向正好相反的緣故。

從式(3)可以看出,在討論BAM 網絡時,神經元的輸入是反饋信號的加權和減去偏置電流,說明此時偏置電流的參考方向是流出節點的。

Hopfield根據KCL列出了如下節點電流方程:

上式右側的后兩項說明神經元的輸入是反饋信號的加權和加上閾值,這說明偏置電流的參考方向是流入節點的。因此,推導出的能量函數與BAM能量函數的定義式是一致的,二者并無矛盾。

2)網絡聯想時的初始化與迭代過程

我們知道,Hopfield網絡也可以用于自聯想記憶。基于上述理解,Kosko型BAM可以看作是對N+P維的矢量進行自聯想記憶,從而把BAM與自聯想記憶統一起來。下面,我們通過具體的例子說明網絡的初始化與迭代過程。

假設從矢量b聯想矢量a,BAM網絡的初始輸入記為b。在初始時刻,我們把b對應施加于代表矢量b的神經元的輸入端對網絡進行初始化,得到網絡零時刻的輸出為[O1×N,bT(0)]T。接下來,b(0)會反饋到矢量a神經元的輸入端,在突觸權矩陣的作用下,這個神經元的輸出會變為 a(1)=sgn[Wb(0)],而代表矢量b的P個神經元的輸出不變,我們將其記為b(1)=b(0)。到此為止,所有的神經元都有了初始輸出,初始化過程完成。因此撤除加在矢量b輸入端的b,網絡開始進入迭代階段。

根據Hop field網絡的迭代方程,可以得到下一時刻網絡的輸出為

根據初始化過程,在結束時有:a(1)=sgn[Wb(0)]及b(1)=b(0),因此,上式中的a(2)=a(1),即從第1時刻到第2時刻相當于由矢量a聯想矢量b,對應矢量a的神經元的輸出不變。同理,下一次迭代實際上是由矢量b聯想矢量a,對應矢量b的神經元的輸出不變,即b(3)=b(2)。

如此循環迭代,直到所有神經元的輸出不再改變,即Hop field網絡達到穩定狀態。此時輸出的矢量a和b即為由輸入b開始聯想得到的矢量對。

3)網絡迭代過程中能量的遞減性

前面已經說明了Kosko型BAM網絡實際上是一種特殊的 Hopfield神經網絡。Hop field已經證明了,隨著時間的推移,Hop field網絡在狀態空間中總是朝著能量函數減小的方向運動,當網絡到達穩定狀態時能量函數取極小值。這就說明BAM網絡的能量隨著時間的推移也是減小的,穩定時取極小值。因此,不需要再次證明能量函數的遞減性。

4 結語

本文給出了一種Kosko型雙向聯想記憶網絡的講授方法。該方法揭示了Kosko型BAM網絡與Hop field網絡之間的內在聯系,同時闡明了 BAM網絡能量函數定義的原因,有助于學生深入理解這兩種網絡。近幾年在對本校研究生的授課中采用了該方法,從學生的答疑和考試情況來看,均說明學生對BAM網絡有了更深入的理解。

[1] J.J.Hopfield.Neu rons with graded response have collective compu tational p roperties like those of two-state neurons[J].Proc.Natl.Acad.Sci.1984,81(5):3088-3092

[2] Bart Kosko.Adaptive bidirectional associativememories[J].Applied Optics.1987,26(23):4949-4960

[3] Bart Kosko.Bidirectional associative mem ories[J].IEEE T rans on systems,MAN and cybernetics.1988,18(1):49-59

[4] 楊行峻,鄭君里.人工神經網絡[M].北京:機械工業出版社,1992

[5] 高雋.人工神經網絡原理及仿真實例[M].北京:機械工業出版社,2003

[6] 韓力群.人工神經網絡教程[M].北京:北京郵電大學出版社,2006

Relation between Kosko Bidirectional Associative Memories and Hop field Networks

ZHANG Jian-guo,YIN Qin-ye

(School of Electronic and In formation Eng ineer ing,X i'an Jiaotong University,X i'an 710049,Ch ina)

Kosko Bidirectional Associative Memory(BAM)network is one of the most fundamental BAM networks.When it is introduced w ith the traditional descrip tion,students usually have tw o questions,why theenergy function is given asa definition and what is the relation between Kosko BAM and Hopfield networks.In this paper it is show n at that first Kosko BAM network is just one type of Hopfield neural networks,and then the energy function of BAM is naturally acquired based on the energy function of Hopfield netw ork.Thereby the relation of themis exposed.

Hop field artificial neuralnetworks;bidirectionalassociativememories;energy function

TP183

A

1008-0686(2011)02-0098-04

2010-08-14;

2011-02-21

張建國(1971-),男,碩士,講師,主要從事信號處理方面的教學和科研工作,E-m ail:jgzhang@mail.xjtu.edu.cn

殷勤業(1950-),男,博士,教授,主要從事神經網絡理論及其應用和移動通信系統等方面的教學和科研工作。