基于離散型Hopfield神經網絡的聯想記憶能力研究 

余洋++傅成華

摘要：人工神經網絡是對人腦功能的簡單抽象和模擬，實質是一種數學模型。它通過大量的簡單處理單元互相連接成規模龐大的簡單抽象和信息處理系統，能夠存儲經驗知識和聯想回憶并使用已存儲知識，是目前智能信息處理技術發展的一個主流方向。它可以解決許多傳統方法難以解決或無法解決的問題，尤其是那些與記憶、思維、認知、推理及聯想相關的問題。主要介紹了離散型Hopfield 神經網絡的發展歷程、工作原理、使用方法及其聯想記憶功能，并通過舉例證明了離散型Hopfield神經網絡的聯想記憶能力。

關鍵詞：人工神經網絡；Hopfield神經網絡；聯想記憶

DOIDOI：10.11907/rjdk.161853

中圖分類號：TP391

文獻標識碼：A文章編號文章編號：16727800（2016）009014603

基金項目基金項目：

作者簡介作者簡介：余洋（1994-），男，湖北隨州人，四川理工學院自動化電子信息學院碩士研究生，研究方向為智能控制；傅成華（1958-），男，四川富順人，四川理工學院自動化與電子信息學院教授、碩士生導師，研究方向為先進控制與系統優化、神經網絡與非線性信息處理。

0引言

Hopfield于1982年提出了一種新型的神經網絡——Hopfield網絡模型。它采用了與層次型人工神經網絡完全不一樣的結構特征和學習方法來模擬生物神經網絡的記憶機理，首次使用“能量函數”的概念，并且說明了此神經網絡與動力學之間的關系，使得判斷神經網絡在工作過程中的穩定性有了非常簡便和可靠的依據。該神經網絡非常利于人們理解學習，也可以比較方便地在集成電路中實現。Hopfield神經網絡根據網絡輸入輸出的不同分為兩種形式：離散型Hopfield神經網絡和連續型Hopfield神經網絡，兩種形式的神經網絡應用領域也各不相同。本文使用離散型Hopfield神經網絡實現聯想存儲器設計。

1離散型Hopfield神經網絡

離散型Hopfield神經網絡是由n個神經元相互連接而成的二值神經網絡[12]，并且各神經元之間的連接是雙向的，連接強度用權值表示。網絡的全互聯結構如圖1所示。神經元的輸出為離散值0（或-1）和1，分別代表神經元的抑制和激活狀態。由于神經網絡的時間離散特性，因而其被稱為離散型Hopfield神經網絡[3]。

這種連接方式使得離散型Hopfield神經網絡中每個神經元的輸出均通過神經元之間的連接權值反饋到同一層次的其它神經元，并作為該神經元的輸入，從而使各神經元之間相互制約，保證離散型Hopfield神經網絡在沒有外部輸入的情況下也能進入穩定狀態。

兩個互聯神經元之間的連接權值相同（wij=wji），每個神經元到其自身的連接權值為0，即wii =0。

1.1處理單元模型

離散型Hopfield神經網絡的單個神經元結構如圖2所示，單個神經元采用M-P模型進行信息處理，假設神經網絡有n個神經元，以xj表示神經元j的輸出（也稱為神經元的狀態），wij表示神經元i與神經元j之間的連接權值，θj表示神經元j的閾值。

神經元j的凈輸入sj=∑ni=1xiwij-θj（1）

神經元j的輸出 xj=f（sj）=sgn（sj）=1sj>0-1sj≤0（2）

1.2網絡狀態及運行規則

離散型Hopfield神經網絡的狀態由網絡所有（n個）神經元的狀態集合構成，在任意一個給定的時刻t，離散型Hopfield神經網絡的狀態表示為：

X（t）=（x1 ，x2 ，…，xn ）（3）

離散型Hopfield神經網絡是全互聯反饋式的連接結構，每個神經元都會接收到全部神經元的反饋信息，故當網絡中的各神經元狀態改變時，整個網絡狀態也隨之變化。當網絡中各神經元的輸出狀態都不再改變時就表示網絡達到穩定狀態（即xj （t+1）=xj （t）=f（sj （t）））。神經網絡要達到穩定狀態需要經過反復更新，學習訓練。

離散型Hopfield神經網絡的工作過程就是網絡狀態的動態演化過程，即從網絡初始狀態沿能量遞減的方向不斷演化的過程，直到達到網絡的穩定狀態，這時網絡的穩定狀態就是網絡的輸出。離散型Hopfield神經網絡工作時有以下運行步驟：①對網絡進行初始化；②從網絡中隨機選取一個神經元i；③按照式（1）計算神經元i在t時刻的凈輸入si （t）；④按照式（2）計算神經元i在t+1時刻的輸入xi（t+1），此時網絡中除i以外的其它神經元j的輸出保持不變，即xj（t+1）=xj（t）其中i ≠j；⑤按照式xj（t+1）=xj（t）=f（sj（t））判斷網絡是否達到了穩定狀態，如果未達到穩定狀態就轉到②繼續進行，如果網絡達到穩定狀態則網絡的工作過程終止。

1.3離散型Hopfield神經網絡的能量函數

Hopfield神經網絡的一大特點就是引入了“能量函數”，它表明了神經網絡與動力學之間的關系。上文也提到，網絡運行時在網絡狀態不斷變化過程中，網絡的能量值不斷遞減，直到達到穩定狀態。這說明網絡的能量值與網絡的穩定狀態有著十分密切的關系。能量函數定義為：

E=-12∑ni=1∑nj=1wijxixj+∑ni=1θixi（4）

Hopfield神經網絡實際上是一個非線性動力系統，網絡按動力學方式運行，網絡狀態的變化過程實際上是使能量極小化的過程：每次神經元狀態改變時，整個網絡的能量應單調遞減，即能量與以前相同或下降。證明如下：

設任一神經元j由式（4）得神經元j的能量為：

Ej=-12∑ni=1wijxixj+θjxj（5）

該式可變換為：

Ej=-12xj∑ni=1wijxi+θjxj（6）

由t時刻到t+1時刻神經元j的能量變化為：ΔEj=Ej（t+1）-Ej（t）= -Δxj（∑ni=1wijxi-θj）+12Δxj∑ni=1wijxi（7）

由于在t+1時刻只有神經元j調整狀態，并且各神經元不存在自反饋，式（7）可簡化為：

ΔEj= -Δxj（∑ni=1wijxi-θj）（8）

在t+1時刻共有以下3種可能情況來分析ΔEj的大小從而論證網絡能量值的改變方向：①如果神經元j的狀態不發生變化，即xj （t+1）=xj （t），則Δxj=0，由式（8）可知ΔEj=0；②如果神經元j的狀態發生變化，是從-1變為1，則Δxj=2，此時由式（1）和式（2）可知∑ni=1wijxi-θj>0，再由式（8）得ΔEj<0；③如果神經元j的狀態發生變化，是從1變為-1，則Δxj=-2，此時由式（1）和式（2）可知∑ni=1wijxi-θj≤0，再由式（8）得ΔEj≤0。

綜上可知，從t時刻到t+1時刻，無論神經元j的狀態如何變化，其能量的改變量均為ΔEj≤0。由于神經元j是網絡中任意一個神經元，而網絡中的神經元又都是按照同一規則來更新狀態的，因而整個網絡的能量一直向減少的方向進行。網絡變化的過程就是網絡能量的極小化過程，因為能量函數是有界的，故網絡一定會趨于穩定狀態，該穩定狀態就是網絡的輸出。離散型Hopfield神經網絡能量函數的變化曲線如圖3所示，能量函數的變化過程可以看作是下坡的過程，當網絡的狀態隨時間改變時，整個網絡的能量沿著下降最快的方向改變，最終停在整個網絡能量的極小點[4]。這些極小點有全局極小點c，也有局部極小點a、b，最終落入哪種極小點取決于網絡的初始狀態。網絡能量函數變化曲線如圖3所示。

1.4關于離散型Hopfield神經網絡聯想記憶的連接權值設計

離散型Hopfield神經網絡可以應用于聯想記憶[5]，其聯想記憶的基本原理是利用能量函數的極值點，網絡將記憶的樣本信息存儲在不同的能量極值點上，當網絡輸入某一種模式時，網絡工作到穩定狀態后能夠“聯想記憶”出與其相關的其它存儲樣本，從而實現聯想記憶。并且神經網絡都有很好的容錯性能，即使是對一些不全的、破損的、變形的輸入信息，網絡也能夠很好地將其恢復成比較完整的原型信息。記憶是聯想的前提，必須先將信息存儲起來，才能按照某種方式或規則再取出相關信息，能量極值點存儲記憶模式，而網絡的連接權值和閾值決定這些極值點的分布，因此網絡聯想記憶的關鍵就是根據能量極值點和需要被記憶的模式設計一組恰當的網絡連接權值和閾值。

網絡在沒有記憶之前是空白狀態，只有設計了恰當的連接權值和閾值才會使網絡具有知識，連接權值的設計調整過程就是網絡的學習過程。離散型Hopfield神經網絡一般用Hebb規則的外積和法來設計權值。方法具體如下：

假設網絡共有n個節點，W是網絡的連接權矩陣，如果網絡一共處理m個兩兩正交的模式樣本，則網絡的學習記憶集合為xk=（xk1，xk2，…，xkn）（k=1，2，…，m）。

（1）若m=1只有一個學習模式，學習記憶集合為X1，對于輸入模式X1，如果網絡達到穩定狀態，有：

X1=sgn（XW），即x1j=sgn（∑ni=1wijx1i）j=1，2， …，n（9）

由sgn函數的特點可知，若滿足x1j（∑ni=1wijx1i）>0，即若連接權值wij正比于x1jx1i，則式（9）成立。綜合可得，網絡的連接權值與輸入模式向量的每個分量之間滿足關系：

wij=αx1jx1iα為常數而且大于零（10）

（2）如果有多個學習模式，則可將式（10）進行推廣有：

wij=α∑mk=1xkjxkiα為常數而且大于零（11）

由wii=0可將式（11）改寫為：

W=α∑mk=1[（Xk）TXk-I]α為常數而且大于零，I為nxn的單位矩陣（12）

在設計好網絡連接權矩陣后，網絡就處于正常工作狀態，加載輸入模式向量時，網絡可以進行模式的記憶及聯想。

2聯想記憶功能實現證明

聯想記憶的過程分為兩個階段：第一階段是記憶階段（也稱存儲階段、學習階段），它是聯想記憶的關鍵，其處理過程是將記憶模式作為網絡的穩定狀態，并通過設計或學習獲得需要的網絡連接權值；第二階段是聯想階段（也稱回憶階段），此階段是利用網絡進行回憶，將給定的輸入模式作為網絡的初始狀態，網絡按照既定的運行規則不斷演化，一直演化到網絡的穩定狀態，此時網絡的穩定狀態就是回憶出的記憶模式。下面舉例證明離散型Hopfield神經網絡是如何實現聯想記憶功能。設有一個4神經元的離散型Hopfield神經網絡，各神經元的閾值為0，其中存儲了兩個模式，模式一X1為（1，1，1，1），模式二X2為（-1，-1，-1，-1），每個存儲模式由兩部分組成：名稱和顏色。前兩神經元存儲的是名稱，后兩個神經元存儲的是對應的顏色。模式一表示“藍色的天空”，前兩個1表示天空，后兩個1表示藍色的；模式二表示“綠色的樹”，前兩個-1表示樹，后兩個-1表示綠色的，當網絡上加載信息不全或錯誤地輸入模式三X3=（1，1，-1，1）時，讓網絡聯想記憶輸出模式X1。若想讓網絡聯想輸出模式X1，必須首先設計網絡的連接權值，讓網絡記憶模式一和模式二，然后讓網絡加載輸入模式三運行到穩定狀態。將網絡要存儲的模式一和模式二設計為網絡的兩個穩定狀態，由此設計網絡的連接權值。根據式（12），設α=1得網絡的連接權矩陣為；

W=（X1）TX1+（X2）TX2-2I=0222202222022220

設計好連接權值后，將模式三加載至網絡，然后按照網絡運行規則讓網絡運行：

t=0：網絡的初始狀態X（0）=（1，1，-1，1）；

t=1：選取節點1，節點1的狀態為x1（1）=sgn[1×0+1×2+（-1）×2+1×2]=sgn[2]=1

網絡狀態X（1）=（1，1，-1，1）；

t=2：選取節點2，節點2的狀態為x2（2）=sgn[1×2+1×0+（-1）×2+1×2]=sgn[2]=1

網絡狀態X（2）=（1，1，-1，1）；

t=3：選取節點3，節點3的狀態為x3（3）=sgn[1×2+1×2+（-1）×0+1×2]=sgn[6]=1

網絡狀態X（3）=（1，1，1，1）；

t=4：選取節點4，節點4的狀態x4（4）=sgn[1×2+1×2+1×2+1×0]=sgn[6]=1

網絡狀態X（4）=（1，1，1，1）；………

按此規則循環運行下去直到網絡狀態不再改變，網絡處于穩定狀態，網絡的輸出就是（1，1，1，1），也即網絡存儲的記憶模式一X1=（1，1，1，1）。同理，當網絡加載模式四X4=（-1，-1，1，-1）時，網絡也可聯想記憶輸出模式二。從而證明了離散型Hopfield神經網絡具有聯想記憶功能。

3結語

神經網絡的聯想記憶功能雖然很強，但是也存在一些缺陷。由于聯想記憶能力受到了記憶容量和樣本差異的制約，當記憶的模式較多且容易混淆時，網絡不能夠很好地辨別出正確模式，而且達到的穩定狀態也往往不是記憶住的模式。并且，所有記憶模式不是以同樣的記憶強度回想出來的。

參考文獻參考文獻：

[1]周非.基于RBF網絡和逆模型的汽油機瞬態空燃比控制[D].成都：西華大學，2006.

[2]于樂斐.兩類時滯細胞神經網絡的穩定性分析[D].青島：中國海洋大學，2008.

[3]夏松.Hopfield神經網絡構造的聯想記憶存儲器實現與研究[D].合肥：安徽大學，2010.

[4]周超超.人工智能專家系統在曲軸圓角滾壓校直中的研究[D].武漢：武漢理工大學，2003.

[5]顏本偉.基于小世界體系的模糊自聯想記憶神經網絡研究[D].重慶：西南大學，2011.

責任編輯（責任編輯：孫娟）