離散型hopfield神經(jīng)網(wǎng)絡(luò)的數(shù)字識別

摘要：近年，人們越來越對人工智能產(chǎn)生興趣，越來越多的科研人員嘗試著將hopfield神經(jīng)網(wǎng)絡(luò)在很多方面運用，這是一門能夠解決很多傳統(tǒng)方法不能夠解決的問題，如水的質(zhì)量評價，發(fā)電機運行狀態(tài)，項目風(fēng)險預(yù)測等。不同領(lǐng)域的人們，正在利用離散型hopfield神經(jīng)網(wǎng)絡(luò)具有的聯(lián)想記憶的功能來發(fā)掘新的思想和新的方法。人類的進化歸根是很多智能科技的進化。而智能科學(xué)反過來對人類的發(fā)展起到很大的作用。我們學(xué)習(xí)智能的數(shù)字識別和智能的控制，目的就是幫助人類的進步而服務(wù)。因此，對智能科學(xué)的期待和發(fā)展以及應(yīng)用，是我們?nèi)祟惏l(fā)展和科學(xué)進步的必然結(jié)果。

關(guān)鍵詞：離散型hopfield;數(shù)字識別;聯(lián)想記憶;工具箱函數(shù)

1.案例背景

1.1項目需求分析

在日常生活中，經(jīng)常會遇到帶噪聲影響的字符辨別問題，如交通系統(tǒng)中汽車的車牌模糊不清，由于汽車在行駛過程中，要經(jīng)受自然環(huán)境的風(fēng)吹日曬，造成字體不夠清晰，不能夠辨別清楚。作為字符識別的一部分，數(shù)字識別在銀行，交通及企業(yè)票據(jù)管理方面有著很方便的應(yīng)用。目前，人工神經(jīng)網(wǎng)絡(luò)已經(jīng)在我國的科學(xué)研究，企業(yè)生產(chǎn)和生活中有很大的影響。人工神經(jīng)網(wǎng)絡(luò)作為生物進化論的一個成果，其延伸到各個工程領(lǐng)域，并吸引不同領(lǐng)域的專家在這方面的研究和開發(fā)，目前有很多種方法用于字符識別，主要分為神經(jīng)網(wǎng)絡(luò)的識別，概率統(tǒng)計識別和模糊識別等。傳統(tǒng)的數(shù)字識別方法在有干擾的情況下不能夠很好的對數(shù)字識別，而離散型hopfield神經(jīng)網(wǎng)絡(luò)具有聯(lián)系記憶的功能，利用這一功能對數(shù)字進行識別可以取得令人滿意的效果，并且計算的收斂速度很快。

1.2離散hopfield神經(jīng)網(wǎng)絡(luò)概述

Hopfield網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)研究上的一個重要的階段。其曾經(jīng)為人工神經(jīng)網(wǎng)絡(luò)開辟了新的天地，Hopfield神經(jīng)網(wǎng)絡(luò)屬于反饋神經(jīng)網(wǎng)絡(luò)類型。與前向型神經(jīng)網(wǎng)絡(luò)不同，前向神經(jīng)網(wǎng)絡(luò)不考慮輸出與輸入之間在時間上的滯后影響，其輸出與輸入之間僅僅是一種映射關(guān)系。而Hopfield網(wǎng)絡(luò)則不同，它采用反饋連接，考慮輸出與輸入在時間上的傳輸延遲，會不斷的產(chǎn)生動態(tài)變化，其輸出反饋到輸入而產(chǎn)生新的輸出，就這樣，反饋一直進行，一直到達到的穩(wěn)定的平衡狀態(tài)。Hopfield網(wǎng)絡(luò)作為一種全連接型的神經(jīng)網(wǎng)絡(luò)。為人工神經(jīng)網(wǎng)絡(luò)的研究進程開辟了新的方法。由于它與階層型神經(jīng)網(wǎng)絡(luò)不同的特性和學(xué)習(xí)方法，模擬生物的神經(jīng)的記憶功能，獲得了突破性的進展。Hopfield網(wǎng)絡(luò)有離散型和連續(xù)型兩種形式。我們主要研究的是離散型hopfield網(wǎng)絡(luò)。因為離散型hopfield網(wǎng)絡(luò)的結(jié)構(gòu)簡單，方便操作，在人們的生活中應(yīng)用比較廣泛。

1.2.1? 離散hopfield神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

DHNN是一種單層，輸出為二值的反饋網(wǎng)絡(luò)。由三個神經(jīng)元組成的離散hopfield神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。其中第0層作為網(wǎng)絡(luò)的輸入，它不是神經(jīng)元，所以沒有計算的功能，第1層是神經(jīng)元，因此它能夠執(zhí)行對輸入信息與權(quán)系數(shù)的乘積求累加和，經(jīng)過非線性函數(shù)f處理后產(chǎn)生輸出的信息，f是一個簡單的閥值函數(shù)，如果神經(jīng)元的輸出信息大于閥值X，神經(jīng)元的輸出的結(jié)果取為1，如果小于閥值X，則神經(jīng)元的輸出結(jié)果為-1.

1.2.2? 網(wǎng)絡(luò)的工作方式

Hopfield網(wǎng)絡(luò)按物理學(xué)中的能量定理演變發(fā)展，其工作的狀態(tài)為神經(jīng)元狀態(tài)的變化過程，既從開始的狀態(tài)按“能量”逐漸減小的方向進行發(fā)展，直到達到系統(tǒng)達到穩(wěn)定的狀態(tài)，穩(wěn)定狀態(tài)時其輸出的結(jié)果即為網(wǎng)絡(luò)的輸出。Hopfield網(wǎng)絡(luò)的工作方式主要有兩種形式：①.串行工作方式。在任意的狀態(tài)，只有某一個神經(jīng)元發(fā)生變化，其他神經(jīng)元的狀態(tài)不會進行變化。②.并行工作方式：在任意的狀態(tài)，部分神經(jīng)元或全部神經(jīng)元的狀態(tài)同時發(fā)生變化。舉例：串行工作方式的hopfield網(wǎng)絡(luò)的運行步驟：步驟一：對網(wǎng)絡(luò)進行初始化。步驟二：從網(wǎng)絡(luò)中隨機選取一個神經(jīng)元i。步驟三：計算該神經(jīng)元i的輸入U（t）。步驟四：計算該神經(jīng)元i的輸出V（t+1），此時網(wǎng)絡(luò)中其他神經(jīng)元的狀態(tài)輸出保持不變。步驟五：判斷是否達到穩(wěn)定的狀態(tài)，若達到穩(wěn)定狀態(tài)則結(jié)束，如果沒有穩(wěn)定則轉(zhuǎn)到步驟二繼續(xù)運行。

1.3? 項目方案的數(shù)字識別概況

對于數(shù)字識別，目前有很多的技術(shù)，一般的數(shù)字識別方法在不太清晰的情況下不能很好地對數(shù)字進行識別，而離散型hopfield神經(jīng)網(wǎng)絡(luò)可以利用聯(lián)想記憶的功能，利用這一功能對數(shù)字進行識別可以取得非常好的效果，并且識別的速度很快。數(shù)字識別是字符識別的一部分，數(shù)字識別在人們的生活普遍存在，對人們的生活有很大的幫助。隨著時代的發(fā)展，神經(jīng)網(wǎng)絡(luò)識別技術(shù)發(fā)展很快，由于其本身有非常好的應(yīng)用價值的特性而逐漸受到重視。目前，對印刷體的識別情況已經(jīng)非常的好了，而手寫體字符由于書寫者的因素，使得字符圖像不確定的因素很多，比如字體的清晰度，數(shù)字的規(guī)范度，手寫體的類型和局部扭曲等，對數(shù)字識別的挑戰(zhàn)性非常大。因此，我們應(yīng)該多加研究，爭取能夠突破數(shù)字識別的局限性，為人類進步發(fā)展做出突破性的的改變。

1.4 Hopfield網(wǎng)絡(luò)演示

應(yīng)用離散型的Hopfield 網(wǎng)絡(luò)建立，先將非線性的原始數(shù)據(jù)取出一部分用來構(gòu)成訓(xùn)練網(wǎng)絡(luò)的樣本，再將一部分用來檢驗網(wǎng)絡(luò)的性能，構(gòu)成檢驗樣本。從而將連接權(quán)值固定，構(gòu)成一個穩(wěn)定的識別模型，達到識別的目的。先舉一個單輸入單輸出的問題，目的是希望相同的輸入進入到函數(shù)與神經(jīng)網(wǎng)絡(luò)，得到的輸出值要相同，首先將 X = 1，2，3，Λ100代入函數(shù)中，我們會得到 100 組的 y 值，取 X = 1，3，5，Λ，99共 50 個數(shù)據(jù)作為訓(xùn)練樣本，X = 2，4，6，Λ，100共 50 個數(shù)據(jù)作為測試樣本，在神經(jīng)網(wǎng)絡(luò)未訓(xùn)練前，所得到的結(jié)果如圖1所示：綠線代表實際的輸出，而紅線代表神經(jīng)網(wǎng)絡(luò)的輸出，神經(jīng)網(wǎng)絡(luò)未訓(xùn)練前，由于初始的權(quán)值是由隨即產(chǎn)生的，因此當訓(xùn)練樣本的輸入進入網(wǎng)絡(luò)時，神經(jīng)網(wǎng)絡(luò)的輸出是凌亂的，隨著訓(xùn)練次數(shù)的增加，權(quán)值逐漸的被調(diào)整，使得紅線的部分逐漸的與綠線符合，圖2是神經(jīng)網(wǎng)絡(luò)訓(xùn)練20次的結(jié)果：由于在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練的過程中，訓(xùn)練樣本不斷的提供神經(jīng)網(wǎng)絡(luò)正確的輸出值作為參考，使得神經(jīng)網(wǎng)絡(luò)的輸出逐漸的與實際的輸出相同，當神經(jīng)網(wǎng)絡(luò)訓(xùn)練2000次時，由圖3可看出神經(jīng)網(wǎng)絡(luò)的輸出與系統(tǒng)的輸出幾乎相同，此時就可以停止訓(xùn)練，而適合此函數(shù)的權(quán)值就被記錄下來：當神經(jīng)網(wǎng)絡(luò)訓(xùn)練完成后，神經(jīng)網(wǎng)絡(luò)便可以取代原來這個函數(shù)。換句話說，此神經(jīng)網(wǎng)絡(luò)的輸出與真實的函數(shù)相同。圖4表示神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中價值函數(shù)的變化情形，價值函數(shù)是神經(jīng)網(wǎng)絡(luò)收斂的指標，會隨著網(wǎng)絡(luò)的訓(xùn)練越來越小，最后幾乎不再有變化，此時就可以判定次神經(jīng)網(wǎng)絡(luò)訓(xùn)練完成。

1.5 項目的問題描述

目前，在交通管理中，由于天氣的原因造成對很多時候監(jiān)控下拍的圖片不是很清晰，尤其是有污漬的車牌很難看清，因此對于很多違反交通規(guī)則的一些車輛很難進行查出，為了能夠更方便我們的生活，我們利用hopfield神經(jīng)網(wǎng)絡(luò)的一些特性，設(shè)計一個具有聯(lián)想記憶功能的離散型hopfield神經(jīng)網(wǎng)絡(luò)。要求該網(wǎng)絡(luò)可以正確的識別數(shù)字，當數(shù)字被影響后，仍具有較好的把數(shù)字識別出來。

2? 項目的模型建立

2.1? 設(shè)計的思路

假設(shè)網(wǎng)絡(luò)由0～9共10個穩(wěn)態(tài)構(gòu)成，可以記憶很多的數(shù)字，每個穩(wěn)態(tài)用10*10的矩陣表示。該矩陣用于模擬阿拉伯數(shù)字的樣本，就是把數(shù)字劃分成很多的小方塊，每個小方塊可以對應(yīng)一定的數(shù)字，不同顏色的單元用1 和-1 表示，網(wǎng)絡(luò)對相關(guān)點陣具有聯(lián)想記憶的功能，當有受一定干擾的數(shù)字點陣輸入到該網(wǎng)絡(luò)時，網(wǎng)絡(luò)的輸出便可以得到最接近的穩(wěn)態(tài)，從而達到數(shù)字辨別的目的。

2.2 網(wǎng)絡(luò)建立

利用newhop（）函數(shù)可以方便地創(chuàng)建一個離散型Hopfield神經(jīng)網(wǎng)絡(luò)。

2.2.1 產(chǎn)生帶噪聲的數(shù)字點陣

常見的模擬產(chǎn)生帶噪聲數(shù)字的方法有兩種：固定噪聲法和隨機噪聲法。固定噪聲法指的是改變數(shù)字點陣某些特定位置的數(shù)值，是人工操作的，從而達到產(chǎn)生帶噪聲的數(shù)字點陣的效果。如果希望噪聲更加的復(fù)雜多變的話，就需要人工多次修改特定值，這樣會比較繁瑣的。相比較而言，隨機噪聲產(chǎn)生法可以更加方便地產(chǎn)生不同類型的帶干擾的數(shù)字樣本。隨機噪聲產(chǎn)生法是利用產(chǎn)生隨機數(shù)的方法來確定需要修改的點陣位置，進而引起對樣本的修改。由于數(shù)字點陣中的值只有1和-1兩種，所以這里修改會比較方便，比較容易操作。

2.3? 實驗結(jié)果與分析

將帶干擾的數(shù)字樣本輸入已創(chuàng)建好的網(wǎng)絡(luò)中，經(jīng)過運行后，便可對帶干擾的數(shù)字樣本進行識別，這里識別的結(jié)果是以數(shù)字點陣的形式呈現(xiàn)出來。為了能夠更加直觀地看到實驗的效果，我們用程圖形的形式呈現(xiàn)呈現(xiàn)出來，如圖所示。圖7所示的是噪聲強度為0.1（即10%的數(shù)字點陣位置值發(fā)生變化）時的識別效果。從圖8中可以看出，識別的情況還不錯。進一步的研究發(fā)現(xiàn)，隨著干擾強度的增加識別效果逐漸不強。噪聲強度為0.2和0.3時的識別結(jié)果分別如圖8和圖9所示。從圖中可以很直觀的看到，當噪聲強度為0.3時，Hopfield已經(jīng)很難對數(shù)字進行識別了。

3.結(jié)論

通過對實驗結(jié)果的分析，可以得出結(jié)論：對于帶一定干擾的數(shù)字樣本，Hopfield網(wǎng)絡(luò)可以正確地進行數(shù)字辨別。聯(lián)想記憶必須要有一定的存儲容量，同時是當代技術(shù)可以實現(xiàn)的，同時也要有一定的容錯率，只有這三個方面統(tǒng)一起來，才能使神經(jīng)網(wǎng)絡(luò)的聯(lián)想記憶能力更強，應(yīng)用的范圍更加的廣闊。聯(lián)想記憶網(wǎng)絡(luò)只有擴展容錯率，極高其儲存容量，才能夠更好的進行識別，為此，我們可以從系統(tǒng)的控制中來進行改進，調(diào)節(jié)系統(tǒng)的動力學(xué)特性，并調(diào)節(jié)系統(tǒng)的學(xué)習(xí)算法，要設(shè)定一個適合各種樣本的最好方法是不太容易的，因此，可以利用神經(jīng)網(wǎng)絡(luò)的優(yōu)點，用訓(xùn)練的方法找出最優(yōu)解，進而提高系統(tǒng)的儲存容量。從而能夠更高精度的對樣本進行辨別，開拓了各個領(lǐng)域的發(fā)展，能夠更好的服務(wù)于人們。

作者簡介：

張林強（1990.8-），男，漢族，籍貫：河南駐馬店，鄭州理工職業(yè)學(xué)院，教師，助教，助理工程師，本科，專業(yè)：自動化，主要研究方向：電氣工程和思想政治研究

（作者單位：鄭州理工職業(yè)學(xué)院）