基于深度信念網(wǎng)絡(luò)的手寫數(shù)字識(shí)別方法研究

劉長明（濱州市科學(xué)技術(shù)情報(bào)研究所,山東 濱州 256600）

?

基于深度信念網(wǎng)絡(luò)的手寫數(shù)字識(shí)別方法研究

劉長明
（濱州市科學(xué)技術(shù)情報(bào)研究所,山東 濱州 256600）

摘 要：多隱層神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)一直是大家關(guān)注的熱點(diǎn)問題，而傳統(tǒng)的學(xué)習(xí)算法并不能很好地適應(yīng)于多隱層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)。提出了一種基于受限玻爾茲曼機(jī)的學(xué)習(xí)算法，將多隱層神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)變?yōu)槎鄠€(gè)受限玻爾茲曼機(jī)的順序?qū)W習(xí)。將該方法應(yīng)用于手寫數(shù)字識(shí)別問題，取得了較好的識(shí)別結(jié)果。

關(guān)鍵詞：深度信念網(wǎng)絡(luò)；受限玻爾茲曼機(jī)；模式識(shí)別

0 引言

對(duì)于維數(shù)較高的有向信念網(wǎng)絡(luò)，根據(jù)給定的數(shù)據(jù)矢量推測(cè)隱層行為的條件分布是很難的，這也導(dǎo)致它們的學(xué)習(xí)非常困難。變分法（Variational methods）對(duì)條件分布真值采用簡單的近似，但是近似是很不盡如人意的，特別是在最深的隱層。變分學(xué)習(xí)需要對(duì)所有的參數(shù)一起學(xué)習(xí)，隨著參數(shù)數(shù)量的增加讓學(xué)習(xí)時(shí)間規(guī)模變的很大。

針對(duì)上述問題，Hinton等提出了一種由受限玻爾茲曼機(jī)構(gòu)成的深度信念網(wǎng)絡(luò)。這種深度信念網(wǎng)絡(luò)可以用一個(gè)快速貪婪學(xué)習(xí)算法來很快找到一組性能很好參數(shù)。可以進(jìn)行無監(jiān)督學(xué)習(xí)，推斷速度快而且準(zhǔn)確。本文將這種深度信念網(wǎng)絡(luò)用于手寫數(shù)字識(shí)別，并對(duì)其性能進(jìn)行了討論。

1 深度信念網(wǎng)絡(luò)簡介

深度信念網(wǎng)絡(luò)由可視層、輸入層及多個(gè)隱層組成。傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)中［1-2］，當(dāng)隱層較多的時(shí)候，反向傳播等算法都不能很好的工作。在深度信念網(wǎng)絡(luò)中，相鄰的兩層可以看作一個(gè)受限玻爾茲曼機(jī)［3-4］，這樣一個(gè)深度信念網(wǎng)絡(luò)就可以看作多個(gè)串聯(lián)在一起的受限玻爾茲曼機(jī)。每次深度信念網(wǎng)絡(luò)的學(xué)習(xí)，都可以分解成每個(gè)玻爾茲曼機(jī)從下向上的順序?qū)W習(xí)。

如圖1所示，每個(gè)受限玻爾茲曼機(jī)包括一個(gè)可視層和一個(gè)隱層，每一層都由多個(gè)隨機(jī)神經(jīng)元組成。層間的神經(jīng)元之間都有連接，而層內(nèi)的神經(jīng)元之間沒有連接。每個(gè)神經(jīng)元都具有兩個(gè)狀態(tài)——激活和未激活，可以用0和1表示，狀態(tài)是根據(jù)概率來確定。

1.1 補(bǔ)充先驗(yàn)

1.2 受限玻爾茲曼機(jī)的對(duì)比散度學(xué)習(xí)

當(dāng)上述概率分布確定之后，需要根據(jù)此概率分布，確定在整個(gè)訓(xùn)練集（包含K個(gè)訓(xùn)練數(shù)據(jù)）上概率最大的使得φ，即

求φ*的關(guān)鍵是對(duì)L（ φ）求偏導(dǎo)，可以將L（ φ）表示為：

對(duì)φ中的某個(gè)參數(shù)φl求偏導(dǎo)為

這里，＜.＞P為依分布P的數(shù)學(xué)期望。上述方法稱為對(duì)比散度學(xué)習(xí)算法［5］。

2 實(shí)驗(yàn)結(jié)果

MNIST手寫數(shù)字?jǐn)?shù)據(jù)庫包括60000個(gè)訓(xùn)練圖片和10000個(gè)測(cè)試圖片。這個(gè)公開的數(shù)據(jù)庫上，不同模式識(shí)別技術(shù)的結(jié)果都已經(jīng)給出，所以評(píng)估新模式識(shí)別技術(shù)比較理想。在訓(xùn)練之前并不進(jìn)行預(yù)處理和增強(qiáng)。網(wǎng)絡(luò)在44000個(gè)訓(xùn)練圖像上進(jìn)行訓(xùn)練，將訓(xùn)練集分為440小批，每批包括每類數(shù)字的各10個(gè)圖片。每個(gè)小批更新一次權(quán)重。

測(cè)試網(wǎng)絡(luò)的一種方法是采用測(cè)試集，采用本生成模型來獲得分類。對(duì)于測(cè)試集10000個(gè)測(cè)試圖片，錯(cuò)誤率1.29%。出錯(cuò)的125個(gè)數(shù)據(jù)如圖2所示，在左上角給出了網(wǎng)絡(luò)識(shí)別的結(jié)果。

每個(gè)訓(xùn)練周期的重構(gòu)均方誤差如圖3所示。左側(cè)是7層的網(wǎng)絡(luò)，每層分別包括784、400、200、100、50、25、6個(gè)神經(jīng)元。右側(cè)是3層網(wǎng)絡(luò)，每層分別包括784、532、6個(gè)神經(jīng)元。從圖中可以看出，7層網(wǎng)絡(luò)的訓(xùn)練速度要明顯高于3層網(wǎng)絡(luò)，而且訓(xùn)練誤差低于3層網(wǎng)絡(luò)。

3 結(jié)論

本文討論了一種深度學(xué)習(xí)的算法，將多隱層神經(jīng)網(wǎng)絡(luò)表示為一系列受限玻爾茲曼機(jī)串聯(lián)的形式，而多隱層網(wǎng)絡(luò)的學(xué)習(xí)相應(yīng)的變?yōu)槎鄠€(gè)受限玻爾茲曼機(jī)的順序?qū)W習(xí)。給出了受限玻爾茲曼機(jī)的對(duì)比散度學(xué)習(xí)方法。進(jìn)而，將本方法應(yīng)用到手寫數(shù)字識(shí)別問題，取得了較高的識(shí)別率。

參考文獻(xiàn)：

［1］葉世偉,史忠植.神經(jīng)網(wǎng)絡(luò)原理［M］.北京：機(jī)械工業(yè)出版社,2006.

［2］Haykin S.神經(jīng)網(wǎng)絡(luò)與機(jī)器學(xué)習(xí)（英文版）［M］.北京：機(jī)械工業(yè)出版社,2009.

［3］Jordan M, Sejnowski T. Learning and relearning in boltzmann machines ［A］. Parallel Distributed Processing Explorations in the Microstructure of Cognition,1986：45-76

［4］Hinton GE. Training products of experts by minimizing contrastive divergence［J］.Neural Computation,2002, 14（08）：1711-1800.

［5］Hinton GE, Dayan P, Frey BJ et al. The wake-sleep algorithm for self-organizing neural networks［J］.Science, 1995,268：1158-1161.

DOI：10.16640/j.cnki.37-1222/t.2016.12.112

作者簡介：劉長明（1971-）, 男,山東無棣人，本科，助理研究員，主要從事科學(xué)技術(shù)基礎(chǔ)研究工作。