基于粒子群算法優化設計RBM網絡結構*

聞一波 雷菊陽

（上海工程技術大學機械與汽車工程學院 松江 201620）

1 引言

受限玻爾茲曼機［1］（RBM）是一種生成式隨機神經網絡，網絡具有兩層結構：可見層和隱藏層，采用層內無連接、層間全連接的方式。因其簡單的網絡結構和對比散度算法［2］的出現，RBM在分類、特征學習、降維等方面［3～5］得到了廣泛應用。但是目前卻很少有關于RBM網絡結構設計的研究，也沒有通用的規則［6］去制定其結構。文獻［7］中提出遺傳算法優化設計RBM網絡結構的方法，該方法使用效果顯著，受此啟發探索其他方法去設計RBM網絡結構。

粒子群算法是一種基于群體的智能優化算法［8］，該算法具有群體智能、內在并行性、結構簡單、收斂快速［9］等優點。粒子群算法作為一種進化算法，在處理非線性問題尋優方面有較好的魯棒性和收斂性。

在制定RBM網絡結構時，由于結構只有兩層，所以可見層與隱藏層決定模型的復雜度。如果可見層的特征太多造成寧濫毋缺的局面，便會大大增加模型復雜度，倘若過分減少特征反而會導致輸入樣本包含信息過少，也不利于模型對于數據的學習。隱藏層的作用可以看作是對可見層特征的學習［10］和提取，隱藏層數目設置過大，模型計算過于復雜，太小又無法學習到可見層不同樣本的差異，導致最后分類預測效果很差。

綜合以上，PSO-RBM主要解決兩個問題：一是利用粒子群算法給RBM篩選樣本的特征，二是利用粒子群算法對隱藏層數目進行優化選擇。

2 PSO-RBM算法設計

2.1 算法過程

粒子群算法作為RBM網絡結構的優化設計，首先在搜索空間中初始化種群和速度，然后根據適應度函數計算出種群中不同個體的適應度值，接著利用速度和位置公式［11］進行更新調整。經過多次迭代后為RBM模型挑選出最優的個體，進而確定可見層特征維數以及隱藏層數目，將這些參數再應用到RBM中進行訓練便得到結構簡單的RBM模型。在整個算法設計過程中，根據已知的粒子群算法模型進行設計算法需要解決兩個問題：個體變量和適應度函數設計。

2.2 個體變量設計

個體由兩部分組成，分別為可見層特征維數和隱藏層數目。可見層中每一個神經元代表一個特征，特征維數過多導致模型計算復雜，維數過少則無法保證可見層本應包含的信息量，因此需要對可見層特征進行篩選。本文采用標稱型數據，假定1代表選用該特征，0代表舍棄該特征。而粒子群算法通常適用于連續性變量問題，所以在個體變量設計時需要做出調整，方法如下：

假設可見層特征維數為N，生成N維的隨機向量Xi=［xi1，xi2，…，xik，…，xiN］（k＜N），其中xik服從［-1，1］的均勻分布，該向量代表可見層特征是否選用的實數表達形式，那么在算法迭代更新過程中便可始終保持連續性。而在RBM模型中求解適應度值時將該向量轉變為標稱型變量，方式如下：

式（1）中1和0分別代表選用和舍棄，yik代表第i個個體中可見單元轉變后對第k個特征的取舍。對于隱藏層數目，因為可見層與隱藏層之間是無向連接并且隱藏層神經元之間的狀態相互是條件獨立［12］的，所以只需要隨機生成一個實數迭代訓練且在RBM中取整即可。

綜上，一個個體可以表示為pop（i）=［xi1，xi2，…，xiN，bi］，其中pop（i）代表第i個個體，bi代表第i個個體中隱藏層數目實數表示。

2.3 適應度函數設計

RBM模型將個體轉變后獲取參數進行訓練，然而評價RBM模型優劣需要一個衡量指標。本文采用重構誤差［13］的方法，即輸入數據與重構輸入數據之間的差值。重構誤差公式如下（采用二階范數）：

式中S和N分別代表訓練樣本個數和可見層特征維數，uj代表訓練樣本集中在第j維特征數據向量，代表輸入樣本重構后可見層第j維特征數據向量。所以適應度函數根據式（2）進行了定義，如下：

其中S和N的含義與式（2）一致，uinitial j代表在N維特征維數的原始數據中被選中的第j維的向量。代表被選中的第j維特征數據向量經過輸入重構后的向量。式（3）表示一個個體在經過PSO-RBM模型訓練后的重構誤差與訓練數據樣本總數之商，很容易得到結論，適應度值E（k）越小，則該個體轉變后的模型參數在RBM模型使用中效果越好。

3 實驗分析

實驗使用Matlab軟件編程分析，將PSO-RBM應用到MNIST手寫體數據集上優化RBM網絡結構，然后與傳統的RBM網絡結構在正確率和訓練時間比較，測試經過粒子群算法優化過的結構是否優于傳統結構。MNIST數據集包含70000個樣本，其中60000個樣本作為訓練數據，10000個作為測試數據。每一個樣本代表一個手寫數字，維度為28×28，展開為行向量為1×784，所以可見層特征維數N為784。最后加上一個隱藏層數目參數，那么最終在粒子群算法中每個個體的維數等于785。

粒子群優化算法中，參數設置如下：學習因子c1=c2=1.494，因為個體由兩部分構成，所以它們的速度和位置搜索空間都不同。可見層特征維數：速度Vmax=0.2，Vmin=-0.2位置Fpopmax=1，Fpopmin=-1。隱藏層數目：速度Lmax=5，Lmin=-5位置Lpopmax=150，Lpopmin=-80。種群數目設為5，迭代50次停止。為了提高算法求解效率，在求適應度值時RBM模型訓練次數設為1。由于粒子群算法不是全局收斂容易陷入局部極小值［14］，因此實驗一共實施5次，選取其中一次結果作為示例。

圖1表示示例迭代次數與各代中的最佳適應度值的變化關系，從圖中看出隨著迭代次數的增加，PSO-RBM較為快速的收斂到最優處。將最優個體轉變后得到可見層特征維數由784下降到314，隱藏層數目為149。

圖1 最佳適應度收斂曲線

圖2展示了十張從原始數字到降維后的數字圖片，圖中上部五張為原始數據集中的數字圖片，下部五張為經過降維后的圖片。能夠看出個體中可見層特征維數對原始數據維數進行了篩選，雖然降維后的圖片沒有原來的圖片清晰，不過也充分保留了數字的基本特征。

圖2 原始數字及降維后的數字

由于RBM是無監督學習［15］，當前只是優化網絡結構并沒有實際運用到測試數據中測試其網絡性能，因此要實現對MNIST手寫體數據集的分類預測還要在原有RBM上增加一個分類器。本文采用神經網絡［16］作為分類器，選用三種RBM網絡結構比較分析，結構如下：

1）RBM，原始數據特征維數和較少的隱單元數目即784-100。

2）RBM，原始數據特征維數和較多的隱單元數目即784-400。

3）PSO-RBM，經過粒子群算法優化后的RBM即314-149。

從表中看出PSO-RBM的錯誤率低于結構1）高于結構2），不過訓練時間卻是最短的。結構2）雖然錯誤率最低但是它的訓練時間太長甚至達到PSO-RBM的15倍左右，時間成本太高。綜上可以得到結論：

1）個體中可見層特征維數轉變后對原始數據的特征進行了篩選，舍棄了原始數據中共同的特征，降低了數據特征維數。

2）粒子群算法優化RBM后的網絡結構從錯誤率和訓練時間上綜合分析，在一定程度上提升了RBM模型性能。

表1 三種RBM結構試驗結果

4 結語

本文研究了受限玻爾茲曼機網絡結構的設計方法，結合粒子群算法完成可見層特征和隱藏層數目的優化選擇。通過在MNIST數據集上進行對比實驗，實驗結果表明，采用PSO-RBM優化后得到的RBM網絡結構在錯誤率和訓練時間上與傳統結構相比較，在綜合性能上有一定的優勢。本文作為粒子群算法優化RBM網絡結構的開端，考慮到粒子群算法仍存在缺點，因此PSO-RBM還具備提高的潛力。在今后的工作中將不斷改進PSO，提高PSO-RBM的優化能力，使得RBM網絡結構朝著簡單、高效的方向發展。