基于粒子群優化的深度神經網絡分類算法*

董 晴,宋 威

(江南大學 物聯網工程學院，江蘇 無錫 214122)

基于粒子群優化的深度神經網絡分類算法*

董 晴,宋 威

(江南大學 物聯網工程學院，江蘇 無錫 214122)

針對神經網絡分類算法中節點函數不可導，分類精度不夠高等問題，提出了一種基于粒子群優化(PSO)算法的深度神經網絡分類算法。使用深度學習中的自動編碼機，結合PSO算法優化權值，利用自動編碼機對輸入樣本數據進行編解碼，為提高網絡分類精度，以編碼機本身的誤差函數和Softmax分類器的代價函數加權求和共同作為PSO算法的評價函數，使編碼后的數據更加適應分類器。實驗結果證明:與其他傳統的神經網絡相比，在郵件分類問題上，此分類算法有更高的分類精度。

深度神經網絡； 自動編碼機； 粒子群優化算法； 分類

0 引 言

近年來，神經網絡的研究一直受到學者們的關注，如感知機[1]，反向傳播(back propogation,BP)神經網絡[2]，徑向基函數(radial basis function,RBF)神經網絡及其各種改進算法[3～5]等。2006年，Hinton G E教授提出了“深度學習”[6]的概念，卷積神經網絡、深度信念網絡、自動編碼機是深度學習中經常用到的基礎模塊[7]，并有學者對此進行了改進，如Vincent P等人提出了一種降噪自動編碼機[8]，使網絡的泛化能力更強。宣森炎等人聯合卷積和遞歸神經網絡進行交通標志識別[9]，減少了訓練時間。陽武等人將深度信念網絡應用于故障指示器檢測[10]，識別正確率高于BP算法和支持向量機(support vector machine,SVM)算法，可以看出以上神經網絡在分類或圖像識別上有一定的效果，但還存在一些不足：當節點函數不可導或沒有梯度信息存在時無法使用傳統方法解決權值優化；容易陷入局部最優。

針對上述問題，本文提出了一種基于粒子群優化(particle swarm optimization,PSO)[11，12]的深度神經網絡分類算法(PDNN)。粒子群優化 算法可以處理節點函數不可導的問題，并具有較強的全局優化能力，因而,本算法使用PSO算法優化自動編碼機的權值，并與Softmax分類器構成分類算法。首先，利用自動編碼機對輸入數據進行編解碼，PSO算法優化權值，評價函數由編碼機本身的誤差函數和Softmax分類器的代價函數加權求和共同構成，以使特征數據更加適應分類器，提高分類精度。其次，解碼之后的特征矩陣作為Softmax分類器的輸入，使用梯度下降法調整分類器的權值為了證明本文算法的有效性，在數據集Ling-Spam和PU1上驗證，與其他傳統的神經網絡相比，此分類算法取得較好的實驗效果。

1 相關工作

1.1 DNN

自動編碼機是DNN的常用基礎模塊，是一種三層神經網絡，包括輸入層L1，隱含層L2和輸出層L3。自動編碼機是一種使輸出等于輸入的無監督學習算法，訓練樣本集合沒有類別標簽，含p個訓練樣本，設為{x(1),x(2),…,x(i),…x(p)}，其中 ，輸出y=x。其網絡結構如圖1。

圖1 自動編碼機網絡結構

隱含藏層L2的輸出滿足

L2=f(W1x+b1)

(1)

y=f(W2L2+b2)

(2)

由于自動編碼機的特殊映射關系，通常隱含層與輸出層之間的權值矩陣W2與W1互為轉置，b2為隱含層與輸出層之間的偏置向量。樣本數據由輸入層到隱含層看作編碼過程，隱含層到輸出層看作解碼過程。每一個訓練樣本x先映射到L2，然后再重構成y，每個樣本的誤差函數為

(3)

總誤差函數為

(4)

式中m為訓練樣本的數量。

通過最小化誤差函數來優化參數。

1.2 PSO算法

在基本PSO算法中，每一個粒子的位置均作為所求解問題的可行解。

假設群體P由m個粒子組成，P=(p1,p2,…,pi,…,pm)，在n維空間中以一定速度搜索，粒子群的第i粒子由三個n維向量組成，分別為目前位置pi=(pi1,pi2,…,pin),歷史最優位置Bi=(bi1,bi2,…,bin),速度vi=(vi1,vi2,…,vin)。

在算法每一次迭代中，每個粒子的目前位置作為問題的可行解被評價函數評價。粒子i的歷史最優位置稱為個體最優解，整個群體中最好個體的位置稱為全局最優解，記為Bg=(bg1,bg2,…,bgn)。在搜索時，考慮到粒子搜索到的個體最優解和整個群體內搜索到的全局最優解，對于每個粒子的第d維(1≤d≤n)根據以下公式來調整速度和位置

(5)

(6)

如果vid>Vmax,則vid=Vmax;

如果vid<-Vmax，則vid=-Vmax。

2 基于PSO的DNN分類算法

使用PSO算法優化編碼機權值，在編碼機的頂層添加分類器，為了提高分類準確率，重新設計評價函數，在編碼機的誤差函數上加入帶權的分類器代價函數作為PSO算法的新的評價函數。

設輸入樣本數據集合為P=[p1,p2,…,pi,…,pm]，pi=[x1,x2,…,xn]T，m為樣本個數，n為樣本數據維數，將自動編碼機輸入層和隱含層之間的權值矩陣W1看作一個粒子，為

式中n為輸入樣本數據維數；p為隱含層神經元個數。初始化粒子的位置和速度，計算式(1)，W1轉置后，計算式(2)，若沒有達到評價函數值或最大迭代次數，按照式(5)、式(6)更新粒子的位置和速度，直到位置達到最優，即自動編碼機的權值調整到最佳狀態。

Softmax回歸模型是對Logistic回歸模型的擴展，可以對多分類問題分類。當樣本集合為{(x(1),y(1)),(x(2),y(2)),…,(x(m),y(n))}，m為訓練樣本數量，標簽y=1,2,…,k，表示有k個類別。設p(y=j|x)表示輸入x的情況下，樣本被判為類別j的概率。所以,對于一個k類的分類器，輸出是一個k維的向量(向量的元素和為1)，輸出為

(7)

式中θ為矩陣，矩陣的每一行看作是一個類別所對應分類器的參數，共k行。分類器的代價函數為

(8)

式中 1{·}為一個指示性函數，即大括號中的值為真時，該函數的結果為1；否則，結果為0。使用梯度下降法最小化代價函數，J(θ)對θj的偏導為

p(y(i)=j|x(i);θ))]

(9)

θj的更新公式如下

(10)

在實際使用Softmax算法時，通常會給上述代價函數增加一個權重衰減項來修改代價函數[7]，這個衰減項會懲罰過大的參數值，則代價函數變為

(11)

(12)

當代價函數達到要求或迭代次數達到最大值時，此分類器的參數固定，對每一個樣本分類器輸出一個k維向量，每一維對應一個類別的概率，取最大值為該樣本的類別。

自動編碼機的頂層添加Softmax分類器后，構成一個深度神經網絡分類算法。設計思想：利用自動編碼機對輸入數據進行編解碼，使用粒子群算法優化權值，Softmax分類器的參數在編解碼過程中保持固定，不參與粒子群的優化，而是編解碼結束之后使用梯度下降法獨立調整，但分類器的代價函數值作為編碼機權值調整的一個評價值，與編碼機的誤差函數一起對權值優化進行指導。加入帶權的Softmax分類器代價函數后，評價函數變為

C=ηSUMY(x,y)+μJ(θ)

(13)

式中η，μ分別為自動編碼機誤差函數和Softmax分類器代價函數的權重。通常SUMY的值大于J，為了保持平衡，η一般較μ小得多。

當特征維數較大時，使用自動編碼機可以對特征降維，當特征維數較小時，用解碼之后的特征數據分類，為了使特征數據更易區分，便于分類，在原來的誤差函數上加入帶有權重的Softmax分類器代價函數，不僅可以保持數據的原有特征性質，同時,又可以更好地適應分類器，提高分類精度，因而,協同指導權值的調整過程，以逼近最優權值。

為了使權值靠近最優位置，首先,對粒子群進行篩選，根據評價函數選擇優秀粒子作為自動編碼機的初始權值。第一步隨機產生M個粒子，由式(13)計算此M個粒子的評價函數，依據評價函數值對粒子升序排列，選擇前N個粒子作為PSO算法的初始化粒子。得到初始化粒子后，使用PSO算法優化權值，當評價函數滿足條件或迭代次數達到最大值，完成自動編碼機的訓練。解碼之后的特征矩陣作為Softmax分類器的輸入，使用梯度下降法調整分類器的權值。完整的基于粒子群的DNN學習算法流程為：

1)根據PSO算法的新評價函數篩選優秀粒子作為自動編碼機的初始權值w。

2)初始化粒子群的速度v以及Softmax分類器的參數。

3)輸入訓練樣本集X。

4)編碼機編、解碼，根據評價函數(13)得到粒子的個體最優解p和粒子群的歷史最優解Bg，判斷評價函數是否滿足條件或迭代次數是否達到最大值，若是，則結束權值優化過程，進入步驟(6)；否則，進入步驟(5)。

5)使用式(5)、式(6)更新粒子的速度v和位置p，返回步驟(4)。

6)自動編碼機解碼之后的樣本數據作為Softmax分類器的輸入數據，使用梯度下降法調整分類器的參數。

7)輸出粒子群的歷史最優解Bg和分類器的參數，得到最終的DNN的網絡結構。

3 實驗結果與分析

3.1 實驗數據集

實驗將PDNN算法應用于垃圾郵件過濾。采用2個數據集來驗證算法的有效性，分別為Ling-Spam和PU1數據集。Ling-Spam數據集共包括2 893封郵件，其中2 412封正常郵件，481封垃圾郵件。在仿真實驗中，隨機選取其中的1 200封作為數據集，包括1 000封正常郵件和200封垃圾郵件；PU1數據集共包括1 099封郵件，其中，618封正常郵件，481封垃圾郵件。對于每一封郵件使用向量空間模型表示，提取文檔內詞間關系構造語料庫詞典，結合潛在語義特征空間方法，通過特征抽取方法對特征進行降維。各數據集的具體信息如表1所示。

表1 實驗數據集

3.2 實驗結果分析

實驗在Windows7操作系統上運行，使用MatlabR2008b開發環境。在實驗中，PDNN算法的最大迭代次數為30，Ling-Spam數據集中，η為0.000 02，μ為20;PU1數據集中，η為0.000 4，μ為60。在算法的步驟(5)中，2個數據集中Softmax分類器的參數設置相同，最大迭代系數為800，權值衰減系數為0.000 2，調整步長為0.13，最小代價為0.1。PSO算法的參數設置：c1=c2=2，從60個粒子中篩選20個優秀粒子作為初始權值，PDNN算法和BP算法的實驗結果為10次實驗的平均值。文本分類由2個指標表示：查全率和查準率，F1值表示查準率和召回率的綜合情況。

查準率=分類正確的文本數/實際分到該類的文本數

召回率=分類正確的文本數/實際屬于該類的文本數

當PSO算法的評價函數僅由編碼機的誤差函數構成時(PDNN*算法，做10次實驗取平均值)，與PDNN算法比較的實驗結果如表2所示。

表2 PDNN算法與PDNN*算法的結果比較 %

從表2可以看出，在正常郵件的查準率，垃圾郵件的查準率和召回率上，PSO算法的評價函數，由編碼機的誤差函數和分類器的代價函數共同構成的PDNN算法，比PDNN*算法，均有一定的提高，在Ling-Spam數據集上尤為明顯，垃圾郵件的查準率和召回率分別提高了13.11 %，41.00 %；在PU1數據集上，垃圾郵件的查準率和召回率分別提高了1.97 %，13.34 %。說明加入分類器的代價函數評價后，對編碼機的編解碼方向有指導作用，使樣本數據更適應分類器，從而得到更好的分類結果。

表3給出了PDNN算法與RBFNN算法，BPNN算法在Ling-Spam和PU1數據集上查準率、召回率和F1的比較。RBFNN算法和BPNN算法均采用Matlab工具箱，在Ling-Spam數據集上RBFNN算法的均方誤差為0.05，擴展速度為500;BP算法的誤差為0.1，最大迭代次數200。在PU1數據集上RBFNN算法的均方誤差為0.1，擴展速度為500；BP算法的誤差為0.1，最大迭代次數200。

表3 PDNN算法、RBFNN算法和BPNN算法的結果比較%

實驗結果表明：不管是在Ling-Spam數據集還是在PU1數據集上，本文的PDNN算法比傳統的RBFNN算法和BPNN算法的查準率、召回率和F1值均高，在3種算法中，正常郵件的召回率最高，而垃圾郵件的召回率相對較低。在實際生活中，用戶對于正常郵件和垃圾郵件的態度不一樣，用戶寧愿多看一封垃圾郵件也不愿意錯過一封正常郵件，所以，雖然垃圾郵件的召回率較低，但是正常郵件的查準率、召回率的實驗結果比較符合用戶的意愿。

4 結束語

提出了基于PSO算法的PDNN，需要提前篩選優秀粒子作為自動編碼機的初始權值，使用PSO算法優化編碼機權值，在編碼機的誤差函數上加入帶權值的Softmax分類器代價函數作為PSO算法的評價函數以逼近最優權值。通過在Ling-Spam和PU1數據集上的實驗結果可以看出:PDNN算法具有可行性，有效提高了神經網絡的學習精度，對比RBFNN算法、BPNN算法有著較好的分類效果。

[1] Rosenblatt F.The perceptron:Aprobabilistic model for information storage and organization in the brain[J].Psychological Review,1958,65:386-408.

[2] Werbos P J.Beyond regression:New tools for prediction and analysis in the behavioral sciences [D].Boston:Harvard University,1974.

[3] Vukovic＇N,Miljkovic＇Z.A growing and pruning sequential lear-ning algorithm of hyper basis function neural network for function approximation.[J].Neural Networks the Official Journal of the International Neural Network Society,2013,46(5):210-226.

[4] Platt J.A resource-allocating network for function interpola-tion[J].Neural Computation,1991,3(2):213-225.

[5] Chen Z,Qian P.Application of PSO-RBF neural network in network intrusion detection[C]∥2009 The Third International Symposium on Intelligent Information Technology Application,IITA 2009,IEEE,2009:362-364.

[6] Hinton G E,Salakhutdinov R R.Reducing the dimensionality of data with neural networks[J].Science,2006,313(5786):504-507.

[7] 汪海波.基于深度學習的人臉識別方法研究[D].合肥：合肥工業大學,2014.

[8] Vincent P,Larochelle H,Bengio Y,et al.Extracting and compo-sing robust features with denoising autoencoders[C]∥Proceedings of the 25th International Conference on Machine Learning,New York,2008:1096-1103.

[9] 宣森炎,龔小謹,劉濟林.基于聯合卷積和遞歸神經網絡的交通標志識別[J].傳感器與微系統,2014,33(8):30-33.

[10] 陽 武,李 倩,趙繼生,等.深度信念網絡在故障指示器檢測中的應用[J].傳感器與微系統,2015,34(7):155-157.

[11] Kennedy J,Eberhart R.Particle swarm optimization[C]∥Proc of IEEE International Conf on Neural Networks,Piscataway:IEEE,1995:1942-1948.

[12] 龔雪飛,徐 景,孫壽通,等.PSO-BP神經網絡在多元有害氣體檢測中的應用[J].傳感器與微系統,2015,34(2):154-156，160.

Deep neural network classification algorithm based on particle swarm optimization*

DONG Qing, SONG Wei

(School of IoT Engineering,Jiangnan University,Wuxi 214122,China)

Aiming at problem that classification precision of neural network algorithm is not very high and node function doesn't have derivate,a new classification algorithm of deep neural network based on particle swarm optimization(PSO) is presented.Use autoencoder of deep study,and combined with PSO algorithm to optimize the weight,coder and decoder for input sample data using autoencoder.In order to improve the classification precision of network,take the error function of autoencoder and cost function of softmax classifier weight sum as evaluation function of PSO algorithm in common,making coded data more adapter to the classifier.The experimental results show that compared with other traditional neural network,the classification algorithm has higher classification precision on Email classification.

deep neural network; autoencoder; particle swarm optimization(PSO) algorithm; classification

10.13873/J.1000—9787(2017)09—0143—04

2016—09—13

中央高?；究蒲袠I務費專項資金資助項目 (JUSRP51635B)

TP 183

A

1000—9787(2017)09—0143—04

董 晴(1991-)，女，碩士，主要研究方向為神經網絡、機器學習,E—mail:jiangdadq@163.com。

宋 威(1981-)，男，博士，副教授，主要從事數據挖掘、人工智能、機器學習方向研究工作。