基于改進的粒子群算法優化開關神經網絡的木材表面缺陷識別1)

季偉東 王克奇 張建飛 馬 寧

(東北林業大學，哈爾濱，150040) (黑龍江科技學院) (哈爾濱師范大學)

木材缺陷直接影響木材品質及其使用價值，木材表面缺陷識別的研究對于木材的科學利用具有十分重要的意義。木材表面缺陷模式識別通常采用人工神經網絡技術［1-3］，收斂速度慢，精度低，識別率不高。為解決神經網絡這一問題，當前很多研究者將模擬退火、遺傳算法等一些全局搜索方法用于神經網絡的訓練中。但其復雜的操作使得神經網絡所消耗時間隨著問題的規模和復雜度成指數級增長，并且在局部搜索方面缺乏有效的機制，在最優解附近收斂速度變慢甚至停滯。針對此問題，筆者用改進后的粒子群算法訓練開關神經網絡，將其用于木材表面缺陷識別，目的是加快收斂速度，提高精度，避免陷入局部極值。

1 改進的粒子群優化算法

1.1 粒子群優化算法

粒子群優化算法(Particle Swarm Optimization，PSO)于1995年由Eberhart博士和kennedy博士提出。它源于鳥類捕食行為的模擬，首先初始化一隨機種群，種群中的每個粒子都代表著所求解問題的一個可能解。每個粒子都有自己的位置和速度，在每一次迭代過程中，粒子都記憶、追隨當前迭代的最優粒子，通過跟蹤兩個“極值”來更新自己的位置、速度。兩個極值分別是個體極值，即粒子本身所找到的最優解;全局極值，即整個種群找到的最優解。粒子在迭代過程中找到這兩個極值后，粒子按照公式(1)、(2)來更新自己的位置和速度［4-5］。

1.2 改進的粒子群優化算法(IPSO)

1.2.1 混沌產生初始種群

混沌現象是指發生在確定性系統中的貌似隨機的不規則運動，一個確定性理論描述的系統，其行為卻表現為不確定性，這就是混沌現象。混沌的遍歷性特點可作為搜索過程中避免陷入局部極小的一種優化機制，由混沌序列搜索產生初始種群。這在一定程度上能提高算法的搜索效率，同時增加種群的多樣性。

1.2.2 克隆選擇變異算子

大量的研究表明基本PSO模型易于過早收斂于一個平衡點［6］，此時速度為0(或非常接近0)，位置也不再變化。

克隆選擇是生物免疫系統理論的重要學說。克隆是英文Clone一詞的單譯，意為無性繁殖系，即通過無性繁殖(如細胞絲分裂)可連續傳代并形成群體，常用于細胞水平的描述。

受上述理論啟發，本設計克隆選擇變異算子來改變種群中適應度值高的M個粒子的位置向量，避免陷入局部極值。克隆選擇變異算子如下式(4)描述：

這里，x'ij(t)是 xij(t)克隆后的值，Δ(t，d)=d(1-)。

克隆選擇變異算子對每一個位置向量的分量加上一個隨機值［7］，式中 U(0，1)指區間(0，1)上的均勻分布，r∈U(0，1)，nt是最大迭代次數，β 指定代數t時的依賴度。設β=5能得到較好的效果。

這種非均勻變異算子的特性是Δ(t，d)返回一個在［0，d］范圍內的值，且(t，d)=0，用以保證變異步長隨著時間t的增加而遞減，與在進化初期變異空間大及在進化后期變異空間小相符合。

克隆選擇變異算子操作步驟如下：

①所有粒子按照適應度值排序，選取種群中適應度值高的M個粒子無性繁殖成一個大小為M的群體，群體中每個個體與原粒子具有一致的屬性。

②繁殖出的群體位置向量按照克隆選擇變異算子進行操作。

③計算克隆群體粒子的適應度值，如果高于本身粒子，則和本身粒子進行替換，否則粒子位置不變。

通過克隆選擇變異，種群中適應度值最高的M個粒子具有自學習能力，使粒子增加了擺脫局部極值的能力，同時能夠正確引導其它粒子的位置、速度，提高了算法運行效率。

改進后粒子群優化算法在速度更新上與式(1)不同，采用式(5)的速度更新方式［8］。

上式由Clerc提出，速度被一個常數χ收縮，這個常數叫做收縮系數［8］。文獻［9］指出在粒子數小于30 時，式(5)中各參數分別取 χ=0.729，φ1=2.8和 φ2=1.3為最佳。

1.2.3 IPSO 算法描述

IPSO過程如下：算法由混沌序列產生初始種群，每一代群體中的所有粒子首先由PSO進化，通過式(5)和式(2)更新每個粒子的速度和位置，并計算每個粒子的適應度函數值。根據粒子的適應度值選擇其中的M個適應能力強的粒子，這些粒子被稱為精英個體。精英個體不是直接進入算法的下一代群體中，而是通過克隆選擇變異算子對他們進行性能再提高，即采用克隆選擇變異算子在精英個體區域附近開發出性能更優秀的粒子位置，并由他們引導下一代整個粒子種群快速進化。這些新開發的粒子同種群中剩余粒子共同構成IPSO算法的下一代種群。改進的粒子群優化算法從總體上看是在PSO算法的下一代群體中融入了一些由克隆選擇變異算子生成的個體，避免算法過早收斂于一個平衡點。

1.3 算法測試

為分析本算法的優化性能，通過與常規 GA(SGA)和PSO做對比，對具有大量局部最優點的多峰基準測試函數Griewank式(6)進行測試。

Griewank函數：

在比較實驗中，各算法的參數按照如下選取：3種不同算法的種群大小都為P=30;SGA采用適應度比例選擇算子、算術交叉和均勻變異算子，其中交叉概率pc=0.9，變異概率pm=0.01;PSO算法中慣性權系數ω隨進化代數從0.9線性遞減至0.2;加速因c1=c2=2，粒子最大速度=0.2;本研究IPSO算法粒子群的速度更新采用式(6)的修改后方式，壓縮因子 χ=0.729，系數 φ1=2.8，φ2=1.3，克隆選擇變異算子數目M=4=0.2。測試函數分別取不同維數(80、150)及相應的進化代數(200、600)，將3種不同算法對Griewank基準測試函數分別獨立運行20次后將最優解取平均值，并計算優化結果的標準差，結果如表1所示。

表1 3種算法獨立運行20次平均最優值、標準差比較結果

可以看出，與SGA算法和PSO算法的優化結果相比較，用IPSO對基準測試函數搜索到的最優解質量明顯優于SGA和PSO算法解的質量，顯著提高了算法的全局搜索能力。從獨立運行20次得到的優化解質量的穩定性方面比較，本研究IPSO算法得到解的適應度值標準差小于SGA算法、PSO算法解的標準差，說明在求解質量上IPSO算法比另2種算法更具有穩定性。

圖1為采用SGA、PSO和IPSO算法對基準測試函數在變量維數為150維，進化代數為600代，獨立進行20次時平均最佳適應度值進化過程的比較曲線。可看出，采用本研究的IPSO算法不但具有很強的全局搜索能力，并且具有快的收斂速度，有效減弱了常規遺傳算法和粒子群優化算法中的早熟收斂、易陷入局部最優解的現象，即使對高維的復雜函數，利用本研究改進的PSO算法也取得了好的優化結果，驗證了該算法的有效性。

圖1 Griewank函數測試結果

2 基于IPSO的開關神經網絡結構與權值調整優選方法

2.1 帶連接開關的神經網絡

結合文獻［10］、［11］等研究工作，考慮如圖2結構所示的多入多出3層前饋神經網絡，該網絡與普通神經網絡結構相比，主要不同之處是該網絡在兩節點(神經元)之間引入一單位階躍函數，該階躍函數可定義為式(7)所示。

式中：α為開關參數。引入單位階躍函數δ(·)相當于在網絡每兩節點之間增加了一連接開關0/1，當δ(·)=1時表示神經元兩節點之間相互連接，δ(·)=0表示神經元兩節點之間相互斷開。根據圖2網絡結構可得，多入多出3層前饋神經網絡的輸入輸出關系為式(8)所示

logsig(·)為Sigmoid函數，其表達式如式(9)所示的

式中：λ 為(0，1］之間一參數。

圖2 帶連接開關的神經網絡結構

從圖2中可以看出神經網絡的輸入輸出關系由網絡的連接權值參數決定，而神經網絡的結構由網絡連接開關參數控制。雖然網絡的輸入、輸出節點數固定，但網絡結構中隱層節點數及節點之間的連接數并沒有固定;而且每一個隱層節點至少與其中的一個輸入節點相連，每一個輸出節點至少與相應一個隱層節點相連。當輸入層、隱層與輸出層的節點之間沒有相互連接時，神經網絡節點之間連接開關值都為零。

2.2 IPSO算法用于前向網絡結構與權值優化設計

采用IPSO算法優化帶連接開關的3層前饋神經網絡結構與參數，首先將網絡權值、閾值及節點之間開關參數編碼成一編碼串，該編碼串即為IPSO算法群體中的一個粒子。利用IPSO算法在未知參數所有可能取值組合的可行解集合中搜索一組最佳的參數組合，使在所設定的隱節點數下定義的適應度函數值最小，這就是IPSO算法用于網絡結構與權值優化設計的基本思想。

利用IPSO算法對網絡權值、閾值及節點之間開關參數進行優化，首先將網絡參數編碼成如下形式的個體編碼串：

個體中每個變量均用實數表示，變量取值范圍視具體工程應用背景估計確定，通過IPSO算法在定義的搜索范圍內尋求上述變量的最優組合。

3 基于改進的遺傳算法優化開關神經網絡的木材表面缺陷識別

本研究特征參數選取文獻［3］木材缺陷圖像小波二級分解后的分數維作為特征量輸入。選用了落葉松和紅松兩種樹種，選擇了具有代表性的夾皮、腐朽、節子、蟲眼4種類型缺陷各50塊樣本，其中150塊用于訓練，50塊用于測試。4種缺陷類型的目標輸出分別用［0001］、［0010］、［0100］和［1000］表示。

在木材缺陷分類器的設計中，為與文獻［3］一致，神經網絡結構為9-15-4，神經網絡以各個層之間的連接權值和閾值確定的網絡輸出與期望值的方差作為種群的適應度函數。網絡權值與閾值vij、wj1、的參數搜索范圍都設定在［-10，10］之間，連接開關參數取值范圍都設在［-1，1］。算法參數中種群規模P=30;進化代數T=600;克隆選擇變異算子數目M=4粒子群的速度更新采用式(5)修改后的方式，壓縮因子χ=0.729，系數φ1=2.8，φ2=1.3。logsig(·)函數見式(9)定義，其中參數λ=0.3。BP參數設置如文獻［3］所示，迭代次數600。兩種算法訓練誤差設定為0.000 1。

4 測試結果分析

兩種方法訓練結果如表2所示，訓練誤差曲線如圖3所示。從表2中可以看出，BP算法采用全連接結構，節點連接數為214個，IPSO優化帶連接開關神經網絡的節點連接數為149個，與全連接網絡相比節點連接數減少了30.4%。從圖3中可以看出，IPSO表現出了良好的優化性能，而BP算法沒有達到指定誤差。

為了測試IPSO算法對BP神經網絡的訓練效果，將50個測試樣本代入訓練好的神經網絡，獲得網絡的部分輸出如表3所示。統計結果表明，IPSO算法不僅能很好地識別出木材表面缺陷，而且網絡的實際輸出值與網絡期望值非常接近，說明IPSO算法對木材表面缺陷具有較強的識別能力。

表2 兩種方法訓練結果

圖3 訓練誤差曲線

表3 部分測試樣本輸出

5 結論

本研究針對BP算法在對神經網絡訓練過程存在容易陷入局部極小等問題，提出IPSO算法訓練帶開關連接的神經網絡，與BP算法相比。實驗結果表明IPSO算法更容易擺脫局部極小，具有較高的收斂精度和收斂速度，對木材表面缺陷具有較強的識別能力。

［1］謝永華，王克奇.基于分形理論木材表面缺陷識別的研究［J］.林業機械與木工設備，2006，34(7)：21-22.

［2］白雪冰，張娜，王再尚.木材表面圖像的缺陷分割與類型識別方法［J］.機電產品開發與創新，2012，25(3)：79-81.

［3］謝永華.基于分形理論木材表面缺陷識別的研究［D］.哈爾濱：東北林業大學機電工程學院，2006.

［4］Kennedy J，Eberhart R.Particle swarm optimization［J］.IEEE Transactions on Neural Networks，1995，4(11)：1942-1948.

［5］Shi Y，Eberhart R C.A modified particle swarm optimizer［J］.IEEE on Computational Intelligence，1998，8(5)：69-73.

［6］Secrest B R，Lamont GB.Visualizing particle swarm optimizationgaussian particle swarm optimization［J］.IEEE on Swarm Intelligence，2003，11(4)：198-204.

［7］Esquivel SC，Coello CA.On the Use of Particle swarm optimization with multimodal functions［J］.IEEE Transactions on Evotutionary Computation，2003，2(12)：1130-1136.

［8］Clerc M，Kennedy J.The particle swarm-explosion，stability，and convergence in a multidimensional complex space［J］.IEEE Transactions on Evolutionary Computation，2002，6(1)：58-73.

［9］Bartz-Beielstein T，Limbourg P，Mehnen J，et al.Particle swarm optimizers for pareto optimization with enhanced archiving techniques［J］.TEEE on Evolutionary Computation，2003，3(12)：1780-1787.

［10］Lam H K，Ling SH，Leung F H F，et al.Tuning of the structure and parameters of a neural network using an improved genetic algorithm［J］.IEEE Transactions on Neural Networks，2003，1(11)：25-30.

［11］Tsai JT，Chou JH，Liu TK.Tuning the structure and parameters of a neural network by using hybrid taguchi-genetic algorithm［J］.IEEE Transactions on Neural Networks，2006，17(1)：69-80.