基于模糊高斯學習策略的粒子群-進化融合算法

周 偉，羅建軍，靳 鍇，王 凱

(1.西北工業大學 航天學院，西安 710072； 2.火箭軍工程大學 理學院，西安 710025)(*通信作者電子郵箱zw_yj@163.com)

基于模糊高斯學習策略的粒子群-進化融合算法

周 偉1*，羅建軍1，靳 鍇1，王 凱2

(1.西北工業大學 航天學院，西安 710072； 2.火箭軍工程大學 理學院，西安 710025)(*通信作者電子郵箱zw_yj@163.com)

針對粒子群優化(PSO)算法存在的開發能力不足，導致算法精度不高、收斂速度慢以及微分進化算法具有的探索能力偏弱，易陷入局部極值的問題，提出一種基于模糊高斯學習策略的粒子群-進化融合算法。在標準粒子群算法的基礎上，選取精英粒子種群，運用變異、交叉、選擇進化算子，構建精英粒子群-進化融合優化機制，提高粒子種群多樣性與收斂性；引入符合人類思維特性的模糊高斯學習策略，提高粒子尋優能力，形成基于模糊高斯學習策略的精英粒子群和微分進化融合算法。對9個標準測試函數進行了計算測試和對比分析，結果表明函數Schwefel.1.2、Sphere、Ackley、Griewank與Quadric Noise計算平均值分別為1.5E-39、8.5E-82、9.2E-13、5.2E-17、1.2E-18，接近算法最小值；Rosenbrock、Rastrigin、Schwefel及Salomon函數收斂平均值較四種對比粒子群優化算法計算結果提高了1～3個數量級；同時，收斂性顯示算法收斂速度較對比算法提高了5%～30%。算法在提高計算收斂速度和精度上效果明顯，具有較強的逃離局部極值的能力和全局搜索能力。

模糊隸屬度；高斯學習；粒子群；微分進化；融合優化

0 引言

粒子群優化(Particle Swarm Optimization, PSO)算法是一種群體智能優化計算技術，起源于對簡單社會系統的模擬，如鳥群和魚群覓食過程中生物體相互協作行為啟發，由Kennedy等[1]于1995年首次提出。算法基于迭代隨機搜索優化機制，具有概念簡單、便于實現、參數較少和無需梯度信息等優點，一經提出就得到了眾多學者的普遍關注，目前在圖像處理、信息挖掘、模式識別、路徑優化以及人工智能等領域得到廣泛應用[2-4]。

標準粒子群優化(Standard Particle Swarm Optimization, SD-PSO)算法作為一種新型群智能優化算法相比其他優化算法具有許多突出的優點，但算法在處理多極值復雜問題時，仍然存在開發能力弱的缺點，導致收斂速度慢、算法精度低等問題。針對SD-PSO算法存在的缺陷，學者們提出了許多改進的優化策略[5-6]。Shi等[7]研究提出了采用模糊系統動態改變慣性權重的策略提高算法開發能力，并以Rosenbrock函數驗證了改進算法的有效性；Clerc等[8]提出采用收縮因子提高收斂速度，增強算法穩定性和收斂速度；Nickabadi等[9]引入粒子適應度，提出自適應粒子群(Adaptive Particle Swarm Optimization, AD-PSO)算法，自適應地調整慣性權重來加強從局部最優中逃脫的能力，以提高達到大規模問題的全局最小值的能力。Kao等[10]將遺傳算法與PSO算法相結合，提出遺傳-粒子群優化算法，強化了對粒子間區域的搜索能力以及逃離局部極值的能力；Guo等[11]將文化算法引入PSO形成CA-PSO(Culture and Particle Swarm Optimization)算法，通過信仰與群體兩層空間的演化與交流，完成粒子群體優化。周新宇等[12]、趙嘉等[13]將反向學習策略引入群優化算法，提出多種精英反向學習粒子群優化算法，通過在標準測試函數上的對比認為動態隨機反向學習精英粒子群優化(Dynamic Random Opposition-based learning Elite Particle Swarm Optimization, DR-EOPSO)算法性能最優。

盡管改進算法優化性能有所提高，但到目前為止依然很難在提高算法收斂速度和逃離局部最優兩個方面達到平衡，例如CA-PSO算法每次迭代需經過兩層串行演化，為此增加了計算量，降低了收斂速度。而GA-PSO算法引入交叉算子后雖然提高了粒子交叉多樣性，但由于交叉算子形式簡單，使得空間搜索能力提高有限，卻增加了算法的復雜度。

Chakrabory等[14]認為微分進化算法具有開發能力強、探索能力弱的特點。因此，本文在精英粒子群算法的基礎上，引入變異、交叉、選擇進化算子，構建精英粒子群-進化融合優化機制，保持粒子種群多樣性，提高粒子全局最優的探索與開發能力。此外，為進一步提高粒子學習搜索能力，引入符合人類思維特性的高斯學習策略，形成基于高斯學習策略的精英粒子群進化算法(Elite Particle Swarm Optimization and Evolutionary algorithm based on Gaussian learning strategy, GE-PSO)。對9個標準測試函數[15-17]開展了仿真計算，計算結果表明，本算法在提高計算收斂速度和精度上效果明顯，特別在處理多峰值函數優化方面，增強了粒子逃離局部極值的能力和全局搜索能力，與文中所選對照算法相比，具有顯著優勢。

1 標準粒子群算法

假設粒子群體規模為n，目標搜索空間的維度為d，其中每個粒子都有位置x和速度v兩個屬性，第i個粒子當前的速度表示為v=(vi1,vi2,…,vid)，位置則表示為x=(xi1,xi2,…,xid)。優化過程中，每一次迭代都根據兩個最優值來更新自己，一個是粒子i個體歷史最優值pbesti，表示為pbesti=(pi1,pi2,…,pid)，另一個是群體歷史最優值gbest。粒子速度和位置迭代更新公式如下：

(1)

其中：i=1,2,…,n，j=1,2,…,d，w為慣性權重，c1和c2為正的學習因子，r1和r2為0～1均勻分布的隨機數。

2 高斯學習策略

從SD-PSO算法看出，學習因子c1、c2對粒子收斂速度具有十分重要的影響，學習因子使粒子具有自我總結和向群體中優秀個體學習的能力，從而向群體內或鄰域內的最優點靠近。c1、c2分別調節微粒向個體最優和群體最優方向飛行的最大步長，決定微粒個體經驗和群體經驗對微粒自身運行軌跡的影響，反映微粒群體之間的信息交流。通常c1調節粒子飛向自身最好位置方向的步長，c2則調節粒子飛向全局最好位置方向的步長，當學習因子較小時，可能使微粒遠離目標區域內徘徊，而學習因子較大時，可使微粒迅速向目標區域移動，甚至越過目標區域。因此c1、c2的不同取值，將影響到PSO算法的性能。

傳統的SD-PSO算法認為尋優過程所有粒子的各學習因子始終都為相同正常數，也就是說所有粒子社會學習與自我學習的能力都是相同的，這會使粒子搜索能力逐漸趨同，從而加速局部早熟，在應對復雜多峰值問題優化時往往導致初期收斂步長較小，后期收斂步長又過大，嚴重影響收斂速度和精度。

受人類智能和社會行為的啟發，認為每個粒子如同每個人一樣，其學習能力是不同的，且每一粒子在不同維度方向上的學習能力也是有差別的[5]，這樣可以避免粒子開發能力趨同，也可以提高粒子多樣性。同時引入符合人類思維特性的模糊高斯函數學習策略，將模糊隸屬度函數表示為隨學習因子cij,1變化的高斯函數式(2)，如圖1所示。

(2)

圖1 模糊高斯隸屬度函數

其中，G()為高斯隸屬度函數，i=1,2,…,n；r為[0,1]區間隨機擾動，反映粒子的不同學習效率；δ為高斯隸屬函數參數。由于目標函數值模糊變量小，因此隸屬度函數一般可采用線性函數表達，使隸屬度直接與函數值排列順序成正比，形式如式(3)：

(3)

其中：n為粒子種群數；Ii是排列后第i個目標值的序列號；Gmax為最大隸屬度，通常為1；Gmin為最小隸屬度，本文取0.011 1(3σ準則)。由模糊推理條件擴展到問題的第j維度得到隸屬度函數：

Gij=rand(Gi,1)

(4)

參數δi可由式(5)確定：

δi=b|ximin-xrand|

(5)

b=(itermax-iter)/itermax

(6)

其中：iter為迭代次數；itermax為最大迭代次數；b是迭代系數；ximin為群體內第i個粒子的最佳位置；xrand為當前群體內隨機產生的粒子位置。

綜上可得粒子學習因子cij,1的計算公式如下：

(7)

粒子社會學習因子cij,2可按式(8)方法選取：

cij,2=|1-cij,1|

(8)

式(8)說明，對于每一個粒子當其自學能力較弱的時候，提高其社會學習能力，將有助于提高其全局搜索能力，反之當粒子自學能力較強時，適當降低其社會學習能力有助于提高個體收斂速度。

3 精英粒子群進化算法

3.1 算法原理

在SD-PSO算法中，粒子僅向群體歷史最優值gbest和自身歷史最優值Pbesti學習。而對比人類社會，人類不僅向最好的個體學習，還向身邊較好的個體學習，向社會精英階層學習。精英粒子群體既保留了優秀粒子信息，更有與普通粒子一致的數據環境和約束條件，既不激進也不落后，代表了粒子群整體信息熵的發展趨勢和方向。因此，提高了粒子群掉入局部最優的免疫能力，種群的搜索范圍擴大，粒子會飛向更多新的位置，粒子更容易發現最優值；通過粒子間的相互學習，粒子會向更優的位置移動，有可能會跳出局部最優解，具有比SD-PSO算法更好的收斂性與魯棒性。

受此啟發，在基于高斯學習策略PSO算法的每一代中選取適應度函數排序前10%作為精英粒子群E，并在精英粒子群中隨機選取一個精英粒子作為學習的模板。在原有粒子迭代更新的基礎上，增加精英粒子學習項。迭代公式如下：

(9)

其中：i=1,2,…,n，j=1,2,…,d，g為粒子進化代數，ebesti=(ei1,ei2,…,eij)為隨機選擇的精英粒子的位置，cij,1為個體學習因子，按式(7)計算；cij,2為社會學習因子按式(8)計算；cij,3為精英學習因子，按式(10)計算。

cij,3=(cij,1+cij,2)/2;i=1,2,…,n,j=1,2,…,d

(10)

w為慣性權重，本文采用線性遞減慣性權重:

(11)

在精英粒子群優化算法的基礎上，為提高種群多樣性，引入進化變異算子：

(12)

其中：Uij為粒子i在j維上的變異值，F為隨機數。

采用交叉操作(式(13))確定突變粒子是否作為備選粒子，交叉概率因子CRi(g)取隨機數；

(13)

對比指標函數適應值，選擇最優粒子如式(14)，形成新一代個體：

(14)

3.2 算法步驟

算法的具體步驟如下：

步驟1 隨機生成初始種群粒子，并確定計算參數，如慣性權重ω、迭代系數b、精英粒子群數N等；

步驟2 計算和評價每個粒子的適應值Q|(xij)；

步驟3 根據適應度函數值排序，并確定精英粒子群E；

步驟4 按照式(7)、(8)、(10)分別計算高斯學習因子cij,1、cij,2、cij,3，代入式(9)更新粒子速度、位置；

步驟5 選擇基準粒子，并根據式(12)進行變異操作，生成突變體；

步驟6 按照式(13)，采用交叉操作確定突變體是否作為備選體；

步驟7 選擇操作，根據式(14)通過指標函數比較選取合適的新一代個體；

步驟8 重復步驟2～7過程迭代，直到指標函數滿足要求或達到最大迭代次數。

4 仿真及分析

4.1 測試函數

為了測試本文提出的基于高斯學習策略的粒子群遺傳進化算法，選擇了9個經典的Benchmark測試函數進行測試仿真，如表1所示。其中f1～f4為單峰函數，在搜索范圍內只有一個極值點，主要檢驗算法的收斂速度和尋優精度；f5～f9為多峰函數，在搜索范圍內有多個局部極值點，主要考察算法的全局搜索能力和逃離局部最優的能力。測試函數及測試算法在Matlab 2013b(64 b)數值計算軟件中實現，運行環境為Windows 7雙核，4 GB內存，3.0 GHz CPU。

表1 Benchmark測試函數

4.2 仿真實驗算法

為了更好地對比測試本文算法的性能，將本文的算法與當前較流行的標準PSO算法、文化PSO算法、自適應PSO算法和動態隨機反向學習精英PSO算法的測試結果進行比較，算法的英文簡稱分別為：GE-PSO、SD-PSO、CA-PSO、AD-PSO和DR-EOPSO。各算法的參數設置見表2。

為了在相同條件下進行比較，所有算法的種群規模Psize=30，測試維數Dim=30，迭代次數Num=5 000，同時為消除隨機性對算法的影響，每種算法對每個測試函數獨立運行30次，取平均值和標準差作為測試結果。

表2 算法的參數設置

4.3 結果及分析

4.3.1 仿真結果

采用5種算法對f1～f9測試函數分別進行了仿真計算，各函數計算所得均值及標準差如表3所示。圖2、3為各函數優化過程收斂曲線，由于各函數適應度不同，且數值差異較大，為清晰地顯示實驗結果，更加客觀準確地對比算法優劣，收斂過程對適應度函數值均采用了以10為底的對數(lg)。

由表3中各函數適應度平均值計算數據可以分析得出，除f3、f4兩單峰函數外，本文算法的計算結果均優于其余測試粒子群算法結果，特別是多峰值函數的尋優效果更為突出。從各不同算法的計算數據對比來看，CA-PSO算法計算結果與本文提出的GE-PSO算法計算結果較為接近。標準PSO算法表現最差，且極易陷入局部極小值而終止進化；AD-PSO算法較標準PSO有了明顯改進，但結果較其余三種算法還有較大的差距。

圖2 單峰函數計算收斂曲線

圖3 多峰函數計算收斂曲線

表3 仿真測試結果

從算法穩定性的角度分析表中各函數計算標準差，除f3、f4及f8外，本文提出的GE-PSO算法的穩定性優于其他算法。標準PSO算法穩定性最差，其余3種算法的穩定性介于標準PSO算法與GE-PSO算法之間。

4.3.2 收斂性分析

為了更加清晰地表征不同算法在進化過程中的收斂速度與性能，本文給出了5種算法在9個測試函數10維上的尋優進化歷程圖，如圖2、3所示。其中，橫軸為評估次數，縱軸為適應度函數值的對數值。通過對比曲線圖1中的4個單峰函數曲線可知，GE-PSO算法相比其他4種算法，除了f3的收斂效果不明顯外，其余3個函數不論收斂速度還是收斂精度都好于其他4種算法，且各函數在1萬次迭代左右就已找到或接近最優值0。從曲線圖2可以看出，GE-PSO算法在處理多峰值函數優化問題上也具有很好的優勢，收斂速度明顯較其他5種算法更快，且尋找的函數最優值收斂精度也是最高的。結合圖2和圖3可知，本文提出的GE-PSO算法無論在處理單峰值函數還是多峰值函數尋優問題上，都具有較好的優勢，算法收斂速度快，尋優精度高，收斂一致性好，未出現收斂速度時快時慢不一致的問題。

4.3.3 統計T檢驗

為進一步從統計意義上進行分析比較，本文對計算數據引入統計t檢驗測試實驗，以此分析并判斷本文提出的算法與其他4種算法在性能上是否存在顯著性差異。由于算法數據存在方差非齊次性，因此本文采用方差非齊次t檢驗實驗方法進行測試，t檢驗的分位數為單側0.05，自由度為30，t檢驗的臨界值通過查表得為1.697。即當檢驗t值>1.697時，說明本文算法顯著優于其他算法，標記為“+”；當檢驗t值<-1.697時，說明本文算法顯著差于其他算法，標記為“-”；否則，說明本文算法與其他算法無顯著差異，標記為“=”。在statistics一欄中按照U(優于個數)/E(等于個數)/L(小于個數)的方式以本文算法為參照進行統計，結果見表4所示。

表4 算法顯著性差異檢驗結果

5 結語

針對粒子群算法進化速度慢、易陷入局部極值和算法精度低等問題，提出一種基于高斯學習策略的精英粒子群-微分進化融合算法(GE-PSO)。在SD-PSO算法的基礎上，引入高斯學習策略，提高粒子學習搜索能力；以一定比例(10%)確定當代精英群體，以提高算法的開發能力，提高算法精度；融合變異、交叉、選擇進化操作提高粒子種群多樣性以增加逃離局部最優的能力。為檢驗算法性能，對比4種PSO算法，對9個標準測試函數進行了數值仿真實驗。經計算精度、收斂性與統計t檢驗分析表明，本文算法在提高計算收斂速度和精度上優于其他四種粒子群優化算法，特別在處理多峰值函數優化方面效果明顯，增強了粒子逃離局部極值的能力和全局搜索能力，具有顯著優勢。下一步應在降低算法計算復雜度、并行計算以及擴大算法應用領域等問題上作進一步深入研究。

References)

[1] KENNEDY J, EBERHART R C. Particle swam optimization [C]// Proceedings of the 1995 IEEE International Conference on Neural Networks. Piscataway, NJ: IEEE, 1995: 1942-1948.

[2] SYULISTYO A R, PURNOMO D M J, RACHMADI M F, et al. Particle Swarm Optimization (PSO) for training optimization on Convolution Neural Network (CNN) [J]. Jurnal Ilmu Komputer dan Informasi (Journal of Computer Science and Information), 2016, 9(1): 52-58.

[3] PATEL H. Accelerated PSO swarm search feature selection with SVM for data stream mining big data [J] . International Journal of Research and Engineering, 2016, 3(9): 15761-15765.

[4] MARINI F, WALCZAK B. Particle Swarm Optimization (PSO). A tutorial [J]. Chemometrics and Intelligent Laboratory Systems, 2015, 149(12): 153-165.

[5] 李俊,汪沖,李波,等.基于多策略協同作用的粒子群優化算法[J].計算機應用,2016,36(3): 681-686.(LI J, WANG C, LI B, et al. Particle swarm optimization algorithm based on multi-strategy synergy [J]. Journal of Computer Applications, 2016, 36(3): 681-686.)

[6] 王曙燕，溫春琰，孫家澤.基于自適應粒子群優化算法的測試數據擴增方法[J].計算機應用,2016,36(9):2492-2496.(WANG S Y, WEN C Y, SUN J Z. Test data augmentation method based on adaptive particle swarm optimization algorithm [J]. Journal of Computer Applications, 2016, 36(9): 2492-2496.)

[7] SHI Y, MEMBER S, EBERHART R, et al. Implementation of evolutionary fuzzy systems [J]. IEEE Transactions on Fuzzy System, 1999, 7(2): 109-119.

[8] CLERC M, KENNEDY J. The particle swarm—explosion, stability, and convergence in a multidimensional complex space [J]. IEEE Transactions on Evolutionary Computation, 2002, 6(1): 58-73.

[9] NICKABADI A, EBADZADEH M M, SAFABAKHSH R. A novel particle swarm optimization algorithm with adaptive inertia weight [J]. Applied Soft Computing, 2011, 11(4): 3658-3670.

[10] KAO Y T, ZAHARA E. A hybrid genetic algorithm and particle swarm optimization for multimodal functions [J]. Applied Soft Computing, 2008, 8(2): 849-857.

[11] GUO Y N, YANG Z, WANG C, et al. Cultural particle swarm optimization algorithms for uncertain multi-objective problems with interval parameters [M]// Natural Computing. Berlin: Springer, 2016: 1-22.

[12] 周新宇，吳志健，王暉，等.一種精英反向學習的粒子群優化算法[J].電子學報,2013,41(8):1647-1652.(ZHOU X Y, WU Z J, WANG H, et al. Elite opposition-based particle swarm optimization [J]. Acta Electronica Sinica, 2013, 41(8): 1647-1652.)

[13] 趙嘉，付平，李崇俠，等.基于不同學習模型的精英反向粒子群優化算法[J].小型微型計算機系統,2015,36(6):1368-1372.(ZHAO J, FU P, LI C X, et al. Particle swarm optimization based on elite opposition learning using different learning models [J]. Journal of Chinese Computer Systems, 2015, 36(6): 1368-1372.)

[14] CHAKRABORTY U K, DAS S, KONAR A. Differential evolution with local neighborhood [C]// Proceedings of the 2006 IEEE Congress on Evolutionary Computation. Piscataway, NJ: IEEE, 2006: 2042-2049.

[15] TANG K, LI X D, SUGANTHAN P N, et al. Benchmark functions for the CEC ’2010 special session and competition on large-scale global optimization [EB/OL]. [2016- 11- 14]. http://www.al-roomi.org/multimedia/CEC_Database/CEC2010/LargeScaleGlobalOptimization/CEC2010_LargeScaleGO_TechnicalReport.pdf.

[16] 劉建華.粒子群算法的基本理論及其改進研究[D].長沙:中南大學社,2009:223-275.(LIU J H. The basic theory of particle swarm optimization and its improvement [D]. Changsha: Central South University, 2009: 223-275.)

[17] 王維博.粒子群優化算法研究及其應用[D].成都：西南交通大學,2012.(WANG W B. Research on particle swarm optimization algorithm and its application [D]. Chengdu: Southwest Jiaotong University, 2012.)

ParticleswarmanddifferentialevolutionfusionalgorithmbasedonfuzzyGausslearningstrategy

ZHOU Wei1*, LUO Jianjun1, JIN Kai1, WANG Kai2

(1.CollegeofAstronautics,NorthwesternPolytechnicalUniversity,Xi’anShaanxi710072,China;2.CollegeofScience,RocketForceUniversityofEngineering,Xi’anShaanxi710025,China)

Due to the weak development ability, Particle Swarm Optimization (PSO) algorithms have the shortages of low precision and slow convergence. Comparatively weak exploration ability of Differential Evolution (DE) algorithm, might further lead to a trap in the local extremum. A particle swarm-differential evolution fusion algorithm based on fuzzy Gaussian learning strategy was proposed. On the basis of the standard particle swarm algorithm, the elite particle population was selected, and the fusion mechanism of elite particle swarm-evolution was constructed by using mutation, crossover and selection evolution operators to improve particle diversity and convergence. A fuzzy Gaussian learning strategy according with human thinking characteristics was introduced to improve particle optimization ability, and further generate an elite particle swarm and differential evolution fusion algorithm based on fuzzy Gaussian learning strategy. Nine benchmark functions were calculated and analyzed in this thesis. The results show that the mean values of the functions Schwefel.1.2, Sphere, Ackley, Griewank and Quadric Noise are respectively 1.5E-39, 8.5E-82, 9.2E-13, 5.2E-17, 1.2E-18, close to the minimum values of the algorithm. The convergences of Rosenbrock, Rastrigin, Schwefel and Salomon functions are 1～3 orders of magnitude higher than those of four contrast particle swarm optimization algorithms. At the same time, the convergence of the proposed algorithm is 5%—30% higher than that of the contrast algorithms. The proposed algorithm has significant effects on improving convergence speed and precision, and has strong capabilities in escaping from the local extremum and global searching.

fuzzy membership degree; Gaussian learning; particle swarm; differential evolution; fusion optimization

2017- 03- 06;

2017- 04- 24。

國家自然科學基金資助項目(61603304, 61690211)。

周偉(1974—)，男，上海人，副教授，博士研究生，主要研究方向：飛行器總體設計與多學科優化； 羅建軍(1965—)，男，陜西西安人，教授，博士，主要研究方向：航天器制導與飛行控制； 靳鍇(1988—)，男，河北石家莊人，博士研究生，主要研究方向：再入飛行器、航天器軌跡優化； 王凱(1975—)，男，河北邢臺人，副教授，博士，主要研究方向：電力電子網絡設計與優化。

1001- 9081(2017)09- 2536- 05

10.11772/j.issn.1001- 9081.2017.09.2536

TP301.6; TP18

A

This work is partially supported by the National Natural Science Foundation of China (61603304, 61690211).

ZHOUWei, born in 1974, Ph. D. candidate, associate professor. His research interests include aircraft system design and multidisciplinary optimization.

LUOJianjun, born in 1965, Ph. D., professor. His research interests include spacecraft guidance and flight control.

JINKai, born in 1988, Ph. D. candidate. His research interests include reentry vehicle system, spacecraft trajectory optimization.

WANGKai, born in 1975, Ph. D., associate professor. His research interests include design and optimization of power electronic network.