基于動態調整慣性權重下改進學習因子的粒子群算法

【 摘 要 】 粒子群算法針對高維復雜函數常存在早熟收斂問題，本文提出一種在已有動態調整慣性權重的基礎上對學習因子進行改進的粒子群算法，使學習因子隨著搜索的不同階段改變認知學習因子和社會學習因子。比較五個標準測試函數的實驗結果，表明改進后的算法得到的結果更優。

【 關鍵詞 】 粒子群算法；動態調整慣性權重；學習因子；全局搜索

【 中圖分類號 】 TP18 【 文獻標識碼 】 A

1 引言

模擬昆蟲、鳥群和魚群等群集行為，Eberhart 和Kennedy提出粒子群算法。PSO算法作為一種隨機搜索算法，由于其算法程序設計簡單，便于操作而得到廣泛應用。胡建秀等人對粒子群算法的慣性權重做了深入探討，文獻[3， 4，5]給出了一些慣性權重修改的方法，文獻[6，7]采用變異或者是和其他算法結合增強種群在搜索過程中多樣性。也有研究者將混沌理論用于粒子群算法的粒子初始化。文獻[8]從學習因子上對算法進行改進。本文是建立在文獻[4]動態調整慣性權重基礎上對學習因子進行改進。通過具體的仿真實驗，本文提出的改進方法使得算法的最優值更加的接近真實值。

2 粒子群算法

2.1 標準的PSO算法

粒子根據如下兩個方程來更新自己：

（1）

（2）

其中，C1，C2分別是自身學習因子和社會學習因子，一般都取值為2， r1，r2是（0，1）區間內的隨機數，pbestki是第i個微粒前k次的最好位置，gbestki是前k次所有微粒的最好位置，ω是慣性權重，一般取值0.1到0.9之間。

2.2 動態調整慣性權重參數的PSO算法[DPT-PSO]

粒子搜索過程中，速度大有利于全局搜索而不致陷入局部最優。當速度小時更有利于局部搜索得到更加精確的解.文獻[5]根據這種思想提出了一種根據理想速度不斷調整慣性權重的方法[Dynamic parameter tuning of Particle Swarm Optimization 記為[DPT-PSO]。

3 改進學習因子的PSO算法

粒子在搜索的過程中，初期希望粒子的速度大一些，能盡量搜索到整個空間，到了后期希望粒子的速度降下來，使得粒子能搜索到精確的位置。從公式（1）可以看到讓慣性權重ω初期較大，后期變小。與此同時我們也可以讓學習因子隨著搜索狀態變化而變化。在搜索的前階段c1取較大值，c2取較小值，讓粒子群向自身最好位置pbest學習，增強全局搜索能力，到了后階段c1取較小值，c2取較大的值，讓粒子向全局最好位置gbest學習，增強局部搜索能力。現對學習因子c1和c2的改進如下：

其中k是當前迭代次數，itermax是最大迭代次數。

4 對比試驗

4.1 實驗設計

為了分析修改學習因子對算法優化的效果，本文進行如下對比試驗。為了記法方便進行幾點說明。

對五個測試函數僅采用DPT-PSO的情形，記為B1。

對五個測試函數采用DPT-PSO算法對進行的調整，在此基礎上采用本文提出對粒子的初始化和改進學習因子的算法，記為B2。

本文五個測試函數（如表1）分別設置從90和100維，每個函數獨立運行30次，每次迭代3000次，微粒個數為50。在DPT-PSO中初始速度和理想速度設置為搜索范圍的10%，Tend=900。評估算法的效果從最小值（Min），最大值（Max），平均值（Avg），標準方差（SD）進行比較。

4.2 實驗結果及其分析

表2的數據是分別采用DPT-PSO算法和在DPT-PSO算法基礎上改進學習因子的算法得到的，測試了五個基準函數，其中F1、F2是單模函數，F3，F4是多模態函數。F1（Rosenbrock）函數它是主要考查局部開發能力，而F4（Rastrigin）函數具有大量局部最小值，是考查算法避免陷入局部最優，進行全局探索的能力，從表2中不難發現這兩個基準函數改進后的算法在最大、最小、平均值和方差這四個方面的效果得到了很大提高。在F1函數的有些維數出現了結果變壞的情形，而其它四個函數在每維的效果都有不同程度的改進，F4、F2改進后的效果最為明顯。

5 結束語

在粒子群算法的速度更新中，學習因子也會對粒子搜索能力有一定影響。在搜索初期粒子需要有較好的全局搜索能力，因此需要自身學習因子取較大的值，而到后期則更需較小的速度讓粒子具有較強的局部搜索能力。本文在已有動態調整慣性權重的基礎上對學習因子進行改進，通過最小、大值、平均值和方差這四個指標的比較，改進學習因子后算法的得到的結果更優。

參考文獻

[1] Kennedy J，Eberhart R C. Pacticle swarm optimization [C].IEEE International Conference on Neural Networks.Perth ，1995：1942-1948.

[2] 胡建秀.微粒群算法中慣性權重的調整策略[J].計算機工程，2007，33（11）：193-195.

[3] 馮婷等.改進收斂條件的動態調整慣性權重PSO算法[J].計算機工程與應用，2009，45（3） ：175-177.

[4] Nobuhiro Iwasaki，Keiichiro Yasuda，Genki Ueno.Dynamic Parameter Tuning of Particle Swarm Optimization [J].IEEJ Trans on Electrical and Electronic，2006，1（1）：353-363.

[5] 陳貴敏，賈建援，韓琪.粒子群優化算法的慣性權值遞減策略研究[J].西安交通大學學報，2006，40（1）：53-56.

[6] 顏俊華，張敏等. 基于遺傳算法的智能粒子群優化算法[J].西南大學學報，2010，32（11）：135-139.

[7] 朱海梅，吳永萍.一種高速收斂粒子群優化算法[J].控制與決策，2010，25（1）：20-24.

[8] 徐生兵，夏文杰，代安定.一種改進學習因子的粒子群算法[J].信息安全與技術，2012，3（7）：17-19.

基金項目：

東莞理工學院城市學院青年教師基金項目（ZR15）。

作者簡介：

徐生兵（1980-），男，湖北荊門人，碩士；主要研究方向和關注領域：智能計算。endprint

【 摘 要 】 粒子群算法針對高維復雜函數常存在早熟收斂問題，本文提出一種在已有動態調整慣性權重的基礎上對學習因子進行改進的粒子群算法，使學習因子隨著搜索的不同階段改變認知學習因子和社會學習因子。比較五個標準測試函數的實驗結果，表明改進后的算法得到的結果更優。

【 關鍵詞 】 粒子群算法；動態調整慣性權重；學習因子；全局搜索

【 中圖分類號 】 TP18 【 文獻標識碼 】 A

1 引言

模擬昆蟲、鳥群和魚群等群集行為，Eberhart 和Kennedy提出粒子群算法。PSO算法作為一種隨機搜索算法，由于其算法程序設計簡單，便于操作而得到廣泛應用。胡建秀等人對粒子群算法的慣性權重做了深入探討，文獻[3， 4，5]給出了一些慣性權重修改的方法，文獻[6，7]采用變異或者是和其他算法結合增強種群在搜索過程中多樣性。也有研究者將混沌理論用于粒子群算法的粒子初始化。文獻[8]從學習因子上對算法進行改進。本文是建立在文獻[4]動態調整慣性權重基礎上對學習因子進行改進。通過具體的仿真實驗，本文提出的改進方法使得算法的最優值更加的接近真實值。

2 粒子群算法

2.1 標準的PSO算法

粒子根據如下兩個方程來更新自己：

（1）

（2）

其中，C1，C2分別是自身學習因子和社會學習因子，一般都取值為2， r1，r2是（0，1）區間內的隨機數，pbestki是第i個微粒前k次的最好位置，gbestki是前k次所有微粒的最好位置，ω是慣性權重，一般取值0.1到0.9之間。

2.2 動態調整慣性權重參數的PSO算法[DPT-PSO]

粒子搜索過程中，速度大有利于全局搜索而不致陷入局部最優。當速度小時更有利于局部搜索得到更加精確的解.文獻[5]根據這種思想提出了一種根據理想速度不斷調整慣性權重的方法[Dynamic parameter tuning of Particle Swarm Optimization 記為[DPT-PSO]。

3 改進學習因子的PSO算法

粒子在搜索的過程中，初期希望粒子的速度大一些，能盡量搜索到整個空間，到了后期希望粒子的速度降下來，使得粒子能搜索到精確的位置。從公式（1）可以看到讓慣性權重ω初期較大，后期變小。與此同時我們也可以讓學習因子隨著搜索狀態變化而變化。在搜索的前階段c1取較大值，c2取較小值，讓粒子群向自身最好位置pbest學習，增強全局搜索能力，到了后階段c1取較小值，c2取較大的值，讓粒子向全局最好位置gbest學習，增強局部搜索能力?，F對學習因子c1和c2的改進如下：

其中k是當前迭代次數，itermax是最大迭代次數。

4 對比試驗

4.1 實驗設計

為了分析修改學習因子對算法優化的效果，本文進行如下對比試驗。為了記法方便進行幾點說明。

對五個測試函數僅采用DPT-PSO的情形，記為B1。

對五個測試函數采用DPT-PSO算法對進行的調整，在此基礎上采用本文提出對粒子的初始化和改進學習因子的算法，記為B2。

本文五個測試函數（如表1）分別設置從90和100維，每個函數獨立運行30次，每次迭代3000次，微粒個數為50。在DPT-PSO中初始速度和理想速度設置為搜索范圍的10%，Tend=900。評估算法的效果從最小值（Min），最大值（Max），平均值（Avg），標準方差（SD）進行比較。

4.2 實驗結果及其分析

表2的數據是分別采用DPT-PSO算法和在DPT-PSO算法基礎上改進學習因子的算法得到的，測試了五個基準函數，其中F1、F2是單模函數，F3，F4是多模態函數。F1（Rosenbrock）函數它是主要考查局部開發能力，而F4（Rastrigin）函數具有大量局部最小值，是考查算法避免陷入局部最優，進行全局探索的能力，從表2中不難發現這兩個基準函數改進后的算法在最大、最小、平均值和方差這四個方面的效果得到了很大提高。在F1函數的有些維數出現了結果變壞的情形，而其它四個函數在每維的效果都有不同程度的改進，F4、F2改進后的效果最為明顯。

5 結束語

在粒子群算法的速度更新中，學習因子也會對粒子搜索能力有一定影響。在搜索初期粒子需要有較好的全局搜索能力，因此需要自身學習因子取較大的值，而到后期則更需較小的速度讓粒子具有較強的局部搜索能力。本文在已有動態調整慣性權重的基礎上對學習因子進行改進，通過最小、大值、平均值和方差這四個指標的比較，改進學習因子后算法的得到的結果更優。

參考文獻

[1] Kennedy J，Eberhart R C. Pacticle swarm optimization [C].IEEE International Conference on Neural Networks.Perth ，1995：1942-1948.

[2] 胡建秀.微粒群算法中慣性權重的調整策略[J].計算機工程，2007，33（11）：193-195.

[3] 馮婷等.改進收斂條件的動態調整慣性權重PSO算法[J].計算機工程與應用，2009，45（3） ：175-177.

[4] Nobuhiro Iwasaki，Keiichiro Yasuda，Genki Ueno.Dynamic Parameter Tuning of Particle Swarm Optimization [J].IEEJ Trans on Electrical and Electronic，2006，1（1）：353-363.

[5] 陳貴敏，賈建援，韓琪.粒子群優化算法的慣性權值遞減策略研究[J].西安交通大學學報，2006，40（1）：53-56.

[6] 顏俊華，張敏等. 基于遺傳算法的智能粒子群優化算法[J].西南大學學報，2010，32（11）：135-139.

[7] 朱海梅，吳永萍.一種高速收斂粒子群優化算法[J].控制與決策，2010，25（1）：20-24.

[8] 徐生兵，夏文杰，代安定.一種改進學習因子的粒子群算法[J].信息安全與技術，2012，3（7）：17-19.

基金項目：

東莞理工學院城市學院青年教師基金項目（ZR15）。

作者簡介：

徐生兵（1980-），男，湖北荊門人，碩士；主要研究方向和關注領域：智能計算。endprint

【 摘 要 】 粒子群算法針對高維復雜函數常存在早熟收斂問題，本文提出一種在已有動態調整慣性權重的基礎上對學習因子進行改進的粒子群算法，使學習因子隨著搜索的不同階段改變認知學習因子和社會學習因子。比較五個標準測試函數的實驗結果，表明改進后的算法得到的結果更優。

【 關鍵詞 】 粒子群算法；動態調整慣性權重；學習因子；全局搜索

【 中圖分類號 】 TP18 【 文獻標識碼 】 A

1 引言

模擬昆蟲、鳥群和魚群等群集行為，Eberhart 和Kennedy提出粒子群算法。PSO算法作為一種隨機搜索算法，由于其算法程序設計簡單，便于操作而得到廣泛應用。胡建秀等人對粒子群算法的慣性權重做了深入探討，文獻[3， 4，5]給出了一些慣性權重修改的方法，文獻[6，7]采用變異或者是和其他算法結合增強種群在搜索過程中多樣性。也有研究者將混沌理論用于粒子群算法的粒子初始化。文獻[8]從學習因子上對算法進行改進。本文是建立在文獻[4]動態調整慣性權重基礎上對學習因子進行改進。通過具體的仿真實驗，本文提出的改進方法使得算法的最優值更加的接近真實值。

2 粒子群算法

2.1 標準的PSO算法

粒子根據如下兩個方程來更新自己：

（1）

（2）

其中，C1，C2分別是自身學習因子和社會學習因子，一般都取值為2， r1，r2是（0，1）區間內的隨機數，pbestki是第i個微粒前k次的最好位置，gbestki是前k次所有微粒的最好位置，ω是慣性權重，一般取值0.1到0.9之間。

2.2 動態調整慣性權重參數的PSO算法[DPT-PSO]

粒子搜索過程中，速度大有利于全局搜索而不致陷入局部最優。當速度小時更有利于局部搜索得到更加精確的解.文獻[5]根據這種思想提出了一種根據理想速度不斷調整慣性權重的方法[Dynamic parameter tuning of Particle Swarm Optimization 記為[DPT-PSO]。

3 改進學習因子的PSO算法

粒子在搜索的過程中，初期希望粒子的速度大一些，能盡量搜索到整個空間，到了后期希望粒子的速度降下來，使得粒子能搜索到精確的位置。從公式（1）可以看到讓慣性權重ω初期較大，后期變小。與此同時我們也可以讓學習因子隨著搜索狀態變化而變化。在搜索的前階段c1取較大值，c2取較小值，讓粒子群向自身最好位置pbest學習，增強全局搜索能力，到了后階段c1取較小值，c2取較大的值，讓粒子向全局最好位置gbest學習，增強局部搜索能力?，F對學習因子c1和c2的改進如下：

其中k是當前迭代次數，itermax是最大迭代次數。

4 對比試驗

4.1 實驗設計

為了分析修改學習因子對算法優化的效果，本文進行如下對比試驗。為了記法方便進行幾點說明。

對五個測試函數僅采用DPT-PSO的情形，記為B1。

對五個測試函數采用DPT-PSO算法對進行的調整，在此基礎上采用本文提出對粒子的初始化和改進學習因子的算法，記為B2。

本文五個測試函數（如表1）分別設置從90和100維，每個函數獨立運行30次，每次迭代3000次，微粒個數為50。在DPT-PSO中初始速度和理想速度設置為搜索范圍的10%，Tend=900。評估算法的效果從最小值（Min），最大值（Max），平均值（Avg），標準方差（SD）進行比較。

4.2 實驗結果及其分析

表2的數據是分別采用DPT-PSO算法和在DPT-PSO算法基礎上改進學習因子的算法得到的，測試了五個基準函數，其中F1、F2是單模函數，F3，F4是多模態函數。F1（Rosenbrock）函數它是主要考查局部開發能力，而F4（Rastrigin）函數具有大量局部最小值，是考查算法避免陷入局部最優，進行全局探索的能力，從表2中不難發現這兩個基準函數改進后的算法在最大、最小、平均值和方差這四個方面的效果得到了很大提高。在F1函數的有些維數出現了結果變壞的情形，而其它四個函數在每維的效果都有不同程度的改進，F4、F2改進后的效果最為明顯。

5 結束語

在粒子群算法的速度更新中，學習因子也會對粒子搜索能力有一定影響。在搜索初期粒子需要有較好的全局搜索能力，因此需要自身學習因子取較大的值，而到后期則更需較小的速度讓粒子具有較強的局部搜索能力。本文在已有動態調整慣性權重的基礎上對學習因子進行改進，通過最小、大值、平均值和方差這四個指標的比較，改進學習因子后算法的得到的結果更優。

參考文獻

[1] Kennedy J，Eberhart R C. Pacticle swarm optimization [C].IEEE International Conference on Neural Networks.Perth ，1995：1942-1948.

[2] 胡建秀.微粒群算法中慣性權重的調整策略[J].計算機工程，2007，33（11）：193-195.

[3] 馮婷等.改進收斂條件的動態調整慣性權重PSO算法[J].計算機工程與應用，2009，45（3） ：175-177.

[4] Nobuhiro Iwasaki，Keiichiro Yasuda，Genki Ueno.Dynamic Parameter Tuning of Particle Swarm Optimization [J].IEEJ Trans on Electrical and Electronic，2006，1（1）：353-363.

[5] 陳貴敏，賈建援，韓琪.粒子群優化算法的慣性權值遞減策略研究[J].西安交通大學學報，2006，40（1）：53-56.

[6] 顏俊華，張敏等. 基于遺傳算法的智能粒子群優化算法[J].西南大學學報，2010，32（11）：135-139.

[7] 朱海梅，吳永萍.一種高速收斂粒子群優化算法[J].控制與決策，2010，25（1）：20-24.

[8] 徐生兵，夏文杰，代安定.一種改進學習因子的粒子群算法[J].信息安全與技術，2012，3（7）：17-19.

基金項目：

東莞理工學院城市學院青年教師基金項目（ZR15）。

作者簡介：

徐生兵（1980-），男，湖北荊門人，碩士；主要研究方向和關注領域：智能計算。endprint