基于Hooke-Jeeves方法和最速下降法的組合最優(yōu)化方法研究

劉亮 葉佳駒

摘 要 在解決優(yōu)化問題時，最速下降法是常用的最優(yōu)化方法之一，但其越接近目標(biāo)值，步長越小，前進越慢，使迭代次數(shù)增多。而對于另外一種Hooke-Jeeves最優(yōu)化方法而言，初值的選擇對它的收斂速度有著很大的影響。因此，本文將最速下降法與Hooke-Jeeves方法進行組合，先利用最速下降法得到一個較接近目標(biāo)值的解，然后利用這個解作為初始解代入Hooke-Jeeves方法中，以此得到規(guī)定誤差內(nèi)的最優(yōu)解，從而達到提高收斂速度的目的。最后，通過實例驗證了本文提出的組合最優(yōu)化方法的優(yōu)越性。

關(guān)鍵詞 最速下降法;Hooke-Jeeves方法;組合最優(yōu)化方法

1 最速下降法和Hooke-Jeeves方法

1.1 最速下降法

最速下降法是以負(fù)梯度方向作為下降方向的極小化算法，所以又稱梯度下降法，特別適合于低維空間的無約束最優(yōu)化求解問題[9]。

它的算法基本流程如下：

2 組合最優(yōu)化方法

將最速下降法和Hooke-Jeeves方法進行組合，即先利用最速下降法得到一個較接近目標(biāo)值的解，然后將這個解作為初始解代入Hooke-Jeeves方法中。在本文提出的組合最優(yōu)化方法中，一個關(guān)鍵問題就是利用最速下降法得到的解，怎樣才算是接近目標(biāo)值的解，應(yīng)該有一個標(biāo)準(zhǔn)去衡量。本文通過大量實驗知道對于不同的優(yōu)化問題，這個標(biāo)準(zhǔn)是不一樣的，即設(shè)置最速下降法停止迭代的誤差是不同的。

3 實例驗證

為了驗證本文提出的組合最優(yōu)化方法的優(yōu)越性，通過下列優(yōu)化問題進行數(shù)值實驗：

.

設(shè)置初始解x0=[7;7]，表1表示設(shè)置不同的誤差值時，最速下降法、Hooke-Jeeves方法、組合最優(yōu)化方法的迭代次數(shù)。針對此優(yōu)化問題，在組合最優(yōu)化方法中，設(shè)置最速下降法停止迭代的誤差。

從表1我們可以看出，最速下降法的迭代次數(shù)隨著誤差值的減小增加得很快，這也印證了最速下降法有越接近目標(biāo)值時下降得越慢的缺點，Hooke-Jeeves方法和本文提出的組合最優(yōu)化方法的迭代次數(shù)則比較穩(wěn)定，但組合最優(yōu)化方法的迭代次數(shù)明顯小于最速下降法、Hooke-Jeeves方法的迭代次數(shù)，這說明了本文提出的組合最優(yōu)化方法有著良好的收斂效率[1-8]。

4 結(jié)束語

本文從最速下降法以及Hooke-Jeeves方法的缺點出發(fā)，將兩者進行組合，從而提出一種組合最優(yōu)化方法。該組合最優(yōu)化方法能有效避免最速下降法越接近目標(biāo)值，前進越慢的缺點，也能夠保證無論最開始選的初始解為多少，最后的收斂速率都比較穩(wěn)定。最后，本文通過測試函數(shù)，驗證了組合最優(yōu)化方法相比于最速下降法、Hooke-Jeeves方法有著更好的收斂效率。

參考文獻

[1] 孫文瑜，袁亞湘.最優(yōu)化理論與方法[M].北京：科學(xué)出版社，1997：79.

[2] 經(jīng)紅霞.無約束最優(yōu)化問題的算法研究與實現(xiàn)[D].北京：北京郵電大學(xué)，2013.

[3] 梁昔明，趙旭芳.基于最速下降法改進的人工蜂群算法[J].北京建筑大學(xué)學(xué)報，2018，34（3）：49-56，62.

[4] 于海艷，杜曉燕，衛(wèi)佩佩.粒子群算法結(jié)合最速下降法的混合算法[J].信息工程大學(xué)學(xué)報，2018，19（1）：39-41，56.

[5] 李文，梁昔明.基于混沌優(yōu)化和最速下降法的一種混合算法[J].計算技術(shù)與自動化，2003（2）：12-14.

[6] 簡金寶，羅雁，徐慶娟.Hooke-Jeeves方法在簡單約束優(yōu)化中的推廣[J].廣西科學(xué)，2005（2）：81-84.

[7] W. R. Klingman，D. M. Himmelblau. Nonlinear Programming with the Aid of a Multiple-Gradient Summation Technique[M]. ACM，1964：51.

[8] Glass H，Cooper L . Sequential Search：A Method for Solving Constrained Optimization Problems[J]. Journal of the Acm，1965，12（1）：71-82.

[9] 李廷鋒.基于最速下降法的平面選址問題應(yīng)用研究[J].科技資訊，2011（36）：14，16.

[10] Hooke R，Jeeves T A .Direct SearchSolution of Numerical and Statistical Problems[J]. Journal of the ACM，1961，8（2）：212-229.