結(jié)合廣義Armijo步長搜索的一類記憶梯度算法

朱 帥，王希云

(1.山西大同大學(xué) 工學(xué)院 山西 大同 037003； 2.太原科技大學(xué) 應(yīng)用科學(xué)學(xué)院 山西 太原 030024)

結(jié)合廣義Armijo步長搜索的一類記憶梯度算法

朱 帥1，王希云2

(1.山西大同大學(xué) 工學(xué)院 山西 大同 037003； 2.太原科技大學(xué) 應(yīng)用科學(xué)學(xué)院 山西 太原 030024)

給定記憶梯度算法搜索方向中的參數(shù)一個假設(shè)條件，從而確定它的一個取值范圍, 使其在此范圍內(nèi)取值均能得到目標函數(shù)的充分下降方向，由此提出一類新的記憶梯度算法.在去掉迭代點列有界和廣義Armijo步長搜索下,討論了算法的全局收斂性，且給出了結(jié)合形如共軛梯度法FR,PR,HS的記憶梯度法的修正形式.數(shù)值實驗表明,新算法比Armijo線搜索下的共軛梯度法FR、PR、HS和記憶梯度法更穩(wěn)定、更有效.

無約束優(yōu)化; 記憶梯度法; 廣義Armijo線搜索; 全局收斂性

0 引言

考慮無約束優(yōu)化問題

minf(x),x∈Rn,

(1)

文獻[1]中提出一個算法類，其中搜索方向為：

(2)

文獻[2-3]提出的算法中搜索方向dk及其參數(shù)βk的假設(shè)條件為

本文在文獻[2-3]的理論基礎(chǔ)上，對文獻[1]的搜索方向dk中的參數(shù)βk給出了類似的假設(shè)，從而建立了求解問題(1)的一個新的記憶梯度算法，并在去掉迭代點列{xk}有界和廣義Armijo步長搜索下,討論了算法的全局收斂性.

1 算法及其性質(zhì)

假設(shè)

式中θk為gk和gk-1的夾角.

算法如下：

初始步:μ1,μ2∈(0,1),且μ1≤μ2；γ1,γ2>0；Δ>0為常數(shù).

Step3ak滿足廣義Armijo搜索[3]：

Step4xk+1=xk+αkdk,k=k+1,轉(zhuǎn)Step1.

注3結(jié)合形如共軛梯度法FR,PR,HS的記憶梯度法和本文算法，可選取βk為:

引理1若xk不是問題(1)的穩(wěn)定點,則有

(c)證明可參考文獻[2]中引理3.

2 算法全局收斂性

以下假設(shè)算法產(chǎn)生的點列{xk}為一無窮點列,全局收斂結(jié)果如下：

定理1假設(shè)f(xk)∈C1,則

證明參考文獻[3]中定理4的證明.

3 數(shù)值實驗

表1 例1的數(shù)據(jù)

表2 例2的數(shù)據(jù)

從以上數(shù)值實驗和比較可以看出，本文算法雖然有時不如其他算法，但是它不隨函數(shù)改變而發(fā)生明顯變化，即本算法收斂速度均勻，計算效能良好，適合求解大規(guī)模無約束優(yōu)化問題.故本算法是有效的.

[1] 時貞軍. 無約束優(yōu)化的超記憶梯度算法[J]. 工程數(shù)學(xué)學(xué)報, 2000, 17(2): 99-104.

[2] 孫清瀅,劉新海.結(jié)合Armijo步長搜索的一類新記憶梯度算法及其特征[J]. 石油大學(xué)學(xué)報, 2003, 27(5): 129-132.

[3] 孫清瀅. 結(jié)合廣義Armijo步長搜索的一類新的共軛梯度算法及其特征[J]. 工程數(shù)學(xué)學(xué)報, 2003, 20(1): 14-20.

[4] Shi Zhenjun. A new super-memory gradient method for unconstrained optimization[J]. 數(shù)學(xué)進展, 2006,35(3): 265-274.

AClassofMemoryGradientSearchAlgorithmwithGeneralizedArmijoStepSize

ZHU Shuai1, WANG Xi-yun2

(1.SchoolofEngineering,ShanxiDatongUniversity,Datong037003,China; 2.SchoolofAppliedScience,TaiyuanUniversityofTechnology,Taiyuan030024,China)

An assumed condition of parameters was given in the memory gradient directions to determine values that these parameters may take.The values range ensure the objective function was sufficient descent,and a new memory gradient algorithm was presented.The convergence was discussed without the generalized Armijo step size rule and the assumed condition that the sequence of iterates was bounded.Combing FR,PR,HS methods with the new method,the modified of the memory gradient algorithm was given.Numerical results showed that the new algorithm was more stable and efficient that conjugate gradient methods FR,PR,HS and Armijo step size rule.

unconstrained optimization；memory gradient method；generalized Armijo line search；global convergence

O 221.2

A

1671-6841(2011)03-0016-03

2010-07-18

山西省自然科學(xué)基金資助項目, 編號2008011013.

朱帥(1980-), 男, 講師, 碩士, 主要從事最優(yōu)化理論與方法研究, E-mail:sxdtdxzs@126.com; 通訊作者:王希云(1964-), 女, 教授, 主要從事最優(yōu)化理論與方法研究, E-mail:tykdwxy@126.com.