變階次分數階梯度下降法的研究

李佳維，申永軍，楊紹普

(1.石家莊鐵道大學 交通工程結構力學行為與系統安全國家重點實驗室，石家莊 050043；2.石家莊鐵道大學 機械工程學院，石家莊 050043)

從分數階微積分提出至今已有三百多年的歷史。在很長一段時間里，由于缺乏相應的物理背景，它一直被當做一種數學的純理論研究。隨著科學技術的發展，研究人員漸漸意識到分數階微積分對于解決相關的實際問題，是一種高效且精確的數學工具。目前，分數階微積分被廣泛地應用于很多領域，如自動控制[1-2]和系統識別[3-4]等。

梯度下降法是在待求極值點的目標函數為凸函數的情況下最基礎的優化方法[5]，廣泛應用于系統辨識[6-7]、圖像處理[8-9]、自適應濾波[10-11]等方面。雖然分數階微積分與梯度下降法在各自的領域已經得到了廣泛的應用，但是將兩者結合的研究剛剛起步。Pu等[12]首次提出針對二元函數的分數階梯度下降法，該方法嚴格按照分數階微積分來定義，但是得到的極值點并非目標函數實際的極值點，而是在實際極值點的附近。Chen等[13]研究了分數階梯度下降法中的分數階微分下限隨迭代過程變化的情況，并且通過高階截斷，進一步簡化了分數階梯度下降法。衛一恒提出針對不改變分數階微分下限的變階次分數階梯度下降法，保證了在微分下限不變的情況下，分數階梯度下降法依然可以收斂至真正的目標函數極值點。程松松[14]針對分數階LMS自適應濾波算法，提出迭代階次混合切換機制，明顯提高了濾波算法的性能。李大字等[15]構造了一種基于分數階梯度下降法的模型預測控制器。由于分數階微積分所特有的良好性質，分數階梯度下降法已經在LMS濾波[16]、系統辨識[17-18]等方面得到了應用。

為了進一步優化分數階梯度下降法的性能，解決迭代過程中收斂速度與收斂精度之間的矛盾，本文在前述研究的基礎上，提出了三種不同的分數階階次設置方法，旨在得到更好的尋優結果。

1 梯度下降法和分數階微分

1.1 梯度下降法

梯度下降法是求解無約束優化問題最常用的方法之一，它是利用一階梯度求解目標函數極小值的算法。假設目標函數為f(x)，則梯度下降法的迭代過程為

xk+1=xk-μ·?f(xk) (k=0,1,2,…)

(1)

式中：x(k)表示當前的自變量值；x(k+1)表示待求的下一個位置；μ代表學習率，它決定了自變量移動到最優值的速度快慢；?f(xk)是當前位置的一階梯度。當目標函數梯度的絕對值小于某一預設的極小正數時，迭代停止，此時的x(k)為求得的優化結果。

1.2 分數階微積分

Caputo分數階微分定義為

(2)

式中：c和x代表微分的上下限，且c通常取0或者-∞；α代表微分的階次，n-1<α

(3)

對式(2)進行泰勒級數展開[19-20]，得到

(4)

2 分數階梯度下降法

2.1 原始的分數階梯度下降法

將式(1)中的一階梯度替換為分數階梯度，可得分數階梯度下降法的迭代算法

xk+1=xk-μ·?αf(x)

(5)

為方便分析分數階梯度下降法(fractional-order gradient descent method，FOGDM)的性質，將式(4)代入式(5)中，得

(6)

以一般的一元二次函數f(x)=ax2+bx+g為例，利用分數階梯度下降法求該函數的極值點x*。取泰勒級數的前兩項，具體迭代算法為

(7)

當a=1,b=-12,g=36時，f(x)=x2-12x+36，f(1)(x)=2(x-6)，f(2)(x)=2，代入式(7)，得

(8)

給定c=0，x0=-1，μ=0.1，并且設置分數階階次依次為α1=1,α2=0.7，α3=1.5，從而得到迭代結果如圖1所示。從圖中可見常規梯度下降法可以保證系統收斂至目標函數實際極值點，而原始的分數階梯度下降法則不能，原因在于它的迭代終止條件

圖1 分數階梯度下降法與常規梯度下降法迭代過程曲線Fig.1 Iteration process curves of fractional-order and conventional gradient descent methods

(9)

不僅與x有關，而且與微分下限c和微分階次α都有關系。

2.2 改進的分數階梯度下降法

將式(6)中的微分下限由固定點c替換為x(k-1)，使得微分下限隨迭代過程變化，得到

(10)

在梯度下降法的迭代過程中，迭代點將很快滿足|xk-xk-1|<1。當分數階階次α范圍在(0,1)時，在式(10)中，保留右側級數第一項。此時，簡化的分數階梯度下降法為

(11)

將常數Γ(2-α)與μ合并，同時仍用μ表示。為了與常規梯度下降法保持一致，將導數中的x(k-1)用x(k)替換，得

xk+1=xk-μ·f(1)(xk)·(xk-xk-1)1-α

(12)

(13)

顯然α=1時上式退化為常規的梯度下降法。進一步研究發現式(13)也適用于α∈(1,2)的情況，因此上式算法適用于分數階階次α∈(0,2)的情況。如果算法收斂，那么，一定收斂至目標函數真實的極值點。

2.3 算法階次與收斂速度、收斂精度的關系

假設目標函數仍為f(x)=x2-12x+36，已知真實極值點為x*=6，利用式(13)求解目標函數極小值點。不同分數階階次依次設置為：α1=0.7，α2=0.9，α3=1.0，α4=1.4，α5=1.7，圖2給出了不同階次分數階梯度下降法的迭代過程對比結果。由圖可知，在系統穩定的前提下，當階次α∈(0,1)時，分數階梯度下降法保證系統漸進穩定地收斂至目標函數極值點；當階次α∈(1,2)時，分數階梯度下降法使得系統有超調地收斂至目標函數極值點。

圖2 不同階次分數階梯度下降法的迭代過程曲線Fig.2 Iteration process curves of fractional-order gradient descent methods with different orders

3 變階次分數階梯度下降法

利用分數階梯度下降法求解目標函數極值點的過程中，階次不同將會導致不同的收斂速度和收斂精度。為了解決二者之間的矛盾，本文提出了三種改進的變階次分數階梯度下降法。

3.1 連續變階次的分數階梯度下降法

第一種是連續變階次分數階梯度下降法，其中設計變階次的形式為

(14)

式中，δ為一正值。在迭代初始位置，由于x(k)與x(k-1)差別較大，此時分數階階次值較高，相較于整數階梯度下降法，有更快的收斂速度，隨著迭代過程的進行，當|xk-xk-1|→0時，α(xk)→1.1，此時分數階梯度下降法轉化為常規梯度下降法，使得變階次梯度下降法具有與常規梯度下降法相近的收斂精度。

因此，利用上述形式的α(xk)，分數階梯度下降法可以獲得與高階相近的收斂速度，又可以保持與常規梯度下降法相近的收斂精度。

3.2 混合階次切換的分數階梯度下降法

在分數階梯度下降法的迭代過程中，高階次(1<α<2)可以獲得比常規梯度下降法快的收斂速度，但是它的收斂精度相較于常規梯度下降法有一定程度的下降；低階次(0<α<1)可以獲得比常規梯度下降法更高的收斂精度，但是收斂速度相較于常規梯度下降法大幅減慢。

由此分析可知，如果在迭代的起始位置利用高階次梯度下降法，隨著迭代過程的進行，當目標函數梯度的絕對值小于某一預設的正值時，切換至低階次梯度下降法，整個迭代過程就可以獲得與高階次相近的收斂速度、與低階次相近的收斂精度，從而可以解決迭代過程中收斂速度與收斂精度不可兼得的矛盾。

3.3 高階定階次低階變階次的混合分數階梯度下降法

在混合階次切換的分數階梯度下降法迭代過程中，初始迭代的高階次可以顯著提高迭代算法的收斂速度；當目標函數梯度絕對值下降至某一預設值，如果為了提高收斂精度而選擇一固定的低階次α，又會使迭代過程忽然變得很慢。由于與極值點收斂精度相關性最大的是接近極值點時刻的分數階階次，因此當目標函數梯度絕對值下降至某一預設值，將定階的高階次切換為一個減函數形式的低階次，則既可以保證迭代速度不至于忽然變得很慢，又可以保證算法的收斂精度。

低階階段的減函數形式可選為

(15)

式中：δ為一正值；β∈(0,1)。

4 仿真實驗

在這一部分，我們選取Booth函數作為典型算例，來驗證本文提出的三種變階次方法對于分數階梯度下降法收斂能力的改進效果。其中Booth函數表達式為

f(x1,x2)=(x1+2x2-7)2+(2x1+x2-5)2

(16)

4.1 連續變階次的分數階梯度下降法的仿真

利用連續變階次的分數階梯度下降法求Booth函數極小值點。選取δ=0.15，變階次設置為

(17)

分數階階次依次設置為α1=α(xk)，α2=1，α3=1.4。

圖3和4分別給出了x1和x2的三種不同階次的分數階梯度下降法的迭代過程曲線。相較于常規梯度下降法，收斂速度得到了提高，并且由于變階次函數α(x)在|xk-xk-1|→0時，α(xk)→1，最終可以獲得與整數階相似的收斂精度。

圖3 x1迭代過程曲線Fig.3 Iteration curves of x1

圖4 x2迭代過程曲線Fig.4 Iteration curves of x2

4.2 混合階次切換的分數階梯度下降法的仿真

設高階次α=1.4，低階次α=0.9，高低階次切換的臨界條件是|f(1)(xk)|=0.000 02，為對比不同階次的迭代結果，分數階階次依次設置為：α=1.4 &0.9,α2=1.4,α3=0.9。

圖5和6分別給出了x1和x2的三種不同階次的分數階梯度下降法的迭代過程曲線。從圖中可見，利用混合階次切換的方法，同樣可以解決梯度下降法收斂速度與收斂精度不可兼得的矛盾。

圖5 x1迭代過程曲線Fig.5 Iteration curves of x1

4.3 高階定階次低階變階次的混合分數階梯度下降法的仿真

設高階α=1.4，當目標函數梯度的范數小于0.000 02時，選取δ=0.15,β=0.9，分數階梯度下降法的階次切換成已知α(xk)減函數，且α(xk)∈(0.9,1)。為對比迭代結果，分數階階次依次設置為：α1=1.4&α(xk)，α2=1.4，α3=0.9。

圖6 x2迭代過程曲線Fig.6 Iteration curves of x2

(18)

圖7和8分別給出了x1和x2的三種不同階次的分數階梯度下降法的迭代過程曲線。結果驗證了本文方法的合理性，同樣可以解決在梯度下降法的迭代過程中，收斂速度與收斂精度不可兼得的矛盾，獲得良好的收斂結果。

圖7 x1迭代過程曲線Fig.7 Iteration curves of x1

5 結 論

本文首先介紹了分數階梯度下降法，揭示了高階梯度下降法(1<α<2)具有較快收斂速度和低階梯度下降法(0<α<1)具有較高收斂精度的特性，以及分數階梯度下降法在收斂速度與收斂精度兩者之間無法兼得的矛盾。在此基礎上，為結合高、低階各自良好的特性，提出三種變階次梯度下降法：連續變階次的梯度下降法、混合定階次切換的梯度下降法和高階定階低階變階的梯度下降法。其中，高階定階低階變階是對混合定階次切換方法的延伸。針對不同的目標函數和迭代要求，可以在三種變階方法中選取最合適的一種，提高參數優化的收斂速度與收斂精度，從而為工程系統服務。

圖8 x2迭代過程曲線Fig.8 Iteration curves of x2