信息熵和HQ準則在最大Lyapunov指數計算中的應用

王 基, 楊琪斌，2, 劉樹勇, 位秀雷

(1.海軍工程大學 動力工程學院，武漢 430033； 2.國家海洋技術中心漳州基地籌建辦公室，北京 100018)

信息熵和HQ準則在最大Lyapunov指數計算中的應用

王 基1, 楊琪斌1，2, 劉樹勇1, 位秀雷1

(1.海軍工程大學 動力工程學院，武漢 430033； 2.國家海洋技術中心漳州基地籌建辦公室，北京 100018)

最大Lyapunov指數是判斷時間序列是否為混沌的一個重要判據，目前應用比較廣泛的是小數據量法。將信息熵和HQ準則應用在最大Lyapunov指數的算法中，改進了小數據量法。信息熵優化了相空間重構參數，克服了獨立求解重構參數的不足；利用HQ準則確定鄰近點個數增加了計算時的精度。仿真實驗表明該改進的小數據量法在計算最大Lyapunov時具有良好的準確性，對噪聲具有良好的魯棒性。

信息熵；HQ準則；小數據量法；Lyapunov指數

混沌已經應用于許多領域，想要利用混沌，必須要對系統進行混沌識別。一般來說，一個動力學系統的最大Lyapunov指數大于零時，系統處于混沌狀態[1]。求得實測時間序列的Lyapunov指數對于故障信號實時診斷具有重要的意義。在Lyapunov指數的計算過程中，存在很多問題，比如計算復雜、計算精度不夠高、無法得到實測時間序列的動力學系統的數學表達式等。WOLF等[2]提出的軌道跟蹤法具有開創性的意義。為后續的各種算法的出現打下了堅實的基礎。但是軌道跟蹤法由于容易受到參數的影響，計算精確度比較差。ROSENSTEIN等[3]在Wolf方法基礎上，提出了計算最大Lyapunov指數的小數據量法。小數據量法改善了計算精度，但是在參數的選取上仍然存在諸多不足。蔣愛華等[4]使用了改進的互信息法計算時間延遲，提高了計算最大Lyapunov指數的速度。楊愛波等[5]在利用小數據量法計算最大Lyapunov指數時，使用空間柵格法選取最近鄰點，大大提高了計算速度，但是對于噪聲魯棒性不佳。劉樹勇等[6]在鄰近點搜索時應用了kd樹算法，提高了鄰近點搜索效率，加快了計算速度。楊永鋒等[7]使用加權平均計算平均周期，并用最大無波動區間作為計算最大Lyapunov指數的擬合區域，具有便捷性，易于實現。李彬彬[8]將若干最優的時間延遲點對應的最大Lyapunov值求均值，過程簡單，但是誤差較大。在所有的算法當中，小數據量法由于可以實現對于不完全數據的計算，使用的最多。但是在確定相空間重構的參數和鄰近點這兩個重要的環節上還有許多的不足亟待解決。例如確定重構參數時缺少整體性，鄰近點個數主要是靠經驗主觀確定等。

在有關算法中，主要采用TAKENS[9]的嵌入定理進行相空間重構，目前對嵌入維數m和時間延遲τ這兩個參數的選取主要是把嵌入維數和時間延遲分別單獨求解，但是這種方法因為不能夠很好的保持原動力系統整體的特性，所以確定的相空間并不一定最佳。本文提出一種新的相空間重構方法，此方法采用信息熵模型來確定嵌入維數m和時間延遲τ，用遺傳算法對建立在高維空間的信息熵模型進行求解，從而實現了對重要的重構參數的優化。這種方法不僅保證了兩個重構參數的相互聯系性，擴充了兩個重構參數的整體性關系，還可以在重構之后保持原有的動力學關系。鄰近點的個數的選取：鄰近點數量太少會導致計算精度差；數量太多則會使計算變得繁瑣。在計算中通常使用最多的是固定鄰近點個數法和固定鄰域半徑法，但是它們都存在著明顯的不足，缺乏足夠的說服力。本文利用HQ(Hannan-Quinn)準則[10]來實現鄰近點個數的選取，避免了引入質量差的鄰近點和偽鄰近點引起的不利影響，有效增加了計算精度。

1 基于信息熵的相空間重構

1.1 m和τ的信息熵模型

設定兩個變量為X={x1,x2,…,xn}和Y={y1,y2,…,yn}，變量的先驗概率為{p(xi)}i=1,2,…,n和{p(yi)}i=1,2,…,k，可將信息熵定義：

(1)

此定義描述了變量X的不定性。

類似地，聯合熵定義為：

(2)

式中:p(xi,yi)是聯合概率。

(3)

(4)

1.2 相空間重構的參數模型建立

設混沌時間序列為x(1),x(2),…,x(n),…，則一定有合適的嵌入維數m和時間延遲τ的相空間X(n)=(x(n),x(n+τ),…,x(n+(m-1)τ))∈Rm,(n=1,2,…)，使得重構相空間與原混沌系統具有等價關系。即存在一個映射F:Rm→Rm能將原混沌系統復原出來，相空間點的軌跡表達式

X(n+τ)=F(X(n)),n=1,2,…

(5)

其中X(n+τ)=(x(n+τ),x(n+2τ),…,x(n+mτ))

式(5)的分量形式為

x(n+jτ)=fj(x(n),x(n+τ),…,x(n+(j-1)τ))，
j=1,2,…,m，n=1,2,…

(6)

將式(6)進行化簡后為

x(n+mτ)=f(x(n),x(n+τ),…,
x(n+(m-1)τ))，n=1,2,…

(7)

混沌系統的復雜性導致很難直接得到f的解析式；混沌系統高度的非線性則導致無法確定時間序列未來某時刻的值。

由式(7)可得，在選取合適的嵌入維數m和時間延遲τ下，f可以反映原系統運動模式。首先，得出f中m和τ具有的一般熵關系；其次，用神經網絡逼近f。

式(7)還說明了，在知道x(n),x(n+τ),…,x(n+(m-1)τ)后能夠確定x(n+mτ)，即只有在知道m個時刻的值x(n),x(n+τ),…,x(n+(m-1)τ)后，才可以徹底消除未來某時刻x(n+mτ)的不定性。故嵌入維數m和延遲時間τ是必須緊密聯系才能消除未來值的不確定性。信息熵能夠刻畫不定性，所以m和τ的熵關系可以建立。記

由以上討論，得到求m和τ的優化模型：

目標函數

(8)

約束條件：m和τ為非負整數。

根據式(4)，條件熵變換成聯合熵為：

minH(m,τ)=
H(X1,X2,…,Xm,Xm+1)-H(X1,…,Xm)

(9)

1.3 求解相空間重構參數的信息熵模型

式(8)的目標函數中的熵函數是一個有關m和τ的表達式，雖然利用傳統的優化算法可以求解式(8)，但是由于這個熵函數非常復雜，使用傳統算法的可操作性不高，所以采用遺傳算法進行求解。

遺傳算法(GA)是一種非數值優化算法，使用它求解優化問題只需目標函數就可以進行優化問題求解，并且沒有傳統的優化算法的缺點。

遺傳算法求解的算法如下：

1)編碼：參數m和τ為非負整數，采用二進制編碼。

2)初始群體的確定：參照實際問題反復試驗隨機產生群體規模為Q[30，80]。

4)選擇算子：使用比例選擇算子。即個體在下一代群體中的個數由該個體的適應值在種群總的適應值中的比例來決定。

5)交叉算子：使用兩點交叉算子。交叉概率pc為0.7

6)變異算子：使用基本位變異算子。變異概率pm：0.01

7)終止條件：最大迭代次數T<100。

2 鄰近點個數的選擇

鄰近點的個數是混沌特征指數計算過程中的另一個重要參數，如何確定最優個數值得研究。本文利用HQ準則[10]來計算得到最優鄰近點個數值。

經過研究發現，對于建立擬合模型，需要考慮模型的復雜度和擬合效果。充足數量的模型參數可以保證擬合精度；參數過多則使復雜度增大，甚至導致過擬合現象的發生。

赤池弘次提出赤池信息準則，簡稱AIC準則[11-12]，用于確定ARMA(p，q)模型的獨立參數個數：

AIC(p,q)=lnσ2+2(p+q+1)/N

(10)

式中:σ2是擬合方差，N是擬合數據個數。AIC準則的意義在于平衡模型的擬合精度和復雜度。但AIC準則仍存在著一定的局限性。

HANNAN等對赤池弘次的AIC準則進行了完善和優化，然后提出了HQ準則[10](Hannan-Quinn定階準則)：

(11)

式中:D是表征權重的常數，取D>2；σ2需要根據不同的需要對具體定義進行修改。擬合模型的精度和復雜度之間的最佳平衡點是式(11)取得最小值時。

先對鄰近點個數K設定一個比較大的取值范圍K∈[Kmin,Kmax]。分別對每個K值對應的HQ準則值進行計算，公式如下：

(12)

得到一系列準則值后，式(12)的最小值對應的K值就是鄰近點個數的最優選擇。

其中，歸一化均方誤差：

σ2=

(13)

3 仿真實驗

為了檢驗本文中基于信息熵和HQ準則改進的小數據量法在計算Lyapunov指數時的準確性和對噪聲的魯棒性，分別對Lorenz系統和含噪聲的Henon系統的最大Lyapunov指數采用不同的方法進行計算。

(1)Lorenz系統

Lorenz方程

(14)

式中:σ=10，r=28，b=8/3，令x(0)=1，y(0)=0，z(0)=1。采用四階Runge-Kutta法對Lorenz方程進行求解，取步長為0.02，得到x的7 500個點的數據集，去除暫態過程的前面5 000個點，最后得變量x的一個2 500個點的時間序列，并將其歸一化到[0，1]區間，原始數據選前2 000個點。

通過第2節所介紹的方法得到的最優嵌入參數:m=9，τ=4。

通過第3節中所介紹方法，得到每一個K值對應的HQ準則值，見圖1。

圖1 HQ準則值與K值的關系Fig.1the relationship of HQ values and K values based on HQ rules

從圖1看出當K=11時，HQ準則值最小，因此最佳鄰近點個數可取為11。

圖2中橫坐標為演化步數，縱坐標為演化距離，虛線斜率為最大Lyapunov指數的理論值。圖中曲線1,2,3分別為本文方法、文獻[5]方法和小數量法的演化曲線。采用不同方法計算Lorenz系統的最大Lyapunov指數和誤差，如表1。從表中可以看出，采用本文算法計算最大Lyapunov指數，準確性最高。

圖2 演化曲線圖Fig.2 Evolution curve

方法LE誤差小數據量法2.89776.8文獻[5]方法2.90326.6本文方法3.03732.3Standard[13]3.1096

(2)含噪聲的Henon系統

Henon映射：

(15)

式中:a=1.4，b=0.3。令y1=y2=0.5，求得混沌時間序列，去除前面2 000個點，取后邊2 000點。

通過第2節中所介紹的方法得到的最優嵌入參數：m=2，τ=1。

通過第3節中所介紹方法，得到每一個K值對應的HQ準則值，見圖3。

圖3 HQ準則值與K值的關系Fig.3 The relationship of HQ values and K values

從圖3看出當K=5時，HQ準則值最小，因此最佳鄰近點個數可取為5。

圖4是10%噪聲水平下演化圖的局部放大圖。橫坐標為演化步數, 縱坐標為演化距離，虛線斜率為最大Lyapunov指數的理論值。圖中曲線1,2,3分別為本文方法、文獻[6]方法和小數據量法的演化曲線。

圖4 演化曲線圖Fig.4 Evolution curve

分別向Henon系統中加入10%、30%和50%的噪聲，采用不同的方法計算不同噪聲水平下Henon時間序列的最大Lyapunov指數和誤差，如表2。仿真結果表明，計算精度隨著噪聲水平的增大而降低。但是本文方法可以計算含噪聲的Henon時間序列的最大Lyapunov指數，并且計算準確度比其它方法高，說明該方法對噪聲具有很好的魯棒性。

表2 不同方法計算最大Lyapunov指數的對比

4 結 論

本文利用信息熵和HQ準則對小數據量法進行改進，用來計算混沌序列最大Lyapunov指數。利用信息熵來確定相空間重構的參數，保證了兩個重構參數之間的相互聯系，擴充了兩個重構參數的整體性關系，實現了對重構參數的優化求解，還可以在重構之后保持原有的動力學關系；利用HQ準則來確定鄰近點的個數，可以消除引入質量差的鄰近點和偽鄰近點對計算的不利影響，增加了計算準確性。仿真實驗的結果表明，將信息熵和HQ準則應用于小數據量法來計算最大Lyapunov指數是可行的，并且具有良好的準確性；對混沌系統加入噪聲之后算出的Lyapunov指數準確度仍然很高，說明本文方法對噪聲具有良好的魯棒性。

[ 1 ] GENCAY R，DECHERT DAVIS W. An algorithm for the n-dimensional unknown dynamical system [J]. Physica D，1992，59：142-157．

[ 2 ] WOLF A，SWIFT J B，SWINNEY H L，et al. Determining Lyapunov exponents from a time series [J]. Physica D，1985，16：285-317.

[ 3 ] ROSENSTEIN M T ，COLLINS J J， DE LUCA C J. A practical method for calculating largest Lyapunov exponents from small data sets[J]. Physica D，1993，65：117-134.

[ 4 ] 蔣愛華，周璞，章藝,等.相空間重構延遲時間互信息改進算法研究[J].振動與沖擊，2015，14(2)：71-74. JIANG Aihua，ZHOU Pu，ZHANG Yi. Improved mutual information algorithm for phase space reconstruction[J]. Journal of Vibration and Shock，2015，14(2)：71-74.

[ 5 ] 楊愛波，王基，劉樹勇,等.基于空間柵格法的最大Lyapunov指數算法研究[J].電子學報，2012，40(9)：1871-1875. YANG Aibo，WANG Ji，LIU Shuyong,et al. An algorithm for computing the largest Lyapunov exponent based on space grid method[J]. Acta Electronica Sinica，2012，40(9) ：1871-1875.

[ 6 ] 劉樹勇，楊慶超，位秀雷,等.鄰近點快速搜索方法在混沌識別中的應用[J].華中科技大學學報(自然科學版)，2012,40(11)：89-92. LIU Shuyong，YANG Qingchao，WEI Xiulei,et al.The application of fast searching nearest points methodto chaos identification[J].J.Huazhong Univ. of Sci.&Tech.(Natural Science Edition)，2012,40(11)：89-92.

[ 7 ] 楊永鋒，仵敏娟，高喆,等.小數據量法計算最大Lyapunov指數的參數選擇[J].振動、測試與診斷，2012，32(3)：371-374. YANG Yongfeng, WU Minjuan, GAO Zhe,et al. Parameter selection of maximum Lyapunov exponent for small data volume method[J]. Journal of Vibration,Measurement & Diagnosis，2012,32(3)：371-374.

[ 8 ] 李彬彬.非線性心音時間序列的最大Lyapunov指數[J]. 上海電機學院學報，2011，14(1)：17-20. LI Binbin. Largest lyapunov exponents of nonlinear heartbeat time series[J]. Journal of Shanghai Dianji University，2011，14(1)：17-20.

[ 9 ] TAKENS F. Dynamical systems and turbulence[M].Berlin：SpringVerlag,1981,366.

[10] HANNAN E J，QUINN B G.The determination of the order of an autoregression [J].Journal of the Royal Statistical Society SeriesB(Methodological)，1979:190-195.

[11] AKAIKE H. Autoregressive model fitting for control [J]. Annals of the Institute of Statistical Mathematics，1971，23(1)： 163-180.

[12] AKAIKE H. A new look at the statistical model identification [J]. Automatic Control，IEEE Transactions on，1974，19(6)：716-723.

[13] GAO Jianbo，ZHENG Zheming. Local exponential divergence plot and optimal embedding of a chaotic time series[J]. Physics Letters A,1993(181)：153-158.

Application of information entropy and HQ rule in estimating largest Lyapunov exponent

WANG Ji1, YANG Qibin1,2, LIU Shuyong1, WEI Xiulei1

(1. College of Power Engineering，Naval Uniwersity of Engineering，Wuhan 430033，China;2. The Zhangzhou Base Preparation Office of National Ocean Technology Center, Beijing 100018, China)

The largest Lyapunov exponent is an essential criterion to judge if a time series is chaos or not. The small-data method is widely used in chaotic characteristic extraction at present. Here, the information entropy and HQ rule were applied in estimating the largest Lyapunov exponent to improve the small-data method. The information entropy was applied to optimize parameters of phase space reconstruction, and disadvantages of traditional algorithms were overcome clearly. The computational accuracy of LE was improved greatly by using the HQ rule to calculate the number of neighbouring points. Simulation results showed that the improved small-data method here has good performances in estimating the largest Lyapunov exponent, and the algorithm is robust to noise.

information entropy；HQ rule；small-data method；lyapunov exponent (LE)

國家自然科學基金(51179197);海洋工程國家重點實驗室(上海交通大學)開放課題(1009)

2015-08-17 修改稿收到日期：2016-01-03

王基 男，副教授，1964年6月生

楊琪斌 男，助理工程師，1991年8月生

O322

A

10.13465/j.cnki.jvs.2017.01.019