極限學習機在衛星鐘差預報中的應用*

雷 雨 趙丹寧

1)中國科學院國家授時中心，西安 710600

2)中國科學院時間頻率基準重點實驗室，西安 710600

3)中國科學院大學，北京 100049

極限學習機在衛星鐘差預報中的應用*

雷 雨1，2，3)趙丹寧1，3)

1)中國科學院國家授時中心，西安 710600

2)中國科學院時間頻率基準重點實驗室，西安 710600

3)中國科學院大學，北京 100049

將極限學習機引入衛星鐘差預報，對比Sigmoidal、Sine和Hardlim三種激勵函數對預報精度的影響，并與傳統灰色系統模型和徑向基函數神經網絡進行比較。結果表明，極限學習機的預報精度優于另外兩種模型，其學習速度也快于徑向基函數神經網絡，且基于Sigmoidal的激勵函數最適合于鐘差預報。

極限學習機;激勵函數;徑向基函數神經網絡;衛星鐘差;鐘差預報

1 引言

隨著人們對衛星導航和定位精度要求的提高，衛星鐘差的預報成為一項至關重要的工作。衛星鐘差數據屬于一類變化異常復雜的非線性時間序列，而神經網絡正是解決復雜非線性映射問題的有效手段。研究發現，將神經網絡應用于衛星鐘差的預報，比傳統的灰色系統模型有更高的預報精度［1－4］。目前在衛星鐘差預報中主要采用徑向基函數(RBF，Radial Basis Function)神經網絡算法，雖然該算法的學習速度較傳統的誤差反向傳播(BP，Back Propagation)神經網絡快得多，但由于其在學習過程中需要通過聚類算法迭代選取基函數中心，當學習樣本數量較多時導致網絡學習是一個非常耗時的過程。極限學習機(ELM，Extreme Learning Machine)作為單層隱含層前饋神經網絡(SLFN，Single-Hidden Layer Feedforward Neural Network)的一種新型學習算法，隨機產生輸入層與隱含層間的連接權值和隱含層神經元的閾值，且在學習過程中無需調整，只需設置網絡隱含層神經元的個數，便可獲得唯一的最優解。因此具有學習速度快、泛化性能好的優點［5］。

為了縮短神經網絡的訓練時間，提高預報精度，利用ELM模型進行衛星鐘差預報，并利用數值實驗討論了該方法的有效性。

2 ELM的基本原理及其用于鐘差預報的方法

已知訓練樣本{xi，ti}，xi∈Rp，ti∈Rq，i=1，2，…，N，含有L個隱含層神經元(節點)且激勵函數為g(x)的SLFN以數學模型的形式可表示為［5］

式中，βi表示隱含層第i個神經元與輸出層神經元的的連接權值，wi表示輸入層神經元與隱含層第i個神經元的連接權值，bi為第i個隱含層神經元的閾值，yj表示第j個輸入樣本的輸出值。

若隱含層神經元個數L與訓練集樣本個數N相等，則對于任意的w和b，SLFN都可以以零誤差逼近訓練樣本，即

結合式(1)、(2)可寫為

式(3)可表示為

式中，H為隱含層輸出矩陣，T為輸出層輸出矩陣。

然而，當訓練集個數N較大時，為了減少計算量，隱含層神經元個數L通常取比N小的數，此時SLFN的訓練誤差可以逼近一個任意ε，即

因此，當激勵函數g(x)無限可微時，SLFN的參數并不需要全部進行調整，w和b在訓練前可以隨機選擇，且在訓練過程中保持不變。而隱含層與輸出層間的連接權值β可以通過

求解最小二乘解獲得其解為

式中，H+為隱含層輸出矩陣H的Moore-Penrose廣義逆，T'是T的轉置。

ELM在訓練前可隨機產生w和b，只需要確定隱含層神經元個數及其激勵函數，即可計算出β。

基于ELM的鐘差預報的步驟為:

1)確定網絡的輸入量、輸出量。輸入量為已知的鐘差值，輸出量為鐘差預報值;

2)根據已有數據，進行訓練樣本集與驗證樣本集的劃分。其中訓練集用來訓練網絡，驗證集用以評估網絡泛化性能;

3)將訓練樣本和測試樣本變換到［－1，1］的范圍內，以利于提高網絡的訓練速度［6］;

4)采用MATLAB神經網絡工具箱建立ELM，并確定網絡的隱含層神經元個數;

5)利用訓練集對ELM進行訓練;

6)利用訓練好的ELM進行鐘差預報;

7)將網絡輸出值進行逆變換，使其恢復到原始數據的量級，并對還原結果進行精度分析。

3 算例分析

實驗數據為IGS發布的2010年11月28—30日的GPS精密衛星鐘差，采樣間隔為5分鐘，其中將28、29日兩天的數據作為訓練樣本，30日的數據作為測試樣本。考慮到目前在軌GPS衛星有30多顆，限于篇幅，從現有的五種類型衛星鐘中各選一顆進行預報，分別是 PRN04(IIA Rb)、19(IIR Rb)、25(IIF Rb)、30(IIA Cs)和31(IIR-M Rb)號衛星，預報跨度為1天。對比不同激勵函數對ELM預報性能的影響，對ELM對鐘差的預報效果與常用的精度較好的方法進行比較。

3.1 不同激勵函數對預報性能的影響

選取Sigmoidal、Sine和Hardlim三種函數作為ELM隱含層神經元的激勵函數進行學習，并分析其預報效果。由于隱含層節點個數會導致預報性能存在明顯區別，所以該參數的選擇是ELM有效進行學習的關鍵。文中隨機將訓練集劃分為學習樣本和測試樣本，其中測試樣本用以確定隱層節點個數，根據測試樣本的均方根誤差的大小確定最優隱層節點數，令隱層節點個數以10為步長在［10，280］內遞增，采用交叉驗證(Cross-Validation，CV)法優化網絡［7］。訓練過程中測試誤差相對于隱層節點個數的變化曲線如圖1所示(限于篇幅，這里只給出PRN19號衛星的結果)，由圖1可以看出，Hardlim函數對應的測試誤差最大，并且隨著隱層節點個數的增加，誤差逐漸減小，為了更清楚地反映圖1所示結果，將Sigmoidal函數和Sine函數的測試誤差隨隱層節點個數的變化情況單獨繪于圖2。由圖2可以看出，隱層節點個數由10增加至100時，Sigmoidal函數和Sine函數對應的誤差較小，在0.2 ns左右，且基本保持穩定;當達到140時，兩種函數對應的測試誤差急劇增大。需要說明的是，訓練誤差最小時所對應的節點數即為最優隱層節點個數。

基于三種激勵函數的ELM預報均方根誤差見表1。由表1可知，使用Hardlim函數作為激勵函數時，預報誤差非常大，比使用另外兩種激勵函數的預報精度大約低1～2個數量級;而基于Sigmoidal和Sine激勵函數的預報精度在同一個數量級，預報效果較為理想，并且Sigmoidal激勵函數比Sine函數更為實用。

圖1 隱層節點個數的確定Fig.1 Determination of number of hidden layer nodes

圖2 隱層節點個數的確定(放大圖)Fig.2 Determination of number of hidden layer nodes(the amplified figure)

表1 基于不同激勵函數的ELM預報精度(單位:ns)Tab.1 Prediction precision of ELM based on different activation functions(unit:ns)

3.2 不同預報方法的比較分析

為了進行比較，使用灰色系統模型和徑向基函數神經網絡模型進行衛星鐘差預報。實驗中，對于灰色系統模型，采用29日最后12個歷元(時長為1小時)的數據建模;對于RBF神經網絡模型，同樣將28、29日兩天的數據作為訓練樣本，令隱層神經元個數與訓練樣本個數相等，并采用CV法優化網絡;對于ELM模型，使用Sigmoidal函數作為激勵函數。不同預報模型的誤差比較如圖3～7所示，對應的誤差值見表2。

表2 不同預報模型的誤差統計(單位:ns)Tab.2 Error statistics of different prediction models(unit:ns)

結合圖3～7，分析表2可以看出:

1)RBF神經網絡和ELM模型的預報精度和穩定性要明顯優于傳統灰色系統模型，這是因為神經網絡是一種自適應的映射方法，它沒有作假設，更不需要事先建立任何數學模型，能避開未知因素的影響，因此能提高鐘差的預報精度;

2)ELM模型的預報精度好于RBF神經網絡，說明前者的泛化能力比后者強;

3)Block IIA型衛星的星載Rb鐘和Cs鐘的可預報性遠低于其他星載鐘，而該型Rb鐘的預報精度又高于Cs鐘。

為了比較RBF神經網絡算法與ELM算法在學習速度、學習能力以及泛化能力等方面上的差異，通過50次實驗對同一個訓練樣本進行學習訓練，并對驗證樣本進行網絡驗證，計算50次實驗結果的平均訓練時間、平均訓練誤差、平均驗證時間和平均驗證誤差(泛化誤差)作為兩種算法的性能評價標準，對比結果見表3(限于篇幅，仍以PRN19號衛星為例進行討論)。實驗在個人PC上進行，硬件配置如下:CPU為Intel酷睿雙核E7500(主頻2.93 GHz)，內存為2 G;軟件平臺為Microsoft Window XP系統MATLAB R2012a編程環境。

由表3可知:

1)ELM相對于RBF神經網絡，以較少的隱層節點個數獲得與RBF神經網絡相似的學習性能，兩種算法的訓練誤差僅相差0.01ns，說明它們的學習能力相當;

圖3 不同預報模型的誤差比較(PRN04)Fig.3 Error comparison of different prediction models(PRN04)

圖4 不同預報模型的誤差比較(PRN19)Fig.4 Error comparison of different prediction models(PRN19)

圖5 不同預報模型的誤差比較(PRN25)Fig.5 Error comparison of different prediction models(PRN25)

2)ELM對驗證樣本的外推誤差小于RBF神經網絡，說明ELM的泛化能力強于RBF神經網絡;

3)在學習速度方面，由于ELM在確定隱層節點個數后不調整任何參數，ELM的學習過程平均耗時僅4.26 s，而RBF神經網絡需要不斷調整基函數中心，因此需要耗費的時間比ELM的多，平均耗時8.08 s，此外，在對未知樣本(驗證樣本)進行測試時，兩種算法的計算速度相當，由此得知，兩者速度上的區別僅體現在對訓練樣本的學習快慢上。

需要說明的是，本文令RBF神經網絡的隱層節點個數等于訓練樣本個數，這樣做的目的是簡化學習算法，提高學習速度，當然如果想提高網絡的學習能力可以通過特定方法選取合適的隱層節點數，但網絡的學習算法會變得比較復雜，而且學習速度也會因此隨之減慢。另外，值得一提的是，ELM從本質上講是RBF神經網絡的一個特例，即隱層節點數與訓練樣本數相等，輸入層與隱含層間的連接權值和隱含層神經元的閾值是固定的而不是隨機產生的，且激勵函數為徑向基函數時的情況。

圖6 不同預報模型的誤差比較(PRN30)Fig.6 Error comparison of different prediction models(PRN30)

圖7 不同預報模型的誤差比較(PRN31)Fig.7 Error comparison of different prediction models(PRN31)

表3 RBF神經網絡與ELM性能對比Tab.3 Comparison between performance of RBF neural network and ELM algorithm

4 結論

1)ELM和RBF神經網絡算法在衛星鐘差預報中具有較高的精度，明顯優于傳統的灰色系統模型;

2)ELM算法的預報精度不但優于RBF神經網絡，且在學習速度上也具有一定的優勢;

3)基于Sigmoidal激勵函數的預報效果好于Sine激勵函數和Hardlim激勵函數，其中Hardlim激勵函數的效果最差;

4)Cs鐘的預報精度遠低于Rb鐘。

1 崔先強，焦文海.灰色系統模型在衛星鐘差預報中的應用［J］.武漢大學學報(信息科學版)，2005，30(5):447 －450.(Cui Xianqiang and Jiao Wenhai.Grey system model for the satellite clock error prediction［J］.Geomatics and Information Science of Wuhan University，2005，30(5):447 －450)

2 鄭作亞，盧秀山.幾種GPS衛星鐘差預報方法比較及精度分析［J］.山東科技大學(自然科學版)，2008，27(4):6－15.(Zheng Zuoya and Lu Xiushan.Comparison and precision analysis of several GPS satellite clock bias prediction methods［J］.Journal of Shandong University of Science and Technology，2008，27(4):6－15)

3 郭承軍，滕云龍.基于小波分析和神經網絡的衛星鐘差預報性能分析［J］.天文學報，2010，51(4):395－403.(Guo Chengjun and Teng Yunlong.Performance analysis of satellite clock bias based on wavelet analysis and neural network［J］.Acta Astronomica Sinica，2010，51(4):395 －403)

4 郭承軍，滕云龍.神經網絡在衛星鐘差短期預報中的應用研究［J］.測繪科學，2011，36(4):198 － 200.(Guo Chengjun and Teng Yunlong.Application of neural network in satellite clock bias prediction［J］.Science of Surveying and Mapping，2011，36(4):198 －200)

5 Huang Guangbin，et al.Extreme learning machine:theory and applications［J］.Neurocomputing，2006，70:489 － 501.

6 王新志，等.基于BP神經網絡的廈門集美大橋高程傳遞的設計與實現［J］.南京信息工程大學學報(自然科學版)，2010，2(5):451 － 454.(Wang Xinzhi，et al.Design and implementation of elevation transmission in Xiamen Jimei bridge based on BP neural network［J］.Journal of Nanjing University Information Science and Technology，2010，2(5):1 451 －1 454)

7 丁常富，王亮.基于交叉驗證法的BP神經網絡在汽輪機故障診斷中的應用［J］.電力科學與工程，2008，24(3):31－34.(Ding Changfu and Wang Liang.BP neural network application in turbine fault diagnosis base on the cross-validation［J］.Electric Power Science and Engineering，2008，24(3):31－34)

APPLICATION OF EXTREME LEARNING MACHINE IN SATELLITE CLOCK ERROR PREDICTION

Lei Yu1，2，3)and Zhao Danning1，3)
1)National Time Service Center，CAS，Xi’an710600
2)Key Laboratory of Time and Frequency Primary Standards，CAS，Xi’an710600
3)University of Chinese Academy of Sciences，Beijing100049

Extreme Learning Machine(ELM)is employed for predicting satellite clock error.The impact of activation functions on prediction accuracy using ELM is analyzed，including Sigmoidal，Sine and Hardlim functions，and ELM model is compared with the grey system model and radial basis function(RBF)neural network(NN)model.The results show that prediction precision of ELM algorithm is best，and can learn faster than RBF neural network.Moreover，the Sigmoidal activation function is best for clock error prediction.

Extreme Learning Machine(ELM);activation function;radial basis function neural network;satellite clock error;clock error prediction

P207

A

1671-5942(2013)05-0053-05

2013-02-27

國家自然科學基金(10573019)

雷雨，男，1983年生，博士，主要研究方向為GNSS時間傳遞.E－mail:leiyu@ntsc.ac.cn