XGBoost在衛星網絡協調態勢預測中的應用

朱 明,王春梅,高 翔,王 靜

1(中國科學院 國家空間科學中心,北京 100190)2(中國科學院大學,北京 100049)

1 引 言

隨著航天事業的發展,在軌衛星的數量越來越多.據美國憂思科學家聯盟(UCS)統計,截至2018年8月,全球在軌運行的衛星數量為1886顆.衛星的頻率和軌道資源日趨緊張,各國爭相搶占頻率和軌道資源,致使衛星網絡之間的協調難度不斷加大,協調任務不斷加重[1-5],實現衛星網絡協調態勢的預測可以有效降低成本,提高協調效率和成功率,然而經過中國知網、百度學術、必應學術和Web of Science核心合集的檢索,目前尚缺乏衛星網絡協調態勢預測的相關研究.

機器學習算法在求解預測問題具有重要應用,而XGBoost算法作為機器學習算法中的一種,在電商銷售預測、油價預測、用戶行為預測、軸承故障預測、醫療診斷等領域均取得較好效果.文獻[6]利用XGBoost模型對商業銷售進行預測,在訓練速度及評價標準上均具有明顯的優勢.文獻[7]對國際原油價格進行預測研究,預測精度高、泛化能力強.文獻[8-11]分別對用戶行為、風機主軸承故障、節假日路網流量與骨質疏松性骨折進行預測,預測結果的效率和準確度方面均具有較好的優越性.

鑒于此,本文提出基于XGBoost的衛星網路協調態勢預測方法,實現對衛星網絡協調態勢有效預測,達到降低協調成本、提高協調效率的目的,并通過對比實驗,驗證該方法的可行性與優越性.

2 數據描述

衛星網絡協調數據主要包括:衛星所屬國實力數據、需協調國家及其實力數據以及衛星適用頻段及其相關屬性數據.表1～表3分別列出上述三種數據的部分示例,其表中USA、KOR、CHN與UAE分別表示美國、韓國、中國與阿拉伯聯合酋長國.

數據表中的衛星網絡協調數據共有461條記錄,每條記錄含有3441列特征,數據維度極高,選擇既能保證較好的泛化能力又能保證較高效率的模型極為重要.

3 XGBoost模型的優勢

集成學習模型是按照某種規則將多個學習器的結果進行整合,從而獲得比單學習模型學習效果更優的一種模型.其模型思想主要有兩種:

1)Bagging思想,是采用多個并行的學習器進行預測,然后基于“少數服從多數”的策略來確定最終的結果,典型的算法如隨機森林(Random Forests,RF)方法.RF算法在訓練決策樹的過程中進行特征的隨機選擇,雖然能夠處理高維數據集,但當數據中某個特征含有較多特征值時,容易出現過擬合問題;

表1 衛星所屬國實力數據示例
Table 1 Example of strength data of satellite country

衛星名稱衛星所屬國家該國投入使用量該國C資料同步軌道衛星網絡數量該國N資料同步軌道衛星網絡數量該國操作者數量…USNN-3USA76819435780…COMS-116.2EKOR517292615…CHINASAT-MSB5CHN54421017761……………………

表2 需協調國家及其實力數據示例
Table 2 Example of coordination of countries and their strength data

衛星名稱衛星所屬國家需協調國家-UAEUAE投入使用量UAE-C資料同步軌道衛星網絡數量UAE-N資料同步軌道衛星網絡數量…USNN-3USAYES15313043…COMS-116.2EKORNO15313043…CHINASAT-MSB5CHNYES15313043……………………

表3 衛星使用頻段及其相關數據示例
Table 3 Examples of satellite frequency bands and related data

2)Boosting即將多個學習準確率低的弱學習器,集成一個學習準確率高的強學習器,典型的算法如Adaboost和GBDT(Gradient Boosting,梯度提升樹).Adaboost算法通過調整樣本權重將多個弱學習器集成為強學習器,擅長解決分類問題[12].GBDT算法的建樹迭代過程是在前一次迭代的基礎上完成本次迭代,比Adaboost性能更佳,但是GBDT算法的基礎學習器僅能使用CART(Classification and Regression Tree)回歸樹模型,并且時間和空間復雜度較高.

XGBoost是華盛頓大學的陳天奇博士在2016年提出的一種GBDT算法的優化算法[13].主要有三方面的優勢:

1)支持并行處理,一方面XGBoost模型采用按列存儲的方式保存數據,可以并行的對同層級的所有特征進行分裂點的查找計算,另一方面,XGBoost在模型訓練之前預先對數據進行排序并保存為block結構,在計算中重復使用這個結構使得它可以在特征粒度上利用CPU多線程實現并行計算,提高運行效率[14];

2)最優解收斂速度快.XGBoost模型相較于GBDT算法在代價函數上進行了二階的泰勒展開,通過計算二次函數求出最優解,使算法的收斂速度更快;

3)避免過擬合.XGBoost模型在代價函數中加入正則項來控制模型的復雜度,進而降低模型的方差,避免過擬合現象的發生.

因此,采用XGBoost模型對衛星網路協調態勢進行預測,可以有效提升運行效率,避免過擬合現象的發生.

4 基于XGBoost模型的預測方法

XGBoost模型預測過程如圖1所示.預測模型主要包括兩部分:數據預處理和模型構建.數據預處理主要任務是用于生成完整和可用的數據集,其包括數據集成與數據清洗兩部分.模型構建的主要任務是訓練各基學習器,通過參數調優降低模型誤差,最后集成成為準確率較高的組合學習模型.

4.1 數據預處理

為了防止數據集冗余和不一致,提高預測模型的準確性與速度,因此,將多個數據表集成為具有統一屬性及單位的數據集.數據集成示意圖如圖2所示.數據集成步驟如下:

①首先匹配衛星所屬國家(即圖2中標識[1]);

②匹配成功后,將衛星所屬國實力屬性插入到原始數據表中(即圖2中標識[2]添加到標識[1]后面);

圖2 數據集成示意圖Fig.2 Data integration diagram

③根據國家名稱,將需協調國家實力屬性添加到原數據表中(即圖2中標識[2]添加到標識[3]后面);

④根據ID值(即圖2中標識[4]),將頻段屬性添加到原始數據表中(即圖2中標識[5]添加到標識[6]前面),數據集成結束.

衛星網絡協調數據的數據類型主要有兩類:數值型與非數值型數據,而XGBoost的基學習器是一種回歸樹模型,只能處理數值型數據,因此,需要對其原始數據進行清洗,將非數值型數據轉化為數值型.

數據清洗過程包含三部分:缺失值的填充、字符數據的量化及刪除異常數據.數據清洗示意圖如圖3所示.數據清洗步驟如下:

圖3 數據清洗示意圖Fig.3 Data cleaning diagram

①判斷原始數據集中數據類型.若為數值型數據,轉到步驟③.若為非數值型數據,轉到下一步.

②判斷非數值型數據類型.若為缺失值數據,進行缺失值填充.衛星網絡協調數據中,缺失值說明該衛星不使用此頻段范圍,因此,將缺失值處填充為0.若為字符數據,進行字符型數據量化.字符型數據則主要有YES和NO,如表2所示,YES表示與該國存在協調關系,NO表示與該國不存在協調關系;如表3所示,YES表示該衛星使用此頻段范圍,NO表示該衛星不使用此頻段范圍.本文使用1和0分別對應表示YES和NO.

③刪除異常數據.

④數據清洗完成,形成數據集.

數據劃分如圖4所示.數據集劃分為訓練集和測試集,數量分別為362條和100條數據.訓練集按照7:3的比例劃分為訓練子集和驗證集.訓練子集用作訓練回歸預測模型,驗證集用作確定回歸預測模型參數,測試集用作模型驗證及結果分析.

圖4 數據劃分示意圖Fig.4 Data division diagram

4.2 參數調優

XGBoost參數[15]較多,其中以max_depth,min_child_weight,eta,gamma,subsample,colsample_bytree,lambda,alpha對模型的性能影響較大,因此構建預測模型時主要針對上述參數進行調優.XGBoost參數信息如表4所示.

參數選擇采用遍歷的方法,搜索步長從大變小.以max_depth參數為例,選擇方法步驟如下:

①設定參數初始值為默認值6;

②設定參數遍歷范圍為[3,12];

③設定參數遍歷步長為2,如圖5所示,可以看出在max_depth的值為5時,平均絕對誤差(MAE)最小,其值為0.2403;

④參數遍歷范圍縮小為[3,7];

圖5 max_depth參數步長為2時的誤差值Fig.5 Error value of max_depth step 2

⑤把參數遍歷的步長調節為1,如圖6所示,可以看出平均絕對誤差(MAE)的最低點從0.2403變成為0.2392,參數max_depth的值從5變為4.綜上所述,max_depth的參數值為4.

圖6 max_depth參數步長為1時的誤差值Fig.6 Error value of max_depth step 1

表4 XGBoost參數信息
Table 4 XGBoost parameter information

5 實驗驗證與分析

5.1 實驗環境

操作系統:Windows10,64位.

開發平臺:Pycharm,python3.6.3.

第三方庫:Numpy,Pandas,scikit-learn,xgboost.

硬件環境:Inter(R)Core(TM)i7-7700HQ CPU @ 2.80GHz 2.81GHz.

5.2 實驗過程及結果分析

本文實驗分為兩部分,第一部分實驗是XGBoost模型參數調優.步驟及參數詳細信息參見章節4.2 參數調優.為驗證XGBoost模型的預測方法在解決衛星網絡協調態勢預測問題的優越性,第二部分實驗是與其他預測模型對比實驗.實驗將XGBoost模型分別與平均回歸的K鄰近(UNI_KNR)、距離加權回歸的K鄰近(DIS_KNR)、徑向基核函數的支持向量機(RBF_SVR)、回歸樹(DTR)、隨機森林(RF)、極端隨機森林(ETR)和彈性網絡回歸(ElasticNet)模型進行結果對比.

本實驗采用均方誤差(MSE)和平均絕對誤差(MAE)作為預測模型的評價函數,誤差數值越小說明預測的結果越好,其評價函數的計算公式分別如公式(1)和公式(2)所示:

(1)

(2)

表5 預測模型評價結果
Table 5 Evaluation results of prediction model

模型MSEMAEXGBoost0.131180.30082UNI_KNR0.162790.34100DIS_KNR0.160800.33165RBF_SVR0.152710.35072DTR0.201730.34517RF0.147040.32261ETR0.162900.31783ElasticNet1.602450.76083

第二部分實驗中8種模型的預測評價結果如表5所示.比較表5 中各模型預測評價結果可以看出:

1)XGBoost回歸模型、支持向量機回歸模型、K鄰近回歸、隨機森林回歸等基于非線性的預測模型遠好于基于線性模型的彈性網絡回歸模型,表明衛星網絡協調數據為非線性關系,因此采用非線性回歸預測模型優于線性回歸預測模型;

2)在衛星網絡協調態勢預測方面,XGBoost模型和隨機森林的集成學習方法預測效果好于彈性網絡回歸、支持向量機回歸,K鄰近回歸等單學習模型;

3)XGBoost模型評價函數的均方誤差(MSE)和絕對誤差(MAE)均小于其他模型,且相較于次優模型(RF和ETR),其MSE降低了10.78%,MAE降低了5.35%,表明XGBoost模型具有較好的衛星網絡協調態勢預測精度和泛化能力.

7 結束語

為降低衛星網路協調難度,提高協調任務效率,本文研究基于衛星網絡協調的高維數據進行網絡協調態勢預測方法.采用XGBoost的模型實現對衛星網絡協調態勢的有效預測.并實驗對比平均回歸的K鄰近、距離加權回歸的K鄰近、徑向基核函數的支持向量機等7種回歸模型,結果表明XGBoost模型在衛星網路協調態勢預測方面具有較好的預測精度和泛化能力.