基于隨機權神經網絡集成模型的實時遙測數據處理

(中國人民解放軍92941部隊,遼寧 葫蘆島 125000)

0 引言

遙測數據主要用于獲取飛行器狀態和軌跡信息以對其進行安全控制，高精度的遙測數據處理結果是評估的重要依據。遙測數據處理具有數據量大、數據結構復雜、高維度及高實時性等特征，同時遙測數據易受測量設備和空間環境等影響產生數據漂移變化，其表現可能是數據的突變形式，也有可能是緩慢的線性變化等，變化趨勢不易判斷，因此建立一種高精度的在線遙測數據預測模型十分必要[1]。

目前機器學習快速發展，并廣泛應用于各類復雜場景中的數據建模，通常的有監督學習方法假設數據的概率分布在訓練集和實際數據集間不會發生變化，而實際應用場景中的數據的分布由于過程進化特性常常是不穩定的，會隨時間而變化，進而造成隨時間推移模型的預測精度下降[2]。因此要建立的遙測數據預測模型不僅要求預測結果具有較高的精度，而且能對數據分布變化敏感，可以快速適應數據漂移的變化，同時算法要滿足在飛行規定的時間內完成數據處理，

考慮到以往使用單一預測模型存在的不穩定性，而集成算法模型能有效解決模型的泛化性和可信度[3]，因此提出一種基于隨機權神經網絡(NNRW)的裝袋(bagging)集成方法[4]，用于解決遙測數據流的在線回歸預測問題。集成模型的關鍵是基模型的選擇[5]，選擇隨機權神經網絡作為基模型，其輸入層和隱層間權值隨機初始化，在優化過程中保持不變，而對隱藏層和輸出層間的權值進行優化，同傳統神經網絡訓練算法相比，這樣可極大降低訓練復雜度[6]。選擇裝袋集成方法，通過隨機有放回的取樣方式保證訓練出的基模型間的獨立性，保證所訓練基模型的多樣性，通過基模型定點更新策略保證集成模型對數據漂移的適應。仿真實驗表明基于具有高精度和高效性[7]隨機權神經網絡和裝袋集成學習機制可實現基模型的并行訓練，該集成方法滿足對數據處理的實時性和精度要求，通過基模型更新機制，減小數據漂移對模型預測精度的影響。

1 隨機權神經網絡的裝袋集成模型

該集成學習模型采用裝袋集成方法，通過隨機采樣方法對原始數據集抽取出多個訓練集，隨機性抽樣保證了各訓練集各自獨立又包含有數據集的共同特征，進而訓練得到具有多樣性的隨機權神經網絡基模型池，從池中選擇最優的基模型用于預測輸出。該集成方法通過樣本的隨機性，保證訓練出的隨機權神經網絡基模型具有多樣性[8]，通過賦予高精度的基模型更大的輸出權值，聯合多個高精度基模型的加權輸出實現對輸出數據預測，保證最終數據預測結果的精度。同時為應對輸入數據存在的漂移現象，當數據出現漂移或模型預測精度下降，對構成輸出的基模型采用更新機制，通過新增數據訓練獲得新的基模型，對集成模型中輸出性能較差的基模型進行替換，保證用于預測的基模型為最優。為滿足遙測數據處理要求，保證該集成模型數據處理的實時性，由于隨機權神經網絡的結構和學習過程簡單，在對新增數據在線學習過程中可將若干神經網絡同時訓練，極大縮減了集成模型的構造時間。

1.1 隨機權神經網絡(NNRW)基模型

基模型的設計要求具有較高的預測精度以及計算效率，以滿足實時遙測數據處理的要求，因此選擇單隱藏層前向反饋神經網絡結構的隨機權神經網絡作為基模型，基模型原理如圖1所示。

圖1 單隱層前饋神經網絡基模型

圖1中輸入層和隱藏層間的權值隨機選擇，在訓練過程中保持不變，而隱藏層與輸出層間的權值通過訓練獲得。學習算法選擇嶺回歸，學習函數如式(1)所示:

T=g(X·WH+B)·Wo

(1)

式中,T為目標向量，X為輸入訓練向量，WH為輸入層到隱藏層的權重向量，B為偏置向量，Wo為隱藏層到輸出層權重向量。(g)·為激活函數，如式(2)所示:

(2)

由于WH和B為隨機選擇向量，且在訓練過程中保持不變，訓練函數變為線性系統，如式(3)所示:

T=H·Wo

(3)

其中:H為隱藏層輸出，通過式(4)計算:

H=g(X·WH+B)

(4)

最優向量Wo滿足式(5):

(5)

C為小的常數，I為作為懲罰項的單位矩陣。

隨機權神經網絡通過隨機選取內權與偏置值，將網絡參數需要計算的問題轉化成線性方程，通過不同的組合進行求解，采用廣義逆求解方程組的最小二乘解作為網絡外權，通過外權與內權的結合計算，避免了其他傳統算法的缺點，極大地減少了訓練時間，有效避免了陷入局部最小循環的問題。

1.2 隨機權神經網絡的裝袋集成算法

由于遙測數據含有多維信息，進行該類數據處理的模型通常極其復雜，另外遙測數據具有高的數據吞吐量，因此要求數據處理具有較高的實時性，為滿足模型實現在線對數據進行預測計算的要求[9]，將隨機權神經網絡和裝袋集成方法進行聯合，其模型復雜度為O(M(N3))，模型中的每個隨機權神經網絡基模型可單獨立優化，各基模型優化可并行執行。集成模型的多樣性通過裝袋集成方法的自助采樣(bootstrapping)算法實現，自助采樣不僅產生新的訓練數據集用于基模型的訓練，并且能保證從訓練集中抽取出特征屬性，特征屬性的數量用于構建每個基模型，特征屬性的數量根據總特征量的百分比得出。

集成算法的具體原理如下：

1.2.1 基模型的選擇優化

集成模型中包含多個基模型，它們利用對原始訓練集的采樣集進行訓練獲得各自的最優參數，因此能保證基模型的多樣性，每個基模型都可以對輸入數據集進行預測，但集成模型的輸出只由所選擇的最優Q個基模型決定，給定修剪率p∈(0,1]，參加預測的基模型的數量Q滿足式(6):

Q=p*M

(6)

對每個數據集C，對具有最小輸出誤差的Q個模型(Q

由于輸入數據存在數據漂移現象，勢必造成集成模型的預測精度下降，當集成模型中某個基模型精度較差時，對該基模型暫時免于激活，而從處于失效狀態而隨時跟蹤數據的基模型中選擇預測精度較佳者進行替換。

1.2.2 最優權值確定

集成模型的輸出結果為所選擇最優的Q個基模型加權輸出和。該權值直接影響集成模型性能，同時過于復雜的優化方法會增加算法的計算時間。因此選擇的方法為集成模型中的每個基模型根據其在最近數據塊的預測精度被分配權重。給定當前數據集C，輸出由M個基模型(m=1，2,…,M)集成，每個基模型的權值計算如式(7)所示:

(7)

msem為第m個基模型在當前數據集C上計算得到的均方誤差。數據樣本xn的集成輸出yE如式(8)所示:

(8)

由式(8)可知，當基模型的預測輸出的均方誤差值較大時，則在集成模型的輸出中所占比例相應較小。當預測均方誤差值較小，則分配較大權重。

1.2.3 基模型的更新

為解決輸入數據的漂移問題，參與集成輸出的基模型需要進行更新，另外當基模型數量不滿足設計要求時需要使用最新的數據集中的標記數據訓練出新的基模型，在輸入數據集中隨機劃分出70%用于訓練，30%用于驗證。如果新的模型精度好于已存在模型中精度最差者，則進行模型更新，這個過程一直重復進行，直到新模型的數量達到設計要求。給定替換率為r∈(0,1]，新模型的數量Mnew計算如式(9)所示:

Mnew=round(r*M)

(9)

更新機制不僅保證集成模型與最近的數據同步，而且作為一種自然選擇機制，能不斷剔除低性能的基模型。

1.2.4 集成算法工作流程

隨機權神經網絡集成模型工作原理如圖2所示。

圖2 隨機神經網絡集成模型原理

將飛行遙測數據作為數據流，初始要求提供足夠可用數據集用于構建一個原始的集成模型，該可用數據集作為原始數據集，采樣數據S為對可用數據集進行有放回的隨機采樣獲得，每個采樣集用來訓練得到一個作為基模型M的隨機權神經網絡，通過對N個基模型訓練獲得基模型池，選擇最優的Q個基模型進行加權輸出實現對輸入數據的預測。初始集成模型構建完成之后開始對輸入數據流進行預測，同時上述更新機制開始工作，由于在數據流中設置有更新點標志，當檢測到更新點標志時，表示可用數據集為新增的數據集，一部分基模型對新增數據進行在線學習，當判斷集成模型預測性能下降時對預測性能較差的基模型進行更新操作。

2 集成模型超參數的優化

模型的超參數包括基模型的個數，每個神經網絡內隱層層節點的個數，懲罰因子，隨機權重值的范圍等，超參數的選擇優化對模型精度起著關鍵作用，而且超參間還具有相互作用，例如，在超參數A為1級別，算法精度隨超參數B從1～2變化時提高，同時在A為2級別，算法精度隨超參數B從1～2變化時降低，因此在超參數較多的情況下，增加了優化過程的復雜性。目前用于數據流預測的機器學習算法中，還缺乏系統的方法對超參數進行優化，一些方法如手動調整，網格搜索，貝葉斯超參數優化等，缺乏對某個超參數的重要性和超參數間的相互作用的考慮[10]。

鑒于使用全因子的實驗設計(DOE)方法進行超參數調整能識別顯著的超參數間的相互作用，因此提出采用全因子設計方法對集成模型的超參數進行調整，將初始可用數據集的前1 000個數據隨機劃分為70%用于訓練，30%用于測試。具體過程分兩步進行，首先對所有超參數在預定義的5個級別進行窮盡組合計算，通過對每個超參數的靈敏度進行分析，以及對超參數之間的相互作用的分析識別出重要的超參數和優化方式。之后開展新實驗進行超參數的微調，通過將具有低重要性的超參數保持在固定水平，縮小參數的搜索空間，進而保證了算法的實時性。模型超參數具體設置如表1所示。

表1 超參數預設值表參數

其中，M為構成集成模型的基模型數量；N為基模型中隱藏層節點數量，N為輸入數量的函數，具體為A因子與輸入數量的積；R為懲罰因子，用于在優化過程中懲罰大的權值；W為隨機權值分布區間，該參數確定初始化隨機權值均勻分布在該區間內，模型精度起關鍵作用；A為特征屬性數量，用于隨機選擇輸入的一部分用于基模型進行訓練。

3 仿真及分析

選取飛行器位置、速度、彈道等10個屬性的仿真數據作為訓練集，其中飛行彈道為目標輸出，其他參數作為輸入向量集，利用本文提出的方法建立預測模型。

為評估模型對數據漂移的響應，基于遙測數據構造5 000采樣點的數據集，將數據特征屬性的變量域劃分為10級，用前7級構造數據集的前2 000點，之后每隔1 000點擴展變量范圍，人為形成數據的漂移現象。

3.1 超參數優化仿真及分析

每個超參數都決定模型的性能，但重要性不同，用于超參數優化的數據集為起始的1 000點數據，將前1 000點數據劃分為兩部分，70%用于訓練，30%用于驗證。每個超參數按表1劃分的5個級別，共進行10次優化過程處理，經統計分析對超參數重要性進行評定，從而確定超參數優化順序。根據F0顯著性統計確定最重要的3個超參數順序為隨機權值范圍W、基模型數量M和神經網絡中的節點數N，獲取參數最優設置如表2所示。

表2 最優超參數設置

通過超參數優化過程，也證明了隱藏層節點數量和隨機權值范圍間相互影響，如圖3所示。

圖3 超參數間相互關系

3.2 遙測數據仿真分析

為評估集成模型性能，基于余下4 000點數據集進行仿真測試，測試結果的MSE曲線如圖4所示。

圖4 模型預測誤差曲線

由圖4可見，在漂移點出現后，模型仍具有較高的預測精度，說明該模型具有明顯的抑制數據漂移的作用。

集成模型不僅提升了數據預測的精度，借助超參數最優化和基模型更新策略，也極大縮減了模型更新時間，模型更新時間可控制在0.02 s內完成。

4 結束語

針對遙測數據預測模型中，要求處理滿足實時性和抑制數據漂移的問題，提出一種采用隨機權值神經網絡和bagging集成相聯合的集成方法，通過隨機的bootstrap采樣保證訓練集和隨機權神經網絡基模型的獨立性和多樣性，利用隨機權神經網絡的高效性，降低基模型訓練的復雜性，縮短了基模型訓練時間，提高了集成模型的處理速度，通過基模型的多樣性和在線更新機制，提高了在數據出現漂移時模型預測的精度。通過對飛行遙測數據的仿真實驗，結果表明該模型對遙測數據的預測精度得到了提升，對數據漂移現象具有抑制作用，同時該方法具有快速性等特點。