基于改進隨機森林算法的水文監測數據異常識別研究

付 貴

(河北省滄州水文勘測研究中心，河北 滄州 061000)

0 引 言

水文數據監測是實現洪澇災害預測預報、水庫調度以及防汛指揮的基礎。在水文監測中，受到環境以及儀器因素的影像，導致水文監測的準確性受限，水文觀測數據容易出現錯位和異常，需要構建優化的水文監測數據異常識別模型，結合對觀測數據的動態質量控制和分析進行監測數據的異常狀態分析，提高水文監測數據異常識別和動態管理能力[1]。研究水文監測數據異常識別方法，在水文演化過程分析以及數據的質量控制方面同樣具有重要意義。

對水文監測數據異常識別是建立在對水文特征參數分析和狀態估計基礎上，采用持續的動態預測模型，對信息動態觀測數據進行分析。在傳統方法中，對水文監測數據異常識別方法主要有基于卡爾曼濾波模型、高斯濾波模型以及時頻特征分析模型，結合時頻濾波和抗干擾設計[2]，實現對水文監測數據異常識別和特征分析。文獻[3]中提出水文變化語義約束的實時水位觀測數據流在線濾波方法。通過采用水文變化語義約束的實時水位觀測數據流在線濾波方法，根據數據的多樣性、快速性和時變性特征，進行水文監測數據異常識別和濾波。文獻[4]中提出基于多源遙感的沼澤濕地水文邊界界定方法，通過遙感特征分析，采用單一靜態的估計模型，實現水文數據監測及異常反演分析，但該方法進行水文數據異常識別的動態環境適應性不好。

針對上述問題，本文提出基于改進隨機森林算法的水文監測數據異常識別方法。首先建立水文監測數據異常濾波模型，通過改進隨機森林算法進行水文監測數據異常特征提取；然后采用語義相似性度量方法，實現對水文監測數據異常特征識別和聚類分析，提高水文動態監測能力；最后進行仿真測試分析，以展示本文方法在提高水文監測數據異常識別能力方面的優越性能。

1 技術框架及水文監測數據流

1.1 水文監測數據異常檢測的設計框架

根據水文監測數據的特征分布，采用水文變化語義相似性特征分析的方法，建立數據變化特征分析模型，通過動態獲取水文數據的環境監測特征量，采用水文變化語義約束的方法，動態維護的水文數據監測的特征參數，結合動態觀測和數據分布閾值分析的方法，分析水文數據監測過程中的模型知識庫，采用閾值約束和變幅約束的方法，實現對水文監測數據的異常特征濾波和刪除處理，將水文監測數據分為資源類(resource classes)、資源實例(resource instances)、屬性類(attribute classes)三維分布集，通過動態觀測數據值的閾值范圍分析，動態獲取的水文變化的觀測信息流，根據氣象模型庫、水文模型庫等動態數據庫構造，建立水文情勢突變的特征語義參數，得到最優水位估計值[5]。采用語義約束，結合改進隨機森林算法，根據降雨水位數據流濾波知識庫構造進行動態水位觀測數據流的特征點分段線性表示，得到水位觀測數據流變化特征約束信息，采用卡爾曼濾波模型，結合改進隨機森林算法[6]進行水文監測異常特征分析。構建的水文監測異常識別框架圖見圖1。

根據圖1的總體結構，通過水文監測數據源之間的異構性參數，結合數據源的結構化特征分析，建立動態觀測數據流分析模型，通過分析每個變化模式段的線性參數，得到水文監測數據異常數據的動態特征分布集X={x1,x2,…,xn}，其中n是水文監測數據集X的數目，X中包含的局部極值特征點分段元素都是一個p維矢量，X含有c個類別，分析數據流局部波動程度，得到第i個類水文監測數據的類間中心參數為vi={vi1,vi2,…,vip}。結合歷史自動氣象水文站觀測數據，得到第i時刻獲得的歷史自動氣象水文站觀測數據為{xi1,xi2,…,xim}，其對應的數據類型為yi，yi值為1或-1，其中1代表正常，-1代表異常，根據基礎數據集模型構造，進行相鄰水位觀測數據之間的動態特征分析。

圖1 水文監測異常識別的框架圖

1.2 水文監測數據流模型

令Z代表實時水位觀測數據流，通過異構參數融合的方法動態獲取水文變化語義特征量。動態水位觀測數據流變化模式用狀態空間表示為：

S={Z(k,n),0≤k≤K,0≤n≤N}

(1)

其中：k為水位觀測值；K為最大觀測組合；n為數據流局部波動；N為最大波動；Z(k,n)為特征函數。

利用卡爾曼濾波算法，建立水文監測數據的多分辨特征解析模型，分析水文觀測點的分段信息，得到水位站常態水位變化模式示意圖，見圖2。

圖2 水位站常態水位變化模式示意圖

假定水位變化均是漸變的，采用統計分析，構建水文變化幅度與降水強度關系數學模型為：

yi=f(x1,x2,…,xm)

(2)

其中：x1,x2,…,xm為動態觀測數據流在時間區間內的離散序列；f(·)函數為動態變化統計函數。

通過水文監測數據源之間的異構性參數，結合數據源的結構化特征，構建水文監測數據流模型，根據模型參數匹配進行水文監測的數據異常特征檢測識別。

2 水文監測數據異常識別優化

2.1 動態水文觀測數據特征提取改進隨機森林算法

在數據流模型構建的基礎上，采用改進隨機森林算法進行水文監測的數據動態特征參數分析，結合局部性特征分析和結構化特征分析，采用水文變化語義約束的特征分析方法，提取水文監測數據庫中的異常數據訓練樣本，得到水位升降變化的綜合分布值，由n個樣本構造水位升降動態監測的模糊訓練集：

L={sim(wm,xi)|i=1,2,…,n,m=1,2,…,c}

(3)

其中：wm為降水量；xi為水文變化的顯式語義；c為卡爾曼濾波參數；n為水位站常態水位變化特征參數；sim(·)函數為相似度函數。

假設在c個類別對應的樣本類別ωm已知，分析動態水位觀測數據流變化模式，基于經驗模態分解，得到相鄰水位觀測數據之間的相似項，得到水位觀測數據流濾波變量為Q，Xi是水位觀測數據流濾波變量Q的空間中的解，對于每一個Xi對應異常特征點X取得適應度函數，所求的最優解就是t時刻的水位觀測值。采用雅克比矩陣J(x,y,σ)表示信息采集元素：

(4)

其中：x、y、σ分別為水文監測數據的降水量、最大水位以及氣象參數；P為水位無明顯升降的特征量；Lx(x,y,σ)、Ly(x,y,σ)分別為對異常數據參數取相鄰特征分布系數。

采用一階基礎矩陣H(x,y,σ)作為水文監測數據異常識別的基準判別模式，采用高層語義特征分析方法，根據實時水位數據流的量化參數分析，得到異常特征的判別矩陣可以表示為：

H(x,y,σ)=JJT

(5)

其中：J為水文監測的雅克比矩陣；Lx、Ly分別為在不同坐標區間內實現對水文和水位數據流的波動檢測。

通過隨機森林學習，建立水文監測數據特征識別模型，通過水文監測數據的異常特征提取和回歸分析，采用模糊聚類，實現對水文監測數據的異常狀態方程擬合。

2.2 水文監測數據的異常特征識別

根據水文監測數據的常態變化與降雨影響綜合變化約束控制，在隨機森林學習算法下，得到變化特征的卡爾曼濾波狀態方程表示為：

(6)

以輸入水位基值、水位閾值、雨量計分辨力、雨量閾值、雨量自報量為自變量，采用RTU 記錄水位數據，通過中心站接收測試水位信息，采用在線觀測數據清洗，實現對水文監測數據異常特征識別和聚類分析，提高水文動態監測能力。由此，得到水文監測數據異常識別的算法實現流程，見圖3。

圖3 水文監測數據異常識別的算法實現流程

3 實驗測試分析

實驗中，通過多陣列傳感器實時提取雨量和水文信息，將模擬的傳感器信號傳輸至水文監測終端機中，并在mysql 數據庫中實現水文監測數據融合，并在終端節點采集到雨量、水位等信息。相關數據采集見表1。

表1 水文監測數據采集

續表1

根據表1的數據采集結果，通過adapter適配程序處理模式，創建HBase水文監測數據表，得到水文監測數據輸出，見圖4。

圖4 水文數據監測輸出

以圖4的監測數據為測試樣本，通過在線觀測數據清洗，實現對水文監測數據異常特征識別和聚類分析，得到異常數據檢測識別結果，見圖5。

圖5 水文監測異常數據識別結果

分析圖5可知，本文方法能有效實現對水文監測數據的異常識別，數據的特征聚類性較好。測試異常數據濾波識別效果，得到對比結果見圖6。分析圖6可知，本文方法對水文監測數據異常識別的濾波效果較好，實現精度較高。

圖6 水文監測數據異常識別濾波效果對比

4 結 語

構建優化的水文監測數據異常識別模型，結合對觀測數據的動態質量控制和分析，進行監測數據的異常狀態分析，以提高水文監測數據異常識別和動態管理能力。本文提出基于改進隨機森林算法的水文監測數據異常識別方法。使用語義約束，結合改進隨機森林算法，根據降雨水位數據流濾波知識庫構造進行動態水位觀測數據流的特征點分段線性表示，得到水位觀測數據流變化特征約束信息分布值，從而根據特征提取結果實現水文監測異常特征分析和識別。測試結果表明，本文方法對水文監測數據異常識別的濾波性能較好。