基于服務總線的電網中心數據自動同步技術

梁雪青，杜舒明，趙小凡，劉超

（廣東電網有限責任公司廣州供電局，廣東廣州 510610）

電網管理策略的形成需要電網實時運行數據的指導，而電網中心數據的同步處理有利于后續管理系統的調用[1]。考慮到當前電網運行規模不斷擴大，實時電網數據量也在成倍增長[2]，傳統的數據同步技術在電網中心數據同步處理過程中容易出現數據丟失、同步時間過長等問題，無法滿足電力系統工作要求。相關學者對此進行了深入研究，文獻[3]深入分析了傳統數據同步技術的完整性問題，應用全自動運行模式，明確數據同步中心位置。結合實時數據庫集群技術，篩選出符合要求的數據，在多個數據庫中運用主從數據復制技術，實現數據的同步處理，但是該同步技術耗時較長。文獻[4]設計的同步方法以MySQL 二進制日志為基礎，利用二進制日志對待同步數據進行解析，再通過Binlog 還原器重構為可以被同步識別的數據格式，完成分布式數據同步工具的設計，但是經過驗證可知，該技術的同步效率較低。文獻[5]針對數據同步問題建立一種以多環形隊列為核心的共享方案，實現態勢數據、調度數據、監控數據等多種類型的異構數據同步共享傳輸。并對該同步傳輸方法進行時間應用，按照數據同步要求實施調整同步策略，但是該技術自動同步穩定性較差。為解決上述問題，該文以電網中心數據同步問題為主要研究內容，提出一種以服務總線為基礎的自動同步技術。根據實驗結果可知，所研究的同步技術與以往數據同步方法相比，大幅度降低了數據同步時間。將其應用在電網數據管理系統內，有利于提升電網運行穩定性。

1 電網中心數據自動同步技術設計

1.1 設計電網中心數據監控方法

將粒子群算法應用在數據監控過程中，主要是通過后驗概率采集粒子群權重，明確后驗分布情況[6]。針對目標數據進行跟蹤，得出的數據變化表達公式如式（1）所示：

式中，c表示目標數據，χc-1表示數據狀態向量，δ表示數據更新過程中存在的噪聲，ε表示過程噪聲增益矩陣。

設置多個數據節點，采集電網中心目標數據的信號能量，隨機選取一個數據節點，將其在當前時刻接收的信號能量表示為式（2）：

式中，φw表示數據節點，Dc表示數據節點接收的信號能量，表示節點增益因子，Fw表示目標數據的信號能量，表示數據節點的位置，μ表示衰減參數。

采集前一時刻目標數據的粒子集，通過狀態方程預測目標數據的狀態[7]，新粒子集采集結果表示為式（3）：

式中，z表示粒子集，表示當前時刻數據節點粒子集，表示前一時刻數據節點粒子集，s表示狀態預測函數，p表示目標數據后驗概率。

針對每個數據電網中心數據節點，采集節點數據的實時狀態向量，則該節點對應的粒子權重計算公式表示為：

式中，為粒子權重。針對某個聚合數據的更新情況進行監控，可得：

式中，l表示聚合數據，B表示沒有歸一化處理的權重，N表示沒有歸一化處理的本地估計，H表示數據狀態估計誤差，K表示數據退化控制系數，?表示采樣周期。將式（5）的計算結果傳遞至簇頭節點，可得出權重和計算公式為：

根據權重和計算結果，通過以下公式得出方差和全局估計值：

式（7）、（8）中，G表示權重和，ρ表示目標數據方差，ψ表示目標數據全局估計值，將計算結果傳送至數據監控節點，明確電網中心數據實時狀態。

1.2 計算數據同步時間偏差

根據數據更新監控結果，針對待同步處理的數據計算同步時間偏差[8]，電網中心數據同步模式容易受到影響，當前數據同步響應存在較大的時間偏差，導致同步數據的完整性較差。電網數據中心響應同步請求的時間偏差檢測原理如圖1 所示。

圖1 同步時間偏差檢測原理

在圖1 所示的同步時間偏差檢測過程中，在數據采集模塊設置兩個連續時刻，發送數據同步請求，并標注出電網數據中心響應請求的對應時刻，根據同步請求響應時間延遲情況，得到同步時間偏差。

其中，數據傳輸延時計算公式為：

式中，Δtα表示同步請求發送延時，Δtβ表示同步請求接收延時。

而時間偏差計算公式為：

式中，Tα1、Tα2表示兩個連續的數據同步請求發送時刻，Tβ1、Tβ2表示兩個連續的數據同步接收發送時刻。考慮到電網中心的請求響應速度較快，在時間偏差計算過程中可以忽略接收延時，可以將式（10）變化為：

1.3 構建ESB數據同步模型

考慮到當前需要同步處理的電網數量較大，使數據同步周期無法控制，針對該問題，設計以服務總線ESB 為核心的數據同步模型[9]。根據服務總線的數據集中特性，將待同步數據放置于共享數據中心，確保實時監控的更新數據可以迅速發送至各個系統。

同步控制器的主要功能包括數據清洗、數據分發以及數據傳送[10]，針對增量表內接收的實時電網數據，通過映射邏輯轉換、字段非空判斷、冗余數據檢查等操作進行清洗處理，并將處理后的數據存儲至共享數據中心。根據電網獨立應用系統的同步請求，由控制器向相應系統發送同步數據字段[11-12]。最后，為了提升數據同步的實時性，根據應用系統同步請求發送頻率，設置具有松散一致性同步特點的傳送頻率。

1.4 建立高效同步管理機制

電網中心數據同步過程中，數據的反復讀取極大影響了同步效率[13]。針對該問題在內存管理方面引入池化資源思想，建立文件池，生成高效同步管理機制。所設計的文件池主要由四個部分組成，分別是文件池管理器、文件隊列、緩沖區和工作文件列表。數據同步過程中緩沖區越大可以更加高效地管理同步數據[14]，但是考慮到內存空間的有限性，運用多指針建立的緩沖區可以按照同步需求實時調整緩沖區容量。

在數據同步過程中，當新加入的電網中心數據超出了當前文件池剩余容量，需要運用置換策略從文件池內剔除一個舊文件，騰出更多空間放置新文件[15-16]。文件采用了基本置換策略進行文件池數據置換，具體操作如圖2 所示。

圖2 基本置換策略示意圖

考慮到文件池所管理的數據大小不一，無法進行統一管理，所以需要根據實際數據情況，確定基本置換策略，包括兩種典型情況。一種情況如圖2（a）所示，文件池內包含多個電網數據，根據最近使用時間對文件池內數據進行排序，設置數據A1 使用間隔時間最久，但數據A1 占用空間太小，而A2 既滿足置換要求又占有較大的空間，則在新增文件管理過程中可以保留A1，從文件池內剔除A2。另一種置換策略如圖2（b）所示，當A2 占用空間小于A1，那么就按照順序比較A1 與A3，當A3 占用空間較大將A3 調出文件池。若A3 也不滿足置換要求，則需要進行刪除處理，刪除多個許久未使用的數據來滿足新增同步數據管理需求。

2 實驗分析

2.1 部署實驗環境

文中應用六臺計算機搭建Hadoop平臺，完成實驗環境的合理部署，具體的集群配置情況如表1 所示。

表1 節點設置

根據表1 所示的配置信息，設置其中一臺計算機為主節點，其余計算機均為從節點，參考實際電網數據傳輸流程，形成網絡帶寬為50 MB 的電網數據中心。

2.2 設計數據自動同步模塊

數據自動同步模塊是所設計同步技術實現的載體，根據所設計的步驟建立圖3 所示的數據自動同步模塊，內部主要架構由輸入隊列、輸出隊列、同步引擎以及同步源組成。

圖3 數據自動同步模塊

根據圖3 所示的數據自動同步模塊結構圖可知，輸入報文和輸出報文的處理是數據同步的重要環節之一，實驗采用SyncML 進行分析處理。

同步引擎作為數據自動同步模塊的核心，具有數據監控、數據拆分、同步時間偏差計算、同步策略生成以及同步管理等多種功能。通過同步引擎的處理，將數據監控環節檢測到的更新數據轉化為便于后續同步處理的報文，并將拆解信息封裝在待同步數據項列表。經過同步時間偏差計算、同步策略生成和同步管理等模塊，完成封裝電網中心數據的同步更新。

2.3 數據同步性能分析

應用上述設計的數據自動同步模塊運行結果，明確所設計技術的數據同步性能。同時為了加強實驗結果的說服力，采用文獻[3-4]提出的數據同步方法進行相同的實驗。考慮到同步時間是判斷同步技術優劣的重要指標，對比三種方法的數據同步時間，生成圖4 所示的數據同步時間性能對比圖。

圖4 數據同步時間性能對比圖

根據圖4 可知，隨著數據流量的不斷增長，各項數據同步技術的同步時間均有所增長。其中，所設計技術的同步時間明顯低于其他兩種同步技術。從平均同步時間來看，所設計技術的平均數據同步時間相比其他兩種方法降低了50.59%、59.84%。

3 結束語

通過數據更新實時監控、同步時間偏差計算、同步模型構建以及管理機制的生成，實現電網數據的高效同步處理。經過實驗驗證可知，所提出的數據同步技術有效降低了數據同步時間，提升電網數據同步性能。考慮到電網內很多數據涉及到個人隱私，數據同步過程中需要確保數據安全，下一步的研究重點就是完善數據同步技術，將數據安全性要求融入其中。