數據自動接入技術在量價費損在線監測中的研究與應用

吳軍英，路 欣，常永娟

(國網河北省電力有限公司信息通信分公司，石家莊 050021)

數據自動接入技術在量價費損在線監測中的研究與應用

吳軍英，路 欣，常永娟

(國網河北省電力有限公司信息通信分公司，石家莊 050021)

針對量價費損在線監測線下導出存在數據量大、耗時長，不能滿足監測要求的問題，結合數據自動接入技術的優點，提出數據自動接入技術應用于量價費損在線監測的實現方法，從數據抽取方式性能和數據質量等方面說明數據自動接入技術在量價費損在線監測中的應用效果。

量價費損；在線監測；數據自動接入；線下導出

“量價費損”在線監測部分業務功能經前期試點及推廣運行工作，已在各網省公司完成了輕量輔助工具及系統的部署工作，并通過業務運行取得了良好成效，但不同單位之間，業務異動處理有效性等方面還存在較大差距，不僅如此，“量價費損”在線監測線下導出存在DMP文件數據量大，耗費時間長，浪費人力且不能保證業務監測的實效性等問題，因此采用一種新的方式實現“量價費損”在線監測亟待解決。

1 概述

自“量價費損”在線監測專題的數據監測開展以來，一直由營銷業務應用系統和用電信息采集系統線下導出DMP文件，運監側將其導入到數據庫中，再進行數據的轉換與異動的計算[1]，且數據是以日頻度提供的，此種數據提供方式，不但造成監測數據的延時，浪費大量的人力，而且不能滿足監測要求。

為確保“量價費損”在線監測常態、有效的展開業務運行工作，經過細致的調研、深入的技術分析和可行性分析，決定將原有營銷業務應用系統、用電信息采集系統線下導出文件發送數據接入方式調整為由海量平臺定時自動接入方式，其中“量價費損”在線監測專題所需數據中基礎檔案信息表和采集業務數據表分別由營銷業務應用系統、用電信息采集系統向海量平臺推送，最終由海量平臺通過API接口為“量價費損“在線監測提供數據，實現數據的自動推送。

2 數據自動接入技術的優點

2.1 及時性、適應性強

定時任務程序見圖1。執行該存儲過程時，在不填寫T_NAME、T_TIME時默認抽取全部需求表，時間為抽取數據時間前一天的數據；當T_NAME為空、T_TIME不為空時默認抽取全部需求表相應時間的數據；當T_NAME中填寫表名時，若T_TIME為空，則默認抽取前一天的數據，若T_TIME不為空，則抽取相應時間的數據，因此可根據不同情況進行執行該存儲過程，抽取相應時間的數據，適應性強。

圖1 定時任務程序

2.2 可擴展性強

若“量價費損”在線監測專題數據需求發生了改變，只需海量平臺開通相關權限就可滿足數據的需求，只需維護數據庫表的抽取信息即可，無需再次進行二次開發，還可以實現改變表的抽取順序，優化數據抽取時間等。量價費損數據庫抽取信息見圖2。

圖2 量價費損數據庫

2.3 可追溯性強

每次數據抽取完成后，均可查詢結果表，查詢數據抽取明細及數據是否抽取成功等；若抽取不成功，針對數據抽取的報錯信息可追溯查詢原因，及時做出調整，保證抽取結果準確性。

2.4 可使用性強

由于數據量大，在第1次的數據驗證過程中耗時較長，信通公司通過開展存儲過程的性能優化，耗時由大約2 h縮短到16 min，極大的縮短了人力、物力，實現了在最短時間內實現數據驗證工作，提升了數據驗證效率，更好地滿足了運監中心的業務監測需求。

3 數據自動接入技術在“量價費損”在線監測的實現過程

數據自動接入技術在“量價費損”在線監測的具體實現過程分為表結構比對、數據抽取、數據驗證、數據核查及常態化接入等方面。

3.1 監測需求的相關表結構比對工作

“量價費損”在線監測數據之前全部來源于用電信息采集系統，現由營銷業務應用系統和用電信息采集系統2個系統聯合提供，2個系統的數據融合匹配問題首先需要解決。因此，首先收集營銷側、用電信息采集系統側的16張檔案信息表的表結構,并結合專題監測的業務數據需求初步完成表結構的比對工作。

針對表結構初步比對結果中，營銷系統側無法支撐部分需求字段以及表字段不全等情況，在業務層面通過程序設計完成了缺失字段的拼接關聯，滿足了運監中心的數據監測完整性的需求。

3.2 數據抽取工作

經過技術人員與業務人員的協同配合查驗后，海量平臺中的數據表均達到 “量價費損”在線監測的數據字段需求，運監側執行存儲過程展開數據的抽取驗證工作。

一般情況下，基礎數據均存在于關系庫，通過Oracle進行數據監測的計算抽取工作，而經模擬測算，以上過程計算時耗時為2 h，且會出現主程序卡頓的情況。因此決定引入海量平臺分布式實時計算組件，數據流如圖3所示。

圖3 分布式計算數據流

應用程序通過API將實時數據發送至分布式緩存，分布式流計算從分布式緩存讀取數據進行計算，且完成實時數據加載至實時數據庫。分布式計算包括分布式流計算與分布式內存計算。其中分布式流計算實現實時計算，數據來源于分布式緩存；分布式內存計算實現歷史統計分析計算，數據源來源于數據存儲。分布式協調服務負責系統資源信息的協調、同步、統一管理，比如API從分布式協調服務讀取信息，實現數據分發策略；分布式流計算通過分布式協調服務實現計算的負載均衡。

3.3 數據驗證工作

在驗證過程中，出現了抽取到的數據存在大量重復數據，有時程序不能正常執行，有時報錯，針對這些問題，相關技術人員協助運監側業務人員調整數據抽取存儲過程、關聯程序等[2]，完成數據的抽取驗證，最后運監中心驗證此種數據的接入方式是否可以真正的滿足運監側業務的監測需求。

3.4 數據質量核查及線上常態化接入

在完成“量價費損”在線監測專題數據線上接入的驗證及處理，并實現量價費損輕量級工具中監測內容的展示后，運監中心從業務層面核實了數據質量，滿足了運監中心的需求，之后就進入數據線上接入階段，即將海量平臺抽取、驗證、核查后的各項數據寫入“量價費損”目標數據庫，是本次數據接入最為重要的一個環節，有2種方式可以實現。

insert方式:經測試，在無法對Oracle現有架構進行更改的情況，數據庫insert效率約為1 min 2萬條；針對每天數據量超過1千萬條目的場景來說，insert方式顯然無法不適合；

sqllrd方式:在海量平臺中以上各項數據抽取出來組成可lrd提交的文件，再統一提交寫入Oracle庫。經測試1 100條數據通過lrd的方式寫入Oracle庫耗時15 min左右(見圖4)，完全可以滿足量價費損需求。

圖4 sqllrd的方式執行結果

經過以上步驟，信通公司將來源于2個系統的數據在海量平臺中進行融合與匹配，實現了“量價費損”在線監測的數據線上接入。

4 數據自動接入技術的應用效果

在實現數據的自動接入后，接入程序穩定，實現數據接入常態化，量價費損輕量級工具的監測工作正常開展，快速提升了運監中心相關業務能力，固化業務模式。數據自動接入技術不但滿足了監測實效性、常態化的需求，更提高了工作效率和工作質量，降低了人工成本。實現數據的自動接入后異動結果展示見圖5。

圖5 實現數據的自動接入后異動結果展示

4.1 數據抽取方式性能方面

相較于數據由用電信息采集系統線下提供的方式，創新的此種數據自動接入方式具有及時性、完整性、適應性及可擴展性，可以實現隨意抽取數據，既可以通過定時任務，也可以手工執行抽取自己需要的數據，另外在增加相關需求表時，只需開通相關表的查詢權限就可以滿足監測需求。

4.2 數據質量方面

采取由營銷業務應用系統、用電信息采集系統聯合提供專題所需數據，保證了數據的完整性和穩定性。此種接入方式使得數據具有實效性、高質量性，滿足運監中心對業務有效的實時監測；且較于之前數據由線下提供方式，數據自動接入后消除了數據的冗余，避免了對服務器造成不必要的壓力。

5 結束語

因“量價費損”專題監測的數據均是由檔案數據和實時業務數據組成，檔案數據源端都是營銷業務應用系統，采取從源端接入檔案數據可以保證數據的完整性、準確性等。將“量價費損”在線監測的線下數據導入方式調整為數據自動推送的方式，實現了“量價費損”在線監測專題數據的自動接入，保證了監測的實效性、及時性，提升了運監中心相關業務能力，固化了業務模式，因此，量價費損在線監測的數據自動接入方式符合全網省公司的業務運行狀況，具有一定的推廣前景與推廣價值。

[1] 肖基寧，萬 磊.公司推廣“量價費損”在線監測工具[N].國家電網報，2014-06.

[2] 田 仲,石君友.系統測試性設計分析與驗證[M].北京：北京航空航天大學出版社,2003.

Research and Application of Quantity and Price Loss by Automatic Data Access Technology in Online Monitoring

Wu Junying,Lu Xin,Chang Yongjuan

(State Grid Hebei Electric Power Company Co.Ltd.Information & Telecommunication Branch,Shijiazhuang 050021，China)

According to the situation of offline exporting which has a large amount,taking a long time and meeting the monitoring demand hardly,this paper mainly introduces the concrete implementation process of automatic access technology on the on line monitoring of quantity and price loss,combining with advantages of automatic access technology,shows the application effect of automatic access technology on the online monitoring of quantity and price loss from the aspects of data extraction performance and data quality.

loss of quantity and price；online monitoring；automatic access of data;offline exporting

2017-07-24

吳軍英(1982-)，男，工程師，主要從事數據中心、生產、線損相關項目建設與系統運維工作。

TM764；TP399

B

1001-9898(2017)06-0045-03

本文責任編輯：王洪娟