基于大數據處理的現貨計量自動化數據異常判定與處理

梁洪浩

(深圳供電局有限公司， 廣東 深圳 518001)

0 引言

隨著當前我國電力體制改革的全面深化，現貨市場[1-2]的全面鋪開已成為下一階段我國電力市場建設的核心與重點。現貨市場作為電力中長期交易和實時運行的關鍵環節，激發了電力的商品屬性，促進了資源配置和價格發現。現貨計量數據的可靠獲取是支撐現貨市場正常開展的基礎。因此，研究現貨計量自動化數據異常判定與處理有一定實際意義。

為保障電力市場正常運行，現貨交易用戶的日前、日內、實時電能量交易和備用、調頻等輔助服務交易，對現貨交易用戶[3-4]的數據采集、數據推送、日常監控等方面提出了更高的高可靠性的數據要求。故需從源頭出發，對此類用戶的各項采集數據、指標、通訊等各方面進行預警監控，且根據特殊預警規則判斷相應的故障情況，以避免漏抄、誤抄等情況發生，從而最大程度減輕或預防問題所造成的損失。目前，對現貨交易的研究主要集中在現貨市場模式、定價機制和市場組成等方面。文獻[5]提出兼顧多模式的區域共同市場設計方案,并結合南方區域電力工業特點、市場發展基礎及關鍵問題解決思路,設計適用于南方區域的電力市場模式；文獻[6]設計了廣東現貨市場交易的機制，設計了基于節點電價的兩部制結算方法，提高了交易頻次和種類，優化市場交易；文獻[7]對供電公司收益與售電間的關系建立了數學模型，針對正態下產生的不同場景，分析收益情況；文獻[8]介紹了英美的現貨市場機制，結合云南現貨市場的實際情況，建立市場運營機制；文獻[9-10]主要研究了大數據聚類挖掘技術，克服了在處理云平臺中的大規模數據集時典型聚類挖掘算法的技術不足。

目前，對于現貨市場交易研究主要集中在交易規則方面，而對所需要的數據的采集及準確性研究較少涉及。因此，本研究構建現貨計量異常數據處理系統架構，并將數據異常分為表碼異常和電量異常。對異常的數據查閱主終端或副終端負荷記錄，根據檢索要求，以目標值或直線插值擬合表碼。按時間跨度，對需要擬合的數據進行分類，并按照不同的規則結合歷史數據進行擬合，最后，對異常數據生成預警工單。

1 現貨計量異常數據處理系統架構

現貨計量系統基于大數據處理，將現場智能表計采集到的用戶數據上傳至大數據系統并進行存儲，利用大數據挖掘Spark模塊對數據進行處理。根據數據缺失情況分為表碼異常和電量異常，根據制定的規則對異常數據進行處理。對缺失的數據，結合歷史數據，按照相應規則進行擬合，最后生成現貨交易工單進行預警，系統框架如圖1所示。

圖1 現貨計量異常數據處理系統架構

2 數據異常判定與處理

2.1 碼的異常判定與修復(規則)

表碼的異常[11-12]分為更換電表、表碼倒走、數據飛走、新裝電表和擬合表碼與實抄表碼倒走5類。給出了各類問題的典型判據，并規定了處理規則。

(1) 更換電表

當電表上一時刻表碼大于下一時刻表碼，且當天24點表碼未恢復正常(若24點表碼缺失，則往前回溯進行判斷，最多回溯3個時點)，則判斷為換表。假設電表在t時后(t時有數)發生更換，若不缺失表碼，則刪除t時電量，重新擬合為0電量，若缺失表碼，則刪除擬合的的表碼和電量，表碼采用平推規則擬合，電量擬合為0。

(2) 表碼倒走

表碼倒走特征為上一時刻表碼大于下一時刻表碼，且當天24點表碼恢復正常(若24點表碼缺失，則往前回溯進行判斷，最多回溯3個時點)。刪除倒走表碼數據，并按《深圳供電局計量自動化現貨數據替代擬合流程圖》從“T日數據是否完整”開始重新擬合表碼、出工單。

(3) 數據飛走

假設14時表碼為T，13時表碼為T+K。當K等于(額定電壓)×(最大電流)×3(三相)×3倍，則判斷為飛走(換表剔除)。刪除飛走表碼，并按《深圳供電局計量自動化現貨數據替代擬合流程圖》從“T日數據是否完整”開始重新擬合表碼、出工單。

(4) 新裝電表

電表新裝，且此前無數據進行參考擬合。按照最早采集到的表碼進行擬合，即0—14點缺數，15點采集數據為A，則0—14點表碼擬合為A，對應電量擬合為0。

(5) 擬合表碼與實抄表碼倒走

上一時刻t1表碼大于下一時刻t2表碼，其中t1表碼為擬合值，t2表碼為實抄值，則判定為擬合表碼與實抄表碼倒走。從t1開始往回追溯擬合表碼，將所有大于t2表碼的擬合值全部刪除，重新平推擬合表碼。

2.2 小時電量異常判定與修復規則

小時電量異常分為小時電量為負、小時電量為空和小時電量突變3類。當小時電量為負時，小時電量顯示小于零，此時，人工檢查表碼和電量并協商客服中心處理；當小時電量為空時，電表中不顯示小時電量的數據，人工檢查處理，若綜合倍率為空，出工單運維部門處理；當小時電量大于(額定電壓)×(最大電流)×3(三相)×綜合倍率×3倍時，判定為小時電量突變，派人到現場檢查表碼和電量情況，并協商客服中心進行處理。

2.3 現貨數據替代擬合

對異常數據進行替代時，首先查看主終端主表負荷記錄是否完整，若完整則直接用來進行表碼的異常判定和修復，若不完整則采用副表的負荷記錄。對于T日數據不完整的數據，則檢索至T+2日12時，根據是否有目標值，分為2種處理方法。對于有目標值的則以直線插值和按目標值以相似日擬合；對于沒有目標值的則按平推擬合和相似日擬合表碼。并以擬合的表碼計算小時電量。現貨數據替代擬合如圖2所示。

圖2 現貨計量代替流程圖

3 現貨交易電量數據擬合

對于參與市場的用戶，截至到T+2天12：00時，計量系統仍無法采集到其電表數據，則由電網公司提供電量擬合數據用于市場化結算，按時間屬性，日期暫定分為3種：工作日、雙休日、國家法定節假日(節假日分為小長假(元旦、五一、清明等)和大長假(春節、國慶)兩類)；每天內的時間區段定義為(0:00-23:00)，即1號24:00點數據定義為2號數據。

當主表采集失敗無電量數據時，若副表采集成功有電量數據，則所缺電量數據采用副表數據進行近似擬合；當雙表采集失敗無電量數據時，且連續時間點內缺點數小于等于2小時，取主表缺點區間內前后時間點的區間電量算術平均值做為電量擬合值；當雙表采集失敗無電量數據時，且連續時間點內缺點數大于等于3個時，取主表同比同屬性日期的電量數據進行近似擬合。

當發現電能表時鐘存在誤差，誤差在30分鐘以內，根據電能表《DLT645-2007多功能電能表通信協議》要求[13]，由計量自動化系統在系統后臺按5分鐘/每日完成調整；誤差在30分鐘以上，為防止時鐘直接調整造成電能表內電量數據突變，對時鐘誤差電能表在現貨交易數據完成推送前進行更換處理。臺風、用戶自停等由于無法及時獲知用戶實際現場是否正常用電情況，按照以上規則照常以工作日、雙休日、節假日進行擬合。采用擬合電量數據進行結算，如跨越結算期重新獲得電表實際表碼，且當日擬合總電量偏差超過實際電量-10%至+10%時，則按照電量追補原則進行處理,如圖3所示。

圖3 現貨計量交易電量數據擬合

業務場景實例數據擬合如表1所示。將表計在九月十三號下午五點到十點記錄的原始數據進行處理。根據擬合電量類型不同，對缺失的數據進行擬合。

表1 業務場景實例數據擬合

4 現貨交易預警工單

4.1 功能結構

現貨交易工單預警進行了后端規則的制定和修改完善；前端進行了頁面開發，流程修改，數據優化的改造。它以現貨交易工單為數據源，以規則分析后的數據為載體，通過數據對比實現系統主站和現場設備的數據監控，保證現貨交易用戶數據的相對完整和準確性，并通過接口同步檔案、電量等數據。

4.2 現貨交易預警工單

(1) 零點數據缺失

統計現貨電表采集的3種數據項，判斷每日零點數據是否缺失。同一電表采集的負荷曲線數據，終端小時凍結，電表整點凍結(電表上一次整點凍結數據)3種數據的每日零點數據均缺失時生成工單(現貨電廠也可以采集到負荷曲線數據，電表整點凍結，但終端小時凍結在CJ_GK_JL中)。 統計對象為現貨用戶(包含站內側用戶)、現貨電廠終端下電表。負荷曲線數據采集表為CJ_DNSZQX_DBDJ，終端小時凍結采集表為 CJ_DNSZQX、CJ_GK_JL，電表整點凍結采集表為 CJ_DNSZQX_DBXSDJ。

(2) 零點數據不一致

統計現貨電表采集的兩種數據項，判斷每日零點數據是否一致。負荷曲線數據，電表整點凍結(電表上一次整點凍結數據)兩種數據的每日零點數據不一致時生成工單。統計對象：現貨用戶(包含站內側用戶)、現貨電廠終端下電表。負荷曲線數據采集表為 CJ_DNSZQX_DBDJ，電表整點凍結采集表為 CJ_DNSZQX_DBXSDJ。

(3) 完整率異常

統計現貨電表采集的負荷曲線數據，判斷每日整點采集點數。現貨電表每日24個整點的負荷曲線采集數據缺失6個點及以上，生成工單。 統計對象：現貨用戶(包含站內側用戶)、現貨電廠終端下電表。負荷曲線數據采集表為CJ_DNSZQX_DBDJ3，統計每個電表每日的負荷曲線數據，缺失點數為N， N>=6默認設置為6，可配置。

(4) 時鐘異常

統計現貨電表時鐘偏差值，偏差值超過30分鐘時生成工單。 統計對象：現貨用戶(包含站內側用戶)、現貨電廠終端下電表。

(5) 抄表失敗

連續9個整點未采集到數據時生成工單。今日0點—今日8點，共九個點。因終端未升級，不能上送終端任務，故采集不到負荷曲線數據，目前先統計終端整點數據，后續終端全部升級后，更換采集表統計。

(6) 電量異常

每日推送的表碼和電量數據中，擬合表碼未計算出電量的電表，需生成異常工單。

5 總結

現貨計量在現代交易體系中發揮著日益重要作用，文中針對數據獲取過程中出現的問題進行了研究分析，得到了如下研究成果。

(1) 構建了基于大數據的現貨計量異常數據處理系統，將采集到的數據按照表碼異常和電量異常進行區分，并結合歷史數據進行處理。

(2) 針對表碼異常和電量異常給出了判據和處理方法，對異常數據進行替代時，首先查看主終端主表負荷記錄是否完整，若完整則直接用來進行表碼的異常判定和修復，若不完整則采用副表的負荷記錄。以直線插值和按目標值以相似日擬合；對于沒有目標值的則按平推擬合和相似日擬合表碼。

(3) 按時間屬性，數據異常日期分為工作日、雙休日、國家法定節假日和大長假4種。針對不同時間數據按照相應規則對數據進行擬合。

(4) 目前算法沒有自動學習能力，下一步研究考慮增加機器學習算法，通過自動學習不斷提升數據擬合的準確性。