基于大數據的量費異常分析應用系統研究

喬 麟 林乃瑜

（廣東電網有限責任公司江門供電局，廣東江門529000）

0 引言

電力營銷稽查是電力企業營銷與客戶服務工作的質量監督環節，是對營銷與服務工作的“內部審計”。營銷稽查的主要目的是有效監督整個電力營銷業務流程及活動，并在一定程度上規避一些常見的經營風險，能夠降低電力營銷活動中的經濟損失，減少差錯發生的可能，進而提高電力營銷管理水平，因而其對增加電力營銷企業的經濟收益具有重要意義。

1 項目背景

目前電力營銷業務種類較多，涉及范圍較廣，時效性要求強。電力營銷管理者很難全面把握電力營銷業務活動中的整體營銷變化情況及工作質量，大大降低了電力營銷管理工作的時效性。當前營銷系統的稽查作業主要還是基于數據庫進行運算，速度慢，效率低。業務規則主要基于經驗制定，其閾值的設置往往一刀切，無法適應變化，無法從群體性、規律性的異動中有效識別真異常。營銷的規則繁瑣，受性能拖累，只能事后核查，無法提前預防，更無法在線識別。另外，智能電表以及低壓集抄的全覆蓋，更加劇了數據量爆炸式的增長，對數據處理速度的要求更高。

以計量低壓集抄項目數據質量管理為例進行研究開發，如何編制程序，通過科學合理的信息化途徑，對大批量的計量低壓集抄項目數據進行抓取及全面核查，并結合經驗對所有重要數據進行比對，分析存在的問題，是本項目研究的重點。因此，本文提出借助基于大數據的量費異常分析項目來改變目前基于經驗規則而導致效能過低的營銷稽查工作模式，在營銷稽查工作中開創數據驅動運營的新局面，以技術創新推動營銷稽查工作的業務創新。

2 項目技術方案與實施

2.1 項目技術方案

基于營銷稽查歷史數據以及現有的營銷稽查業務系統產生的規則數，引入有監督學習和無監督學習相結合的機器方法（圖1），基于大數據技術開展數據挖掘工作，建立營銷量費稽查領域的客戶行為模型、離群分析模型以及異常識別模型，以數據挖掘模型驅動業務過程開展，解決以往基于硬性規則，稽查過程中出現的識別效率低、耗時過長、噪聲數據過多、稽查精準度不高、工作壓力過大等問題，提高量費異常識別率。

2.2 項目實施

本文提出的基于大數據的量費異常分析應用系統，一是使用Java和Python語言編制源代碼，通過連接營銷系統數據庫，獲取數據返回包，根據工作需要對相關字段的數據進行抓取；二是使用Python語言編制簡單分析程序，對抓取的數據進行初步的分析和判斷異常；三是使用Excel軟件編寫函數，設定批量數據分析條件，找出有異常的用戶數據，再進一步開展人工分析和現場檢查，確認數據錯誤，并對數據進行統計匯總。

圖1 大數據平臺豐富的數據挖掘算法結構關系圖

如圖2所示，基于大數據的量費異常分析應用系統主要分為稽查數據管理、智能化量費異常篩查、量費異常處理流程三大模塊。

圖2 基于大數據的量費異常分析應用系統

（1）稽查數據管理模塊：包括了數據采集管理、數據維護管理、數據質量管理、數據日志查詢、即席分析數據資源管理、數據模型構建、元數據管理、自助分析和查詢八大功能，主要用于數據的采集、存儲及統計分析查詢。海量大數據存儲技術打破了傳統關系數據庫的容量限制，采用數據分布式存儲方式解決數據存儲擴容的問題，并充分利用大數據平臺提供豐富的數據分析、機器學習、數據挖掘組件，結合分布式計算框架，可在短時間內完成海量數據的分析與挖掘。同時，大數據平臺提供的各種新型數據庫技術，如鍵值數據庫、列式數據庫、圖數據庫以及對象存儲數據庫等，可以解決不同應用場景下的海量數據查詢效率問題。

（2）智能化量費異常篩查模塊：包括了基于歷史數據的專家規則分析、基于機器學習的異常識別與預判及異常用戶提醒三大功能。該模塊跳出現有的基于人為經驗規則的量費異常識別方法，利用大數據技術所提供的海量數據處理能力，重構自主化、自動化、智能化的營銷稽查業務，

分析規則和歷史異常數據，對現有的專家規則有效性和辨識率進行判別和分析，從規則產生的嫌疑數據中進一步篩查可疑數據，提高精度，降低稽查工作強度，實現智能化的量費異常篩查和異常處理，提高了量費異常目標的識別率，提升了工作效率。

（3）量費異常處理流程：主要內容包括量費異常處理任務啟動、異常下發、異常整改、歸檔等環節，并對量費異常處理建立限時監控機制，確保按時間要求完成異常處理工作。

在營銷業務方面，此項目實現的數據智能抓取和初步分析尚屬首例，且該項目的可持續發展性較強，今后可結合實際工作，實時更新程序源代碼，實現不同數據的抓取和分析。

3 項目應用分析

以計量低壓集抄項目的數據質量管控為例，原來每周只能通過稽查中心5人3天的核查工作量，按照2%的比例進行數據抽查，抽查的數據無法確保發現全部問題，且無法做到全覆蓋。本項目程序開發建設完成并實施后，本中心僅需1人半天的工作量，就能實現100%全覆蓋對每周計量低壓集抄項目的數據質量進行核查，核查范圍包括字段為空、數據錯誤、數據異常、比對異常錯誤、時間錯誤、邏輯錯誤共計26項內容；對所核查的數據不會有錯漏，有更多的時間給基層單位對問題數據進行及時整改；能確保計量低壓集抄項目數據質量的準確性和完整性，也能有效緩解稽查中心由于工作量大而導致的人手不足問題。

4 結語

基于大數據的量費異常分析平臺項目的建設及實施，實現了計量低壓集抄數據管理工作的信息化、自動化，大大降低了人工和時間成本，有效提高了工作效率，能夠保證今后三年內全覆蓋核查計量低壓集抄數據質量的準確性及完整性，最大限度地減少因錄入數據錯誤而導致的營銷差錯及因處理營銷差錯而耗費的許多人力、物力。此外，本項目建設及實施后，還可應用于其他稽查業務的數據核查，例如線損管理、計量管理、電度管理等方面。

[1]李學龍，龔海剛.大數據系統綜述[J].中國科學（信息科學），2015，45（1）：1-44.

[2]張鈞.電力營銷大數據平臺建設及數據挖掘分析[D].天津：天津大學，2015.

[3]王海燕，孟昭霞，侯銳鋒，等.營銷稽查監控系統的建設與應用[J].電力信息化，2012，10（3）：72-76.