摘 要: 隨著SG?ERP的建設推進,業務應用數據正以前所未有的速度增長,大數據時代正式到來。通過對大數據內涵和外延的深入理解,結合公司數據現狀和業務需求,研究并提出了“電力大數據”的概念。為了預測公司業務趨勢,挖掘電力大數據的數據價值,提取公司三集五大兩中心業務大數據分析典型應用場景,利用數據集成管理、數據存儲、數據計算、分析挖掘等方面核心關鍵技術,實現面向典型業務場景的模式創新及應用提升。電力大數據的應用將推動公司業務發展和管理水平提升,有效支撐公司三集五大兩中心深入建設。
關鍵詞: 電力大數據; 典型場景; 數據挖掘; SG?ERP
中圖分類號: TN911?34 文獻標識碼: A 文章編號: 1004?373X(2013)24?0008?04
Research on power industry data application based on big data
CHEN Chao1, ZHANG Shun?shi1, SHANG Shou?wei1, SUN Fei2
(1. Anhui Nari Software Co., Ltd., Hefei 230088, China; 2. State Grid Electric Power Research Institute, Nanjin 210003, China )
Abstract: With SG?ERP development promotion, the business application data increases at an unprecedented speed, and the big data era is coming. Through the deep understanding for the big data, a concept of power industry big data is proposed in combination with the company situation and business requirements of data. In order to predict power industry’s tendency and mine big data value for power industry, the service big data of power industry’s three?concentration, five?region and two?center was extracted to analyze the typical application scenes, and the data integrated management, data storage, data calculation, analysis mining and other key technologies are adoptyed to achieve the mode innovation and application promotion of typical business scenes. The big data applications in power industry will promote business development and enhance management level, and effectively support the construction of power industry’s three?concentration, five?region and two?center.
Keywords: power big data; typical scene; data minging; SG?ERP
隨著數字信息化時代的迅猛發展,信息量也呈爆炸性增長態勢。在人類充分享受信息化帶來的資訊、方便和快捷時,也使得全球的數字信息資源正進入到一個前所未有的快速增長期。據IDC統計,2011年全球數據量已達到1.8 ZB,相當于全世界人均產生200 GB以上的數據,并且還將以每年50%的速度繼續增長。在這洶涌來襲的數據浪潮下,社會各個領域也將開始其數據化進程。無論學術界、商界還是政府,都將不可避免地進入“大數據時代”。作為全球第二大經濟體的基礎能源支撐體系,中國電力工業概莫能外。
中國的電力工業經過幾十年來的高速發展,隨著下一代智能化電力系統建設的全面展開,中國的電力系統已經成為了世界上最大規模關系國計民生的專業物聯網,甚至在某種程度上,這張遍及生產經營各環節的生產關系網,構筑起了中國最大規模的“云計算”平臺,為從時間和空間等多個維度進行大范圍的能源資源調配奠定了基礎。對于電力行業而言,電力大數據將貫穿未來電力工業生產及管理等各個環節,起到獨特而巨大的作用,是中國電力工業在打造下一代電力工業系統過程中有效應對資源有限、環境壓力等問題,實現厚積厚發、綠色可持續性發展的關鍵。
近幾年,電力行業信息化也得到了長足的發展,我國電力企業信息化起源于20世紀60年代,從初始電力生產自動化到80年代以財務電算化為代表的管理信息化建設,再到近年大規模企業信息化建設,特別是伴隨著下一代智能化電網的全面建設,以物聯網和云計算為代表的新一代IT技術在電力行業中的廣泛應用,電力數據資源開始急劇增長并形成了一定的規模。從長遠來看,作為中國經濟社會發展的“晴雨表”,電力數據以其與經濟發展緊密而廣泛的聯系,將會呈現出無以倫比的正外部性,對我國經濟社會發展以至人類社會進步也將形成更為強大的推動力。
本文基于當前電力企業信息化現狀、三集五大與兩中心業務發展需求以及電力行業大數據特點,根據文獻[1?8]研究成果,提取大數據背景下三集五大、兩中心(運監監測(控制)中心、客服服務中心)典型業務數據分析應用場景,并對具體業務問題進行了探討。
1 大數據概述
1.1 電力大數據由來與定義
“大數據”概念于20世紀90年代被提出,最初只是對一些在一定時間內無法用傳統方法進行抓取、管理和處理的數據的統稱。“大數據”這個術語最早期的引用可追溯到apache.org的開源項目Nutch。當時,大數據用來描述為更新網絡搜索索引需要同時進行批量處理或分析的大量數據集。
從2009年開始,“大數據”成為互聯網信息技術行業的流行詞匯,大數據起初成熟應用多在互聯網行業,互聯網上的數據每年增長50%,每兩年翻一番,全球互聯網企業都意識到“大數據”時代的來臨,數據對于企業有著重要意義。
2011年5月,麥肯錫全球研究院發布題為《大數據:創新、競爭和生產力的下一個新領域》的報告。報告發布后,“大數據”迅速成為計算機行業的熱門概念。
2012年3月22日,奧巴馬政府宣布2億美元投資大數據領域,并對數據的定義為“未來的新石油”。白宮科技政策辦公室在2012年3月29日發布《大數據研究和發展計劃》,并組建“大數據高級指導小組”。此舉標志著,美國把應對大數據技術革命帶來的機遇和挑戰,提高到國家戰略層面,形成全體動員格局。
大數據是具有Volume(數據體量大)、Variety(數據類型多)、Velocity(處理速度快)和Value(價值密度低)四個特征的數據集合。對此業界已基本達成共識,但目前還未形成統一的定義。麥肯錫認為“大數據是指無法在一定時間內用傳統數據庫軟件工具對其內容進行抓取、管理和處理的數據集合”;維基百科認為“大數據是指無法在一定時間內用常規軟件工具對其內容進行抓取、管理和處理的數據集”;Gartner認為“大數據是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產”。
通過對大數據內涵和外延的深入理解,結合公司數據現狀和業務需求,研究并提出了“電力大數據”的概念。電力大數據是以業務趨勢預測、數據價值挖掘為目標,利用數據集成管理、數據存儲、數據計算、分析挖掘等方面核心關鍵技術,實現面向典型業務場景的模式創新及應用提升。電力大數據的應用將推動公司業務發展和管理水平提升,有效支撐公司三集五大兩中心深入建設。
1.2 電力大數據特征
電力大數據的特征可以概括為3“V”、3“E”。其中3“V”分別是體量大(Volume)、類型多(Variety)和速度快(Velocity);3“E”分別是數據即能量(Energy)、數據即交互(Exchange)、數據即共情(Empathy)。如僅從體量特征和技術范疇來講,電力大數據是大數據在電力行業的聚焦和子集。但電力大數據更重要的是其廣義的范疇,其超越大數據普適概念中的泛在性,有著其他行業數據所無法比擬的豐富的內涵。
體量大(Volume):體量大是電力大數據的重要特征。隨著電力企業信息化快速建設和智能電力系統的全面建成,電力數據的增長速度將遠遠超出電力企業的預期。
類型多(Variety):電力大數據涉及多種類型的數據,包括結構化數據、半結構化數據和非結構化數據。隨著電力行業中視頻應用的不斷增多,音視頻等非結構化數據在電力數據中的占比進一步加大。此外,電力大數據應用過程中還存在著對行業內外能源數據、天氣數據等多類型數據的大量關聯分析需求,從而極大地增加了電力大數據的復雜度。
速度快(Velocity):主要指對電力數據采集、處理、分析的速度。鑒于電力系統中業務對處理時限的要求較高,以“1秒”為目標的實時處理是電力大數據的重要特征,這也是電力大數據與傳統的事后處理型的商業智能、數據挖掘間的最大區別。
數據即能量(Energy):電力大數據具有無磨損、無消耗、無污染、易傳輸的特性,并可在使用過程中不斷精煉而增值,可以在保障電力用戶利益的前提下,在電力系統各個環節的低耗能、可持續發展方面發揮獨特而巨大的作用。
數據即交互(Exchange):電力大數據以其與國民經濟社會廣泛而緊密的聯系,具有無可倫比的正外部性。其價值不只局限在電力工業內部,更能體現在整個國民經濟運行、社會進步以及各行各業創新發展等方方面面,而其發揮更大價值的前提和關鍵是電力數據同行業外數據的交互融合,以及在此基礎上全方位的挖掘、分析和展現。
數據即共情(Empathy):企業的根本目的在于創造客戶,創造需求。電力大數據天然聯系千家萬戶、廠礦企業,推動中國電力工業由“以電力生產為中心”向“以客戶為中心”轉變。這其中的本質就是對電力用戶的終極關懷,通過對電力用戶需求的充分挖掘和滿足,建立情感聯系,為廣大電力用戶提供更加優質、安全、可靠的電力服務。
2 電力大數據應用分析研究綜述
2.1 電力大數據應用分析綜述
公司為深入推進“兩個轉變”,實現“一強三優”現代公司的戰略目標,提出了建設三集五大體系的重大舉措。三集五大體系的建設不僅是傳統電網設施的升級和改造,還是更全面、更深入的電網運行模式和業務模式的革新。首先,三集五大體系使信息通信技術正以前所未有的廣度、深度與電網生產、企業管理快速融合,三集五大等業務協同性更強,業務流、信息流趨于一致;電網業務數據將從時效性層面進一步豐富和拓展。其次,充分利用這些基于電網實際的數據,對其進行深入分析,挖掘更深層次的數據價值,便可以提供大量的高附加值服務。這些增值服務將有利于電力企業精細化運營管理,提高公司管理水平和運營效率,并可以產生很多創新性業務。
2.2 大數據在大規劃應用分析
隨著配網規劃業務的覆蓋面進一步擴大,將逐漸積累TB級數據,對于數據的收集、存儲和分析處理將提出更高的要求。屆時可以利用大數據技術進一步提升如下業務應用的價值:
(1)用電量預測。基于海量歷史電量數據,規劃區域面積、歷史人口、歷史國民經濟數據、三產比例等變化情況,對區域用電量進行預測,作為進一步規劃設計依據。
(2)空間負荷預測。基于全網中各小區的占地面積、用地類型、容積率,行業的建筑面積負荷密度、占地面積負荷密度,小區目標年占地面積、小區目標年建筑面積,總負荷值、行業負荷值等數值,對遠景年負荷進行預測。
(3)多指標關聯分析。從多個外部系統(如GIS,PMS,OMS等)抓取所需數據的時間一致性切片,進行綜合分析利用,從而支持規劃設計。
2.3 大數據在大建設應用分析
在大建設應用方面,系統目前每年管理的項目可以達到2 000~3 000,但由于自身數據存儲和處理能力有限,在管理項目時只能保留少量的建設現場信息(僅圖片,無視頻),這導致管理人員無法全面地了解項目工作細節,且由于缺乏自動化的分析與決策應用支持,這些數據也無法得到有效的利用。利用大數據技術在“大建設”基建系統中的應用主要可在如下幾個方面提升:提高系統非結構化數據存儲能力,擴大現場信息收集范圍和頻率,提升建設項目管理全面性和準確性;通過大數據技術,逐步形成并提高對大量非結構化數據的分析處理能力,基于此能力之上,采用自動對比,模式識別等挖掘技術,對建設管理的整個過程提供良好的、自動化的智能分析和監控功能。
2.4 大數據在大檢修應用分析
設備狀態信息的獲取手段有很多種。目前最常用的是通過各種傳感器,實時或定期獲取設備狀態信息。視頻作為一種特殊的傳感器,可以作為設備狀態信息獲取的一種重要而有效的手段。隨著視頻智能分析技術的發展,目前已經能夠實時準確識別變電站多種表計、刀閘、開關與隔離開關的位置、狀態或讀數。通過對視頻數據的智能分析,還可以起到其他類型傳感器無法實現的功能。利用大數據技術,主要可在如下幾個方面提升:
(1)狀態評價。綜合設備各種基礎及運行監測數據,加上視頻數據智能識別技術識別出的設備狀態量等,建立綜合評價模型,得出設備總體健康狀態。
(2)趨勢分析。研究基于歷史數據的趨勢分析算法,建立反映設備健康狀態的數學模型,對設備故障進行趨勢分析,掌控設備風險。
(3)實時報警。基于視頻監控的設備自動巡檢技術和安防技術,發現外觀變化、表計變化、發熱缺陷、非法入侵、物體靠近、現場煙火等設備健康危害因素,進行實時報警,保證設備正常運行。
(4)檢修、技改、大修決策支持。根據設備評價結果,優化檢修策略,為技改、大修計劃制定、篩選評審提供決策依據。
2.5 大數據在大運行應用分析
設備狀態管理是公司“大運行”重要業務模塊,設備狀態管理可對計劃類應用進行校驗并提供完善的建議,為電網調度提供輔助決策,提升電網安全性與可靠性。設備狀態管理目前只根據其他調度業務進行當前設備狀態斷面的記錄,沒有對歷史設備斷面的查詢及未來狀態的預測分析。隨著調度業務規范的進一步完善,對設備狀態模塊的提升需求日趨迫切。設備狀態管理基于電網設備臺帳信息、設備拓撲信息、設備遙信遙測信息等相關信息。可以進行設備狀態的以下三類大數據應用:
(1)歷史時刻查詢。實現設備數據的海量存儲,直接快速查詢到某時刻的設備狀態及設備的操作歷程。
(2)設備數據質量分析。綜合設備信息得出當前設備狀態斷面,進行系統間設備狀態的互檢比對,提醒其他系統或功能進行檢查與核對。
(3)未來時刻斷面預測。基于海量存儲歷史狀態數據,自動總結電網調度規則,在任意時刻斷面的基礎上,自動收集涉及設備狀態變化的計劃類信息,進行智能編排,演算出未來一段時間內的調度操作歷程,最終預測電網在某一時刻的設備斷面。
2.6 大數據在大營銷應用分析
大營銷重點是優化現有營銷組織模式,拓展面向智能化、互動化的服務能力,加快用電信息采集系統建設,科學配置計量、收費和服務資源,實現計量檢定配送、95598服務等業務向省級集中,構建營銷稽查監控體系,推行統一的業務模式、服務標準和工作流程。目前公司大營銷業務相關的支撐系統主要有SG186工程核心之一的營銷業務系統,以及負責用戶側電能量自動采集的用電信息采集系統、支撐營銷數據日常統計工作的輔助決策系統等。其中營銷業務系統負責業擴報裝、電費核算收繳等日常業務的流程管控,用電信息采集系統負責用戶電量信息采集為營銷業務系統電費核算提供數據,輔助決策系統用于完成統計報表制作等功能。另外,為了滿足營銷業務新的需求,相關網省公司建設了諸如智能客戶檔案管理系統,用于將供電合同、用戶身份證明等紙質資料掃描存檔,方便檢索和查找。
大營銷相關系統數據量的急劇增加,給數據存儲、分析處理、統計計算帶來極大挑戰。根據大營銷業務、信息系統及其數據的現狀和需求,大數據可以在以下方面促進大營銷的進一步提升:營銷海量數據的高效分布式存取和并行計算。深度挖掘營銷數據價值,從管理、客戶服務、業務拓展等不同的方向促進營銷業務提升。其中管理方向主要有線損分析、用電異常分析、計量和采集設備的智能化運維等;客戶服務方向主要為用電客戶提供有針對性的用電優化建議,促進用戶節約用電;業務拓展方向積極策劃數據類產品,引導和促進公司由“只賣電”向“也賣電”發展。
2.7 大數據在運監中心應用分析
國家電網兩級運營監控中心以服務公司戰略為目標,以核心資源和主要經營活動管控為重點,以信息化手段為支撐,打造全天候、全方位、全流程綜合管理運營監測平臺。利用大數據技術在運監中心中的應用主要可在如下幾個方面提升:
(1)構建大數據背景下的在線監測、在線分析和在線計算工作臺,滿足日常監測、協調控制與綜合管理需要。建設總部和省公司兩級運營監測(控)中心,實現對公司經營管理24小時即時在線監測分析,及時發現公司運營過程中的異動和問題并自動預警。
(2)跨業務多專業關聯分析。為了滿足運監跨業務跨專業分析和挖掘需要,在大數據環境下,迫切需要構建多種業務模型和分析挖掘算法,形成大數據模型庫和算法庫,利用聚類和模式識別技術,實現運營監測多業務關聯分析,如對營銷和財務收支情況建模進行關聯分析。
(3)運監數據及監測對象的質量診斷體系。通過在“大數據”環境下,對海量異構數據進行實時監控分析,在數據處理全過程中不斷提升數據質量,持續改進數據可用率,為拓展傳統的決策分析提供保證。
2.8 大數據在客服中心應用分析
客戶服務中心是公司優化整合服務資源,打造“全業務、全天候,服務專業化、管理精益化、發展多元化”的供電服務平臺。客服中心核心業務系統分為95598智能互動網站、95598業務支持系統、基礎支撐平臺三個獨立系統。95598業務支持系統采用全國一級部署模式。按數據的種類來分,主要有兩類,一類是檔案、交易和GIS等結構化數據,全國約有3 TB,日增約1 GB;還有是語音音頻類非結構化數據,以文件形式保存,全國約有近10 TB,年增7 TB,并有加速增長趨勢。利用大數據技術在客戶服務中心應用可在如下幾個方面提升:
(1)服務質量實時監控。采用大數據技術,實現對服務通話的準實時/實時監控和分析,通過對客服過程的實時質檢,最大程度保障通話服務質量。
(2)熱點問題集中處理。采用大數據技術挖掘一段時間內的用戶關注熱點,并及時答復和處理,提高客戶滿意率。
(3)座席答案智能推送。人工搜索答案及時性很難滿足要求,利用大數據技術實現答案的智能匹配并自動推送給座席。
3 結 語
基于公司現有一體化平臺、業務現狀及電力數據特點,提取公司三集五大和兩中心中電力行業大數據分析典型應用場景,運用大數據核心業務應用分析技術,提升現有平臺對電力大數據的存儲、計算、分析和管控能力,結合三集五大兩中心核心業務需求,構建以業務趨勢預測、數據價值挖掘為主的大數據服務體系,試點并推廣大數據應用,提高公司生產經營和管理服務水平。
參考文獻
[1] 李皎.大數據時代到來對電力行業發展提出新要求[J].華北電業,2012(4):82?83.
[2] Anon. Big data [J]. Nature, 2008, 455: 1?13.
[3] Gartner.2012年10大戰略技術與趨勢[J].新聞縱覽,2011(11):18?19.
[4] 李翠平,王敏峰.大數據的挑戰與機遇[J].科研信息化技術與應用,2013(1):12?18.
[5] 孟小峰,慈祥.大數據管理:概念、技術與挑戰[J].計算機研究與發展,2013,50(1):146?149.
[6] Anon.Big data [EB/OL].[2012?10?02]. http://www.nature.com /news/special/bigdata/index.
[7] 中國電子科學研究院學報.大數據時代[J].中國電子科學研究院學報,2013(1):27?29.
[8] Anon. Special online collect: dealing with data [EB/OL]. [2012?10?02]. http://www.sciencemag.org/ site /special/data.