基于Flink大數據分析的電力資產全壽命周期管理平臺研究

胡曉明

（合肥職業技術學院，安徽合肥，230013）

0 引言

電網公司設備資產數量大、價值高,而且隨著投入的不斷增加，數量規模不斷增加。目前電網資產全過程信息分散在規劃計劃、ERP、PMS等不同業務條線的不同的信息系統中,目前已經通過電網資產統一身份編碼打通了電網資產管理不同業務環節，信息難以共享、數據冗余、專業管理脫節等問題得到了初步解決。但是針對貫通后的電網資產全過程數據,仍然缺少高效的分析工具,難以發揮資產全過程數據的價值。

為提高電網資產管理決策的準確性和高效性,有必要通過大數據分析技術,對電網資產全壽命周期數據進行分析,提高貫通數據的價值,利用數據為生產經營服務。基于Flink構建的資產全壽命周期管理平臺，結合電網資產統一身份編碼在貫通資產全過程數據方面的作用和索引關系，能夠實現資產數據的收集、分析和挖掘。

1 研究現狀

1.1 電網資產數據

電力資產大數據是針對電力資產數據的采集、存儲、管理、挖掘、展現和應用等,具體涉及到電力的輸、送、配等相關業務環節。電網資產信息具備大數據的典型特點，可以分為結構化數據和非結構化數據兩類。隨著智、大、運、物、移等高新技術的不斷發展，智能電網的建設力度不斷加大，尤其是物聯網技術的廣泛引用,使電力行業中非結構化數據不斷增長。

電網行業作為典型的重資產企業,隨著國家對電網建設的持續投入,其實物資產的比重占據較大,已經積累了海量的設備資產數據。電網企業的資產全壽命周期管理體系應用雖然取得了一定成效,但仍然存在數據質量不高、數據共享困難、數據應用受限等問題,數據應用、價值挖掘整體水平不高。

1.2 電網大數據分析

電網資產信息符合大數據的特點，即：規模大、來源廣泛、增長速度快和數據價值大，國內外在電網大數據領域已經開展了大量研究和實踐。電網大數據領域的數據挖掘主要集中在數據倉庫的建設，通過聚類、分類、關聯等分析方法，進行電力負荷預測、優化電力調度、系統故障診斷、動態安全平臺等。大數據平臺是能夠處理和分析海量數據并為數據挖掘各個流程提供支持和工具的平臺，通常提供數據集成、數據清洗、數據預處理、數據統計、機器需求技術、數據可視化等功能。

電網大數據分析包括數據采集、數據存儲、數據處理、數據挖掘分析、數據可視化等環節，各環節需要根據數據的特點選取不同的技術進行分析處理。在電網大數據分析領域常用的方法有關聯分析、分類分析、聚類分析等。電網大數據分析已經形成了諸多成熟的應用場景，包括電網設備狀態評估、電網資產評價、電網缺陷分析、電力負荷預測等。

1.3 電網資產全壽命周期管理

電網企業已經制定了資產全壽命周期管理的相關規定，涵蓋并統籌與實物資產相關的人力、信息、金融、無形資產，運用系統工程的方法和模型，統籌協調資產在規劃設計、采購建設、運維檢修、退役處置全壽命周期的管理行為和技術要求，力求實現資產全壽命周期內安全、效能、成本的綜合最優。

電網資產全壽命周期管理包含全過程思想、集成化思想和信息化思想，設備管理是電網資產全壽命周期管理的核心。要求必須站在整個固定資產形成、運行、維護、退出過程的角度上，統一管理理念，統一管理目標，統一領導及組織，統一管理規則。同時，需要建立集成化的管理信息系統，其核心意義就是在資產安全穩定運行的基礎上，尋求資產全壽命周期內的總體費用最大化。

2 Flink技術簡介

隨著電網資產數據的不斷激增，如何對這些數據進行有效處理是亟待解決的問題，傳統storm、spark等框架在某些應用場景下，已經無法有效地滿足用戶在特定應用場景下的需求。Apache Flink(簡稱Flink)為實時流的處理提供了新的選擇，作為一種開源流處理框架,專為分布式、高性能、隨時可用和準確的流處理應用程序而打造。Flink技術主要用于無界和有界數據的有狀態計算,無界數據流就是指有始無終的數據，數據一旦開始生成就會持續不斷的產生新的數據，即數據沒有時間邊界。無界數據流需要持續不斷地處理。有界數據流就是指輸入的數據有始有終。例如數據可能是一分鐘或者一天的交易數據等等。處理這種有界數據流的方式也被稱之為批處理其核心是分布式處理引擎,主要運行在常見的集群環境中。

圖1 Flink架構圖

為了應用Flink對電網資產數據進行分析,在數據采集側,主要利用日志、SDK、MQ等方式,來獲取多個系統組件中的分散異構數據,經過初步處理后以連續流的方式發送給Kafka。

在任務管理平臺側,主要對數據源類型、異構數據清洗和切分規則、數據集的維度和指標進行配置,在所有配置完成后,利用Flink流計算技術對數據進行實時處理,通過對數據實時處理后,根據數據集定義存入存儲單元。

業務分析和實時報表,用于獲取數據集中的結果，以圖表方式展現或者通過接口方式輸出。

3 電網資產全壽命周期管理平臺系統框架

系統主要通過對電網資產的規劃設計、物資采購、工程建設、運行維護、退役報廢等業務環節信息的實時獲取，實現資產貫通數據、專業應用數據、挖掘分析數據的展示，能夠實現電網資產全壽命周期內的信息溯源和共享，支撐企業級資產管理大數據分析應用，全面提升電網資產管理智能輔助決策水平。

基于Flink的電網資產全壽命周期管理平臺由四層構成，分別是：持久化層、業務層、控制層和視圖層。

圖2 Flink業務流程圖1

持久化層主要對電力資產大數據進行持久化操作,近年來,隨著電網資產統一身份編碼在電網設備上的深化應用,散布于各個業務系統的電網實物資產數據可以方便地借助統一身份編碼實現統一存儲。控制層主要對視圖層的相關信息進行讀取,并對輸入數據進行控制。業務層主要各類業務系統、模型庫等。如設備價值分析、負荷分析等相關的電力資產數據分析模型。實現具體的電力資產大數據分析業務。Flink技術能夠為平臺業務層的構建提供直接支持,提供并行化的業務處理邏輯,能夠訪問基礎層中的數據資源。基于Flink技術的Datastream API或Batch Processing API,先獲取執行環境,在通過連接器獲取數據源,隨后對電力資產數據利用轉換函數處理,最后保存結果。視圖層主要實現對電力資產數據分析結果的展示和用戶數據的輸入,是訪問的界面和接口。

圖3 Flink業務流程圖2

圖4 系統總體架構圖

4 系統功能

基于Flink的電網資產全壽命周期管理平臺的功能包括數據挖掘分析、數據可視化展示和外部系統集成。

4.1 數據挖掘分析

（1）設備狀態評估

隨著電網資產統一身份編碼深入應用，通過電網資產統一身份編碼即可將分散于多個業務系統數據實現整合。借助大數據挖掘分析技術，能夠對異構數據進行分析整合。電力設備狀態大數據分析主要利用電網資產統一身份編碼獲取大量設備狀態、電網運行等相關數據，基于統計分析、關聯分析等大數據方法，從數據內在規律分析的角度發掘出對電力設備狀態評估、診斷和預測有價值的知識，實現電力設備個性化狀態評價、異常狀態快速檢測、狀態變化的預測，全面、及時、準確掌握電力設備健康狀態，為電網優化運行提供輔助決策依據。

（2）電網資產評估

電網資產信息表現為電網的輸出參數信息、用戶信息以及電網的各項設施設備信息，各種信息相互融合，且隨著電網規模的增大和運行時間的增長，資產信息規模呈指數級增長。構建電網資產大數據分析評估模型，然后進行特征分解和重組，結合關聯特征分解方法進行電網資產信息的自適應重組，實現信息融合濾波檢測，實現資產信息預測和評估。

（3）設備缺陷分析

綜合考慮不同設備投運年限、缺陷故障嚴重等級以及由于質量問題造成提前退役等因素的影響，構建相對完整的設備缺陷率、故障率和設備壽命評價模型，進而將這三個因素進行組合從而形成對設備質量的整體評價，為設備選型采購、設備運維策略優化提供更為科學的決策依據。

4.2 數據可視化展示

利用數據可視化的技術手段，多角度、多形態展示電網資產分布情況、資產價值和投運年限等資產總體情況，以單體設備為基礎，開展電網設備在投產、運行維護、大修技改、缺陷故障、再利用、退役、報廢、拍賣各環節的數據監測分析，實現設備在資產全壽命周期管理內的全過程監控和展示，展示設備狀態評估、電網資產評估、設備缺陷分析等大數據分析結果，展示基于資產全壽命周期管理平臺的深化應用成效。

4.3 外部系統集成

完成從原業務系統到分析應用庫及展示庫的數據接口設計，建立與運檢、營銷、建設、物資、財務、全業務統一數據中心等業務系統數傳輸通道，保障數據挖掘和大屏展示數據的安全有效獲取，深入展現大數據分析所得到的信息和結論。

5 應用效果

為了體現系統應用效果，開展了全面的實驗分析。效果評價分為特定設備搜索查找、數據刪除操作兩種。選擇在2018年7月1日至2020年6月30日之間的電網資產數據進行處理,數據量為29387465條。用三臺PC搭建的集群作為運行環境,其中:處理器為八核,內存為64G,硬盤為256G固態硬盤。

首先對特定設備進行搜索查找。例如搜索查找5年及以上運行年限的設備。首先以邏輯訪問MySQL庫表方式進行測試,共耗時10.32s;再以邏輯訪問MongoDB的檢索方式進行測試,共耗時6.23s;而借助Flink技術進行邏輯訪問MongoDB的方式進行測試,耗時僅需0.42s。其次是進行刪除數據操作。利用Flink刪除800萬條電網資產數據,能夠達到更好的效果,借助Flink技術耗時僅4.23s,而使用MySQL邏輯共耗時143s。通過查找和刪除兩項操作的對比可以看出,借助Flink技術,比Java EE技術有更強的性能表現。

6 結語

基于Flink技術，結合電網資產統一身份編碼的應用成效，構建的電力實物資產全壽命周期管理大數據分析平臺運算性能比傳統架構更加高效。平臺構建為電力資產大數據分析提供了一種可行的解決方案。后續將進一步探索在Flink平臺上人工智能算法與電力資產數據分析的結合,進一步完善電力資產大數據分析平臺，進一步提升電網實物資產大數據的應用價值,持續推進電網實物資產精益化管理持續深化。