基于電網防臺抗臺系統的應急主題數據倉庫分析與設計*

榮莉莉，李 群，于 振

(1.大連理工大學 系統工程研究所，遼寧 大連 116024；2.全球能源互聯網研究院，北京 102209)

0 引言

近年來，地震、臺風、洪澇等自然災害突發件頻發，給電網穩定運行帶來巨大威脅，同時也造成嚴重的社會影響和經濟損失。以2013年的“四川雅安地震”為例，共造成雅安、成都、內江、甘孜18.66萬戶用戶停電，損失負荷44.67萬kW，其中雅安地區12.6萬戶損失負荷31萬kW(占震前負荷的37.35%)，蘆山、寶興、天全全縣停電。相對于地震來說，臺風作為嚴重威脅我國尤其是南方沿海省份電網安全的自然災害，每年都是相關企業和部門應急的重點工作。據統計，臺風災害給國家電網公司帶來嚴重的損失，近十年來，共計造成國家電網公司系統10 kV及以上線路停運23 957條，35 kV及以上變電站620座停運，41萬個配電臺區停運，用戶停電2 350萬戶。僅在2015年就有3次臺風對公司造成影響，分別為“燦鴻”、“蘇迪羅”和“杜鵑”，共造成福建、浙江、上海、江蘇、山東、安徽、湖北等省份中14.6萬個配電臺區停運、963.9萬用戶停電、5座35 kV以上變電站停運、6 434條10 kV以上線路停運。因此，為了給電網的安全與應急提供輔助支持，眾多學者從多個角度進行了針對性研究。在電網安全運行評價方面，崔明建等[1]針對電網安全運行評價的需求，構建了一套多層次事前綜合評價指標體系，提出一種基于多層次灰色面積關聯分析法的電網安全綜合評價模型；徐鵬等[2]提出一種基于層次分析法和變權重機制的電網安全指標計算及展示方法；穆永錚等[3]提出一種電網安全與效益綜合評價方法，通過規范安全指標、一般安全指標及效益指標3類指標來刻畫電網安全與效益的特性，并構建了目標層、類別層、指標層及子指標層4層指標體系。在電網因災(自然災害)受損方面，陳鵬云等[4]根據高壓電網故障統計資料，分析了中國電網中自然災害概況，并結合主要自然災害對電網損毀性影響的特征及其時空分布特征，指出了目前中國高電壓主網的安全風險(大范圍冰災、大面積污閃、大面積線路覆冰舞動)；門永生等[5]針對典型自然災害對電網重要設施影響的特征，構建了基于8類典型自然災害的電網重要基礎設施脆弱性評價指標體系；王興發等[6]在分析風災、洪澇、雷害、火燒山、污閃、地質災害和覆冰7類自然災害對電網造成主要影響的基礎上，從電網自然災害預警系統的目標與功能、預警指標體系、系統結構、信息資源的整合、預警事故集的生成5個方面進行系統構思和設計。隨著近些年云計算、物聯網、大數據等技術和平臺的快速發展，以“數據驅動”代替“模型驅動”進行各類決策的趨勢在各行各業逐漸得到認可與推廣，其中，圍繞特定業務主題的數據倉庫與聯機分析處理(OLAP)由于直接對接具體應用業務與數據源，得到了廣泛應用[7-10]。但縱觀現有研究成果，談理論方法較多，工程技術較少；談模型構建較多，系統集成較少，限制了相關成果的轉化與落地。本文即針對此類問題，圍繞電網防臺抗臺過程中缺少應急輔助支持的情況，提出基于現有電網防臺抗臺系統中的業務數據，采用星型結構分析與設計“臺風氣象災情”、“電網因災(臺風)損失”、“電網因災(臺風)應急資源投入”等應急主題數據倉庫，充分利用、開發相關的數據探查與ETL工具實現相關的數據集成，構建相關應急主題下的多維數據模型，并開展聯機分析處理(OLAP)研究工作，為相關企業和部門開展電網應急管理工作提供應急輔助支持。

1 電網應急主題下的數據倉庫分析與高層模型

由于臺風對我國電網影響非常大，故國家電網公司構建了針對性的防臺抗臺業務系統。從系統使用角度來說，該系統側重于應急業務的事務性系統(OLTP)，為了對相關業務數據圍繞相關電網應急主題進行多維分析，以應對相關復雜統計和報表生成的需求，本文提出在電網應急(防臺抗臺)業務指導下進行數據倉庫分析，最終得出以下3方面主題：

1)臺風氣象災情數據主題：存儲一定時間段內的歷史氣象數據記錄，對不同區域在特定時段的氣溫、濕度、風向、風力、降雨量等進行分析，以便找出不同時間段、不同區域的某些氣象信息特點。

2)電網因災(臺風)損失數據主題：存儲一定時間段內相應區域的損失數據記錄(變電站故障、輸電線路故障、配電網故障、重要用戶停電、人員傷亡及失蹤)，對不同區域的故障類型、損失情況等進行分析。

3)電網因災(臺風)應急資源投入數據主題：存儲一定時間段內相應區域內的應急資源投入數據記錄，如搶修人員(人)、搶修車輛(輛)、發電車(輛)、發電機(臺)、大型搶修機械(臺)，對不同區域在特定氣象條件下投入的搶修人員、搶修車輛、發電車、發電機、大型搶修機械等數據進行分析。

1.1 臺風氣象災情數據倉庫高層模型

臺風氣象災情數據倉庫的高層模型如圖1所示，高層模型中，從屬性與度量清單2方面進行描述。

圖1 臺風災情數據倉庫高層模型Fig.1 High level model of typhoon disaster data warehouse

1)屬性

①日期屬性：包括日期編號、日期值(YYYY-MM-DD)、年份值、季度值、月份值、星期值、日值等。

②監測地點屬性：包括監測地點編號、地點名稱、所在市、所在省、地點經度和緯度。

③天氣類型屬性：包括編號、天氣類型名稱(晴、陰、多云、陣雨、雷陣雨、雷陣雨伴有冰雹、小雨、中雨、大雨、暴雨、大暴雨、特大暴雨、小雪、中雪、大雪、暴雪、霧、凍雨、沙塵暴、強沙塵暴、霾、雨夾雪)。

④風向類型屬性：包括編號、風向名稱(東風、西風、南風、北風、東北風、東南風、西北風、西南風)。

2)度量清單

包括最高氣溫、最低氣溫、濕度、風力、降雨量。

1.2 電網因災(臺風)損失數據倉庫高層模型

電網因災(臺風)損失數據倉庫的高層模型如圖2所示，高層模型中，從屬性與度量清單2方面進行描述。

圖2 電網因災(臺風)損失數據倉庫高層模型Fig.2 Data warehouse high level model for power grid disaster (typhoon) loss

1)屬性

①時間屬性：包括時間編號、時間值(hh:mm:ss)、24小時時值、12小時時值、分值、秒值、上午/下午標簽值等。

②變電站屬性：包括變電站代碼、變電站名稱、所屬單位、電壓等級、值守類型、主變臺數、主變容量、投運日期、退運日期、責任人、地址、聯系電話、施工單位、防洪水位、地質條件、周邊排洪設施、經度、緯度、維護班組等。

③輸電線路屬性：包括線路編碼、線路名稱、線路簡稱、線路類型、所屬單位、所屬市局、電壓等級、設計電壓等級、起始點名稱、結束點名稱、起點類型、終點類型、線路總長(km)、干支類型、主干線名稱、電纜總長、所屬調度、運行最大電流、輸送容量、運行狀態、投運日期、桿塔數、電流性質、額定輸出功率、施工單位、架空長度。

④配電線路屬性：包括饋線編碼、饋線名稱、所屬單位、所屬變電站、站房編號、站房類型、站房名稱、運行狀態、供電單位、饋線電壓等級、主干名稱、投運日期、變電站電壓等級、施工單位。

⑤重要客戶屬性：包括用戶編號、用戶名稱、供電單位、用戶地址、供電類型、供電容量、供電電壓、用戶等級、用戶類型。

⑥臺風屬性：包括臺風編號、臺風中文名、臺風英文名、臺風形成時間、臺風狀態、是否影響電網、臺風停止時間。

⑦單位屬性：包括單位編號、單位名稱、上級單位名稱、單位地址、單位聯系人。

2)度量清單

包括輸送負荷、受損電量、故障持續時間、故障測量距離、死亡人數、失蹤人數、受傷人數(含重傷)、 重傷人數。

1.3 電網因災(臺風)應急資源投入數據倉庫高層模型

電網因災(臺風)應急資源投入數據倉庫的高層模型如圖3所示，高層模型中，從屬性與度量清單2方面進行描述。

圖3 電網因災(臺風)應急資源投入數據倉庫高層模型Fig.3 Data warehouse high level model for power grid disaster (typhoon) emergency resource

1)屬性

臺風屬性和單位屬性屬于統一維度，具體內容同上文。

2)度量清單

包括搶修人員(人)、搶修車輛(輛)、發電車(輛)、發電機(臺)、大型搶修機械(臺)。

2 基于防臺抗臺系統的數據抽取、轉換與加載

數據倉庫的設計與構建，以及后續的聯機分析處理，甚至進一步的數據挖掘，往往離不開一定數量和質量標準的數據支持。在實際工程實踐中，相應的數據集成與系統集成需要耗費大量的人力和時間，不僅有技術上的難度，而且有管理和標準上的挑戰。本文以國家電網防臺抗臺業務系統為例，簡要說明相關數據抽取、轉換與加載(ETL)的關鍵要點，以保障相關應急主題數據倉庫的有效實現。

從整體數據倉庫的數據載入過程來看，大體可以分為數據探查、數據抽取、數據轉換、數據加載等4個步驟。

1)數據探查

數據探查是指對多種來源數據的基本情況作一個全面了解和分析，以指導后續的數據抽取工作，具體到防臺抗臺系統來說，作為一個實際運行的事務性業務系統，其后臺數據庫為關系型數據庫，數據探查需要關注的重點包括數據記錄條數、數據依賴完整性、空數據項以及數據標準不統一等問題，以防臺抗臺系統中的“當天天氣表”、“氣象站點表”進行簡要的數據質量分析，分析工具為datacleaner4.5，分析結果如圖4所示，天氣監測信息和氣象站基本信息的數據參考完整性檢驗如圖5所示。

圖4 防臺抗臺氣象監測數據質量基本分析Fig.4 Basic analysis of weather monitoring data quality

圖5 天氣監測信息和氣象站基本信息的數據參考完整性檢驗Fig.5 Data reference integrity check for weather monitoring information and meteorological station basic information

2)數據抽取

數據抽取即是對數據源中數據的讀取過程，主要是指緩慢變換維表數據以及事實表數據的抽取，由于防臺抗臺系統后臺是關系型數據庫，可以采用SQL接口訪問，也可以采用一些較為成熟的工具輔助(如Kettle)，在抽取環節需要注意的是基于時間戳的數據過濾，對于已經加載到數據倉庫的數據，需要在抽取環節根據時間戳過濾掉。

3)數據轉換

數據轉換是整個過程中的關鍵環節，既要完成不同標準下的數據整合，還需要解決不同來源數據項的二次計算與新數據項的生成，對于防臺抗臺系統來說，比較典型的是故障時間的計算，在數據轉換環節，需要完成原始數據項中“故障恢復時間”與“故障發生時間”之間的取差計算(單位：h)，在Kettle中的JS算法如圖6所示。

圖6 故障時間計算腳本Fig.6 Fault time calculation script

4)數據加載

數據加載是整個過程的最后步驟，是經過轉換后的數據真正載入數據倉庫的環節，基于防臺抗臺業務系統構建的應急主題下的多個數據倉庫存儲在SQLSERVER2008數據庫管理系統中，分為維表和事實表，數據加載需要按照“先維表、后事實表”的順序加載，數據加載完畢后，星型結構下的數據倉庫中就有了可以進一步分析的數據。

為了更詳細地解釋有關數據倉庫的數據ETL過程，以輸電線路因災受損事實表的數據導入為例進行討論，在Kettle下的業務與轉換設計如圖7所示。

由圖7可知，整個ETL過程大體可以分為10個環節。

圖7 輸電線路因災受損事實表的ETL過程說明Fig.7 ETL process description of fact table of transmission line fault

①源數據讀入：從記錄輸電線路因災受損信息的業務數據表中讀入記錄。

②“輸電線路因災受損信息”與“輸電線路基本信息”之間的參照完整性檢查：通過外鍵檢索，檢查2個業務數據表間數據的參照完整性，并過濾掉不符合參照完整性的因災受損記錄數據。

③過濾空數據：將“輸電線路因災受損信息”中，輸電線路名稱或編號為null的數據記錄過濾掉。

④數據庫查詢(故障日期)：將“輸電線路因災受損信息”中，故障日期屬性進行提取，并在“日期維表”中進行查詢，最終獲得日期維表中對應日期的“主鍵ID”。

⑤數據庫查詢(故障時間)：將“輸電線路因災受損信息”中，故障時間屬性進行提取，并在“時間維表”中進行查詢，最終獲得時間維表中對應時間的“主鍵ID”。

⑥數據庫查詢(輸電線路故障類型)：將“輸電線路因災受損信息”中，故障類型屬性進行提取，并在“輸電線路故障類型維表”中進行查詢，最終獲得維表中對應故障類型的“主鍵ID”。

⑦過濾記錄：對源數據中，故障時間、恢復時間或故障類型屬性為null的記錄，進行過濾。

⑧計算故障持續時間：根據恢復時間和故障時間2個字段取值，通過編寫計算腳本，批量自動計算故障持續時間屬性值。

⑨過濾記錄：對故障持續時間為負的記錄進行過濾(說明原始數據記錄有誤)。

⑩表輸出：將之前幾個步驟建立起來的自定義集成數據集，批量寫入輸電線路因災受損事實表。

3 基于應急主題數據倉庫的聯機分析處理

聯機分析處理(OLAP)是一種軟件技術，可使分析人員能夠迅速、一致、交互地從各個方面觀察信息，以達到深入理解數據的目的。其具有FASMI(Fast Analysis of Shared Multidimensional Information)即共享多維信息的快速分析的特征。其中F是快速性(Fast)，指系統能在數秒內對用戶的多數分析要求做出反應；A是可分析性(Analysis)，指用戶無需編程就可以定義新的專門計算，將其作為分析的一部分，并以用戶所希望的方式給出報告；M是多維性(Multi-dimensional)，指提供對數據分析的多維視圖和分析；I是信息性(Information)，指能及時獲得信息，并且管理大容量信息[11]。本文以電網防臺抗臺系統構建的應急主題數據倉庫為基礎，開展多維數據的聯機分析處理，考慮數據敏感性，以配電線路因災(臺風)受損數據為例，采用Microsoft Analysis Service構建相關的多維數據分析模型，構建結果如圖8所示。

圖8 配電線路因災(臺風)受損多維數據模型瀏覽Fig.8 Multidimensional data model browsing for disaster caused by typhoons in distribution lines

從圖8中可以看出，用戶可以根據日期、時間、受損配電線路所屬單位、配電線路故障類型、施工單位等多個維度進行統計分析，分析結果有利于安全與應急管理部門對特定單位(所屬單位、施工單位)、在特定時間區間(譬如臺風頻發的時間段)的配電線路故障情況進行了解，以進一步提前有針對性地做出準備。

4 結論

1)在現有電網防臺抗臺系統的基礎上，提出電網應急主題數據倉庫需求，并對其開展基于星型結構下的結構設計與實現。

2)采用相關數據探查與ETL工具，可以實現電網防臺抗臺系統數據到數據倉庫的數據遷移與數據集成。

3)圍繞臺風災情數據、因災(臺風)受損數據和因災(臺風)應急資源投入數據開展聯機分析處理，相關結果可以用于指導相關電網安全與應急過程中的輔助決策。