電力系統多源異構數據混合式存儲方式研究*

黃 欣，吳偉杰，張伊寧，趙敏彤

（廣東電網有限責任公司電網規劃研究中心，廣州 510080）

0 引言

在現在智能電網發展的背景下，電力公司在運轉中也會生成大量的數據，其業務開展也是一個課題。對于來自多個來源的數據，電力公司也需要采用新的方法來解決。在這種情況下，有必要實現新的技術應用，實現數據處理效率和能力的切實提高。

多源異構數據配置通過操縱虛構機群集整合數據資源，并行使資源調度器結構和配置這些大型動態數據資源，來成現高效的轉移和存儲。大量的數據意味著為公司的發展供給了優越的契機[1]。本文概述了存儲和配置數據的舉措，可以有效地行使和闡發數據，明確了配置和存儲有價值的數據是重要問題。

如圖1 所示，數據提取依然遭到多種技術的限定。包括數據收集時消除冗余，成本高昂的數據存儲以及針對電網行業的數據處理和遷移技術。迄今為止，這些技術有待進一步研究和完善，都是本領域研究的熱點問題，不僅具有理論研究的意義，而且具有更廣闊的商業價值。

圖1 數據遷移與存儲過程

1 多源異構數據存儲

1.1 調控大數據

此技術側重于存儲大量數據，能夠應對電網電力公司的數據增長、數據分類和多源異構數據存儲[2]。大數據分類如表1所示。

1.2 多源異構數據處理方法

為了實現電力調劑節制體系的多源異種數據融會，構建節制全景數據，需求操縱多源異種數據處置方式中的數據預處置方法。其中，數據提取是指有挑選地查抄和復制每一個數據源中的數據，并將其視為數據的輸入部門[3]。

1.2.1 數據抽取

數據抽取可以從不同的數據庫和不同的服務平臺中獲得所需的數據，但提取不同數據類型的數據需要不同的技術。例如，以往的結構化數據可以利用動態學習框架進行提取，半結構化數據需要利用混合表現和機械學習技術進行提取，按行進行提取。在數據倉庫必須提取的數據內容方面也存在一些重要問題。標識要提取的數據的源，即存儲數據的系統上的數據庫[4]。基于所需數據為不同的調度控制系統設置數據提取規則。圖2所示為數據中心。

表1 數據分類圖

圖2 數據中心

調度控制系統主要涉及SCADA、WAMS、OMS、GIS系統，這些系統收集電力網中設備的運轉狀態、制造商、地下位置等詳細信息。因此，在分析調度控制大數據時，需要從這幾個系統的數據庫中提取數據。提取的特定數據信息必須根據需要創建數據表。例如，為了分析山西省內的A類設備的年故障類型、故障頻率，根據設備廠商進行分類。

對于相同的設備X，將該設備的設備名稱在SCADA 系統中標記為X，在OMS 系統中標記為X，在GIS 系統中標記為X，在WAMS 系統中標記為￥，使設備的正確識別變得困難，對數據的正確提取產生影響。為了解決此問題，基于元數據文件信息和一個或多個特殊屬性關系用唯一標識符表示每個設備。

1.2.2 數據清洗

從數據源的數量和數據層次的角度來看，可以將數據質量劃分為單個數據源實例層問題[5]。調控系統數據清洗如圖3所示。

圖3 調控系統數據清洗

2 存儲管理技術

為了提高數據在實際訪問中的性能，可用性和可靠性，開發和使用了許多新技術，如表2 所示。RAID重建、磁盤保險存儲技術、LUN拷貝和BBU斷電保護是確保技術可靠性的關鍵方法。SAS、FcOE和iSCSI技術可確保技術的可擴展性。緩存預取和回寫技術在性能方面具有優勢。這些技術在實際的系統數據存儲中是有效的。smart thin 技術在多源異構數據系統中提供了極高的應用程序價值，它在容量利用率和可用性方面提供了優異的性能和存儲容量虛擬化功能。

表2 存儲技術

實際上，此技術只需從存儲池中單獨分配實際使用的容量，即可滿足用戶的存儲容量需求，同時最大限度地減少提高存儲系統可擴展性和利用率所需的初始投資。實際的應用程序還可以在線擴展容量，而無需備份或遷移數據。通過避免與此過程相關的風險，可為存儲池設置警報閾值。當程序的存儲池容量接近閾值時，系統會發出警報，提示員工增加容量。存儲管理技術如圖4所示。

圖4 存儲管理技術

在具體的技術處理中，實現按需目標的技術有兩種。首先，使用讀/寫重定向來支持讀/寫數據，然后使用寫時空間來分配空間。在第一種方式中，主要是在讀寫時以映射表為基礎進行重定向處理，但是在第二種方式中，具有動態分配區域的技術，具有不確定的數據分配存儲區域，在具體的應用中，有必要通過映射表的應用來記錄邏輯地址和存儲區域位置的關系[6]。

3 存儲保護方式

3.1 災備機制

避免因人為或自然原因導致數據丟失或業務中斷。當信息系統受到不可抗拒的影響時，災備是信息體系延續功能的關鍵，可避免數據丟失和功能中止[7]。有效地保護不斷增加的信息體系和數據的安全，降低信息體系風險，并構建一個針對異地災害的體系，已成為企業信息保護的趨向。

3.2 容災機制

容災機制是一種遠程備份，可在發生災難后防止丟失或損壞原始數據。因此可以通過將復制卷直接映射到主機來實現正常的讀/寫操作，而無需恢復災難數據[8-9]。容災技術架構如圖5所示。

圖5 容災技術架構

4 結束語

本文探析了多源異構數據優化管理系統如何集成存儲結構化和非結構化數據的關鍵技術，并對結構化和非結構化數據進行了全面的存儲、管理、共享和數據保護。設計多源異構數據優化管理系統以滿足電力公司信息系統的數據管理和應用程序需求，從而存儲和高效地處理數據。在提高數據存儲中多源異構數據的隔離和保護效率的同時，還大大提高了生產效率，使信息系統能夠控制整個數據過程的管理，并提高了信息管理的級別。