電力系統多源異構數據的存儲管理技術研究

馬翔 方璇 呂磊炎

摘 要：隨著海量數據的不斷增加，除了給公司帶來系統運行和數據交換上的壓力外，還在無形中增加了公司成本，導致電力公司不得不在海量數據存儲、交換以及監測分析壓力中尋找新的解壓物質。所以，我們以海量數據為研究對象，促進了多源異構數據優化管理系統的提出，其系統不僅能對多源異構數據進行存儲和交換操作，而且也能完成歷史數據的有效累積，進一步促進電力公司信息系統的優化，導致公司信息系統運行效率的顯著上升，從而最大化的減小公司支出的運營成本。

關鍵詞：電力系統;多源異構數據;存儲管理技術

DOI：10.16640/j.cnki.37-1222/t.2019.04.167

1 多源異構數據的存儲特點

該技術主要出發點和落腳點就是促進海量數據存儲目標的實現，可以不斷迎合電力公司與日俱增的相關數據，進一步促進數據分類和存儲目標的實現。

對多源異構數據存儲技術來說，分布式數據存儲在其存儲技術中占據較高比例，使得電網數據的分類存儲技術得以最終完成。存儲技術可擴展性極強，存儲能力的增加和服務器的添加可以同步實現，減輕進一步促進存儲結果設計的繁瑣操作;而且，其存儲性能依舊保持不變。電力公司能夠以具體業務需求為導向，促進對數據存儲系統的靈活性運用，保持系統的正常運行。

數據存儲形態必須將關注的目光放在多管理者并發讀寫數據上，要全面保證存儲服務器給不同管理者的數據都是統一的，所以，虛擬機集群存儲以數據管理中心為導向，促進整體數據的分類整理，使其能夠分類在數據庫存儲服務器中進行存儲，從而保證能夠有效對電力數據進行管理。

非結構化數據的存儲特點：數據存儲容量大;媒體形式多樣化;信息系統快速增長。

結構化數據的存儲特點：對結構化數據而言，其以行存儲為常規存儲方式，以記錄為主促進其能合理放置在盤頁中;而以列存儲一系列存儲為主要表現形態的存儲模式，主要以列為主體面向對象，存儲的數據表一直以數據列的形式而單獨存在。

2 多源異構數據的分離

（1）非結構化數據的分離。虛擬機集群里面主要包含的是非結構化數據存儲，而非結構化數據經過數據管理中心的分離操作后，逐漸演變為另外兩種數據形式，第一種為元數據形式，第二種為二進制數據形式。

所謂二進制數據，其主要以關系表中有數據存在的形式而存在，其最終的展現模式以流數據形式為主。二進制數據統一存儲在磁盤數據文件中。由于對于主要的磁盤數據文件來說，其存儲于冗余磁盤陣列里面，而且主要以連續性方式為主，因此即使管理者數據庫表里面的二進制數據會對數據存取效率產生影響，但是要想快速讀取其文件，也可以通過對數據文件索引的進一步建立而實現，通過對二進制存儲方式的運用，其里面的文件碎片管理有助于保證文件管理的高效運行。

促進不同形式數據的不同管理，更有助于存儲資源優化配置目標的圓滿實現。在資源分配上，二進制數據存儲區可以接收一些存儲容量顯著以及在計算能力上有優勢的計算機資源，通過快速響應使主要的計算機資源都能最終固定在元數據存儲區。

（2）結構化數據的分離。分離結構化數據要經過以下過程：

①數據預處理過程。其主要清洗數據，促進數據中噪聲的過濾，從而使數據能夠得到更好的保存;然后開始促進數據的轉換，促使連續數據不斷拆分，表現出離散集分析等基本性能。

②準備訓練集和測試集過程。以不同分類器提供的信息為導向，對聚類函數進行準確無誤的評估，然后促進離散數據的進一步集合，使其最終以訓練集和測試集的表現形式而存在。

③構造分類器過程。綜合前面步驟中成形的數據訓練集，通過對特定分類算法的運用，促進特殊分類器的進一步形成。

④評價分類器過程。綜合上述步驟最終形成的測試集，通過對準確性評估方法的運用，使不同分類器都能得到具體準確的評估，只要其和準確度相符就可以繼續使用，否則，必須進一步修改分類器，直到其達到一定準確性為主。

3 多源異構數據的存儲管理技術

存儲陣列為了確保數據存取業務高可靠性、擴展性顯著、高性能、高可用性等，促進了相應技術的開發和運用。

所謂高可靠性，其主要需要包含以下職能：無論是器件冗余（多控）還是硬盤壞道檢測/修復， 無論是磁盤健康分析還是多路徑技術，還包括BBU 掉電保護以及RAID 重構，除此之外，緩存鏡像技術和磁盤保險箱技術也包含在內，最后，無論是磁盤預拷貝技術還是快照/克隆技術，亦或是LUN 拷貝和遠程復制都是其中不可缺少的主體。

可擴展性主要包含 Scale-out以及iSCSI，除此之外，FC 技術和SAS 技術也在其中，最后，PCI-e和Fc OE也在其中扮演著重要作用。

而高性能主要以塊虛擬化技術 cache 回寫以及cache 預取技術為主，除此之外，12Gb SAS和16Gb FC也在其中作用顯著。

最后，對于高可用性而言，其中不僅含有 Smart Tier 技術和Smart Qos 技術，而且Smart Thin 技術也是其中不可忽視的存在。

分析上面提出的諸多存儲技術可知，其有助于系統的全方位存儲。然而本文研究的重點是多源異構數據優化管理系統，所以將Smart Thin技術作為主要存儲技術，其不僅可用性強，具有極高的空間利用率，而且可靠性強，數據讀寫操作性能強悍。Smart Thin，屬于存儲容量的虛擬化特性中的一種。然而存儲系統僅需要Thin LUN能夠以存儲池為出發點，最終往實際使用到的空間轉變即可。這是一種以按需分配為主的主要技術，其主要優點是能以較少的投入獲得較高的回報。其可以通過在線擴容的方式完成數據需求，減少由于數據遷移帶來的風險，更有助于數據備份成本的節約?？梢源龠M自動化容量管理功能的提供，為用戶提供諸多便利。其主要是容量競爭機制是促進各業務的競爭，使其通過努力促進存儲容量最優化配置目標的實現。除此之外，我們還能將Thin LUN 所在的存儲池作為要點，促進告警閾值的設置，一旦應用程序實際使用的存儲池的容量和該閾值越來越近時，系統就會發出警示，我們就能進一步存儲擴充其容量。

參考文獻：

[1]張曉勇.基于多源異構數據融合的概念層次體系構建及其應用研究[D].南京理工大學，2017.

[2]郭馨蔚.多源異構數據的跨域關聯方法研究及應用[D].電子科技大學，2016.

[3]陳淘，劉利兵.大數據技術在智能電網中應用[J].物聯網技術， 2016（04）.

作者簡介：馬翔（1972-），男，浙江海寧人，本科，高工，從事電力系統自動化方面的研究及管理工作。