基于HBase的小集群風電SCADA系統高效數據存取算法研究

陳 敏，湯曉安，劉 行，謝 鑫

（1.湖南信息學院 電子信息學院，長沙410151；2.國防科技大學 電子科學學院，長沙410073；3.長沙北斗產業安全技術研究院，長沙410205）

當前，風力發電已成為二十一世紀全球最重要的綠色再生能源。預計2020年，世界風力發電機的裝機容量將達到12．45 億千瓦，發電量占世界電力消費量的12%[1]。目前中國的中小風力發電廠占全國風力發電企業總數的90%[2]，可以看出現階段中小型風力發電廠是我國風力發電行業的主力軍。對于風力發電而言，高性能數據存取是風力發電SCADA 系統的核心，是風電行業健康發展的基石[3]。隨著風電行業的高速發展，數據量隨之增多，而傳統數據庫數據存取性能有限，不能很好地支持風電數據高性能的存儲、查詢和分析[4]。

關于高性能數據存取，現階段主要采用大數據分布式列式數據庫系統HBase 作為存儲載體[5]。此方面，國內外已有較多研究成果，文獻[6]已經成功應用HBase 并且進行了開源版本很多再開發和創新；文獻[7]利用HBase 重構了其存儲層，進行了基于HBase 的實時傳輸平臺研究；文獻[8]提出了一種基于HBase 的時序監控數據存儲以及提升數據存儲和處理效率的方案；文獻[9]深入研究了基于HBase的配用電海量時序數據存取技術；文獻[10]設計了一個基于Hadoop 集群的變壓器在線監測數據存儲方案，該方案利用HBase 具有快速實時讀寫數據的優勢，將變壓器在線監測系統采集的海量數據實時快速地存儲；文獻[11]研究并實現了一個基于HBase的高效數據存取平臺；文獻[12]通過改進 HBase 表的設計以及k-means 聚類算法，較大程度地提高了公安大數據圖片的檢索效率。

但是上述研究成果主要是面向大集群、高成本的業務需求，眾多國內基于小集群低成本環境（當前小集群低成本主要指不超過5 臺中低性能服務器）的中小風力發電廠由于其固有的服務器規模小、成本投入低等局限性無法直接使用現有研究成果，所以針對現有眾多小集群、 低成本環境下的風電SCADA 系統，開展其高性能數據存取算法研究意義重大且迫在眉睫。

本文以HBase 為工具載體，研究基于HBase的、 適用于小集群風電SCADA 系統的高效數據存取算法。本文研究以長沙北斗開放實驗室下屬風能新技術開放實驗室的 “風電場跨平臺中央監控系統”為應用場景。論文對現有Hbase 數據存取方法的存取性能進行了深入對比研究；基于此，綜合運用Hbase API、批量存取、多線程等相關技術，創新性地提出適用于小集群、 低成本風電SCADA 系統的高性能數據存取算法；最后對該算法進行了實現與系統應用。實際應用表明，該算法較好地實現了小集群、低成本環境下的高性能數據存取，滿足應用系統的實際需求。

1 Hbase 數據存取性能對比研究

HBase 具有數據存儲量大、面向列、稀疏存儲的特點。HBase 系統主要由HMaster 服務器和HRegion服務器群構成，它遵循簡單的主從服務器體系結構模型。具體到表格存儲而言，HBase 是以Region作為最小單位實現存儲負載，依據存儲量分裂成多個Region 模塊分配到不同的集群之中達到分布式存儲。

Hbase 數據存取又稱為“HBase 數據導入導出”。當前，主流的HBase 數據導入導出方式有2 種，一種是“單條數據導入導出”，另一種是“批量數據導入導出”；同時，后者又可分為“HBase API 批量導入導出”與“MapReduce 批量導入導出”2 個方法。

以下就上述Hbase 數據存取3 種主要的數據導入導出方法的性能進行對比分析，測試環境為大數據軟件環境Hadoop2．7．6+HBase1．4．9，通過5 臺中低性能服務器在實際風電場搭建小集群環境進行研究。因同條件下導出與導入性能差異不大，下面僅對數據導入展開研究：

方法一“單條數據導入”主要是對環境的隨機數據寫入能力進行分析，試驗通過多次運行Java代碼，發現單條數據導入運行效率保持在100 ms～250 ms 之間，實際的效率與實時CPU 性能關系密切。

方法二“HBase API 批量數據導入”主要是測試HBase 在寫入不同規模數據時所消耗的時間，導入數據為風力發電實時秒級數據，數據列固定118列，批量規模從10 條到500 萬條。批量數據寫入通過Java 代碼編寫，其中使用到BufferedMutator 類進行批量導入的容器管控。

方法三“MapReduce 批量數據導入”主要是測試MapReduce 在寫入不同數據規模時的性能情況，直接使用原生API 將文件進行導入。

上述3 種HBase 數據導入方法的測試結果對比如表1 所示，逐步增加導入數據的規模并記錄實際消耗時間。因為HBase 自帶的數據導入算法都是單線程實現，所以無論是方法一還是方法二都無法滿足高性能數據導入要求，而且會出現CPU 負載高，HMaster 服務崩潰 （如表1 中，“-” 代表服務崩潰）。方法三由于是采用多線程實現，其性能顯然優于前兩種方式。但是，通過進一步對小集群研究發現，MapReduce 其自啟動需要消耗一定的基礎資源，且其性能優劣與集群規模大小呈正相關，對于數據量到達千萬級及以上大小的大集群才能發揮比較好的性能表現，而小集群數據規模通常保持在500 萬以下，因而，小集群規模環境下其性能優勢并不明顯。因此，小集群想要獲得更高效的數據導入，并不能直接采用方法三“MapReduce 批量導入”，而需要設計一種新的算法，本文考慮對方法二“HBase API 批量數據導入”進行算法改進。新算法的設計目標是性能超越現有3 種主流HBase 數據導入方法中最好的方法三。

表1 HBase 數據導入性能對比Tab.1 HBase data import performance comparison

2 基于Hbase 的小集群風電SCADA 系統高效數據存取算法

2.1 算法總體思路

分析表1 可知，要想實現基于小集群的HBase高效數據導入算法，既要充分利用小集群的CPU 以及其它硬件資源，同時也要實現導入算法服務本身較低的資源占用。基于以上分析，現采用多線程與HBase 的原生API 算法二者相結合的方法，進行多線程文件數據讀取以及批量數據導入；同時依據服務器實時性能情況，進行資源負載均衡。

2.2 算法處理流程

基于上述算法總體思路，設計高效數據存取算法的處理流程如圖1 所示。首先通過獲取文件，并對其是否已經完成導入做好標記；接著獲取服務器的性能情況，依據實際的服務器性能給予不同的多線程開啟；然后對獲取的文件進行分解，依據HBase提供的原生API 進行批量導入；在導入的過程中對服務器性能進行監控并做好負載均衡；最后判斷文件是否完全導入完畢，整個高性能導入算法結束。

圖1 基于HBase 的小集群高效數據存取算法流程Fig.1 High efficient data access algorithm flow chart of small cluster based on HBase

2.3 算法運行測試與對比分析

依據圖1 所示算法，基于現搭建的小集群環境，使用中小風力發電廠常用的CSV 文件與數據庫DB 文件進行測試，測試結果如表2 所示。表中，第3列“新算法”是指圖1 所示算法，也即對表1 中的原“方法二”的改進算法。進一步將表2 中“新算法數據導入耗時”與表1 中原“方法三：MapReduce 批量數據導入耗時”進行對比分析，可以發現新算法導入性能有明顯提升，依然分別針對10～5000000 數據行數，數據導入耗時分別減少17．3%～92．1%不等，平均減少約36．5%，如表2 所示。

進一步將新算法與原方法三“MapReduce 批量導入算法”的服務器性能情況作對比，分析其是否充足利用了服務器資源，測試結果如圖2 和圖3。可以發現，原方法三“MapReduce 批量導入算法”占用CPU 保持在50%左右，新算法保持在95%左右，顯然，新算法實現了對CPU 的充分利用。

表2 新算法數據導入性能及與原方法的對比Tab.2 Data import performance and comparison of new algorithm

圖2 原方法三“MapReduce 批量導入算法”執行資源消耗情況Fig.2 Execution resource consumption of original MapReduce batch import algorithm

圖3 新算法執行資源消耗情況Fig.3 New algorithm performs resource consumption

3 系統設計與算法應用

本文所研究的高性能存儲算法是基于長沙北斗開放實驗室下屬“風能新技術開放實驗室”的“風電場跨平臺中央監控系統”（以下簡稱“系統”）為應用環境，該系統軟硬件架構如圖4 所示。由圖4 可以看出本系統是一個天然的小集群分布式架構，其無法直接套用大公司的高性能大集群存取方案，因而當前不得不采取MySQL 數據庫存儲+文件存儲方式。系統監控50 臺風機，數據總量800 G/年，原系統在進行較大數據量存取時，經常出現系統崩潰或者等待時間超過5 min 等問題，無法滿足實際應用的需求。

本文通過對該系統原有系統架構進行分析，在原有系統軟件架構中增加“數據高性能處理區”，修改系統原有的“數據存儲分析區”內容并搭建分布式數據庫HBase 存儲環境；將數據交互方式由直接從“數據存儲分析區”獲取數據（圖4 左部分空心舊通道）改為由“數據高性能處理區”獲取數據（圖4左部分實心新通道）。將本文設計的算法應用于系統“數據高性能處理區”，系統搭建成功后，系統總體運行穩定，系統的實時監控模塊與高分辨率數據分析模塊性能優化均十分明顯，其中，高分辨率數據分析模塊能夠實現共兩個月時間范圍、秒級數據的實時查詢與波形圖顯示，滿足應用的實際需要，如圖5 所示。

4 結語

圖4 小集群風力發電SCADA 系統軟硬件架構圖Fig.4 Software and hardware architecture of SCADA system for small cluster wind power generation

圖5 風電場跨平臺中央監控系統“高分辨率數據分析模塊”數據高性能存取展示Fig.5 High performance data access display of“high resolution data analysis module” of wind farm cross-platform central monitoring system

小集群環境是現階段眾多風力發電廠的主要特征，小集群風力發電廠由于其成本與技術的劣勢無法滿足日益增長的高性能計算需求。基于以上背景，本文依托長沙北斗開放實驗室下屬風能新技術開放實驗室的“風電場跨平臺中央監控系統”項目開展了基于小集群背景下風電SCADA 系統高性能數據存儲算法的研究與優化工作。論文對現有多種Hbase 數據存取方法的存取性能進行了深入對比分析，從原理中尋求小集群存儲優化的解決方案，提出并實現了一個基于大數據存儲平臺Hbase、 適用于小集群低成本風力發電SCADA 系統的高性能數據存取算法。應用表明，該算法性能高效，能夠滿足小集群風電監控系統存取需要，因而具有較好的工程推廣價值。