基于HBase的數據共享模型研究

陸文星，涂竹松，梁 焱

(1.合肥工業大學 管理學院，安徽 合肥 230009；2.過程優化與智能決策教育部重點實驗室，安徽 合肥 230009)

基于HBase的數據共享模型研究

陸文星1,2，涂竹松1,2，梁 焱1

(1.合肥工業大學 管理學院，安徽 合肥 230009；2.過程優化與智能決策教育部重點實驗室，安徽 合肥 230009)

在信息化高速發展過程中，如何共享海量數據并提高其應用價值是當今云計算領域的研究熱點之一。傳統的數據共享方式不能滿足大數據的存儲要求和解除高速計算問題與數據的高容錯性問題，這就需要新的共享方式來實現。文中在數據倉庫的數據集成模式的基礎上，根據黑板系統的思想和“發布-訂閱”數據分發策略，提出了基于HBase數據庫的數據共享模型，并分析了該模型的運行機理。基于HBase的數據共享方式不僅能夠提高對海量數據的處理能力和速度，還能有效降低原有數據共享方式中在出現故障時對整個業務系統造成的不良影響。文中提出的基于HBase數據共享模型在云環境下實現海量數據共享的問題上為各大型企業提供了參考，不僅能夠滿足海量數據的量級持續增長和計算的需求，同時提高了系統可靠性。

數據共享；數據集成；HBase；黑板系統

0 引 言

隨著科學技術的飛速發展和信息化的不斷推進，企業的IT應用也伴隨著信息技術的發展而不斷前進，各大型企業、政府機構也都構建了能夠應用于自身領域的專屬系統，例如企業的ERP系統、金融領域的交易系統、醫療領域的醫療衛生系統、教育領域的教務管理系統等等。但IT應用的變化速度與企業的其他變革有著明顯的不同。從企業自身的角度看，前期的系統構建缺乏長遠及統籌規劃，不同階段只考慮局部需求，使得系統之間存在著巨大的邏輯差異，大量的冗余數據和垃圾數據不斷形成造成了企業、政府機構的信息存儲效率低、信息利用率低[1-4]。

文中整合數據倉庫的數據集成方式和黑板系統的思想，提出了基于HBase的數據共享模型。模型中采用“發布-訂閱”數據分發策略來共享數據，在應對企業內部各分支機構系統之間的孤立、海量數據的存儲及處理計算等問題上提出了新的解決思路。

1 數據倉庫模式集成和HBase數據庫

1.1 數據倉庫模式

不同的信息系統在實現數據共享的過程中需要向其他的信息系統展現需要共享的數據信息。在這個過程中，需要在邏輯上或者物理上有機地把不同來源、不同格式以及不同特點性質的數據集成起來，為企業的數據提供全面的共享。目前，數據集成領域比較成熟的框架有三種：基于中間件模式、聯邦數據庫系統模式和數據倉庫模式[5]。這三種模式在不同的重點和應用上為企業的數據共享和決策支持提供了可靠有效的支持。文中采用數據倉庫模式來構建數據共享模型，下面只對數據倉庫模式的數據集成方法作詳細介紹。

這里的數據倉庫充當的是一個公共數據庫的角色[6]。數據倉庫在描述存儲在異構數據庫中的數據時采用的是統一的全局模式，以副本的形式存儲各源數據庫中需要共享的數據。該模式通過將各個數據源的數據復制到同一處，即數據倉庫[7-8]。用戶像訪問數據庫一樣訪問數據倉庫，如圖1所示。在數據倉庫模式中，采用ETL工具按照特定的需求對源數據庫進行抽取、轉換和加載后才進行存儲。該模式在數據倉庫中統一存儲不同信息系統間需要進行共享的數據，同時面向所有用戶采用統一數據接口的方式，為用戶提供數據訪問和分析等數據服務。另外，數據倉庫模式是為了有效地把操作型數據集成到統一的環境中以提供決策型數據訪問的各種技術和模塊的總稱，所做的

圖1 數據倉庫集成模式

一切都是為了讓用戶能夠對其所需要的信息進行更快、更方便地查詢，以便提供決策支持。

1.2 HBase數據庫

HBase的原型來自于Google在2006年11月發表的一篇名為《Bigtable：A Distributed Storage System for Structured Data》[9]的論文。HBase是一種構建在HDFS之上的分布式、面向列的存儲系統[10-12]。在需要實現讀寫、隨機訪問超大數據集時，可以使用HBase這一Hadoop應用。HBase數據庫通過Java編程語言編寫而成，其數據模型采用鍵/值形式，而且存儲技術具備開源、分布式、面向列、高可用等特性。HBase不僅能夠適合非結構化數據的存儲，而且不同于其他基于行模式的關系型數據庫，它采用的是基于列的模式。另外，作為Hadoop應用下的分布式數據庫，HBase在存儲結構化數據時依然具有高可靠性。與傳統的關系型數據庫不同的是，列式存儲是按某列將數據存儲在表中，在查詢時對字段個數的要求就會降低。這樣不僅能解決數據的稀疏性問題，大大減少讀取的數據量，在很大程度上為其節約了存儲開銷，而且能在查詢發生時，大大降低磁盤I/O。

在現代大型企業的應用系統中，其關系型數據庫的擴展性和海量數據的分析處理能力提升不大主要是基于其關系型數據庫連接操作和事務的ACID(Atomicity(原子性)、Consistency(一致性)、Isolation(隔離性)和Durability(持久性))特點。從信息系統整合的集約化原則和保持原有的業務系統角度出發，同時針對不同應用系統間的不同種類(結構化、半結構化和非結構化)的數據，通過借鑒云計算存儲和數據倉庫共享數據的先進理念，在存儲共享數據方面合理運用HBase數據庫。這樣不僅能夠將NoSQL數據庫和云計算的有利優勢體現出來，而且能夠滿足海量數據的共享要求。

2 模型的構成

目前國內的大型企業都普遍存在一個顯著的特點：下屬各級子公司或部門都擁有各自的應用管理系統，而這些管理系統都是相對獨立的，系統之間存在著數據的不一致和難以及時準確共享的缺陷。但是隨著企業信息化的不斷發展，各部門單位信息系統間的數據共享以及新系統的開發對企業數據集成也在不斷提高。

在黑板系統的基礎上，文中提出了一種基于HBase的數據共享模型。該模型是基于數據倉庫的數據集成模式，其中HBase數據庫是數據共享的中介倉庫，一方面提供虛擬的全局模式視圖供各源數據庫使用，另一方面對各源數據庫有固定訂閱需求和共享頻率高的數據以數據重建和數據復制方式實現共享。基于HBase的數據共享模型架構如圖2所示。

圖2 基于HBase的數據共享模型架構

作為模型中數據共享的信息中介平臺，HBase數據庫與多個源數據庫形成交互，維護每個源數據庫共享的信息內容，而各源數據庫通過HBase數據庫共享企業的數據信息。其中，作為企業各應用系統的數據中心存在的各源數據庫是相互獨立的數據庫系統。

2.1 元數據管理

元數據即描述數據的數據，是對應用系統中業務流程、對象信息等數據的描述，常見的數據字典就屬于元數據的范疇[13]。技術元數據(Technical Metadata)和業務元數據(Business Metadata)是元數據的兩種分類。前者是關于數據倉庫技術細節的數據的描述，這些元數據應用于開發、管理和維護數據倉庫；后者從商業和業務的角度描述數據倉庫的數據，提供了良好的語義層定義，業務元數據使業務人員能夠更好地理解數據倉庫分析出來的數據，通過分析業務的變化對應用模塊的影響，可以幫助用戶發現、描述和理解數據，其最大的作用體現在數據質量的保證、資源的管理和對數據的一致性理解上。數據的存儲處理不只是ETL過程需要元數據的支持，整個數據倉庫建立過程都離不開元數據。

元數據在結構上有三種分類：內容結構、句法結構和語義結構。內容結構在包括編碼語言、命名空間、描述元素等信息上對元數據的構成元素和標準進行定義；句法結構在元素的組織、描述方法上對元數據的格式和描述進行定義；元數據的表示含義的描述要求屬于語義結構定義的范疇。

元數據的管理主要針對的是技術元數據和業務元數據，管理目標旨在提升共享水平和對企業信息資產的理解。從管理的細節來看，主要操作是對元數據的獲取和處理。基于元數據的管理與數據庫、應用系統、分析處理共享平臺有密不可分的關系，企業管理元數據的途徑往往是運用成熟的元數據管理工具，同時建立自身的元數據管理平臺。針對元數據的管理存在著兩個重要任務：一是元數據庫中元數據的存儲和維護工作；二是數據倉庫中各種工具(如建模工具、數據獲取工具等)間的信息傳遞，以及各模塊與工具之間的協調工作。

2.2 黑板系統

文中所提出的基于HBase的數據共享模型主要是基于黑板系統的思想。黑板的概念最早是由Newell提出。1973-1976年間，美國Carnegie-Mellon大學在研制出語音理解系統HEARSAY-II的過程中提出了黑板的問題求解模型[14-15]。其基本思想是：多個個體專家針對同一個問題進行協作求解，在求解過程中擁有一個共享的工作空間即“黑板”，并且所有專家都能“看到”黑板。當黑板上出現求解的問題及求解所需的原始數據時，求解過程開始，所有專家通過“觀察”黑板并運用其自身的經驗知識開始求解問題。當某個專家發現能通過黑板上現有的信息進行進一步求解，他會將求解的階段性結果呈現在黑板上，這些新增的信息可能會使其他專家進行進一步求解，不斷重復這一過程直到獲得最終結果，徹底解決最初問題[16]。

黑板系統主要由三個部分組成：“黑板”、知識源(KS)和監控機構。模型結構如圖3所示。

圖3 黑板模型

黑板：從前面對黑板系統的介紹來看，“黑板”是一個全局的工作區。文中它是一個存儲各個階段數據的全局數據庫。

知識源：就是一個知識模塊。上文在介紹黑板系統基本思想時提到的“專家”就是知識源。所有知識源之間相互獨立，并且它們之間的聯系和調用是通過黑板來完成的。

監控機構：由監控和調度程序組成的一個推理機構，旨在順利完成問題的求解。監控程序負責監控黑板狀態，調度程序則根據黑板狀態通過自身策略調度合適的“專家”來解決問題。

文中黑板就是基于HBase的數據共享模型中以數據倉庫形式存在的HBase數據庫，相應的每個源數據庫就是黑板系統中對應的眾多的知識源，而共享模型中元數據管理模塊就是監控機構。

2.3 數據分發策略

運用“發布-訂閱”模型對數據進行分發在目前被各個分布式數據庫所采用，該模型主要由消息發布者、消息訂閱者和發布訂閱服務器三部分組成[17]。訂閱者先注冊感興趣的主題，并在主題信息有變化時接收信息，當發布者把一條信息發送至發布訂閱服務器時，服務器根據訂閱條件與消息進行匹配比較，把信息發送給符合訂閱條件的訂閱者。模型架構如圖4所示。

圖4 發布—訂閱模型

消息發布者：負責對數據源的數據進行發表的服務器。消息發布者管理多個數據源，將描述數據源的元數據即共享數據模型發布到若干個公共的信息目錄服務器上。

消息訂閱者：負責接收消息發布者發布出來的數據的服務器。消息發布者既可以對已經發布的數據進行修改，也可以作為其他消息訂閱者的發布訂閱服務器。

發布訂閱服務器：連接消息發布者和消息訂閱者的橋梁，負責將發布者發布的數據傳送到訂閱者。發布訂閱服務器提供數據緩存，負責將消息發布者傳遞過來的發布數據臨時存儲到分發數據庫當中，按一定策略將數據分發給相應的服務器，并且負責維護分發服務器。

這里的消息發布者、消息訂閱者和發布訂閱服務器只是角色上的描述，理論上這三個角色可以在同一臺服務器上實現任意組合，但在實際操作中要考慮系統的性能，通常會對其做出一定的限制。

3 基于HBase的數據共享模型

在基于HBase的數據共享模型中，充當數據倉庫的HBase數據庫與源數據庫構成的數據共享模型主要由5部分組成：共享接口、數據復制、訂閱數據、共享數據管理器數據源和元數據管理模塊。如圖5所示，其中HBase數據庫中還另外包含了全局模式視圖。

圖5 基于HBase的數據共享模型

對上述數據共享模型運行機制的具體介紹如下：

在基于HBase的數據共享模型中，作為“黑板”出現的HBase數據庫與每個源數據庫也就是各個“知識源”之間是通過其HBase共享接口與節點共享接口的連接實現數據重建和數據復制共享的。其中對數據的重建是HBase數據庫共享數據的方式，主要是在數據管理方面對來自于其他系統的數據進行重建，分開存儲這些需要共享的數據與系統的其他數據，形成集中管理。這種共享模式通過虛擬映射全局模式和節點模式之間的關系來實現，各源數據庫的映射接口由HBase數據庫和共享接口來提供，通過映射已經形成連接的共享接口，全局模式會在一定的轉換條件下通過定義視圖的方式進行映射。另外，全局模式通過重新組合各節點模式的數據，形成全局模式視圖。其中，源數據庫通過節點共享接口訪問HBase數據庫的全局模式視圖獲取數據，而在HBase數據庫中當其接收到具體的數據獲取請求時，全局模式視圖會根據需求完成對源數據庫的數據抽取工作，然后將抽取來的數據轉換成全局模式數據用以提供給其他源數據庫獲取。基于HBase的數據共享模型是運用黑板模型的思想構建的，HDFS元數據管理模塊就是其“監控機構”。正是通過該模塊對元數據的抽取重組形成模式信息，并通過特定的模式管理機制(數據的獲取、查詢、映射和ETL等操作)對元數據進行監控，通過對其變化情況進行觀察，確保模式信息與元數據實時統一。節點數據源通過審核發布共享數據，以數據復制方式并通過HBase數據管理的操作將數據存放到HBase數據庫中的訂閱數據組當中，然后HBase數據庫中的共享模式管理器將這些訂閱數據轉換為全局模式的共享數據并將其存放在HBase數據源中，同時向發送請求的源數據庫發布共享數據或者將共享數據提供給全局模式視圖。其中，HBase數據庫向源數據庫發布共享數據大致與其向源數據庫復制抽取數據的過程相同，只不過對數據的操作由復制轉換成了重建。數據源通過審核發布共享數據，以數據重建的方式將新的數據存放到源數據庫的訂閱數據中，然后源數據庫中的節點共享數據管理器將這些共享數據轉換為該模式下的共享數據存放在節點數據源中。

基于HBase的數據共享模型的性能分析如下：

(1)具有高效的數據操作能力。HBase數據庫在對海量數據進行處理時采用Hadoop架構體系的Map/Reduce技術，在處理過程中可以對數據進行高吞吐量的讀、寫操作，同時在針對海量數據的訪問和處理方面具有隨機性、實時性。

(2)支持對系統集成的公共數據應用變更的需求。由于HBase數據庫在存儲數據時能夠動態變動其數據庫表格，而這一優勢在其充當數據倉庫時更能凸顯出來。HBase數據庫在作為數據倉庫面對各應用系統相互之間對彼此的數據需求發生變化時，并在能夠確保系統其他模塊的功能不受干擾的前提下，可以對其數據庫表的列簇個數進行動態的增、刪、改、查操作，從而達到支持共享應用需求變動的效果。

(3)高效的系統可靠性和可用性。HBase數據庫作為數據倉庫在存儲共享數據方面融合了分布式數據庫的分布式存儲和關系型數據庫的集中管理整個數據庫的優勢，其多副本的存儲機制通過統一的節點HMaster對多個服務節點上的多個副本進行管理。HBase數據庫中只要其單個數據節點或單條數據鏈路正常使用就能正常運行，因此當出現突發狀況(如其中某個節點出現故障或者某條鏈路發生癱瘓時)，不會對HBase數據庫的正常運行造成影響，其可靠性比其他數據共享方式具有明顯的優勢。同時，系統的容災性在多副本存儲這一特點上得到顯著增強，有利于被破壞數據的恢復。

(4)具有高擴展性。對于傳統的數據庫來說，擴展就意味著升級服務器，復制數據，但是升級服務器的開銷大而且在數據復制的過程中操作繁瑣且容易出錯。HBase數據庫作為公共的數據倉庫存儲共享數據時可以實現對現有廉價服務器的充分利用，因此擴展對于HBase來說比較簡單，無需再購置諸如數據庫管理系統、服務器等相關產品。針對HBase的擴展工作，只用在增加其HRegionServer節點之后修改下相關配置文件中的配置信息，再重啟HBase和Hadoop即可，其他的工作HBase和Hadoop會自行完成。

(5)具有故障自動恢復能力。HBase數據共享方式在面對系統故障、事務故障、磁盤故障和計算機病毒這四種故障時，具有自動修復的功能。HBase數據庫對數據的多副本存儲是分布式的，從前文可靠性分析中可以知道，單個數據節點的故障不會對HBase數據庫的正常運行造成影響，而該故障節點經過修復后還能通過其他的數據節點服務器對數據進行自動復制。

4 結束語

文中提出的基于HBase的數據共享模型對于目前各大型企業內部相對獨立的應用管理系統間數據的不一致和難以及時實現共享等問題是一個良好的解決方案。在企業的信息化建設中，該數據共享模型將企業的信息進行集成，各個部門仍然可以沿用自己獨立的應用管理系統，只是將各部門都需要使用的共享數據存儲在HBase數據庫中。這樣一來當其中某個部門需要使用其他部門的信息數據時，就可以直接從HBase數據庫中獲得，而不再走繁瑣的內部流程獲取想要的數據。從全局的角度看，這種共享模式有效地促進了企業原系統間的整合和新系統的加入。

[1] 楊善林,羅 賀,丁 帥.基于云計算的多源信息服務系統研究綜述[J].管理科學學報,2012,15(5):83-96.

[2] 郭文越,陳 虹,劉萬軍.基于SOA的數據共享與交換平臺[J].計算機工程,2010,36(19):280-282.

[3] 汪曉慶,鄭彥興,史美林.一種有效的數據共享環境多數據源選擇算法[J].軟件學報,2008,19(2):314-322.

[4] 諸云強,馮 敏,宋 佳,等.基于SOA的地球系統科學數據共享平臺架構設計與實現[J].地球信息科學,2009,11(1):1-9.

[5] 陳躍國,王京春.數據集成綜述[J].計算機科學,2004,31(5):48-51.

[6]WuD,H?kanssonA.Applyingaknowledgebasedsystemformetadataintegrationfordatawarehouses[M]//Knowledge-basedandintelligentinformationandengineeringsystems.Berlin:Springer,2010:60-69.

[7] 張興會.數據倉庫與數據挖掘技術[M].北京:清華大學出版社,2011.

[8] 周長春,徐宏炳,張小偉.基于共享數據庫的數據集成方案的改進[J].計算機工程與設計,2007,28(8):1917-1919.

[9]ChangF,DeanJ,GhemawatS,etal.Bigtable:adistributedstoragesystemforstructureddata[J].ACMTransactionsonComputerSystems,2008,26(2):4-4.

[10] 劉 剛,侯 賓,翟周偉.Hadoop開源云計算平臺[M].北京:北京郵電大學出版社,2011.

[11] 陸嘉恒.Hadoop實戰[M].北京:機械工業出版社,2011.

[12]WhiteT.Hadoop:thedefinitiveguide[M].[s.l.]:O’ReillyMedia,Inc.,2012.

[13] 李光焰.數據倉庫中元數據分類及管理系統研究進展分析[J].情報科學,2004,22(7):889-892.

[14] 馮少榮,肖文俊.并行分布環境下的黑板模型[J].華東理工大學學報:自然科學版,2008,34(1):96-102.

[15] 張松懋.關于黑板模型和分布式黑板模型[J].微電子學與計算機,1993,10(8):1-4.

[16]McManusJW.Designandanalysistechniquesforconcurrentblackboardsystems[J].IEEETransactionsonSystem,ManandCyberneticsPartA:SystemsandHumans,1996,26(6):669-680.

[17] 唐曉光.基于訂閱機制的數據共享平臺的研究與設計[D].大慶:東北石油大學,2013.

Research on Data Sharing Model Based on HBase

LU Wen-xing1,2,TU Zhu-song1,2,LIANG Yan1

(1.School of Management,Hefei University of Technology,Hefei 230009,China; 2.Key Laboratory of Process Optimization and Intelligent Decision-making of Ministry of Education， Hefei 230009，China)

During the process of high-speed development of informatization,one of the research hotspots in the cloud computing area at present is how to share the tremendous amount of information and improve its application value.The traditional data sharing method cannot satisfy the storage requirements of large data and also cannot solve the problem of high speed calculation as well as the high fault tolerance,which requires a new sharing method.Based on the data integration pattern of data warehouse,according to the idea of the blackboard system and “Publish-Subscribe” data issue strategy,a data sharing model based on HBase database is put forward and the operating mechanism of it is analyzed.Data sharing based on Hadoop not only improves the ability and speed of processing of massive data,but also reduces the potential damage the original data sharing method may cause to the entire system.The study of data sharing based on Hadoop gives reference to large enterprises for sharing of massive data,which not only fulfills the needs of continual steep increasing and computation of massive data,but also improves the reliability of the system.

data sharing;data integration;HBase;blackboard system

2015-01-25

2015-05-18

時間：2016-03-22

國家自然科學基金重點項目(71331002)；國家自然科學基金青年基金項目(71201045)；安徽省科技攻關計劃項目(1301041173)

陸文星(1971-)，男，副教授，碩士生導師，研究方向為信息管理和信息系統、項目管理、決策支持系統；涂竹松(1989-)，男，碩士研究生，研究方向為云計算。

http://www.cnki.net/kcms/detail/61.1450.TP.20160322.1517.014.html

TP31

A

1673-629X(2016)04-0036-05

10.3969/j.issn.1673-629X.2016.04.008