基于內存數據庫的存儲集群的關鍵技術研究*

張良， 王純， 李煒

（1 北京郵電大學網絡與交換技術國家重點實驗室，北京 100876；2 東信北郵信息技術有限公司，北京 100191）

基于內存數據庫的存儲集群的關鍵技術研究*

張良1，2， 王純1，2， 李煒1，2

（1 北京郵電大學網絡與交換技術國家重點實驗室，北京 100876；2 東信北郵信息技術有限公司，北京 100191）

基于磁盤數據庫的存儲集群由于內外存交換開銷過大，無法支撐數據的實時存儲與處理，因此使用基于內存數據庫的存儲集群成為目前很多業務數據存儲的設計方案。本文主要研究了基于內存數據庫的存儲集群中的數據庫代理、單點故障恢復等關鍵技術。

內存數據庫；存儲集群；數據庫代理；單點故障恢復

隨著Internet 技術的快速發展，接入網速度不斷提高，主干帶寬不斷擴容，用戶規模不斷擴大，傳統影響網絡速度的因素不斷減少，目前影響網絡速度的主要瓶頸集中在訪問距離和服務器承載負荷能力方面。同時，隨著網站訪問量日漸增大、內容不斷豐富和用戶期望值不斷提高，用戶應用需要提供更快的訪問速度和承受更大的負荷量，所有這些都依賴于網站服務器的基礎設施。目前，最常用的解決方案是采用像MySQL的磁盤數據存儲集群來處理海量數據的存儲和訪問，但這種解決方案存在的最大問題是訪問的效率不高，也成為服務器端的處理性能上的最大瓶頸，而目前常用的優化方案是采用基于內存數據庫的存儲集群架構。

基于內存數據庫的存儲集群既在數據存儲量上能滿足現有互聯網業務的需求，同時，在訪問性能上相較于磁盤數據庫有了很大提高。因此，采用基于內存數據庫的存儲集群架構基本滿足現有的海量數據、高并發系統的需要，也在互聯網業務中得到了廣泛的應用。

1 存儲集群概述

存儲集群是指由若干個“通用存儲設備”組成的用于存儲的集群，組成集群存儲的每個存儲系統的性能和容量均可通過“集群”的方式得以疊加和擴展。傳統的存儲系統由于受到諸如控制器性能，總線性能，磁盤驅動器的數量，所連接服務器的數量，內存大小，NAS（Network Attached Storage）頭的性能等物理組成的限制，以及諸如支持文件系統的容量，元數據和數據處理通路的耦合，快照或復制的數量等功能上的局限，造成了存儲系統瓶頸的出現。一旦遇到存儲系統的瓶頸，就會有兩種選擇：一是采用硬件更加強大的單個存儲系統；二是采用若干個普通性能的存儲系統來組成“存儲的集群”。“集群”作為一項已被廣泛使用的體系結構，如果采用到存儲上組成“集群存儲”，就可提供按比例增加的存儲資源的性能、容量、可靠性及可用性，突破了單機設備的種種限制。

目前業內常用的存儲集群基于的是諸如MySQL這樣的磁盤數據庫，它的整體設計架構相對簡單，如圖1所示。

圖1 基于磁盤數據庫的存儲集群架構

對于應用程序來說，整個存儲集群架構是透明的，應用程序在查詢數據和更新數據時，只需向數據庫代理發送請求，由數據庫代理向各個數據片執行查詢和更新操作。當然，各個分區片的分片規則和分片標識等都是由數據庫代理決定。對于以MySQL作為數據存儲的數據庫分片，其代理最常用的就是Amoeba（變形蟲），Amoeba是一款開源軟件，是MySQL的分布式數據庫的前端代理，主要在應用層訪問MySQL時充當SQL路由，能實現負載均衡、高可用性、SQL過濾、讀寫分離、可路由相關請求到目標數據庫、可并發請求多臺數據庫并合并結果等功能。

這種框架雖然能夠解決大數據量存儲問題，但是并發訪問的性能并不高。因此，可以對此框架做修改，使用內存數據庫來替代磁盤數據庫。當然，對于復雜的業務邏輯數據，使用key-value內存數據庫不能滿足需求，在這種框架下，可以使用關系型的內存數據庫。但是，因為內存數據庫的數據的易失性，在發生單點故障時需要做數據的恢復，因此內存數據庫需要持久化和備份功能，具體的架構如圖2所示。

圖2 基于內存數據庫的存儲集群架構

此框架是基于圖1框架的基礎上，添加了內存數據庫層，從而解決了數據訪問的性能問題。同時，對內存數據庫定時的持久化，能確保在內存數據庫故障時，成功恢復內存數據庫中的數據。同時，內存數據庫作為全量數據緩存與磁盤數據庫之間必須同步，保持兩者之間的數據一致性。

基于內存數據庫的集群存儲的架構，是現有具有大量業務數據存儲和訪問的系統的比較理想的解決方案。本文主要研究此架構中的關鍵技術包括分布式數據庫代理和單點故障恢復。

2 分布式數據庫代理

在基于內存數據庫的存儲集群中，數據庫代理通常分為兩類，一類是內存數據庫自帶的，這種內存數據庫本身就具有集群功能，例如Mongodb，它的分片集群就是很好的存儲集群架構，只需要做相應的配置即可；另一類就如MySQL集群一樣，使用的是獨立的分布式數據庫代理。不管使用哪類數據庫代理，都必須具有前端路由、數據分片、負載均衡等功能。前端路由功能是指當應用程序向存儲集群發起數據更新或者查詢操作時，數據庫代理會接收請求，并向相應的分片節點中發送相應的操作；而數據分片是在應用程序向存儲集群插入數據時，數據庫代理通過散列或者其它策略，指定到某個分片節點上存儲數據；負載均衡是指數據庫代理要做到各個分片節點被訪問的次數以及占據的數據量達到一個平衡狀態。分布式數據庫代理的內部模型如圖3所示。

分布式數據庫代理主要分并發訪問控制、數據分片和路由等3個模塊，當應用程序向存儲集群發送請求，并發訪問控制模塊接收請求，并對請求排序，按照時間點的順序處理請求，并向其它模塊發送處理命令。數據分片模塊，在對存儲的數據分片后，并在索引系統中記錄。路由模塊接到數據查詢或者更新命令時，查詢索引系統，查找到要查詢和更新的節點編號，進而查詢和更新數據。

圖3 分布式數據庫代理模型

3 單點故障恢復

內存數據庫雖然在訪問性能上相比磁盤數據庫有很大提升，但由于主存中信息的易失性， 在系統出現故障時， 內存數據庫中的數據將丟失， 為此， 內存數據庫必須提供高效、可靠的恢復機制以使在發生系統故障的時候能將數據庫恢復， 通常內存數據庫采用檢查點和日志的方法來實現系統恢復。檢查點和日志的方法一般都是內存數據庫自帶的，內存數據庫的持久化的數據文件和日志文件與內存數據庫服務處在同一臺服務器上，因此，在發生較大的毀滅性故障時，數據是無法恢復的。因此本文在原有的基礎上，添加磁盤數據庫層，用于內存數據庫的另一個拷貝，并與內存數據庫服務節點分離，處于單獨的節點。同時，考慮單點故障時，數據訪問服務會中斷，因此對內存數據庫采用主從機制，在主節點出現故障時，能切換到從節點上，使數據訪問得以繼續。添加從節點和磁盤數據庫層的設計框架如圖4所示。

MP是內存數據庫的主節點，MS是從節點，H是磁盤數據庫節點。當數據庫代理發送數據更新和插入操作時，由主節點負責，而數據的查詢由從節點執行，這樣讀寫分離可以提高訪問性能。同時，在MP節點出現故障，數據庫代理可以把對主節點的操作平滑轉移到從節點。另外主從節點上都會有數據的全持久化和日志增量備份，當節點上內存數據庫服務出現故障，可以從節點的數據文件或者日志中恢復。但如果是整個節點被破壞，那么就需要從磁盤數據庫節點上來恢復數據。

圖4 單點故障恢復功能模型

此方法確保了在發生單點故障時，數據能夠快速的恢復，并且服務不被中斷。

4 結束語

本文主要研究了基于內存數據庫的存儲集群的分布式數據庫代理和單點故障恢復等關鍵技術的實現原理，從而說明了基于內存數據庫的存儲集群架構在技術上的可行性，闡明了基于內存數據庫的存儲集群能夠解決海量高并發系統的高性能數據存儲和訪問問題，其核心優勢在于：

（1）高性能：是通過內存數據庫提供高性能關系數據庫存取服務；

（2）持久化：通過兩級數據庫及異步寫日志或者磁盤文件完成持久化；

（3） 高可用性：通過主備節點實現MDB的高可用性；二級磁盤數據庫以及持久化日志文件和磁盤文件可以實現數據的快速恢復。

[1] 周游弋，董道國，金城. 高并發集群監控系統中內存數據庫的設計與應用[J]. 計算機應用與軟件，2011，28(6)：128-130.

[2] 肖迎元，劉云生，鄧華鋒，劉小峰. 適合分布式實時內存數據庫的全局一致性模糊備份策略[J]. 計算機科學，2006，33(8)：151-154.

[3] 章宏燦，薛巍，舒繼武. 一種可擴展分布式RAID存儲集群系統[J]. 計算機研究與發展，2008，45(4)：741-746.

[4] 林春. 分布式內存數據庫的恢復[J]. 航空計算技術， 2003，33(2)：90-92.

[5] 王文林，廖建新，朱曉民. 基于VoiceXML的語音平臺緩存一致性控制算法[J] .電子學報，2007，4(4)：1-3.

[6] 許貴平，蔡博克. 支持實時內存數據庫不間斷服務的恢復技術[J]. 計算機工程，2008.3，34(6)：70-71.

[7] 姚恒，薛質. 基于增量日志的數據復制[J]. 信息安全與通信保密，2007.6.

Key technology research of storage cluster based on memory database

ZHANG Liang1,2, WANG Chun1,2, LI Wei1,2
(1 State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications, Beijing 100876, China; 2 EBUPT Information Technology Co., Ltd., Beijing 100191, China)

Storage cluster which based on disk resident database are unable to store and process data in real time due to considerable overheads caused by I/O swapping operations. Therefore storage cluster which based on memory database are a better design proposal. This paper mainly studies the key technologies of the storage cluster which based on memory database including database proxy, the single node recovery.

memory database; storage cluster; database proxy; single node recovery

TN915

A

1008-5599（2012）10-0081-04

2012-09-16

國家自然科學基金（No. 61072057，61101119，61121001，60902051）；長江學者和創新團隊發展計劃資助（No. IRT1049）；國家科技重大專項（No. 2011ZX03002-001-01，移動互聯網總體架構研究）。