基于云數(shù)據(jù)庫的高校數(shù)字圖書館升級方案研究

邱芬　朱宜炳

【摘 要】隨著移動互聯(lián)網(wǎng)的發(fā)展，高校數(shù)字圖書館建設(shè)開始進(jìn)入“云”時代。傳統(tǒng)的數(shù)字圖書館采用關(guān)系數(shù)據(jù)庫和普通文件系統(tǒng)存儲電子書籍，存在著諸多不便。如何將其平滑過渡到云圖書館是一個值得研究的課題。本文分析了傳統(tǒng)數(shù)字圖書館面臨的問題，提出了一種基于HBase技術(shù)的升級方案，該方案屏蔽了NoSQL與SQL數(shù)據(jù)庫之間的差異，無需對原有數(shù)字圖書館系統(tǒng)做二次開發(fā)，即可訪問Hadoop系統(tǒng)中存儲的數(shù)字資源。

【關(guān)鍵詞】HBase；云圖書館；應(yīng)用研究

1 高校數(shù)字圖書館建設(shè)現(xiàn)狀

隨著移動互聯(lián)網(wǎng)和智能設(shè)備的蓬勃發(fā)展，隨時隨地進(jìn)行無紙化學(xué)習(xí)變得越來越重要，各大高校開始著手于數(shù)字圖書館建設(shè)以順應(yīng)這一趨勢[1]。由于師生對數(shù)字圖書需求的日益多樣化，以及數(shù)字圖書的數(shù)據(jù)量和數(shù)據(jù)種類呈指數(shù)增長，圖書存儲對服務(wù)器空間的需求也急劇膨脹，非結(jié)構(gòu)化數(shù)據(jù)的存儲需求突出[2]。同時師生對數(shù)字圖書服務(wù)的及時性要求越來越高，使得高效存儲和管理豐富的數(shù)字圖書對資源和資金的消耗成為高校圖書館沉重的負(fù)擔(dān)[4]。

由于歷史原因，很多高校的數(shù)字圖書館系統(tǒng)缺乏頂層設(shè)計和統(tǒng)一規(guī)劃，主要采用Sybase、DB2和Oracle等關(guān)系數(shù)據(jù)庫存儲數(shù)字圖書。隨著數(shù)字圖書數(shù)量快速增加，全部采用關(guān)系數(shù)據(jù)庫存儲其成本較高，易用性和時效性也得不到保障。而且相當(dāng)數(shù)量的數(shù)字圖書體積較大，并不適合存進(jìn)關(guān)系數(shù)據(jù)庫，如果采用文件式存儲，數(shù)據(jù)的安全性、靈活性和擴展性都會受到極大的限制，也又不利于數(shù)字圖書的備份、檢索和統(tǒng)計[3]。而且，有些數(shù)字圖書業(yè)務(wù)獨占一個數(shù)據(jù)庫，數(shù)據(jù)冗余度高、共享性差。因此，傳統(tǒng)的數(shù)字圖書存儲方案日益滿足不了高校對數(shù)字圖書服務(wù)的需求，因此進(jìn)行海量數(shù)字圖書存儲方案的研究是十分有必要的[5]。

2 云圖書館技術(shù)研究

基于Hadoop或Spark的云計算方案對海量數(shù)據(jù)進(jìn)行云存儲是當(dāng)前計算機領(lǐng)域的研究熱點。云計算是一種按需交付和使用信息服務(wù)的模式，它是服務(wù)器的橫向擴展。而云存儲則是云計算的基礎(chǔ)，云存儲通過計算機網(wǎng)格和分布式協(xié)同處理系統(tǒng)將網(wǎng)絡(luò)中大量不同類型的存儲設(shè)備集接，作為一個服務(wù)體系對外提供接口供各種客戶端訪問，這種存儲對用戶是透明的。對于高校的數(shù)字圖書館而言，不僅要能夠存儲海量圖書數(shù)據(jù)，還要能對數(shù)據(jù)進(jìn)行高速I/O， 由于Hadoop在云計算和云存儲領(lǐng)域具有很高的人氣，很多商業(yè)公司采用Hadoop軟件構(gòu)建自己的私有云，因此本文選擇Hadoop開源框架解決種需求[6]。

首先，Hadoop以一種可伸縮且高效的方式處理圖書文檔。由于HDFS具有心跳算法、數(shù)據(jù)塊冗余、數(shù)據(jù)流式訪問等機制，自動維護(hù)著數(shù)字圖書的多個副本，因此具有較高的容錯性，可以保障數(shù)字圖書的安全性和完整性，非常適合圖書館信息化建設(shè)對文檔的分布式存儲需求。其次，Map/Reduce框架將對數(shù)字圖書的CRUD訪問分解為并行的Map任務(wù)和Reduce任務(wù)。兩類任務(wù)都可以運行在多臺服務(wù)器上，從而可以輕易處理PB級圖書數(shù)據(jù)。

HBase是Apache基金會Hadoop項目的子項目，是一個適合存儲非結(jié)構(gòu)化數(shù)據(jù)的云數(shù)據(jù)庫，與一般的關(guān)系數(shù)據(jù)庫不同，HBase以表的形式存儲數(shù)據(jù)，但是其基于列而不是基于行的模式。盡管每個HBase表由行和列組成，但每列只屬于一個特定的用戶。每個元素在底層HDFS系統(tǒng)中保存了多個版本，由時間戳來標(biāo)識。行并作為檢索記錄的主鍵，也是數(shù)據(jù)在表中的唯一標(biāo)識。HBase在HDFS之上提供了與Google公司BigTable類似的能力，和BigTable提供的分布式數(shù)據(jù)存儲一樣，HBase也實現(xiàn)了基于云存儲的具有高性能、高可靠、列存儲、可伸縮的分布式數(shù)據(jù)庫系統(tǒng)，可用于存儲用戶的非結(jié)構(gòu)化數(shù)據(jù)[3]。

3 本方案技術(shù)路線

本文采用研究學(xué)習(xí)與應(yīng)用開發(fā)相結(jié)合的方式，首先深入研究了Hadoop的系統(tǒng)架構(gòu)和HDFS的運行原理，接著對Hadoop數(shù)據(jù)文件的讀寫機制和Hadoop性能調(diào)優(yōu)進(jìn)行了研究和分析，基本研究思想是：首先使用Hadoop架構(gòu)中的HDFS實現(xiàn)數(shù)字圖書云存儲系統(tǒng)，然后在HDFS基礎(chǔ)上使用HBase技術(shù)構(gòu)建一個分布式的、面向列的云數(shù)據(jù)庫，最后使用開源的Phoenix引擎將針對圖書數(shù)據(jù)的SQL訪問轉(zhuǎn)化為針對HBase的NoSQL調(diào)用，從而避免大規(guī)模修改原有的數(shù)字圖書館系統(tǒng)。本方案的實現(xiàn)步驟如下：

（1）在圖書館服務(wù)器集群上構(gòu)建HDFS云存儲系統(tǒng)。傳統(tǒng)關(guān)系型數(shù)據(jù)庫在數(shù)字圖書館建設(shè)中一直扮演著圖書存儲的重要角色。由于數(shù)字圖書數(shù)據(jù)一旦寫入很少再修改，也較少有事務(wù)要求，Hadoop的設(shè)計建立在更多地響應(yīng)“一次寫入、多次讀取”的基礎(chǔ)上，數(shù)據(jù)集一旦生成就較少修改，然后自動復(fù)制到不同的存儲節(jié)點中，不僅提高了可靠性，也提高了系統(tǒng)帶寬，故使用Hadoop來處理數(shù)字圖書尤為合適[3]。

（2）使用HBase技術(shù)在HDFS云存儲系統(tǒng)之上構(gòu)建分布式云數(shù)據(jù)庫。HDFS存儲系統(tǒng)不適合處理低延遲的用戶請求，也難以高效管理海量小文件。HBase可以彌補這兩條不足。HBase通過使用緩存和多Master設(shè)計來降低來自Client的數(shù)據(jù)訪問壓力，以減少延時；同時利用MapFile、SequenceFile等方式對小文件進(jìn)行壓縮打包，讓HDFS存儲系統(tǒng)能高效地處理好小體積的數(shù)字圖書。

（3）使用開源的Phoenix引擎將針對云數(shù)據(jù)庫的SQL訪問轉(zhuǎn)化為NoSQL訪問。Phoenix引擎出自Salesforce公司，是一個實現(xiàn)SQL到NoSQL轉(zhuǎn)換的項目，其可以高效地通過SQL語句操縱HBase或者M(jìn)angoDB數(shù)據(jù)庫，用戶通過JDBC接口與其進(jìn)行交互，就像訪問傳統(tǒng)的關(guān)系數(shù)據(jù)庫一樣。

（4）將原有數(shù)字圖書館系統(tǒng)的關(guān)系數(shù)據(jù)庫訪問地址映射為新的云數(shù)據(jù)庫訪問地址。很多高校的數(shù)字圖書館建設(shè)在軟硬件上已經(jīng)投入了大量的資金，在不影響原系統(tǒng)運行的前提下可以平滑實現(xiàn)關(guān)系數(shù)據(jù)庫到云數(shù)據(jù)庫的過渡。

4 總結(jié)

本方案如果能夠順利實施，將有利于提高圖書館對信息資產(chǎn)的管理水平，從而為廣大師生提供更加便利的在線學(xué)習(xí)服務(wù)。通過對HBase和HDFS等技術(shù)的研究，結(jié)合圖書館對海量數(shù)字圖書存儲的實際需求，設(shè)計的方案具有以下優(yōu)點：（1）存儲容量動態(tài)可擴展。系統(tǒng)中大量服務(wù)器協(xié)同工作，可以在不影響系統(tǒng)運行的前提下動態(tài)擴展，滿足數(shù)字圖書存儲規(guī)模日益增長的需要。（2）信息資源虛擬化。基于HBase的云數(shù)據(jù)庫對于使用者是透明的，用戶無需關(guān)心數(shù)據(jù)如何存儲，原有MIS系統(tǒng)也只需要做少量修改。（3）高可靠高。Hadoop的多副本和快速恢復(fù)等機制可以充分保障數(shù)據(jù)的可靠性。而且HBase和Phoenix引擎可以部署在普通服務(wù)器上，從而為圖書館部門節(jié)省成本的同時提高設(shè)備使用效率。因此本方案對數(shù)字化校園建設(shè)中的數(shù)據(jù)存儲和服務(wù)器使用規(guī)劃都具有一定的參考價值。

【參考文獻(xiàn)】

[1]朱錦益.大數(shù)據(jù)時代數(shù)字化圖書館建設(shè)[J].圖書檔案，2016，2.

[2]林志生.云計算技術(shù)在高校圖書館管理中的應(yīng)用[J].產(chǎn)業(yè)與經(jīng)濟(jì)論壇，2016，15（6）.

[3]王慶波，金涬，何樂等.虛擬化與云計算[M].電子工業(yè)出版社，2012：110-180.

[4]劉安定.云環(huán)境下圖書館信息資源建設(shè)的機遇[J].赤峰學(xué)院學(xué)報，2016，3.

[5]張興旺.云圖書館基礎(chǔ)理論研究與進(jìn)展[J].圖書館論壇，2012，9.

[6]高新成.基于Hadoop的校園云存儲系統(tǒng)的研究[J].陜西理工學(xué)院學(xué)報，2012，8.

[責(zé)任編輯：朱麗娜]