淺談海量存儲技術(shù)在標準文獻信息系統(tǒng)中的應(yīng)用

摘 要:本文首先分析了現(xiàn)有的標準文獻電子文本存儲方式存在的問題和隱患，然后介紹了文件海量存儲方式的優(yōu)點。文章還介紹了實現(xiàn)海量文件存儲方式中的幾個技術(shù)關(guān)鍵點。文章最后介紹了利用海量文件存儲技術(shù)實現(xiàn)的標準文獻信息系統(tǒng)的應(yīng)用情況，并提出了今后的研究方向。

關(guān)鍵詞:數(shù)據(jù)庫海量存儲存儲規(guī)則同步規(guī)則

中圖分類號:TP274文獻標識碼:A文章編號:1674-098X(2011)09(c)-0228-02

1 標準文獻電子全文存儲現(xiàn)狀

隨著社會生產(chǎn)力的不斷發(fā)展，特別是我國加入WTO以后，各行各業(yè)對產(chǎn)品質(zhì)量的要求越來越嚴格，因此企事業(yè)單位對各類國內(nèi)外標準的需求量以及需求頻率也隨之不斷地上升。以往用戶往往通過紙質(zhì)版的傳統(tǒng)方式獲取標準文本，從客戶提出需求到獲得標準存在著一定的時間差。隨著信息技術(shù)和網(wǎng)絡(luò)技術(shù)的發(fā)展，尤其是Internet技術(shù)的發(fā)展與普及，電子版文本已經(jīng)逐漸取代了傳統(tǒng)紙本成為了人們獲取資料的首選方式，網(wǎng)上實時閱覽、購買的需求越來越強烈。上海市標準化研究院(以下簡稱“我院”)于2004年建立了標準文獻電子閱覽室，用戶可以通過訪問電子閱覽室系統(tǒng)實時閱覽和購買標準全文電子版，所有的標準電子文本存儲和訪問方式全部由Oracle數(shù)據(jù)庫進行管理與實現(xiàn)。隨著標準文獻電子全文數(shù)量的不斷增加，以及電子閱覽室系統(tǒng)的不斷推廣，系統(tǒng)的問題也越來越顯現(xiàn)出來，主要體現(xiàn)在以下兩方面:(1)近幾年來標準文獻電子文本數(shù)量不斷增加，與此同時，電子閱覽室系統(tǒng)的用戶數(shù)和訪問量也在不斷上升，導致了標準電子文本數(shù)據(jù)庫所占用存儲空間的不斷加大，用戶訪問數(shù)據(jù)庫性能日顯低下。隨著用戶并發(fā)數(shù)不斷上升，數(shù)據(jù)庫的讀取(即數(shù)據(jù)庫的I/O量)將會越來越頻繁，用戶訪問數(shù)據(jù)庫的瓶頸問題也會越來越嚴重。(2)對于系統(tǒng)維護來說，由于標準文獻電子文本數(shù)量的不斷增加，導致數(shù)據(jù)庫存儲量的不斷增加，這就對數(shù)據(jù)庫維護帶來了困難，同時也為標準文獻信息服務(wù)平臺正常運維埋下了隱患。

2 文件存儲方式的優(yōu)點以及系統(tǒng)架構(gòu)

與數(shù)據(jù)庫讀取方式相比，文件讀取方式有著較高的效率，同時采用分布式文件服務(wù)器方式，能夠隨著電子文本數(shù)量的不斷增多，靈活地對文件服務(wù)器進行擴展，而不影響整個應(yīng)用系統(tǒng)的性能。在標準文獻領(lǐng)域，越來越多的國際化標準組織和機構(gòu)開始逐步運用文件海量存儲技術(shù)，向用戶提供標準文獻資料。如IHS(Information Handling Services，全球最大的標準索引系統(tǒng)開發(fā)商和標準數(shù)據(jù)庫制造商)，BSI(英國標準化協(xié)會)，AFNOR(法國標協(xié)集團)，ASTM(美國試驗與材料協(xié)會)等國際與國家標準化組織機構(gòu)和協(xié)會，他們都有自己的網(wǎng)站，用戶通過網(wǎng)站可以檢索到所需的標準文獻資料，并且可以通過網(wǎng)站進行在線購買。

為了進一步提高上海市標準信息服務(wù)系統(tǒng)的標準文獻電子文本的訪問效率，達到“性能高效、使用便捷、安全可靠、便于推廣”的建設(shè)預期，我們提出以文件存儲方式取代目前的數(shù)據(jù)庫存儲方式，以提高電子全文的存取效率，通過對結(jié)構(gòu)化存儲處理技術(shù)的研究與應(yīng)用，實現(xiàn)便捷、可控、高性能的標準文獻電子全文的閱覽與打印。首先，通過對存儲規(guī)則的研究以及對文件服務(wù)器的規(guī)劃，并采用存儲路徑的分層管理技術(shù)，實現(xiàn)標準文獻電子全文的海量存儲和格式化存儲。其次，通過制定靈活的存儲規(guī)則，運用標準全文存儲動態(tài)分配技術(shù)，根據(jù)標準全文存儲策略和服務(wù)器負載情況，動態(tài)將標準全文存儲到不同文件服務(wù)器上，同時按照電子文本的使用率進行電子文本存儲的調(diào)整，以此來提高電子文本調(diào)用的效率。通過對現(xiàn)有應(yīng)用的改造，客戶端會根據(jù)文件服務(wù)器優(yōu)先的方式，先從文件服務(wù)器讀取電子文版，若沒有取到，則從數(shù)據(jù)庫服務(wù)器讀取。通過一段時間內(nèi)對讀取次數(shù)的統(tǒng)計，動態(tài)調(diào)整標準全文的存儲位置。

3 系統(tǒng)實現(xiàn)中的關(guān)鍵技術(shù)介紹

3.1 標準文獻全文存儲規(guī)則的制定

目前，標準文獻系統(tǒng)中的電子全文是以數(shù)據(jù)庫的方式進行存儲，應(yīng)用系統(tǒng)采用基于數(shù)據(jù)庫的SQL語句調(diào)用電子全文，隨著用戶訪問數(shù)和標準電子全文數(shù)量的不斷增加，這種訪問方式造成數(shù)據(jù)庫性能低下的狀況日顯突出。如采用將標準電子全文以文件方式存儲于文件服務(wù)器中，應(yīng)用系統(tǒng)采用讀取文件的方式調(diào)用電子全文。隨著用戶數(shù)和訪問負載不斷增加，這種方式可靈活地增加文件服務(wù)器，以解決因訪問負載增加而產(chǎn)生的性能瓶頸問題。由于標準文獻電子全文的數(shù)量比較龐大，為了達到快速定位電子全文的目的，我們需要制定一套標準文獻全文存儲規(guī)則，實現(xiàn)對所需的電子全文進行較快的定位，因此如何在最短時間內(nèi)以最快的速度對文件服務(wù)器中的所需的電子全文進行定位成為了該研究項目中的技術(shù)關(guān)鍵點。

在課題調(diào)研階段，我們對現(xiàn)有的標準文獻電子閱覽室系統(tǒng)以及現(xiàn)有的電子全文存儲方式和存儲情況進行了調(diào)研分析。原先的標準文獻電子全文在Oracle 10g數(shù)據(jù)中以BLOB字段的形式存放，其實質(zhì)上是一個個PDF文件，因此我們考慮可以以文件方式替代目前的數(shù)據(jù)庫方式存儲。目前數(shù)據(jù)庫中已有電子全文近40萬個，即在數(shù)據(jù)庫中有40萬條記錄，每條記錄均有一個唯一的序列號。使用過Windows操作系統(tǒng)或者Unix操作系統(tǒng)的用戶都知道，如果一個目錄下存放的文件過多，會影響系統(tǒng)使用的效率，同時也會降低文件定位的效率。為此，我們考慮采用多級目錄的方式存放這些文件，實現(xiàn)文件存儲與快速定位。考慮到根據(jù)電子文件的序列號長度以及今后的增長趨勢，我們采用3級目錄方式，第一級與第二級目錄中最多可存放100個子目錄，最底層的目錄中存放的文件數(shù)不超過1000個。這樣既解決了文件海量存儲的問題，同時也不會降低文件定位的效率。

以下是數(shù)據(jù)庫存儲方式與文件存儲方式的比較(經(jīng)過實際測試后得出)表1。

通過比較，我們可以發(fā)現(xiàn)，兩種存儲方式除了在存儲介質(zhì)上有所不同之外，實際的文件定位平均耗時基本相同。而且專用存儲設(shè)備的價格較高，以同樣一塊146G硬盤進行比較，專用設(shè)備(CX-2G 10-146U FC 146GB 10K 520B 2GB)的價格是普通服務(wù)器硬盤(XM371-SAS 146GB，2.5-inch)價格的4-5倍。通過比較我們發(fā)現(xiàn)，采用文件方式進行存儲可以得到較高的性價比。

另外，考慮到單臺文件服務(wù)器的容量有限，我們在存儲規(guī)則中加入了可擴展機制，即可動態(tài)擴展文件服務(wù)器的數(shù)量，以滿足不斷增長的文件數(shù)量。最后，為了保證標準文獻電子閱覽室系統(tǒng)的不間斷運行，我們增加了備份機制，即設(shè)置一臺文件服務(wù)器作為備份服務(wù)器，一旦正式服務(wù)器出現(xiàn)故障無法正常運行，系統(tǒng)可在最短時間內(nèi)將備份服務(wù)器切換到正式系統(tǒng)中對外提供服務(wù)。

3.2 電子全文文件服務(wù)器同步規(guī)則的制定

根據(jù)標準電子全文管理現(xiàn)狀，在提高訪問標準電子全文性能的同時，又要顧及文件服務(wù)器的存儲容量。因此我們設(shè)計文件服務(wù)器系統(tǒng)時充分考慮現(xiàn)有管理狀況，制定可根據(jù)標準文獻各應(yīng)用系統(tǒng)對標準文獻電子全文調(diào)用頻率的統(tǒng)計，動態(tài)調(diào)整電子全文的存儲位置的同步規(guī)則，即將一定時間內(nèi)使用較頻繁的電子全文存儲在文件服務(wù)器上，而將較少使用的電子全文從文件服務(wù)器上移除掉，使文件服務(wù)器始終處于合理使用容量之中。

在文件服務(wù)器系統(tǒng)中，設(shè)置了打開同步功能與關(guān)閉同步功能，用戶可根據(jù)實際需要打開或關(guān)閉同步功能。另外，系統(tǒng)中還設(shè)置了自動同步功能與手動同步功能，自動同步功能可根據(jù)一定時間范圍內(nèi)電子全文累計使用情況進行自動同步;而手動同步則可按照特殊要求，手動將需要同步的標準同步到文件服務(wù)器。

3.3 電子全文文件服務(wù)器同步功能的研究與開發(fā)

目前的標準文獻服務(wù)系統(tǒng)與電子閱覽室系統(tǒng)中，調(diào)用電子全文的方式為直接連接數(shù)據(jù)庫，讀取相關(guān)全文表獲取全文。隨著電子全文存儲方式的調(diào)整，文件的讀取方式也由原先的直接讀寫數(shù)據(jù)庫改成了直接訪問文件方式。為此，標準文獻服務(wù)系統(tǒng)與電子閱覽室系統(tǒng)中的相應(yīng)功能模塊必須根據(jù)應(yīng)用的需要進行相應(yīng)調(diào)整:標準文獻服務(wù)系統(tǒng)主要供內(nèi)部工作人員使用，工作人員在該系統(tǒng)中根據(jù)不同的操作權(quán)限可以進行讀取全文、保存全文、維護全文等操作。電子閱覽室系統(tǒng)主要向公網(wǎng)用戶提供服務(wù)，用戶通過該系統(tǒng)可以讀取全文、保存全文。通過對這兩個系統(tǒng)訪問全文的實際情況，首先在文件服務(wù)器上設(shè)置FTP服務(wù)，分別設(shè)置兩個賬號，一個是只讀賬號，用于讀取電子全文，另一個是讀寫賬號，用于讀取與維護全文。接著分別對這兩個系統(tǒng)的訪問全文的功能模塊進行調(diào)整:將原先讀取全文模塊與保存全文模塊改為由只讀賬號讀取全文，將原先維護全文模塊改為由讀寫賬號上傳全文(即維護全文)。

4 海量存儲技術(shù)應(yīng)用現(xiàn)狀及展望

我院在原有標準文獻電子閱覽室的基礎(chǔ)上，通過對以上技術(shù)以及規(guī)則的研究與運用，成功開發(fā)了標準文獻電子全文文件服務(wù)器系統(tǒng)，實現(xiàn)了標準文獻電子全文的文件化存儲與動態(tài)管理;將標準文獻電子全文文件服務(wù)器系統(tǒng)成功地應(yīng)用于B/S結(jié)構(gòu)的“上海市標準服務(wù)信息系統(tǒng)平臺”與C/S結(jié)構(gòu)的“標準文獻信息服務(wù)系統(tǒng)”，建立了全新的、基于文件服務(wù)器系統(tǒng)的電子全文訪問方式，替代了原先的數(shù)據(jù)庫訪問方式，實現(xiàn)了海量全文的存儲，并且實現(xiàn)了文件的快速定位，與原先的數(shù)據(jù)庫存儲方式相比，存儲方式更為簡潔明了，文件定位的速度與原先存儲方式下的定位速度也無明顯的差別。這些技術(shù)的實現(xiàn)，對于發(fā)展全文數(shù)據(jù)庫檢索系統(tǒng)具有重要的理論意義和實際價值，使上海標準文獻數(shù)據(jù)庫系統(tǒng)達到國內(nèi)領(lǐng)先水平。

由于標準文獻本身的動態(tài)性及其與國民經(jīng)濟發(fā)展的緊密結(jié)合性，標準文獻電子閱覽室系統(tǒng)必將面臨電子全文種類與數(shù)量不斷增加以及用戶數(shù)量與需求量不斷擴大的問題，可能會對標準文獻電子文件存儲以及相應(yīng)系統(tǒng)的使用產(chǎn)生影響，因此我們需要定期對文件存儲的情況以及用戶使用情況進行跟蹤與分析，并對可能產(chǎn)生的問題進行及時地調(diào)整與處理，以保證系統(tǒng)的穩(wěn)定性。

參考文獻

[1]鄭益光.海量存儲技術(shù)及其在高校圖書館中的應(yīng)用，2006.

[2]崔愛軍.數(shù)字圖書館與網(wǎng)絡(luò)存儲技術(shù)，2003.

[3]張江陵，金海.信息存儲技術(shù)原理.華中科技大學出版社，2000.