基于數(shù)據(jù)半衰期的數(shù)據(jù)倉庫分級存儲研究

曾廣移 盧勇 李德華 李俊超

摘 要：在大數(shù)據(jù)時代，數(shù)據(jù)高速增長，對數(shù)據(jù)倉庫管理方法和技術(shù)提出了全新挑戰(zhàn)，為實現(xiàn)倉儲資源優(yōu)化配置，提高資源使用效率，首次把數(shù)據(jù)半衰期運用于數(shù)據(jù)倉庫分級存儲。傳統(tǒng)固定閾值轉(zhuǎn)存策略存在存儲資源配置不合理的問題，利用半衰期分級存儲策略，對每個數(shù)據(jù)對象進(jìn)行計算分析后轉(zhuǎn)存，采用MPP數(shù)據(jù)倉庫和Hadoop構(gòu)建混合數(shù)據(jù)倉庫存儲架構(gòu)，解決了大數(shù)據(jù)背景下的數(shù)據(jù)存儲與分析，實現(xiàn)了數(shù)據(jù)倉庫管理方法和數(shù)據(jù)存儲架構(gòu)的創(chuàng)新。實際驗證發(fā)現(xiàn)，數(shù)據(jù)半衰期轉(zhuǎn)存策略優(yōu)于固定閾值轉(zhuǎn)存策略，證明數(shù)據(jù)半衰期在數(shù)據(jù)倉庫的管理中有顯著應(yīng)用價值。

關(guān)鍵詞：數(shù)據(jù)半衰期;分級存儲;Hadoop;數(shù)據(jù)倉庫

DOI：10. 11907/rjdk. 181572

中圖分類號：TP319文獻(xiàn)標(biāo)識碼：A文章編號：1672-7800（2019）002-0123-05

Abstract：In the era of big data， the rapid growth of data has brought new challenges to data warehouse management methods and technologies. This paper applies data half-life to hierarchical storage of data warehouses for the first time. The purpose is to optimize the configuration of storage resources and improve the efficiency of resource use. The traditional fixed-threshold save strategy has the shortcoming of unreasonable allocation of storage resources. A half-life storage strategy is used to calculate， analyze and transfer each data object. In terms of technology， MPP data warehouse and Hadoop are used to build hybrid data warehouse storage. The method solves the problem of data storage and facilitates analysis under the background of big data， and realizes the data warehouse management and data storage architecture innovation. The method of verifying the half-life of data by empirical method is better than that of the fixed threshold， which proves that the data half-life has significant application value in the data warehouse management.

Key Words：data half life;hierarchical storage;Hadoop;data warehouse

0 引言

全球知名咨詢公司麥肯錫全球研究院發(fā)布了一份題為《大數(shù)據(jù)：創(chuàng)新、競爭和生產(chǎn)力的下一個新領(lǐng)域》的報告，報告指出2011年后大數(shù)據(jù)將保持每年50%以上的增長速度。2011年全球數(shù)據(jù)增量就達(dá)到了1.8ZB（1.8萬億GB），相當(dāng)于全世界每個人產(chǎn)生200GB以上數(shù)據(jù)。從宏觀角度看，全球數(shù)據(jù)實現(xiàn)爆炸式增長;從微觀角度看，企業(yè)管理數(shù)據(jù)也在高速增長，商業(yè)數(shù)據(jù)更是呈指數(shù)級增長。大數(shù)據(jù)指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)，同時對技術(shù)和工具提出了更高要求。隨著數(shù)據(jù)的快速增長，商業(yè)數(shù)據(jù)倉庫已不能適應(yīng)新業(yè)務(wù)和新應(yīng)用場景的要求，數(shù)據(jù)倉庫不能支撐大數(shù)據(jù)分析與預(yù)測。

傳統(tǒng)商業(yè)數(shù)據(jù)倉庫采用MPP架構(gòu)。數(shù)據(jù)倉庫MPP[2]（massively parallel processing）是將任務(wù)并行地分散到多個服務(wù)器和節(jié)點上，在每個節(jié)點上計算完成后，將各自部分的結(jié)果匯總在一起得到最終結(jié)果。在 MPP 系統(tǒng)中，每個節(jié)點內(nèi)的CPU不能直接訪問另一個節(jié)點的內(nèi)存，節(jié)點之間信息交互通過節(jié)點互聯(lián)網(wǎng)絡(luò)實現(xiàn)。因為MPP系統(tǒng)不共享資源（Share-Nothing），資源水平擴(kuò)展比較容易實現(xiàn)。常見的MPP數(shù)據(jù)庫架構(gòu)如圖1所示。

MPP架構(gòu)特點包括：①通過Scale-Out的方式擴(kuò)展計算能力，存儲也同步線性擴(kuò)展;②適用于結(jié)構(gòu)化數(shù)據(jù)，支持TB級數(shù)據(jù)分析預(yù)測;③存儲空間擴(kuò)容價格昂貴，多采用軟硬件綁定的模式銷售。

由于MPP數(shù)據(jù)倉庫技術(shù)成熟、穩(wěn)定性好，支持在線階段分析與計算，因此運用MMP數(shù)據(jù)倉庫的產(chǎn)品在商業(yè)中被大量采用，如Teradata、DB2等。在數(shù)據(jù)增長緩慢的時代，數(shù)據(jù)倉庫可以發(fā)揮MPP架構(gòu)的優(yōu)點，通過掛載服務(wù)器和存儲設(shè)備，實現(xiàn)資源的水平擴(kuò)展，但是在大數(shù)據(jù)時代，數(shù)據(jù)增長迅速，通過增加服務(wù)器已經(jīng)不能很好解決數(shù)據(jù)倉庫存儲問題，具體包括兩個方面： ①服務(wù)器及存儲設(shè)備的大量增加，會大幅降低數(shù)據(jù)分析能力，運行效率快速下降，無法實現(xiàn)數(shù)據(jù)快速響應(yīng)的要求;②MPP架構(gòu)的服務(wù)器和存儲設(shè)備必須由廠商提供，價格非常昂貴。為了保證數(shù)據(jù)及時和快速響應(yīng)，在早期數(shù)據(jù)倉庫建設(shè)中，并未考慮數(shù)據(jù)分級存儲。大數(shù)據(jù)時代，MPP架構(gòu)的數(shù)據(jù)倉庫暴露了諸多缺點，結(jié)合大數(shù)據(jù)時代的新技術(shù)，本文依據(jù)數(shù)據(jù)生命周期原理，提出對數(shù)據(jù)倉庫進(jìn)行分級存儲的解決方案。許多學(xué)者在數(shù)據(jù)分級存儲領(lǐng)域進(jìn)行了分析與歸納，其中楊文暉對海量空間數(shù)據(jù)的特點和日常數(shù)據(jù)應(yīng)用規(guī)律，提出了基于訪問熱度和聚類關(guān)聯(lián)的海量空間數(shù)據(jù)分級存儲模型，該模型主要包括熱點數(shù)據(jù)分級、關(guān)聯(lián)數(shù)據(jù)分級、數(shù)據(jù)遷移3部分[3]。吳洪橋等[4]針對數(shù)據(jù)中心在線、近線和離線的多級存儲體系架構(gòu)，提出了開展多源、異構(gòu)影像數(shù)據(jù)分級存儲與數(shù)據(jù)遷移規(guī)則的研究，依據(jù)影像數(shù)據(jù)產(chǎn)品鏈與生命周期，提出了分級存儲原則、價值評估要素、分級存儲策略與方法。史敏鴿[5]則從數(shù)據(jù)分級如何在圖書館領(lǐng)域應(yīng)用進(jìn)行了研究。