云環境下的分層數據倉庫架構及其服務研究

摘 要：本文通過深入研究現存的各種云數據倉庫，提出新的云數據倉庫分層設計方案，該方案把云數據倉庫分為三層，基礎設施層、平臺層和分析軟件層，并對各層提供的服務進行展開敘述。

關鍵詞：數據倉庫服務；云計算；非關系型數據庫

中圖分類號：TP311.138 文獻標識碼：A文章編號：2096-4706（2018）01-0180-02

Hierarchical Data Warehouse Architecture and Its Service Research in

the Cloud Environment

ZHAO Jialing

（Zhaoqing University Information Center，Zhaoqing 526061，China）

Abstract：In this article，through in-depth study of the existing various cloud data warehouse，puts forward new cloud data warehouse design scheme，this scheme is divided into three layers，the cloud data warehouse infrastructure layer，platform layer and layer analysis software，and the services provided by each layer are described.

Keywords：data warehouse services；cloud computing；non-relational databases

1 簡 介

數據倉庫伴隨著商業信息系統的發展而不斷演化，傳統的數據倉庫是由運行于傳統服務器上的關系型數據庫為主，隨后數據資源和數據系統的種類不斷擴展，數據倉庫部署的環境不斷變化，出現了大規模并行處理系統。伴隨著云計算的浪潮，其運行系統包括了公有云、私有云和混合云，其實體建立在簡單服務器集群中[1]。

本文旨在解決以下問題：如何在大數據資源云計算的基礎上，對傳統數據倉庫架構進行重新的設計和定義，從而使得其滿足當前運行系統的應用需求。

2 云數據倉庫總體架構及各層提供的服務

云數據倉庫架構是為了滿足大數據的存儲和運算而設的，其實體，搭建在大量成本低的計算機群之上。

該架構的終端用戶包括了數據倉庫的管理者、開發者和使用者，而使用者又分為普通使用者和專業級使用者。對于所有用戶來說，后臺的數據存儲、管理、分析等進程都是“屏蔽”的，用戶可以通過最簡潔明了的視窗，對基于網絡的分析服務系統，進行交互式的訪問。

該架構通過分層設計，從下而上，分為基礎設施層、平臺層和分析軟件層，具有一定的可遷移性，方便與其他系統進行整合。以下將就各層所提供的服務進行展開論述。

2.1 基礎設施層提供的服務

該層包括了兩個“子”層，分別是硬件資源層和基礎設施資源層。硬件資源層通過對大量的普通服務器部署虛擬機，來提供低級別的物理設施的抽象化服務。每臺虛擬機可視作用來計算和存儲的節點。而基礎設施資源層則是通過部署在虛擬機的軟件設施來提供“Hadoop服務”。“Hadoop服務”是針對開源Hadoop框架的相關部署服務，由“計算服務”與“存儲服務”兩部分服務所組成。所謂的“計算服務”是在每臺用于處理分布式數據的虛擬機上都實現MapReduce范例。“存儲服務”所提供的數據存儲服務，涉及兩種存儲技術，分別是分布式數據存儲系統和非關系型數據庫存儲技術[2]。

2.2 平臺層提供的服務

該層位于本文所提出的分層云數據倉庫架構模型的中間層，“數據倉庫平臺服務”。這里服務提供商不僅可為用戶提供“量身訂造”的數據管理架構，還能為數據處理應用程序和名為“數據倉庫服務”的腳本語言提供運行的環境。

該層為存儲于非關系型數據庫的數據倉庫構建了邏輯模型，“數據倉庫服務”支持用戶在大數據集基礎上搭建數據分析應用程序，目前，“數據倉庫服務”面臨一個問題，即如何有效整合多渠道多類型的數據資源，從而為終端用戶提供一個統一的前臺用戶界面。而如何針對大數據的4V特征，設計出高效能的“數據倉庫服務”，或許是決策系統未來的研究方向。

該層提供以下六大主要服務：

（1）設計服務。該服務是指針對數據倉庫的設計和建模而開展的服務。該設計服務旨在根據客戶的需求以及服務提供商的實際能力，來設計出大數據分析系統的前臺和后臺的模型。該類服務提供隨需應變的數據倉庫設計服務，以確保能在非關系型數據庫中設計并實現數據倉庫模型，并提供了擁有功能強大的工具箱以輔助終端用戶完成各種內部事務。

（2）元數據服務。該服務旨在支持元數據的管理，促進所有服務之間的信息共享和交流。該服務負責維護數據倉庫的元信息，以及系統配置和系統狀態信息，保護可用的數據資源，維護已注冊的終端用戶信息，維護可用的節點。具體的信息內容包括了：鏈接參數，比如非關系型數據庫定位及證書；元數據，比如計算機集群里包含的數據集、副本定位信息、數據分區特性等。該類服務存儲了所有關于表格的信息，包括了：表格所在分區、表格的模式、表格中列及其類型、表格的定位信息等等。用戶可通過不同的網頁服務接口，對以上信息進行查詢和修改。

（3）管理服務。該服務為了讓數據倉庫的管理者完成對終端用戶賬戶的管理、定制服務配置以及及時報告平臺使用和性能狀況，而提供必要的網絡工具。“數據倉庫管理服務”所提供的服務，包括了系統與相關軟件的安裝，系統運行的監測，數據庫系統相關配置，補丁、備份和災難恢復，事件響應，及故障排除，并對操作系統運行所在的物理及虛擬服務器提供維護服務。

（4）提取、轉換、加載服務。該服務是在MapReduce范例的基礎上，提供專門的連線模式來定義其主要任務。該服務在Hadoop框架中，執行一系列的MapReduce處理任務，比如從HDFS（基于Hadoop的分布式文件存儲系統）讀取數據，并遵循非關系數據倉庫的格式要求，把這些數據輸進非關系數據庫中。

（5）查詢管理服務。該服務主要負責對任何輸入的請求進行接收和調度。它針對終端用戶請求的生命周期各個階段，包括編譯、優化、執行、各階段的進程，展開管理。當前數據倉庫已被設定為一種情形，即數據資源是固定不可變動的，但這種情形在云環境下會被徹底打破，只要有需求，在任何時間點，任何數據資源都可以使用并可變動，而這顯然是傳統數據倉庫所不能滿足的。該服務主要負責執行終端用戶的查詢，根據“元數據服務”所存儲的數據，生成查詢服務的執行計劃。

（6）數據傳輸服務。該服務負責把數據從存儲系統傳輸到整個體系架構的頂層，即數據倉庫分析軟件服務。該頂層通過對傳輸上來的數據進行處理和利用，從而執行腳本和完成數據查詢任務，其運行結果是生成報告以及可視化的頁面和控制面板等。

2.3 數據倉庫分析軟件提供的服務

（1）可視化服務。該服務以直觀圖或圖表形式來展示數據。一直以來，人類依賴于一切可視化的顯示方式，比如示意圖、圖表等，以便簡潔快速完成對相關信息的理解。隨著越來越多的數據被收集和分析，各級的決策者們均對“數據可視化服務”表示極大的歡迎，因為它能幫助他們直觀地看到分析的結果，挖掘海量的變量之間的關聯，方便他們之間進行相關概念和研究設想的溝通交流，甚至提供一種對未來預測的可能。“大數據可視化服務”是以最通用的方式來表達信息，讓用戶之間的信息溝通更方便容易。

（2）大數據挖掘服務。該服務包含了對海量數據的抽取和分析，從而實現對大數據的建模。而從大數據中抽取信息一般采取兩種形式：預報和描述。正是由于傳統的方法難以實現對數據的有效可視化，因此催生出“大數據挖掘服務”。該服務使得終端用戶可以通過使用各種類的數據挖掘算法，可實現對大數據挖掘模型的設計、創建以及可視化的過程。

（3）大數據在線分析處理服務。該服務旨在幫助用戶進行大數據分析，進而對多重非關系型數據庫或者分布式文件系統中所傳播的信息，實現有效的解讀。該服務通過聯機分析技術，支持終端用戶對大數據整合后的多維度結構進行設計、搭建和管理，讓用戶以最便捷的方式，實現對大數據有選擇的抽取，并以不同視窗的方式，實現可視化的呈現。該服務為支持用戶對大數據的查詢和分析，提供了一系列的聯機處理“多維度數據集”操作。

（4）大數據控制面板服務。控制面板是一種用戶交互界面，通過圖像化的直觀顯示出某個組織的現狀及發展趨勢相關的核心指標數據，便于決策者第一時間掌握最全面的參考訊息。該服務支持終端用戶通過簡單點擊相關按鈕，即可在控制面板完成數據的訪問、合并，并以可視化的方式呈現。

（5）大數據報告服務。該服務為終端用戶提供種類各異的即用型服務，后臺通過面向特征的編程，使得前臺能夠為終端用戶分類提供相應的服務，比如對普通用戶，則提供一系列的用戶創建報告和管理報告的工具，對開發者，則提供各種應用程序接口，用于整合、擴展數據，進而形成自定義應用程序的進程報告。在用戶界面上，該服務主要提供形式自由的報告，包括了交互式的、表格化的和圖形化的報告。

3 結 論

在未來的研究中，將著重研究本文提及的數據倉庫平臺層，并對開發的細節展開研究。

參考文獻：

[1] 張聰，錢松榮.基于數據倉庫的企業智能決策研究 [J].微型電腦應用，2017（5）：45-48+55.

[2] 李詢，陳通海，周凱.淺析云分布臺站數據庫 [J].中國無線電，2015（5）：63-64.

作者簡介：趙嘉凌（1979-），女，廣東肇慶人，計算機工程師，廣東工業大學軟件工程碩士。現研究方向：大數據挖掘，數據分析，云計算。