分布式數據庫技術在大數據中的應用

文/胡世昆

隨著互聯網技術的不斷發展，網絡數據的種類和數量增長迅速，對數據存儲、分析和管理的需求也越來越高，然而傳統的由運營商小型機建立的數據庫系統已經不能適應大數據發展的要求，不管是在架構，還是在成本和分析能力等都出現瓶頸或者困難，而分布式數據庫技術可以有效解決這個問題，實現大數據的整合、分析和處理。

1 大數據應用分布式數據庫的意義

在大數據時代，傳統的集中式數據庫已經不能滿足人們的要求，亟需更新處理方式，而分布式數據庫就在這種形勢下應運而生。與傳統集中式數據庫相比，分布式數據庫主要有以下幾個優勢：首先，分布式數據庫的擴展能力強大，數據存儲方面有優勢。其次，能夠有效節省成本。在大數據背景下 ，采用原有的集中式數據庫，對其進行擴容時會花費大量的資金，不僅成本巨大 ，而且效果有限，而分布式數據庫用較少資金就能進行擴容處理。再者，分布式數據庫對大數據的存儲、分析和處理更加容易和快捷，讓它的用戶在數據處理上有著很大的優勢。

2 應用分布式數據庫的關鍵技術

2.1 MPP+Shared Nothing架構技術

分布式數據庫應用大規模并行處理（MPP）技術，由多個處理單元構成，每個單元有自己的資源，用來計算和存儲，以及運行軟件。分布式數據庫能夠提供動態擴展的方式，由多個處理單元通過節點互聯網，協同完成相同的任務，進行信息交互。因為每個節點只能訪問本地資源，沒有異地訪問的問題，所以是一種完全無共享（Shared Nothing）的結構。數據分布到系統的節點上，進行存儲、加載和查詢，在服務器上自動并列運行。

2.2 混合存儲技術

分布式數據庫的數據可以支持混合方式組織和存儲，混合存儲對數據的查詢、統計和分析有很大的優勢，在大數據場景中應用廣泛?；旌洗鎯χ饕幸韵聨讉€優點。

2.2.1 靈活性高

混合存儲數據，可以根據應用需求或格式的不同，采用不同的存儲和壓縮方式，很大程度上提高了配置的靈活性，如圖1所示。

2.2.2 響應速度快

在進行查詢語句時，傳統數據庫技術需整行取出數據，而混合存儲只需讀取所需列，不需讀取其他列，大大提高查詢的性能和響應速度。

2.2.3 擴展性高

分布式數據庫的存儲格式可進行細分，性能也不會下降數據的可擴展性較高。

2.3 透明壓縮技術

高效透明壓縮技術能按照數據類型和分布規律，選擇最優壓縮法，并設置多種壓縮選項，對性能與壓縮比進行靈活平衡，且過程對用戶透明。分布式數據庫的列數據包內是內容相關較高的同構數據，容易壓縮，數據占用空間小。壓縮后數據加載和查詢性能也加快很多倍。

2.4 智能索引技術

分布式數據庫的智能索引是建立在數據包的粗粒度索引。在下載數據時，每個數據包可自動建立，進行過濾和統計信息。粗粒度的智能索引包含描述數據依賴關系的高級信息，能準確識別數據包，可解決復雜的數據連接和查詢?？勺詣咏祿恚恍枋止そ⒑途S護。而且智能索引占空間少，擴展性強，后續的數據包建立索引速度也不會受到影響，速度快。查詢數據時也不需要解包，對復雜信息查詢的優化效果好。

3 分布式數據庫技術的應用

3.1 負載支撐混合應用

分布式數據庫支持各種類型的應用，如數據裝載和加工、數據計算和更新等操作。大數據下分布式數據庫的使用，不再局限于單一數據庫，能夠對數據進行很好地篩選、加工和處理，并通過索引技術以及并發機制能支持數據的混合負載場景，滿足業務上的需要。

3.2 管理大批量業務

分布式數據庫的技術可以實現對大規模的數據及大批量業務的承載，因此可以同時承載大量的業務用戶。通過高效的負載管理，使系統中各類作業都有條不紊地運行，從而提高整體運轉量。而且分布式數據庫技術的負載管理可以為用戶提供數據優先級管理、作業并發度控制等功能。

圖1：混合存儲圖

3.3 滿足高查詢需求

在大數據下的自助服務查詢的業務中，往往要面向數量龐大的客戶提供查詢服務，在高峰期的訪問量大，因此要求自助服務查詢數據庫具有支持高訪問量的功能。而分布式數據庫在實際應用中支持數百個并發查詢任務，且在1億條記錄規模以內的數據查詢，可以在2小時以內處理完成。

3.4 滿足高加載需求

分布式數據技術可以實現日匯總數據30億條，加載效率高，最快可達2萬條/秒，能夠滿足大數據下對于高訪問量的加載量，而且速度快，不用擔心數據量大而造成的查詢時間緩慢。

4 結束語

大數據環境下，分布式數據庫對于提高數據的查詢和處理功能有著重要的作用。加強對分布式數據庫技術的研究與應用，對運營商系統的靈活性與擴展性，提升對用戶的服務質量有很大的幫助，也是適應新時代網絡數據大爆炸，解決數據問題的重要途徑。