列存儲數據庫關鍵技術分析

王海波

摘 要：列存儲數據庫具有廣泛的應用價值，不僅能夠進行數據的批量處理，還能夠進行即時查詢。由于列存儲數據庫能夠滿足人們對海量數據的存儲要求，使數據在線分析變得得心應手，因此，研究列存儲數據庫關鍵技術十分重要。通過列存儲數據庫發展現狀、概述、特點以及應用等知識內容的研究，能夠促進列存儲數據庫關鍵技術的發展。

關鍵詞：列存儲 數據庫 關鍵技術 分析

中圖分類號：TP311 文獻標識碼：A 文章編號：1674-098X（2016）12（c）-0106-02

當前，互聯網技術發展迅速，我們已經進入了大數據時代，同時對列存儲數據庫提出了更高的要求，推動了數據存儲技術的發展，使其滿足企業和政府對數據的需求，同時，提供數據技術支持，加大對列存儲數據庫的技術研究，使其發揮出了重要的作用。該文的主要任務是對列存儲數據庫的相關內容進行整理，通過簡單介紹列存儲數據庫的原理、概念、現狀、特點等內容，為列存儲數據庫的發展提供重要依據。

1 列存儲數據庫概述

列存儲數據庫的數據儲存方式是以列存儲架構為主，用戶能夠根據自己的需求，靈活地選擇查詢條件，進行批量存儲與處理，提高工作效率，方便查詢。不僅如此，還能夠根據查詢條件，自動形成統計報表，滿足不同用戶的需求[1]。列存儲思想在20世紀70年代中期被提出，到20世紀80年代開始展開研究，經過近些年的研究發展，列存儲數據庫技術日益成熟，在大數據時代發揮了重要的作用。列存儲數據庫關鍵技術主要包括3種，分別是物化數據技術、數據壓縮技術以及成組迭代技術，通過此3種技術的研究發展，促進了列存儲數據庫的進步，使其被廣泛應用于數據存儲。列存儲數據庫能夠存儲不同文件，并經過壓縮算法，壓縮文件數據，減少磁盤的占用與開銷，盡可能在有效空間內存儲更多文件，實現大量的、有效的數據存儲，創造出更多的價值，使其符合用戶日益增長的物質要求，為數據存儲與處理打下良好的基礎，實現數據存儲的不斷進步發展。

2 列存儲數據庫的特點

列存儲數據庫在企業智能商務、數據倉庫等領域應用越來越廣泛，主要由于其具有顯著的優勢，符合時代發展潮流，能夠滿足用戶需求，由此可見，列存儲數據庫具有不可比擬的優勢，其特點主要體現在以下幾個方面，下面進行詳細的闡述。第一，列存儲數據庫設置了不可見索引，取消了傳統索引方式，不可見索引是一種有效的索引方式，能夠以列為單位按照選擇性進行排序，將數據的特征字段作為索引，設置個性化自定義索引設置，滿足用戶的不同索引要求[2]。第二，壓縮算法，壓縮算法是列存儲數據庫的顯著特點，通過壓縮算法，能夠實現數據文件的合理壓縮，節約磁盤存儲空間，實現數據的大批量存儲。由于列存儲數據庫中每一列數據都是分開存儲的，因而，根據數據特性，可以采用不同的壓縮算法來提高壓縮效率，提高壓縮效果，使列存儲數據庫發揮出重要的作用。第三，數據迭代，通過數據迭代調用，可以有效利用多核處理器提高運行效果，有效處理數據，提高數據處理的執行效率。第四，延遲物化，列存儲數據庫在執行過程中不需要解壓數據，只是采用指針形式處理數據，保證數據的完整輸出，在數據輸出之后，再進行數據解壓，降低數據處理的復雜度，保證數據處理的方便、快捷，提高數據處理效率[3]。第五，存儲空間利用效率較高，列存儲數據庫與其他數據庫相比而言，數據完全是密集存儲的，具有較高的壓縮率，具有特定的壓縮算法，不需要為數據的更新預留空間，能夠實現存儲空間的高效利用。總之，列存儲數據庫具有顯著的特點與優勢，通過研究列存儲數據庫關鍵技術，能夠提高列存儲數據庫的存儲能力。

3 列存儲數據庫的優勢

列存儲數據庫具有較好的應用前景，其發展較為樂觀，當前的發展現狀較好，具有顯著的技術優勢和數據管理方法的優勢，其技術優勢主要體現在以下幾點：第一，列存儲數據庫作為一種關系型數據庫，用戶的操作處理都是一個一個的表以及記錄，存儲技術新穎，通過壓縮算法技術的應用能夠降低存儲成本，創造巨大的價值。第二，列存儲數據庫在查詢方面具有顯著技術優勢，能夠將數據壓縮在一起，以便在讀取時獲得更多數據，提高數據處理速度，提高工作效率，實現快速查詢，不僅如此，還能夠方便、快捷地修改、添加記錄，提高列存儲數據庫的存儲效果。數據管理方面的優勢則主要體現在以下幾點：第一，列存儲數據庫能夠解決存儲空間占用大、數據更新需要空間等問題，采取稀疏索引，通過將連續記錄分成組的方式建立索引項，便于管理與查詢，提高管理效果[4]。第二，列存儲數據庫的索引所占用的存儲空間小，維護費用低，建立索引的代價小，還便于存儲查詢，解決了數據庫管理員繁重的管理工作，提高數據庫管理員的工作效率，以便有效進行管理。

4 列存儲數據庫關鍵技術分析

4.1 成組迭代

對數據進行逐條代理，對每一個數據進行記錄，抽取數據的對應屬性，是一種較為傳統的迭代方式，數據處理效率較低、復雜、繁瑣，無法有效進行數據處理，為解決此問題，提出了成組迭代方式，即運用函數方式進行迭代處理，一次性將數據全部進行處理，抽取出其對應屬性放入緩存區，如此一來，不僅可以提高數據處理效率，還實現了資源的節約，方便存儲，因而，成組迭代是一種有效的處理方式，合理利用成組迭代十分重要[5]。成組迭代技術應用的關鍵主要體現在以下幾點：第一，在數據庫中列被設置為固定的寬度，以保證數值相對應，將數據以數組進行操作，實現單記錄處理代價的最小化，提高CPU的吞吐量，成組迭代具有重要的作用，在未來具有廣闊的發展空間。第二，列存儲壓縮性較高，能夠對數據進行有效壓縮，通過64個字節進行高速緩存，實現成組迭代，有效壓縮。成組迭代作為一種關鍵技術，在列存儲數據庫應用發展中發揮了重要的作用，是不可缺少的關鍵技術之一。

4.2 數據壓縮技術

數據壓縮技術是列存儲數據庫中的核心技術，在數據系統中，合理利用數據壓縮算法，減少CPU開銷以及數據存儲空間，節約成本，增加命中率，很顯然，數據壓縮技術是一個關鍵技術，能夠在較大程度上實現系統性能優化，增加壓縮優越性，使其適合于數據壓縮。列存儲數據庫中每一個存儲塊存在同一屬性數值，且這些屬性數值具有一定相似性，針對相似性進行有針對性的壓縮，具有較好的數據壓縮效果，使數據查詢方便，利用率較高，提高列存儲數據庫的存儲能力。數據壓縮技術的壓縮方式主要有以下幾種：第一，空值壓縮，空值壓縮方法較多，版本較多，但是其核心思想是一致的，其核心思想是通過特殊符號、NULL次數以及連續出現的零替換null數據，一般情況下，此算法在null次數頻繁出現的情況下，能夠達到理想的效果。例如，在社區網站系統中，有許多沒有評論、沒有被引用的文章，與這些引用評論相對應的就被視為null，null就是空值，這些空值雖然沒有字節，但是同樣會占用存儲空間，占據系統存儲資源，影響系統查詢功能，以此方式實現系統的高度運行。第二，游程編碼，游程編碼是一種輕量級的壓縮算法，能夠將多個連續的數據通過同一個單元表示，此算法適用于有序數據流，使數據流的重復率較高。游程編碼的原理較為簡單，對壓縮數據依賴性較強，只適用于一般數據庫的一般情況，不能進行通用，使得數據中存在數據屬性的干擾，影響數據連續性概率。第三，字典編碼，字典編碼是一種應用最為廣泛的無損編碼，是一種常用的編碼方式，通過采用簡短的編碼，替換壓縮數據中常出現的字符串，在此基礎上壓縮數據，能夠有效進行編碼。字典編碼的原理如下，首先，輸入字符及字符串，使輸入的數據與字典中的字符串相匹配，此時，壓縮器會輸出相應的匹配位置標識，出現相對應的代碼，在此之后，系統會對匹配位置中的編碼字數較小的輸入流位數進行對應，以達到壓縮效果。

4.3 物化技術

物化技術也是列存儲數據庫的關鍵技術之一，通過應用物化技術，可以將信息按照列存儲到不同方位，并進行相對應的存儲，提高存儲能力，有效進行管理。在列存儲數據庫系統中，可以同時讀取多個列表，有效進行數據查詢。有效應用物化技術需要做到以下幾點：第一，選擇列重構成行的方式進行查詢數據操作，以便在實際操作中讀取到多個屬性列表，同時，將實際訪問數據庫的屬性設置為單位，有效進行操作，提高列存儲數據庫的存儲、查詢能力。第二，加大科研力度，增加資金投入，對物化技術展開進一步的研究，物化技術的有效應用離不開物化技術的發展，促進物化技術發展，是實現物化技術有效應用的基本前提，通過加大技術投入與資金投入，能夠為物化技術的發展創造有利的條件。

5 結語

綜上所述，列存儲數據庫是一個大容量、方便、快捷的數據庫類型，不僅便于查詢，還能夠批量處理數據信息，滿足人們的高層次需求，與其他數據庫類型相比，具有不可比擬的優勢，值得應用推廣，因此，加大對列存儲數據庫技術的研究力度，解決傳統數據庫存在的問題具有重要意義。

參考文獻

[1] 于利勝，張延松，王珊，等.基于行存儲模型的模擬列存儲策略研究[J].計算機研究與發展，2010（5）：878-885.

[2] 王振璽，樂嘉錦，王梅，等.列存儲數據區級壓縮模式與壓縮策略選擇方法[J].計算機學報，2010（8）：1523-1530.

[3] 葉飛，宋光鵬，馬發勇，等.調度自動化系統監視與管理的研究與實現[J].中國電力教育，2011（9）：90-91.

[4] 嚴秋玲，孫莉，王梅，等.列存儲數據倉庫中啟發式查詢優化機制[J].計算機學報，2011（10）：2018-2026.

[5] 林子雨，楊冬青，王騰蛟，等.基于關系數據庫的關鍵詞查詢[J].軟件學報，2010（10）：2454-2476.