分布式存儲技術在大數據時代中的應用

摘 要 互聯網通信技術的不斷發展，與計算機信息技術的普及，促進了傳統數據模式的進化。為了改善傳統數據模式應用局限性以及無法優化存儲空間等缺點，衍生出了分布式存儲技術。目前，分布式存儲技術的應用逐漸成為各行各業發展的主要趨勢。基于此，本文從分布式存儲技術的概念入手，對現階段典型的大數據分布存儲技術的應用進行了深入分析，希望本文能夠為相關人員的研究工作提供些許參考價值。

【關鍵詞】分布式存儲技術 大數據時代 應用與發展

從數據信息學的理論角度來看，大數據即一個數據集合。相比于傳統的數據處理軟件，該數據集合的處理范圍更廣泛。高速性、多樣性與規模性是大數據最為顯著的三個特征，在其不斷發展的過程中，又將大數據的特征擴展為真實性、準確性、可變性與價值性。而海量的數據，是大數據最基本的核心特征之一，數據容量超過了存儲空間的極限，容易發生數據管理失控問題。而面向大數據的分布式存儲系統，具有極強的拓展性，能夠對現有的存儲空間進行優化，進而實現空間資源的優化配置，同時還能夠降低數據儲存的成本。

1 分布式存儲技術概述

從本質上而言，分布式存儲技術是一種相對于集中式存儲技術而存在的概念，不同于集中式存儲技術，分布式存儲技術將數據存儲在了虛擬的網絡空間中，而非特點的節點之上。具體來說，分布式存儲技術充分利用了網絡的優勢，把網絡上相對比較零散的存儲空間虛擬為一個整體，進而將這一空間作為數據存儲的主體。而在實際中，數據已經分別存儲于各個存儲空間當中，而非傳統意義上某些特定的節點。在分布式存儲技術的發展過程中，衍生出了分布式存儲管理系統，該系統能夠將有效整合零散的網絡存儲空間，并且通過多臺服務器實現載荷的分散存儲，進而為系統的安全性、可靠性與實用性提供有效保證。對于分布式存儲技術而言，“分散存儲”與“集中管理”是其最為主要的特點，同時也是其得以廣泛應用的主要優勢所在。

2 面向大數據的分布式存儲技術的應用

2.1 極限數據分布式存儲技術

優質的數據存儲性能是極限數據分布式存儲技術的核心，其主要應用在數據處理量大，且操作繁瑣的數據模式。例如，飛機車票的網站存儲系統或者電子商務的存儲系統等。極限數據分布式存儲技術的核心設計理論是集散與擴展，其不僅具有極強的數據處理效率與數據處理能力，同時還可以保證數據處理的一致性。目前，應用最為廣泛的分布式存儲系統分為Hadoop與NoSQL這兩種，其次還包括NewSQL技術，三者的核心理論是一致的，即優化分散的存儲空間，實現資源的優配置。不同之處在于，NewSQL技術屬于關系型數據庫技術，具有較高的兼容性與擴展性，其最大的特點為主服務器模塊常駐內存，是一種基于內存的分布式存儲技術，處理數據的速度為傳統系統的10倍。GemFire為典型的極限數據分布式存儲技術，在該系統中，數據庫采用的是橫向擴展模式，不僅能夠與現存的數據庫之間進行無縫的連接，同時還能夠將數據存儲空間進行虛擬化，進而對存儲空間進行集中的統一化管理。GemFire系統的應用不依賴讀寫磁盤，故其自身的穩定性比較高，能夠有效保證數據的安全性。現階段，該系統已經成功應用于我國鐵路部門的12306購票網站，且取得了良好的應用效果，為客戶提供了更加高效、優質的數據存儲管理服務。

2.2 自定義分布式存儲技術

自定義分布式存儲技術在大數據時代下的應用，能夠按照系統或軟件的實際需求，為其提供更加個性化的數據存儲服務，同時還能夠按照軟件的實際需求，對系統進行改進，進而滿足數據的多樣化特性。以Ceph系統而言，Ceph是目前最為典型的一種子弟李分布式存儲系統，該系統中具有比較多的對外接口，能夠為軟件創造更為多樣化的訪問路徑，主要包括文件與數據塊以及對象的存儲模式等。與此同時，Ceph系統也具有多種存儲方案。例如，CephFS存儲系統、Librbd存儲系統以及RadosGW系統。其中，CephFS存儲系統是支持Posix的，Librbd存儲系統負責支持數據塊，而RadosGW系統負責支持對象存儲。需要注意的是，盡管Ceph系統涵蓋了多樣化的存儲模式，但其不支持跨度比較大的規模布置。現階段，面向大數據的分布式存儲技術的發展已經發展到了重要階段，且逐步衍生出了各種數據存儲模式，在其實際應用中，需要按照客戶的實際使用需求，選擇最佳的存儲熱類型，進而為客戶提供個性化的、優質的數據存儲管理服務。

3 結論

面向大數據時代的分布式存儲系統，充分利用了分布式存儲技術的優勢，創造出了一種低成本、高效率的數據存儲模式。這種系統的本質，即分布式存儲技術和內存數據庫技術的有機整合，對象存儲為該系統的核心所在。大數據下的分布式存儲系統不僅簡化了數據存儲管理體系，同時擴大了系統的應用范圍，打破了傳統數據存儲系統應用的局限性，同時極大的優化了存儲空間，避免空間資源浪費。本文通過簡單介紹分布式存儲技術，對兩種典型的大數據下分布式存儲系統進行了分析，以期進一步提高我國數據存儲技術的發展水平。

參考文獻

[1]石春達，欒文魁，趙曉光等.電信運營商“互聯網+”業務中的分布式存儲技術研究[J].信息通信技術，2016，10（05）：59-66.

[2]文靜，陳達，于璐.云計算環境下的分布式存儲技術研究與應用[J].電信工程技術與標準化，2016，29（08）：57-61.

[3]陳克明.基于云計算的分布式存儲安全保護技術研究[J].無線互聯科技，2016，16（10）：72-73.

[4]楊震乾，楊泳丹.面向大數據的分布式存儲技術的發展與應用[J].電子技術與軟件工程，2016，14（02）：201.

作者簡介

周怡佳（1983-），女，四川省中江縣人。碩士學歷。高級工程師。研究方向為物聯網，存儲，對講機，圖像識別。

作者單位

西門子（中國）有限公司成都軟件開發分公司 四川省成都市 610000