分布式存儲技術在大數據時代中的應用

彭小珂 鄧運 周子櫻

摘要 隨著我國步入大數據時代，大數據的儲存和管理成為了當下熱議的問題，分布式儲存技術的提出和使用取得了良好的效果。基于此，本文先進行了分布式存儲技術理論分析，然后研究了分布式存儲技術在大數據時代中的應用，以期能夠加強大數據時代的數據管理，提高數據的安全性和利用率。

【關鍵詞】分布式存儲技術 大數據時代 數據管理

在大數據時代，數據具有高速、多樣、大規模的特征，在大量的數據背景下，數據容量已經超過了儲存空間，極容易引發數據管理失控。分布式儲存技術由于其強大的優化儲存空間優勢，能夠有效的實現空間的優化，被應用在大數據管理中。

1 分布式存儲技術理論分析

分布式儲存技術事實上衍生于集中式儲存技術，和集中式儲存技術不同的是，分布式儲存技術是儲存數據在虛擬空間上，利用網絡優勢，將零散的空間虛擬成為一個整體，這個整體就成為了存儲的主體。在實際應用中，數據被分開儲存在不同的空間中，不是特定的節點上。隨著分布式儲存技術發展，分布式管理系統被逐漸研發應用，這種系統能夠將零散的網絡空間進行整合，能夠通過服務器分散儲存，保障了系統的安全和應用。在分布式儲存中，最關鍵的兩個特征是分散儲存和集中管理，基于分布式儲存技術構建的分布式儲存系統能夠在有限成本的基礎上，進行高效的數據管理。在大數據時代中，龐大的數據量讓數據管理陷入困境，使用分布式儲存技術帶給數據管理一種新思路，不僅能夠實現數據的高效儲存，還實現了數據的高效管理，提高數據管理的效率，保障了數據的安全性，同時也為數據使用帶來了極大的便捷。

2 分布式存儲技術在大數據時代中的應用

2.1 極限數據處理的分布式儲存技術

極限數據型分布式儲存技術的核心優勢就是強大的數據儲存功能，最主要的應用就是大量處理數據，但是其數據模式操作也十分繁瑣。例如在飛機火車票的網站上使用的就是極限數據型分布式儲存技術，由于票務數據信息量大，使用這項技術能夠有效處理票務數據。這項技術核心的設計理論是應用集散和擴展，具有強大的處理數據效率和能力，同時還能夠保障處理數據的一致性。現階段分布式儲存系統得到廣泛的應用，最常見的是Hadoop、NoSQL、NewSQL這三種，這三種本質核心理論是一致的，也就是對分散儲存空間進行優化，是對資源配置的優化。三種系統不同的地方在于，NewSQL是一種關系型的數據庫技術，具備比較強大的擴展性和兼容性，是建立在內存基礎上的分布式儲存，這種技術能夠實現十倍傳統系統處理數據的速度。

在極限數據型數據分布式儲存技術中最典型的系統，事實上是GemFire系統，在GemFire系統中，使用的擴展模式是橫向的，不僅能夠和現存數據庫進行連接，還能對儲存空間實施虛擬化處理，在此基礎上對儲存空間進行統一的管理。應用GemFire系統不需要依賴磁盤的讀寫，其自身具有較高的穩定性，這樣能夠保障數據安全和可靠。例如在我國的12306網站上使用的就是Gem Fire系統，不僅為我國人民提供了高質的服務，還進行了搞笑的數據儲存服務，提高了購票的安全性和高效性，取得了良好的效果。

2.2 分布式對象儲存技術

分布式對象儲存是一對象為訪問單元，能夠在網絡協議下實現讀寫對象，核心思路在于分離數據和控制通路，在對象儲存設備的使用基礎上構建儲存系統。其中每一個對象儲存設備具備一定的智能特質，能自行保存數據。在對象儲存系統中有兩種數據的描述，一種是容器，一種是對象。所有對象都是平等的，ID都是處于一個地址空間，并不是系統訊在的樹狀結構。因此在對象儲存空間中訪問對象需要經過ID的識別，然后才能進行對象的管理，不需要復雜結構。對象儲存能夠提供抽象的接口，對象儲存能夠支持字節到數個TB范圍之內的任何對象的儲存，業務能夠更加靈活的進行數據分割。對象儲存的成本很低，是因為對象儲存是建立在標準硬件設施基礎之上，僅需要普通服務器和硬盤即可。對象儲存是在軟件層引入散列技術以及數據冗余，犧牲一部分數據一致性，來支持租戶的多種模式操作。

例如在分布式對象儲存系統中最典型的Swift系統中，Swift系統通過接口為客戶端和瀏覽器服務，其儲存節點是完全相等的，屬于對稱式結構，在擴容的時候，只需要增加幾個機器，就能夠提高擴展性。由于其中不是主從機構，即使其中一個節點發生故障，數據也不會發生丟失。在上傳文件的時候，將請求發給接收器，查詢本地文件之后，在空間后端儲存文件，在反饋給用戶己成功的消息。2.3自定義儲存的分布式儲存技術

自定義分布式的儲存技術最根本的優勢在于能夠根據系統的實際需求，提供個性化的儲存服務，能夠滿足軟件的實際需求，系統能夠做出適應的改進，這樣的優勢完美的滿足的數據的多樣化變化。在自定義分布式的儲存系統中，最典型的就是Ceph系統，Ceph系統中設有多個對外接口，為軟件多樣化的訪問創造的了相對應的路徑，包括數據塊及儲存模式等。同時Ceph系統還能夠提出多種儲存方案，例如常見的CephFS、Librbd以及RadosGW等儲存系統，在這三種系統中，CephFS系統能夠實現Posix的支持功能，Librbd系統能夠提供數據塊的支持，RadosGW儲存系統則能夠提供對象儲存的支持。由此可見，Ceph系統覆蓋了多種儲存模式，除了跨度較大類型的規模布置。在我國，分布式儲存技術已經步入到一個重要階段，已經衍生出多種數據儲存的模式，在應用工程中，還需要根據客戶的需求選擇適合的儲存形式，才能夠提供給客戶更加優質的個性化數據管理服務。

3 結論

綜上所述，本文先是分析了分布式存儲技術理論，然后研究了分布式存儲技術在大數據時代中的應用，分析了極限數據處理的分布式儲存技術應用，分析了分布式對象儲存技術的優勢和應用，最后分析了自定義儲存的分布式儲存技術的應用，應用分布式儲存技術，能夠在有限成本中實現最佳數據管理效果。

參考文獻

[1]刁喆，基于分布式存儲技術的高校集群存儲系統實踐與研究[J].信息與電腦（理論版），2018 （04）：63-64.

[2]吳楠，分布式存儲技術及在運營商業務中的應用[J].電信技術，2017 （11）：134-136.