大數據場景下的云存儲技術與應用

李華芳

隨著信息技術的發展，以大數據為背景的云存儲技術獲得良好的發展前景。它的應用不僅方便了人們日常生活工作，滿足人們的不同需求。還可降低系統內部的負載率，提升工作效率。在這種情況下，為了滿足現代化社會發展需求，必須不斷對云存儲技術進行升級優化，以滿足大數據場景下用戶的工作需求。文章主要從基于大數據場景的云存儲技術概述出發，對大數據場景下云存儲技術的應用進行了分析，以供參考完善。

【關鍵詞】大數據 云存儲技術 應用

傳統的以存儲介質的信息技術已經無法滿足社會多元化發展的需求，這時云存儲技術應運而生。云存儲技術主要是通過服務器集群應用和網格技術，借助網絡軟件協同作業，將系統數據庫的全部信息進行集中管理，為用戶提供一個訪問功能系統，方便用戶實時操作，從而提升云計算工作效率與質量。尤其是近年來，隨著云計算技術的日漸更新，云存儲技術因自身具有應用范圍廣泛、操作簡單方便以及擴展性較強等優點，已經被廣泛應用到各個領域中，受到人們的青睞與認可。

1 基于大數據場景的云存儲技術概述

1.1 云存儲關鍵技術

要想充分發揮云存儲技術的效用，必須結合云儲存技術的基本原理與有關文獻資料，詳細分析云儲存技術的關鍵技術。基于大數據場景下的云存儲的關鍵技術，主要包括虛擬技術、重復刪除技術以及數據備份技術等技術。云存儲技術的應用能夠對訪問權限進行設置，提升資源信息使用的安全性，避免因資源信息泄漏、篡改或者是存儲不及時，給用戶造成損失。

1.2 虛擬技術

虛擬技術作為大數據場景下云存儲技術不可缺少一部分，是整個技術的核心，也是云計算的前提條件。利用云存儲技術，不僅能在每一個服務器中心通過虛擬技術來細分硬件資源的功能，還可按照用戶的具體需要，對資源信息進行分類整合，為用戶提供需要的信息。可見在大數據場景下，要想滿足用戶的具體需要，必須改變傳統以存儲介質為主的存儲模式，通過云存儲系統的虛擬技術共享資源信息。

1.3 重復刪除技術

雖然云存儲技術已經實現了存儲容量的最大化，但是基于大數據場景下，云存儲系統的存儲容量日漸增加，考慮到系統容量增加的需求量，云存儲系統內部必須通過重復刪除技術，將內部存儲的無效資源信息刪除，才能確保云存儲系統有足夠的存儲空間，為用戶提供良好的網絡傳輸服務。

1.4 數據備份技術

數據備份技術與數據重復刪除技術相對比，具有明顯差距。數據備份的目的主要是在系統運行過程中，為了防止資源信息因各種因素影響，導致系統中的資源信息被刪除而發生丟失，云存儲系統的數據備份系統可及時恢復已經被刪除的資源信息，避免存儲數據刪除、丟失。

2 大數據場景下云存儲技術的應用

2.1 構建大規模級別存儲系統

傳統的以存儲介質為主的存儲技術主要是將信息數據存儲到一個設備、機架以及數據中心進行集中管理，一旦存儲容量從最低級轉變成高級存儲后，設備難以獨立完成。基于大數據場景下的云存儲技術所構建的大規模級別存儲系統，只需要在內部建立一個子系統，即可跨數據中心、城市、省，甚至是跨國家進行存儲、管理、收集數據信息。并且在大規模級別存儲系統中，用戶在系統對資源設置訪問權限后，即可提升資源信息存儲的安全性，使用人員要想訪問有關資源信息，必須經過授權訪問才能使用，在確保資源信息安全使用同時，還可避免資源信息被不法分子篡改、泄漏。

2.2 存儲設備的在線擴展和收縮

基于大數據場景下，用戶在使用云存儲設備過程中，會遇到存儲資源池需要調整的需要。這時存儲資源池會按照用戶存儲的信息需求增加或者是減少存儲設備。但在調整資源信息存儲的過程中，不能中斷調整指令，也不能讓上一層調度感應到存儲資源池發生的改變，以免影響數據正常使用。此外，被刪減的存儲設備中存儲的資源信息，還應在短時間內存儲到另一個系統中，做好數據備份。這就要求云存儲系統及時優化與調整數據管理方法、結構，通過多級緩存技術在線擴展與收縮存儲設備的規模，徹底打破傳統設備、處理器與網絡的性能限制，完成信息存儲。

2.3 系統全局的自動負載均衡

在云存儲系統中，物理存儲主機的節點規模已從幾萬轉變成幾十萬。面對大規模級別的數據請求與節點數量，采用何種方式來實現系統節點負載均衡，充分利用空閑節點，提升服務質量，確保系統高效運行，已經成為急需解決的問題。而大數據大規模的云存儲技術，能夠通過請求類別與前端節點負載實現均衡與差異化調度，將系統全局的自動負載均衡變成可能。例如云存儲技術在某消防信息化系統中的應用，系統全局的自動負載均衡可通過用戶提交的火災數據挖掘請求，經過相應的分解，在系統繁忙程度、存儲總容量以及IO吞吐能力等Qos信息內為信息存儲選擇相應的存儲區域，然后利用數據安全策略將火災數據信息發送到指揮調度網上，并通過數據壓縮技術建立分布式緩存系統，增加系統緩存加載的數據量與系統性能，重復檢測資源信息的有效性，最終將獲得結果通過網絡平臺反饋給客戶端用戶，實現IO的負載均衡。

3 結束語

綜上所述，云存儲技術作為信息化體系新的思維模式，通過建立云計算平臺，能夠實現資源信息實時共享，從而提高數據信息的利用率。但是在實際應用云存儲技術過程中，還需了解有關的技術工作原理，構建大規模級別存儲系統，在線擴展和收縮存儲設備的規模，通過系統全局的自動負載均衡，整合與優化各種資源信息，最終實現資源信息的有效利用。

參考文獻

[1]王愛菊，邵華.大數據場景下的云存儲技術與應用[J].電子技術與軟件工程，2016（17）：186-186.

[2]宋省偉，國健男，郭秉宜，等.大數據場景下的云存儲技術與應用淺析[J].硅谷，2015（04）：128-128.

作者單位

核工業計算機應用研究所 北京市 100048