云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)研究

李迎春，李 建，王飛艷

（云南省煙草煙葉公司，云南 昆明 650000）

0 引 言

云計(jì)算是計(jì)算機(jī)發(fā)展衍生的一種新型分布式技術(shù)，是一個(gè)基于服務(wù)的架構(gòu)系統(tǒng)，其中云存儲(chǔ)是云計(jì)算的服務(wù)架構(gòu)核心。目前，大多數(shù)云計(jì)算應(yīng)用服務(wù)都能滿足信息時(shí)代發(fā)展的需要，并且具有強(qiáng)大的數(shù)據(jù)保存與管理能力。信息時(shí)代，只有利用好云存儲(chǔ)服務(wù)，靈活處理各種數(shù)據(jù)，才能更好地滿足用戶的需求，因此對(duì)云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)的研究與分析具有重要意義[1]。文章闡述了云計(jì)算技術(shù)與云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)的概念，分析了云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)的類型，并深入研究了云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)的工作原理、系統(tǒng)構(gòu)成及其他技術(shù)的實(shí)踐應(yīng)用。

1 云計(jì)算技術(shù)與云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)

1.1 云計(jì)算技術(shù)概述

從狹義角度分析，云計(jì)算技術(shù)是一種分布式計(jì)算應(yīng)用程序，主要處理和計(jì)算各類數(shù)據(jù)，將處理程序分解成許多小程序，最終匯總和分析各個(gè)小程序并返回分析結(jié)果。從廣義角度分析，云計(jì)算是一種服務(wù)，主要提供基礎(chǔ)設(shè)施即服務(wù)、平臺(tái)即服務(wù)、軟件即服務(wù)3種服務(wù)。通過(guò)3種不同的服務(wù)模式，可以滿足各種用戶的不同需求。大多數(shù)用戶使用的是基礎(chǔ)設(shè)施即服務(wù)。通過(guò)該服務(wù)可獲取相關(guān)的計(jì)算處理和數(shù)據(jù)存儲(chǔ)等資源，且不受空間和時(shí)間的限制。

1.2 云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)概述

云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)是云計(jì)算技術(shù)的核心構(gòu)成部分，是一種新型數(shù)據(jù)存儲(chǔ)及管理方式。云計(jì)算數(shù)據(jù)儲(chǔ)存技術(shù)與傳統(tǒng)的存儲(chǔ)技術(shù)有著較大差別。首先，云計(jì)算數(shù)據(jù)儲(chǔ)存技術(shù)能夠提供無(wú)限制的存儲(chǔ)容量，打破存儲(chǔ)空間限制的瓶頸。其次，該技術(shù)能夠?qū)?shù)據(jù)存儲(chǔ)在云端，打破存儲(chǔ)空間限制的瓶頸。最后，云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)能夠利用集群應(yīng)用和網(wǎng)絡(luò)技術(shù)等功能，使不同類型的數(shù)據(jù)存儲(chǔ)設(shè)備協(xié)同工作，并對(duì)外提供服務(wù)。

云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)提供的對(duì)外服務(wù)具有簡(jiǎn)便、高效等特點(diǎn)，用戶可以在任何時(shí)間及地點(diǎn)調(diào)用數(shù)據(jù)相關(guān)服務(wù)。雖然云計(jì)算數(shù)據(jù)儲(chǔ)存技術(shù)在發(fā)展過(guò)程中深受現(xiàn)代信息科學(xué)技術(shù)的影響，且具備一定的先進(jìn)性，但是仍然需要不斷進(jìn)行創(chuàng)新及優(yōu)化。特別是在數(shù)據(jù)存儲(chǔ)算法和存儲(chǔ)安全方面需要持續(xù)革新，從而更好地承擔(dān)云計(jì)算數(shù)據(jù)存儲(chǔ)的職責(zé)，使其更好地服務(wù)社會(huì)。

1.3 云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)類型概述

云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)主要分為3種類型，分別是分布式存儲(chǔ)、集中式存儲(chǔ)和虛擬化存儲(chǔ)。分布式存儲(chǔ)是指通過(guò)分布式技術(shù)協(xié)調(diào)組織存儲(chǔ)資源，為非虛擬化的上層應(yīng)用或虛擬機(jī)提供工業(yè)標(biāo)準(zhǔn)的接口。集中式存儲(chǔ)是以傳統(tǒng)的磁盤(pán)陣列方式進(jìn)行存儲(chǔ)，其中主機(jī)采用映射方式運(yùn)行。虛擬化存儲(chǔ)則是在硬件資源上添加一層文件系統(tǒng)，使其可劃分出虛擬主機(jī)使用的虛擬磁盤(pán)。當(dāng)前，主流云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)主要采用虛擬化存儲(chǔ)的方式。

2 云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)的工作原理及系統(tǒng)構(gòu)成

云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)通過(guò)網(wǎng)絡(luò)整合存儲(chǔ)設(shè)備，并采用集成應(yīng)用、分布式文件系統(tǒng)、存儲(chǔ)虛擬化以及底層資源對(duì)象化等技術(shù)整合物理存儲(chǔ)設(shè)備資源，使其構(gòu)成能夠?qū)ν馓峁┙y(tǒng)一服務(wù)的邏輯資源池，并對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問(wèn)等功能，同時(shí)保證數(shù)據(jù)安全。云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)由多種技術(shù)構(gòu)成，是一門(mén)綜合性集成技術(shù)。虛擬化技術(shù)是云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)的核心技術(shù)，能夠?qū)⒏鞣N存儲(chǔ)設(shè)備連接并映射成統(tǒng)一的存儲(chǔ)資源池。除了虛擬化技術(shù)，云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)還采用了如分布式存儲(chǔ)技術(shù)、重復(fù)數(shù)據(jù)刪除技術(shù)、內(nèi)容分發(fā)網(wǎng)絡(luò)技術(shù)、存儲(chǔ)加密技術(shù)以及數(shù)據(jù)備份技術(shù)等其他技術(shù)。其中：分布式存儲(chǔ)技術(shù)主要是整合分散的存儲(chǔ)設(shè)備，構(gòu)成一個(gè)虛擬的存儲(chǔ)設(shè)備；重復(fù)數(shù)據(jù)刪除技術(shù)主要是消除重復(fù)的數(shù)據(jù)，減少數(shù)據(jù)冗余和存儲(chǔ)空間的占用；內(nèi)容分發(fā)網(wǎng)絡(luò)技術(shù)主要是在現(xiàn)有的網(wǎng)絡(luò)基礎(chǔ)上構(gòu)建一層虛擬網(wǎng)絡(luò)，從而實(shí)時(shí)監(jiān)控網(wǎng)絡(luò)的運(yùn)行狀況，使數(shù)據(jù)傳輸更加便捷、快速以及穩(wěn)定；存儲(chǔ)加密技術(shù)主要是為數(shù)據(jù)傳輸和數(shù)據(jù)本身安全提供保障；數(shù)據(jù)備份技術(shù)主要是備份并恢復(fù)數(shù)據(jù)，若存在操作錯(cuò)誤、數(shù)據(jù)丟失以及數(shù)據(jù)惡意加密等情況，則可以通過(guò)該技術(shù)備份和恢復(fù)數(shù)據(jù)。

云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)系統(tǒng)是以云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)為基礎(chǔ)的一種系統(tǒng)管理程序，主要包括數(shù)據(jù)存儲(chǔ)層、基礎(chǔ)管理層、應(yīng)用接口層以及數(shù)據(jù)訪問(wèn)層。其中：數(shù)據(jù)存儲(chǔ)層是整個(gè)云計(jì)算數(shù)據(jù)存儲(chǔ)的基本控制器，支持分布式存儲(chǔ)，能夠?qū)崿F(xiàn)存儲(chǔ)設(shè)備的邏輯管理和多鏈路管理；基礎(chǔ)管理層是云存儲(chǔ)中最核心的部分，能夠協(xié)調(diào)各個(gè)存儲(chǔ)設(shè)備的工作，使各存儲(chǔ)設(shè)備提供統(tǒng)一的服務(wù)；應(yīng)用接口層是提供數(shù)據(jù)連接的接口，可為相關(guān)業(yè)務(wù)數(shù)據(jù)模塊提供需要的數(shù)據(jù)；數(shù)據(jù)訪問(wèn)層主要提供授權(quán)及權(quán)限驗(yàn)證等通用訪問(wèn)接入模式。云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)的系統(tǒng)結(jié)構(gòu)如圖1所示。

圖1 云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)系統(tǒng)結(jié)構(gòu)

3 主流的云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)分析

目前，云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)應(yīng)用廣泛，其中應(yīng)用體量最大的當(dāng)屬谷歌文件系統(tǒng)（Google File System，GFS）數(shù)據(jù)存儲(chǔ)技術(shù)與Hadoop團(tuán)隊(duì)開(kāi)發(fā)的分布式文件系統(tǒng)（Hadoop Distributed File System，HDFS）數(shù)據(jù)存儲(chǔ)技術(shù)。它們都具有高傳輸率、高吞吐率等特點(diǎn)。

GFS數(shù)據(jù)存儲(chǔ)技術(shù)是一種支持分布式訪問(wèn)的開(kāi)源擴(kuò)展存儲(chǔ)技術(shù)。GFS能夠兼容各種存儲(chǔ)設(shè)備，甚至能夠兼容普通個(gè)人計(jì)算機(jī)（Personal Computer，PC）。雖然硬件價(jià)格十分低廉，但是能夠提供相關(guān)的容錯(cuò)功能。GFS以主從架構(gòu)為基礎(chǔ)，由單個(gè)主節(jié)點(diǎn)和多個(gè)從節(jié)點(diǎn)構(gòu)成。其中：主節(jié)點(diǎn)主要管理所有的元數(shù)據(jù)信息，并負(fù)責(zé)文件分塊、定期給從節(jié)點(diǎn)發(fā)送通信信號(hào)等；從節(jié)點(diǎn)主要進(jìn)行數(shù)據(jù)存儲(chǔ)和處理分析。每個(gè)從節(jié)點(diǎn)都有自己的文件系統(tǒng)，會(huì)存儲(chǔ)主節(jié)點(diǎn)分配的文件塊，并定期給主節(jié)點(diǎn)發(fā)送通信信號(hào)等。通過(guò)的讀寫(xiě)都是基于文件塊，文件塊的大小一般為64 MB。通過(guò)采用冗余技術(shù)，能夠?qū)蝹€(gè)文件塊復(fù)制到多個(gè)從節(jié)點(diǎn)進(jìn)行存儲(chǔ)，因此具有高可靠、可擴(kuò)展、高性能以及易于管理等特點(diǎn)。GFS的工作原理如圖2所示。

圖2 GFS工作原理

與GFS數(shù)據(jù)存儲(chǔ)技術(shù)相比，HDFS數(shù)據(jù)存儲(chǔ)技術(shù)同樣采用分布式存儲(chǔ)，利用類似的技術(shù)架構(gòu)以及文件塊和數(shù)據(jù)冗余等設(shè)計(jì)理念。因此，HDFS也具有高可靠、可擴(kuò)展、高性能以及易于管理等特點(diǎn)。但是，從技術(shù)實(shí)現(xiàn)細(xì)節(jié)和應(yīng)用場(chǎng)景偏向角度分析，HDFS數(shù)據(jù)存儲(chǔ)技術(shù)與GFS數(shù)據(jù)存儲(chǔ)技術(shù)又有不同，如文件塊采用的存儲(chǔ)策略、客戶讀寫(xiě)操作策略、數(shù)據(jù)備份策略等方面。其中，要特別注意客戶讀寫(xiě)策略的不同。GFS能夠支持多個(gè)客戶同時(shí)寫(xiě)入文件，而HDFS只支持單個(gè)客戶寫(xiě)入文件，且GFS能夠支持實(shí)時(shí)寫(xiě)入數(shù)據(jù)，而HDFS不支持實(shí)時(shí)寫(xiě)入，需要等到數(shù)據(jù)量積累到一定程度才進(jìn)行數(shù)據(jù)持久化操作。在應(yīng)用場(chǎng)景偏向方面，GFS大多用于大規(guī)模數(shù)據(jù)集存儲(chǔ)及處理分析，而HDFS適用于海量數(shù)據(jù)的訪問(wèn)與存儲(chǔ)，且HDFS能夠輕松集成Hadoop的其他組件。目前，由于GFS已經(jīng)停止了維護(hù)更新，HDFS成為大多數(shù)用戶的選擇[2,3]。

4 云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)中其他技術(shù)的實(shí)踐

4.1 數(shù)據(jù)加密技術(shù)在云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)中的應(yīng)用

云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)可以利用數(shù)據(jù)加密技術(shù)，提高數(shù)據(jù)信息存儲(chǔ)的安全性。通常客戶沒(méi)有特別關(guān)注數(shù)據(jù)安全，在利用云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)獲取相關(guān)信息時(shí)，如果沒(méi)有對(duì)發(fā)送的信息采取保護(hù)措施，在獲取信息時(shí)就會(huì)面臨諸多安全問(wèn)題，從而對(duì)數(shù)據(jù)存儲(chǔ)造成一定威脅。數(shù)據(jù)加密技術(shù)能夠提高數(shù)據(jù)本身的安全，使黑客不能輕易獲取相關(guān)數(shù)據(jù)。即使黑客獲取了相關(guān)信息，應(yīng)用數(shù)據(jù)加密技術(shù)也將使其無(wú)法獲取真實(shí)的數(shù)據(jù)。同時(shí)，利用數(shù)據(jù)加密技術(shù)可以有效提高數(shù)據(jù)存儲(chǔ)及傳輸?shù)陌踩浴＿\(yùn)用特殊算法的數(shù)據(jù)加密技術(shù)，能夠使算法與云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)有效結(jié)合，進(jìn)一步保證數(shù)據(jù)的信息安全，有利于避開(kāi)黑客的惡意攻擊或者外界不良因素的影響。可見(jiàn)，數(shù)據(jù)加密技術(shù)在云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)中的應(yīng)用具有重要意義，已成為云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)不可或缺的一環(huán)。數(shù)據(jù)加密技術(shù)模型如圖3所示。

圖3 數(shù)據(jù)加密技術(shù)模型

4.2 身份驗(yàn)證技術(shù)在云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)中的應(yīng)用

云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)能夠通過(guò)身份驗(yàn)證技術(shù)進(jìn)一步增強(qiáng)云計(jì)算數(shù)據(jù)存儲(chǔ)的整體安全性。基于身份驗(yàn)證技術(shù)可以識(shí)別各種用戶，有效控制各種業(yè)務(wù)功能權(quán)限，并采用多元化的驗(yàn)證方式，使得整個(gè)數(shù)據(jù)存儲(chǔ)業(yè)務(wù)更加安全穩(wěn)定。第一，基于集成電路（Integrated Circuit，IC）卡，允許客戶在智能設(shè)備上填寫(xiě)真實(shí)信息識(shí)別用戶身份。第二，可以利用用戶設(shè)定的密碼進(jìn)行身份驗(yàn)證，通過(guò)輸入賬號(hào)和密碼進(jìn)行驗(yàn)證，使系統(tǒng)自動(dòng)判斷用戶身份，從而確保整個(gè)系統(tǒng)登錄的安全合法性。第三，可以運(yùn)用關(guān)鍵績(jī)效指標(biāo)（Key Performance Indicator，KPI）驗(yàn)證用戶的身份，保證云計(jì)算數(shù)據(jù)存儲(chǔ)安全的使用。第四，通過(guò)認(rèn)證技術(shù)采集個(gè)人信息，配備相應(yīng)的密鑰，保障數(shù)據(jù)存儲(chǔ)技術(shù)的應(yīng)用安全性。第五，可以利用第三方協(xié)議保障數(shù)據(jù)存儲(chǔ)的穩(wěn)定安全。因此，身份驗(yàn)證技術(shù)在云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)中的應(yīng)用能夠有效保障云計(jì)算數(shù)據(jù)存儲(chǔ)相關(guān)業(yè)務(wù)的安全性，有效控制系統(tǒng)功能權(quán)限的分配。

4.3 數(shù)據(jù)存儲(chǔ)算法在云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)中的應(yīng)用

當(dāng)云計(jì)算數(shù)據(jù)存儲(chǔ)業(yè)務(wù)處于調(diào)用狀態(tài)時(shí)，用戶會(huì)遇到信息存儲(chǔ)不穩(wěn)定、系統(tǒng)不穩(wěn)定、效率過(guò)低等一系列錯(cuò)誤代碼信息，此時(shí)可以采用云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)中的數(shù)據(jù)存儲(chǔ)算法糾正并分析錯(cuò)誤代碼。當(dāng)信息數(shù)據(jù)受到損壞時(shí)，若信息數(shù)據(jù)的損壞程度處于控制范圍時(shí)，可以利用數(shù)據(jù)存儲(chǔ)算法恢復(fù)數(shù)據(jù)，通過(guò)改寫(xiě)編碼恢復(fù)信息數(shù)據(jù)的內(nèi)容。當(dāng)出現(xiàn)錯(cuò)誤信息時(shí)，可以通過(guò)數(shù)據(jù)存儲(chǔ)算法定位存儲(chǔ)錯(cuò)誤信息的位置，確保整個(gè)業(yè)務(wù)信息數(shù)據(jù)的安全性與完整性。此外，數(shù)據(jù)的備份存儲(chǔ)可以通過(guò)數(shù)據(jù)存儲(chǔ)算法進(jìn)行調(diào)度。因此，數(shù)據(jù)存儲(chǔ)算法在云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)中的應(yīng)用是保障存儲(chǔ)數(shù)據(jù)安全完整必不可少的手段，也是云計(jì)算數(shù)據(jù)存儲(chǔ)系統(tǒng)穩(wěn)定運(yùn)行的基石[4]。

5 云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)未來(lái)的發(fā)展趨勢(shì)

隨著時(shí)代的不斷進(jìn)步與技術(shù)的不斷發(fā)展，云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)將面臨各種機(jī)遇與挑戰(zhàn)。從技術(shù)層面分析，隨著物聯(lián)網(wǎng)技術(shù)和人工智能技術(shù)等新型技術(shù)的不斷發(fā)展，云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)可能會(huì)更加關(guān)注智能設(shè)備及智能場(chǎng)景中的數(shù)據(jù)。云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)將來(lái)可能會(huì)與物聯(lián)網(wǎng)和人工智能等技術(shù)結(jié)合，促使云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)對(duì)數(shù)據(jù)的存儲(chǔ)與處理分析更加自動(dòng)化和智能化。從市場(chǎng)層面分析，未來(lái)各行各業(yè)的核心競(jìng)爭(zhēng)力就是海量數(shù)據(jù)產(chǎn)生的效益。各領(lǐng)域?qū)π畔?shù)據(jù)的存儲(chǔ)要求與日俱增，將有更多企業(yè)用戶使用云計(jì)算數(shù)據(jù)存儲(chǔ)系統(tǒng)。因此，推動(dòng)云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)的創(chuàng)新優(yōu)化，提升服務(wù)質(zhì)量與提高用戶體驗(yàn)，成為各企業(yè)用戶的重點(diǎn)任務(wù)。從用戶需求層面分析，企業(yè)用戶與個(gè)人用戶的數(shù)據(jù)隱私性要求日益增長(zhǎng)，使得安全、可控、具備差異性的云計(jì)算數(shù)據(jù)存儲(chǔ)系統(tǒng)愈發(fā)重要。因此，云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)作為云存儲(chǔ)的核心技術(shù)，需要通過(guò)不斷創(chuàng)新優(yōu)化，為用戶提供多樣化的數(shù)據(jù)管理服務(wù)[5]。

6 結(jié) 論

當(dāng)前，云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)已經(jīng)在各行各業(yè)中得到了廣泛應(yīng)用，如金融、教育、醫(yī)療、文化娛樂(lè)、電商以及供應(yīng)鏈等領(lǐng)域，已經(jīng)成為云計(jì)算發(fā)展史中的重要組成部分。雖然我國(guó)能夠靈活地應(yīng)用相關(guān)云計(jì)算數(shù)據(jù)存儲(chǔ)系統(tǒng)，但是我國(guó)的云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)仍然處于發(fā)展探索階段。只有在全面分析云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)的基礎(chǔ)上，通過(guò)不斷創(chuàng)新優(yōu)化，才能夠從根本上推動(dòng)云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)的發(fā)展與變革。