基于云計算環(huán)境的分布式存儲關(guān)鍵技術(shù)研究

梁 琦，楊 陽，劉 敏

（武警山西總隊，山西 太原 030012）

0 引 言

在科學(xué)技術(shù)快速發(fā)展的今天，云計算模型的應(yīng)用愈發(fā)完善，在云計算背景下，各行業(yè)的發(fā)展有了新的技術(shù)支持，逐漸構(gòu)建起全新的商業(yè)計算模型，其中涵蓋了大量的數(shù)據(jù)信息。隨著數(shù)據(jù)量的持續(xù)增大，在云計算環(huán)境中利用分布式存儲關(guān)鍵技術(shù)成為了必然的技術(shù)應(yīng)用趨勢，加強對云計算環(huán)境下分布式存儲關(guān)鍵技術(shù)的應(yīng)用和研究可以有效緩解云計算環(huán)境下的數(shù)據(jù)壓力，突破云計算發(fā)展中的障礙，加快云計算技術(shù)的應(yīng)用創(chuàng)新腳步，提高分布式存儲關(guān)鍵技術(shù)的應(yīng)用效果。

1 云計算的概念及特點

目前，互聯(lián)網(wǎng)技術(shù)已經(jīng)廣泛運用到了全球的各個角落中，人們在生產(chǎn)和生活中產(chǎn)生了大量的數(shù)據(jù)信息，特別是隨著電腦、手機等電子設(shè)備的普及，數(shù)據(jù)量暴增，且數(shù)據(jù)的類型不同，數(shù)量體系龐大，這對于數(shù)據(jù)存儲技術(shù)的應(yīng)用提出了較高的要求[1]。如何加強對大量數(shù)據(jù)信息的有效處理、有效管理，已經(jīng)成為了時代發(fā)展中必須要解決的問題，云計算的概念因此被提出，其能夠?qū)⒋罅康臄?shù)據(jù)信息集中起來處理和管理。

1.1 云計算的概念

從本質(zhì)上來講，云計算是一種計算模型，可以以分布式存儲技術(shù)的應(yīng)用和功能為依托，加強對數(shù)據(jù)的管理。在云計算環(huán)境下，利用分布式存儲技術(shù)可以將其擴(kuò)展性、可靠性、實用性以及經(jīng)濟(jì)性等優(yōu)勢利用起來，提高云計算的發(fā)展水平[2]。

云計算最早是由美國的計算機科學(xué)家提出，在世界的各個國家內(nèi)受到了專家學(xué)者們的普遍重視。作為一種新型的商業(yè)計算機模型，能夠?qū)崿F(xiàn)資源共享，且具有極強的綜合能力，可以將技術(shù)應(yīng)用結(jié)合起來。加強對信息的管理，將虛擬化技術(shù)、計算技術(shù)、集群技術(shù)等融合運用起來，實現(xiàn)對計算機技術(shù)的優(yōu)化和整合，達(dá)到資源充分利用的目標(biāo)，提高計算機對資源和數(shù)據(jù)信息的計算處理效率，靈活、高效率地進(jìn)行數(shù)據(jù)計算與處理。

1.2 云計算的特點

云計算體現(xiàn)出了明顯的大規(guī)模特點，計算能力強，云計算活動中有幾十萬甚至幾百萬臺服務(wù)器共同作用，體現(xiàn)出了一定的虛擬性，用戶可以便捷地在終端應(yīng)用中獲取自己所需要的個性化服務(wù)。此外，云計算的可靠性強、經(jīng)濟(jì)成本低，具有通用性的優(yōu)勢，在未來的計算機領(lǐng)域中成為了必然的發(fā)展趨勢和轉(zhuǎn)型方向[3]。

2 分布式存儲技術(shù)的應(yīng)用

在傳統(tǒng)的存儲技術(shù)應(yīng)用中，數(shù)據(jù)的存儲和使用均體現(xiàn)出了一定的短板問題。例如，在數(shù)據(jù)瀏覽量過大時，系統(tǒng)面臨著較大的負(fù)荷，會通過降低網(wǎng)速的方式來調(diào)整系統(tǒng)的運行，寬帶的利用率不足，造成了網(wǎng)絡(luò)資源大量浪費的問題。傳統(tǒng)存儲技術(shù)發(fā)生錯誤的風(fēng)險較高、可擴(kuò)展性較低、容錯率不足，降低了存儲系統(tǒng)的可靠性，而利用分布式存儲技術(shù)在云計算的環(huán)境下對數(shù)據(jù)進(jìn)行管理可以降低對客戶機或服務(wù)器結(jié)構(gòu)的依賴，以此來優(yōu)化服務(wù)。利用新興的計算機技術(shù)服務(wù)于用戶，提高了服務(wù)質(zhì)量和服務(wù)效率，打造個性化的用戶服務(wù)系統(tǒng)。

虛擬化技術(shù)、負(fù)載均衡技術(shù)等均屬于新興的計算機技術(shù)，可以滿足用戶的需求，為用戶提供優(yōu)質(zhì)的服務(wù)[4]。在云計算環(huán)境下，分布式存儲技術(shù)的應(yīng)用可以分為中心化形式和去中心化形式2種，其特點各有不同，優(yōu)勢和缺陷也體現(xiàn)出了顯著的差異性。例如，中心化結(jié)構(gòu)的操作過程簡單，結(jié)構(gòu)復(fù)雜程度低，但是利用中心化結(jié)構(gòu)時發(fā)生單點故障的風(fēng)險較大。去中心化結(jié)構(gòu)的操作雖然相對較為復(fù)雜，但是卻有效規(guī)避了單點故障的問題和風(fēng)險。此外，分布式存儲技術(shù)的應(yīng)用需要由專業(yè)的技術(shù)人員結(jié)合技術(shù)分類結(jié)構(gòu)的不同，合理進(jìn)行技術(shù)的應(yīng)用，提高云計算環(huán)境下分布式存儲技術(shù)的應(yīng)用效果，發(fā)揮其技術(shù)應(yīng)用的優(yōu)勢，使云計算環(huán)境下數(shù)據(jù)信息處理和管理的效率大幅提高[5]。

3 云計算環(huán)境下分布式存儲的關(guān)鍵技術(shù)結(jié)構(gòu)

3.1 以交換機作為數(shù)據(jù)核心

在云計算環(huán)境下，以交換機作為數(shù)據(jù)中心，是分布式存儲技術(shù)沒有被開發(fā)和利用之前的一種傳統(tǒng)方式。交換機作為核心結(jié)構(gòu)是傳統(tǒng)存儲技術(shù)中的重要構(gòu)成部分，不僅能夠存儲數(shù)據(jù)，而且能夠?qū)⒕W(wǎng)絡(luò)體系和數(shù)據(jù)中心連接起來，發(fā)揮出橋梁載體的功能。交換機作為數(shù)據(jù)中心，與計算機的服務(wù)器相互連接，借助互聯(lián)網(wǎng)技術(shù)的支持，可以對數(shù)據(jù)進(jìn)行處理，從存儲數(shù)據(jù)、轉(zhuǎn)發(fā)數(shù)據(jù)等方面完成一系列的工作任務(wù)，提高數(shù)據(jù)處理的效率。

交換機具有簡單的結(jié)構(gòu)，其中涵蓋了聚合層、邊緣層以及核心層3個部分，將其作為數(shù)據(jù)核心具有明顯的優(yōu)勢和顯著的缺陷，特色優(yōu)勢和短板問題并存。針對數(shù)據(jù)的處理，操作流程較為簡單，對于技術(shù)人員的專業(yè)能力要求低，便捷地進(jìn)行對數(shù)據(jù)的處理，交換機可以連接到計算機服務(wù)器中，擴(kuò)展方便，但是數(shù)據(jù)存儲量有限，在較為龐大的數(shù)據(jù)群和數(shù)據(jù)量增長的形勢下，交換機作為數(shù)據(jù)中心已經(jīng)無法滿足人們對于數(shù)據(jù)存儲的要求空間，必須進(jìn)一步進(jìn)行對交換機性能的改造，拓寬其存儲空間，增強操作的靈活性，提升存儲效率[6]。

3.2 以服務(wù)器為數(shù)據(jù)中心

服務(wù)器作為數(shù)據(jù)中心投入到使用中對數(shù)據(jù)信息進(jìn)行處理，其基礎(chǔ)的使用機制和以交換機為數(shù)據(jù)中心相比，體現(xiàn)出了明顯的不同。服務(wù)器并不是被作為設(shè)備使用進(jìn)行數(shù)據(jù)存儲的，而是要與互聯(lián)網(wǎng)設(shè)備相互連接，轉(zhuǎn)發(fā)互聯(lián)網(wǎng)上的數(shù)據(jù)信息。其操作過程的流程更加簡便，但是在進(jìn)行使用和數(shù)據(jù)處理活動，產(chǎn)生了數(shù)據(jù)鏈路過長、過多的問題，這是以服務(wù)器作為數(shù)據(jù)中心使用的明顯缺陷。存儲空間本就有限，在數(shù)據(jù)鏈路又多又長的影響下，存儲空間進(jìn)一步被壓縮，這是將服務(wù)器作為數(shù)據(jù)中心進(jìn)行數(shù)據(jù)處理和管理必須要改善的問題[7]。

3.3 服務(wù)器和交換機相結(jié)合

以交換機和服務(wù)器分別作為數(shù)據(jù)中心，這2種技術(shù)存在著明顯的優(yōu)勢與缺陷，要將其結(jié)合起來，實現(xiàn)優(yōu)勢互補，改造缺點，需要明確交換機與服務(wù)器相混合的作用機理，發(fā)揮二者作為數(shù)據(jù)中心的功能優(yōu)勢。交換機用于網(wǎng)絡(luò)體系和數(shù)據(jù)中心的銜接，加強對數(shù)據(jù)包的存儲轉(zhuǎn)發(fā)，提高數(shù)據(jù)的處理效率，借助互聯(lián)網(wǎng)技術(shù)和服務(wù)器的功能，處理數(shù)據(jù)包，完成數(shù)據(jù)的轉(zhuǎn)發(fā)、存儲工作。發(fā)揮交換機作為數(shù)據(jù)中心的優(yōu)勢，并且改善數(shù)據(jù)存儲空間小的問題，提高數(shù)據(jù)存儲的效率，改進(jìn)數(shù)據(jù)鏈路過多過長的缺陷，增強云計算的發(fā)展水平與技術(shù)能力。在擴(kuò)展方面形成了一定的限制，混合結(jié)構(gòu)會受到每個服務(wù)器安裝網(wǎng)卡數(shù)量的約束，擴(kuò)展性有限，數(shù)據(jù)中心的節(jié)點規(guī)模也存在一定的制約。在商業(yè)成本的視角下，混合結(jié)構(gòu)將交換機結(jié)構(gòu)和服務(wù)器結(jié)構(gòu)的優(yōu)勢集中起來，降低了整體的結(jié)構(gòu)成本，形成了一定的經(jīng)濟(jì)性特色優(yōu)勢[8]。

4 云計算環(huán)境下分布式存儲的關(guān)鍵技術(shù)

4.1 數(shù)據(jù)容錯技術(shù)

數(shù)據(jù)容錯技術(shù)是云計算環(huán)境下分布式存儲關(guān)鍵技術(shù)的核心，數(shù)據(jù)量越大，管理數(shù)據(jù)的難度也就越高，出現(xiàn)錯誤的風(fēng)險增加，為了保證云計算模型的可靠性，需要提升數(shù)據(jù)容錯率。數(shù)據(jù)容錯技術(shù)目前的應(yīng)用主要是以基于復(fù)制的容錯技術(shù)和基于糾刪碼的容錯技術(shù)為主，基于糾刪碼的數(shù)據(jù)容錯技術(shù)在應(yīng)用過程中需要投入較高的成本，經(jīng)濟(jì)性不足，基于復(fù)制的容錯技術(shù)則是通過多創(chuàng)建幾個副本的方式來提高數(shù)據(jù)容錯率，保證云計算模型的可靠性效果，即使其中的副本失效，也可以利用剩下的數(shù)據(jù)信息分析數(shù)據(jù)，實現(xiàn)數(shù)據(jù)容錯的目的。此外，基于糾刪碼的容錯技術(shù)是以復(fù)制容錯技術(shù)為基礎(chǔ)，對數(shù)據(jù)進(jìn)行復(fù)制編碼，為糾錯提供依據(jù)，有效提高數(shù)據(jù)容錯率，防范數(shù)據(jù)丟失和被破壞。數(shù)據(jù)容錯技術(shù)作為關(guān)鍵的技術(shù)核心，是分布式存儲技術(shù)實現(xiàn)技術(shù)應(yīng)用目標(biāo)的關(guān)鍵，應(yīng)進(jìn)行對數(shù)據(jù)的進(jìn)一步研究，發(fā)揮出技術(shù)應(yīng)用的功能，逐漸改善缺陷問題，實現(xiàn)數(shù)據(jù)容錯技術(shù)的創(chuàng)新目標(biāo)[9]。

4.2 可擴(kuò)展性技術(shù)

在云計算的環(huán)境下，可擴(kuò)展性技術(shù)是分布式存儲關(guān)鍵技術(shù)實現(xiàn)技術(shù)應(yīng)用目標(biāo)的重要構(gòu)成部分。云計算的最終目的就是要在云計算模型的應(yīng)用下使用數(shù)據(jù)，提高數(shù)據(jù)的利用率，增強數(shù)據(jù)的運算效率。在數(shù)據(jù)應(yīng)用中，由于數(shù)據(jù)群較為龐大，云計算模型也必須要有足夠充足的存儲空間，并且具備持續(xù)擴(kuò)展的功能。利用可擴(kuò)展性技術(shù)，加強對云計算環(huán)境下分布式存儲關(guān)鍵技術(shù)的創(chuàng)新應(yīng)用，是云計算模型穩(wěn)定運行、增強性能的基礎(chǔ)條件。利用可擴(kuò)展性技術(shù)需要將云計算模型中的一部分磁盤空間預(yù)留下來，擴(kuò)大云計算模型的內(nèi)部存儲空間，以提高數(shù)據(jù)的存儲量。云計算的規(guī)模較大，有幾萬甚至幾十萬個服務(wù)節(jié)點，利用可擴(kuò)展性技術(shù)時，要保證云計算模型的內(nèi)部有多余的空間，提高數(shù)據(jù)管理水平。值得注意的是，磁盤內(nèi)存在的多余空間不是最開始就設(shè)定好的，這部分磁盤內(nèi)的多余空間隨著云計算的持續(xù)完善被投入到使用中，為了提高云計算的存儲空間，利用可擴(kuò)展性技術(shù)已成為了必要的技術(shù)手段。要將可擴(kuò)展技術(shù)的功能優(yōu)勢發(fā)揮出來，提高云計算的發(fā)展水平，發(fā)揮云計算模型的功能，在可擴(kuò)展的實踐研究中，利用數(shù)據(jù)、管理數(shù)據(jù)，提高數(shù)據(jù)的應(yīng)用率[10]。

5 結(jié) 論

在信息化時代，數(shù)據(jù)量呈現(xiàn)出爆炸式的增長趨勢，云計算作為時代的產(chǎn)物，是順應(yīng)時代發(fā)展潮流的技術(shù)類型，其應(yīng)用范圍廣泛、存儲空間大、數(shù)據(jù)處理能力強，得到了人們的普遍認(rèn)可。為了增強云計算的可靠性，要從分布式存儲技術(shù)的應(yīng)用著手，加強對分布式存儲技術(shù)的創(chuàng)新應(yīng)用，將關(guān)鍵技術(shù)要點集合起來，提高云計算技術(shù)水平，促進(jìn)我國科技的創(chuàng)新與進(jìn)步。