基于云計算的云數(shù)據(jù)管理技術(shù)

展鵬飛

（中國航天科技國際交流中心 北京市 100048）

云計算是在現(xiàn)階段發(fā)展相對比較快的，對數(shù)據(jù)進行管理的一種技術(shù)，自從他誕生以來，人們就在逐漸的將網(wǎng)絡(luò)資源和資源的儲備，以各種服務(wù)的方式向客戶提供，而這種轉(zhuǎn)變使得人們對計算機的操控方式產(chǎn)生了本質(zhì)的改變。因此，我們?yōu)榱四軌蚋玫捻槕?yīng)未來云計算技術(shù)的發(fā)展趨勢，我們就必須對其進行深入的探討與研究，我們只有這樣做，才能夠?qū)?shù)據(jù)的安全性得到保障，與此同時，通過對云數(shù)據(jù)的管理技術(shù)和云計算技術(shù)進行深入的研究，還能夠極大的推動我國計算機網(wǎng)絡(luò)的發(fā)展，有著非常強的現(xiàn)實意義。

1 云計算概念以及它的特點

近些年來，隨著我國科技水平不斷提升和市場經(jīng)濟的不斷發(fā)展，我國對相關(guān)數(shù)據(jù)的管理水平也有著明顯的提升。現(xiàn)階段云計算最新技術(shù)，已經(jīng)廣泛應(yīng)用到許多領(lǐng)域上，同時云計算的廣泛應(yīng)用，也使得我國的云數(shù)據(jù)管理工作有了本質(zhì)上的提升，具有里程碑式的意義。改革開放以來，特別是進入20 世紀以來，我國的經(jīng)濟正在以飛快的速度發(fā)展著，我國的科學技術(shù)也在不斷取得重大突破，從而極大地促進了我國互聯(lián)網(wǎng)技術(shù)的普及與發(fā)展，與此同時，它還推動了我國各行各業(yè)的綜合發(fā)展，極大得便利了人們的日常生活。在這一客觀背景下，各行各業(yè)為了更好的適應(yīng)市場，提高自身的競爭力，都在積極的引進先進的技術(shù)，總的來看，這在一定程度上促進了我國很多行業(yè)的發(fā)展，但他還導致了一些非常嚴重的問題，這些問題往往都不是明顯的，是潛在的。所以我們在發(fā)展的同時，必須給予這些問題足夠的重視，盡可能的避免危害產(chǎn)生。

我們這里所講的云計算技術(shù)指的是那些在現(xiàn)階段，對互聯(lián)網(wǎng)數(shù)據(jù)處理效率較高的一種數(shù)據(jù)處理技術(shù)，它本身擁有著眾多優(yōu)勢，而其中最明顯的一個優(yōu)勢就是，效率更高，成本更低。我們通過日常生活中，相關(guān)的數(shù)據(jù)，就能夠明顯的看出，相比于那些傳統(tǒng)的計算方式，云計算的成本更低。而這在很大程度上促進了那些新成立的互聯(lián)網(wǎng)公司的發(fā)展，因為對這些新成立的公司而言，所需要投入的資金更少，風險也更低，與實體的對數(shù)據(jù)進行計算的計算技術(shù)相比，云計算技術(shù)，有著明顯的不同，其中最代表性的就是云計算技術(shù)是通過計算機為載體通過網(wǎng)絡(luò)對數(shù)據(jù)進行處理的一種技術(shù)，是一種虛擬的技術(shù)，他能夠非常高效的，配置和整理，那些存在于計算機中的資源，他還能夠在很大程度上將用戶的成本降低，最重要的是他的工作效率非常高，并且穩(wěn)定性也比較高。

與此同時，它還能夠?qū)⑴c計算過程相關(guān)的內(nèi)容合理的分配在計算機各個部分中，將那些比較復雜的問題簡單化，這就極大的緩解了用戶在使用計算機時的壓力，利用云計算技術(shù)，用戶在對相關(guān)數(shù)據(jù)進行計算時，有著較大的自由發(fā)揮度，云計算技術(shù)允許用戶在計算時，將自己的想法融入到計算過程中，從而使得用戶可以按照自己習慣的方式來進行操作和控制。隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，人們越來越重視云計算技術(shù)。在發(fā)展初期，云計算技術(shù)主要是應(yīng)用在相關(guān)的搜索引擎上，這主要是由于以前的互聯(lián)網(wǎng)技術(shù)不夠發(fā)達，相關(guān)的公司，也沒有非常雄厚的資金，這些公司為了更好的控制成本，就選擇了那些成本相對比較低的計算機處理技術(shù)，進而云計算技術(shù)得到了產(chǎn)生并不斷發(fā)展，在操作方面上，云計算對用戶比較友好，他的操作難度比較低，用戶在使用云計算技術(shù)進行計算時，并不需要非常專業(yè)的技術(shù)，同時，云計算在獲取相關(guān)信息和數(shù)據(jù)方面的速度也比較快，用戶在獲取相關(guān)內(nèi)容和信息時，能夠?qū)⒆约旱囊笕谌肫渲校缓髮⑿畔⑴c內(nèi)容統(tǒng)一起來。

云計算技術(shù)有許多免費的操作，這些免費的操作能夠在很大程度上滿足用戶的日常需要，但如果用戶所需要的功能比較特殊，還可以進行單獨的付費運行，用戶們通過付費，可以獲得更多更專業(yè)的服務(wù)，與此同時，用戶還可以組建那些成本比較低的模塊，建立起一個與云計算服務(wù)相關(guān)的平臺，現(xiàn)階段，國內(nèi)的互聯(lián)網(wǎng)公司很多都是為他們的用戶提供相關(guān)的互聯(lián)網(wǎng)服務(wù)的，而隨著我國云計算技術(shù)不斷的發(fā)展，它們的服務(wù)也將會不斷得到創(chuàng)新與改善。云計算還有著許多其他的特點，例如較強的擴展性和管理性，除此之外，他還具有服務(wù)多樣化，經(jīng)濟可靠性高的特點，如果我們想要建造一個服務(wù)水平較高的云計算服務(wù)平臺，那么我們就必須投入大量的資金，但是在計算機比較密集的商業(yè)圈中，我們所需要投入的資金就比較少，云計算技術(shù)的多樣性集中體現(xiàn)在，用戶在使用云計算時，可以根據(jù)用戶不同的需求提供不同的服務(wù)。而應(yīng)用云計算技術(shù)的門檻也比較低，用戶在使用云計算技術(shù)時，并不需要對云計算的相關(guān)原理進行深入的研究，它們也能夠得到自己需要的相關(guān)服務(wù)，由于云計算技術(shù)主要是以計算機為載體來發(fā)揮自身作用的，因此計算機的性能在很大程度上影響著云計算技術(shù)，我們能夠通過提高計算機的性能，從而提高它的服務(wù)水平，與此同時，在對相關(guān)數(shù)據(jù)進行處理時，我們還可以將多臺計算機聯(lián)合，進而提升處理數(shù)據(jù)的正確性。

2 云數(shù)據(jù)管理技術(shù)

隨著現(xiàn)階段科學技術(shù)水平，不斷的進步，使得互聯(lián)網(wǎng)技術(shù)愈加成熟，而這都在客觀上促進了云計算技術(shù)的發(fā)展，但是云計算技術(shù)的發(fā)展并不是一帆風順的，它在發(fā)展的過程中同時出現(xiàn)了一些問題，而這些問題對于發(fā)展云計算技術(shù)起著很大的阻礙作用。例如，在眾多用戶之間，將數(shù)據(jù)進行分隔的問題，數(shù)據(jù)的安全性，數(shù)據(jù)修復技術(shù)等等，這些問題非常不利于云計算技術(shù)的發(fā)展。所以為了云計算技術(shù)能夠更好的發(fā)展，我們必須基于這些問題足夠的重視與關(guān)注，把工作的重心放在，對云計算管理技術(shù)的研究方面上，不斷完善云計算的各項服務(wù)和功能，對數(shù)據(jù)的集合問題進行有針對性的研究，以此來保證信息系統(tǒng)能夠有效的將眾多數(shù)據(jù)的集合進行處理.

與此同時，為了能夠更好的對組織文件和數(shù)據(jù)的管理問題進行處理，我們可以在實際工作中利用那些先進的數(shù)據(jù)管理技術(shù)。例如，谷歌公司，為了能夠更好的對數(shù)據(jù)進行儲存，它們存在研究big table 技術(shù)，并且這項技術(shù)已經(jīng)出具形態(tài)，云數(shù)據(jù)管理技術(shù)是即數(shù)據(jù)庫管理系統(tǒng)和網(wǎng)絡(luò)數(shù)據(jù)管理之后的一個正在飛速發(fā)展的技術(shù)，它主要從分布式特點和結(jié)構(gòu)化入手，將數(shù)據(jù)進行轉(zhuǎn)化，并以云數(shù)據(jù)管理系統(tǒng)，對其進行管理，這項技術(shù)有著許多優(yōu)勢，它的數(shù)據(jù)讀取方式更符合人們的習慣，同時用戶在獲取數(shù)據(jù)時更加方便，并且數(shù)據(jù)的可靠性較高。然而我們需要注意的是，云計算管理系統(tǒng)本身別不能處理關(guān)系型的數(shù)據(jù)，因此我們?yōu)榱四軌蚴瓜嚓P(guān)數(shù)據(jù)系統(tǒng)更加多樣化，就需要相應(yīng)的提高它的數(shù)據(jù)牽引功能和查詢功能，并且，現(xiàn)階段的云數(shù)據(jù)智能水平還不夠高，為了能夠更好的服務(wù)于我們的需求，我們就必須完善其智能形式，提高其智能水平，以此來滿足人們?nèi)粘５男枨螅瑸橛脩籼峁└鄻踊姆?wù)。云數(shù)據(jù)管理技術(shù)主要有以下幾種技術(shù)，以下將對其進行分析。

2.1 Gfs技術(shù)

Gfs 本身是屬于那些分布式的大型文件系統(tǒng)，它可以儲存大量的谷歌云計算，數(shù)據(jù)，與此同時它還合理的融合了big table，chubby 現(xiàn)階段比較先進的技術(shù)，它可以有效的解決那些針對谷歌的運算問題，Gfs. 技術(shù)系統(tǒng)主要有主服務(wù)器，數(shù)據(jù)模塊，服務(wù)器用戶端，三個方面組成。用戶端的作用在于它可以利用各種程序允許用戶對數(shù)據(jù)進行訪問，它以庫文件為傳遞方式，相關(guān)程序可以利用庫運算以及庫文件進行連接，Gfs 的核心部分是主服務(wù)器，主服務(wù)器可以有效的儲存眾多的云數(shù)據(jù)，而數(shù)據(jù)模塊服務(wù)器是一個具體化的管理模塊。與前兩者相比，它的數(shù)量比較多，在大多數(shù)情況下，它的數(shù)量收到系統(tǒng)規(guī)模的直接影響。在gfs 中，64 MB. 是它的默認容量，它在對文件進行分類時，往往采用模塊化的方式，每個模塊都是一個單獨的數(shù)據(jù)快，并且在這些數(shù)據(jù)塊中，有著不同的索引號，用戶在用戶端對Gfs 系統(tǒng)進行訪問時，首先需要訪問主服務(wù)器，然后降速巨快服務(wù)器獲取相關(guān)的信息，最后再訪問各個數(shù)據(jù)庫服務(wù)器，從而實現(xiàn)對數(shù)據(jù)的提取和存入。Gfs 系統(tǒng)可以將控制流和數(shù)據(jù)流進行有效的分離，由于控制流僅僅在服務(wù)器和用戶端之間存在，它還可以將主服務(wù)器的負載有效的降低，這就突破了系統(tǒng)性能固有的局限性，數(shù)據(jù)快服務(wù)器與用戶端之間，僅需要對相關(guān)數(shù)據(jù)進行傳輸就可以了，最終這些文件以分布式的形式進行儲存，而這一切就使得用戶能夠?qū)崟r的訪問多個數(shù)據(jù)塊服務(wù)器，與此同時，它還可以實現(xiàn)系統(tǒng)進行高效的并行處理，促進整個系統(tǒng)性能的提升。

2.2 Map reduce技術(shù)

為了能夠更有效快速的對志愿和信息進行運用，云計算可以利用Map reduce. 程序來編寫相關(guān)模式，在這種模式下，它的操作主要有兩種類型，一個是，Map. 一個是Reduce. Map. 還說能夠有效的分解相關(guān)任務(wù)，讓他可以在單獨的節(jié)點上，處理相應(yīng)的子任務(wù)，然后再對數(shù)據(jù)進行處理和調(diào)度之后，實現(xiàn)值/對集合，然 reduce 函數(shù)，所以實際需求為出發(fā)點，通過對Map. 還說進行合并和分類，處理后的集合，這樣可以更方便的求出最終結(jié)果，Map reduce. 技術(shù)，從現(xiàn)實需求出發(fā)，能夠非常有效的分解那些復雜大量的云數(shù)據(jù)，除此之外，每個節(jié)點還能夠，以靈活的方式，有效的處理相關(guān)數(shù)據(jù)，從而使得云計算的數(shù)據(jù)儲存和資源處理得到不斷的優(yōu)化和提升.

2.3 Big table.技術(shù)

在我國科技水平不斷提升，經(jīng)濟不斷發(fā)展的大背景下，我國相關(guān)的數(shù)據(jù)管理水平也在不斷的提高，現(xiàn)階段，由于云計算技術(shù)的出現(xiàn)以及廣泛應(yīng)用，使得我們在對數(shù)據(jù)的管理方面出現(xiàn)了很大的改變，極大提高了人們對數(shù)據(jù)管理的效率和準確性，促進了數(shù)據(jù)管理的高速發(fā)展，而正是由于其本身獨特的優(yōu)勢，使得它普遍的在互聯(lián)網(wǎng)得到應(yīng)用。其中，BigTable 技術(shù)是基于GFS 技術(shù)和MapReduce技術(shù)的大規(guī)模分布式數(shù)據(jù)庫，其實質(zhì)是一個大規(guī)模的表格，容量高達1PB，將云數(shù)據(jù)視作對象來計算和管理。其實，Big-Table 是數(shù)據(jù)化管理的分布式存儲系統(tǒng)，擴展性較好，比如目前許多谷歌應(yīng)用程序都基于BigTable 技術(shù)，企業(yè)服務(wù)器高達PB 規(guī)模的存儲容量等。Big Table 本質(zhì)是有序的、多維的、分布式的Map 各單元格通過行關(guān)鍵字、列關(guān)鍵字來進行定位。

3 云數(shù)據(jù)管理整體構(gòu)架分析

在當前時代不斷，進一步與發(fā)展的大背景下，云計算的數(shù)據(jù)管理技術(shù)也在不斷的更新和完善，現(xiàn)階段云數(shù)據(jù)管理整體構(gòu)架主要有四個層面構(gòu)成，它包括數(shù)據(jù)分析，數(shù)據(jù)集成和管理，并行處理數(shù)據(jù)組織以及管理。這是四部分，相互配合，將云計算數(shù)據(jù)管理技術(shù)得到了充分的發(fā)揮，首先在在數(shù)據(jù)管理和組織層面，在組織方面主要是分布式的儲存，這一數(shù)據(jù)儲存方式可以有效的對分布式和大規(guī)模的數(shù)據(jù)庫進行有效的查詢與訪問，它還能夠直接的作用于普通的硬件設(shè)備中。除此之外，它的容錯能力也比較好，他能夠?qū)?shù)據(jù)進行真實快速和準確的存取。第二，在數(shù)據(jù)集成和管理層面，語音數(shù)據(jù)本身就有著巨大的容量，以及較高的結(jié)構(gòu)差異性和不確定性，對數(shù)據(jù)進行管理時運用分布式的管理技術(shù)，能夠非常有效得提高對數(shù)據(jù)的分析和計算能力，成為更好的滿足用戶的需求，更有效的解決用戶的問題。第三，并行處理層面，在以云計算為核心的云數(shù)據(jù)管理模式中，用戶能夠使用并行程序編寫模式。例如，map reduce 并行處理，能夠有效的將操作任務(wù)進行分解，更有效的對資源并行處理和調(diào)度相關(guān)資源。第四，數(shù)據(jù)分析層面，云數(shù)據(jù)管理最后一個步驟就是，合理利用相關(guān)的數(shù)據(jù)分析技術(shù)，同時通過數(shù)據(jù)分析引擎來合理的調(diào)度和語義分析技術(shù)，以此來對相關(guān)信息資源實現(xiàn)深度的挖掘，幫助用戶們在眾多的信息和數(shù)據(jù)中，找出對他們有用的信息。

4 結(jié)束語

綜上所述，云計算本身就有著許多優(yōu)勢，它可以更高效的處理相關(guān)數(shù)據(jù)，并且處理數(shù)據(jù)和對數(shù)據(jù)進行管理的成本比較低，對新建的互聯(lián)網(wǎng)公司比較友好，它可以幫助企業(yè)在日常的活動中，提升工作效率，計算機網(wǎng)絡(luò)在未來會不斷的得到發(fā)展，相應(yīng)得云計算技術(shù)也會得到發(fā)展。但是，在現(xiàn)階段云計算的發(fā)展過程中，也存在著許多急需解決的問題，這些問題嚴重阻礙著云計算技術(shù)的發(fā)展，為此我們必須基于這些問題足夠的關(guān)注與重視，不斷的完善相關(guān)技術(shù)，努力創(chuàng)造和完善更多的數(shù)據(jù)處理方式，從多方面入手，真正得讓云計算技術(shù)得到發(fā)展與完善。