云計算現狀及云數據管理技術研究

摘要：隨著各種新技術的發展，企業的關鍵信息以幾何級速度增長，更多的數據需要保持更長的時間，伴隨著云計算技術的發展，云計算已經成為一種全新的互聯網應用模式。本文簡要論述了云計算的概念和特征以及云數據管理技術，云計算的當前發展狀況以及未來的研究趨勢。

關鍵詞：云計算；云數據管理技術

近年來，由于數據的快速增長以及用戶對計算機和存儲能力的要求越來越高，于此同時“物聯網”、“三網融合”、“智能電網”等應用快速發展也對信息系統的計算和數據管理帶來了更高的要求，云計算（cloud computing）是一項正在興起中的技術。云計算能夠改變普通用戶使用計算機的模式為用戶提供按需分配的計算能力、存儲能力及應用服務能力，目的是讓用戶使用計算資源就像使用水和電一樣方便，大大降低用戶的軟、硬件采購費用。云計算是在分布式系統、網格計算等基礎上提出的一個新概念，它面對的是超大規模的分布式環境，其核心是提供海量數據存儲以及高效率的計算能力，由此衍生出一系列的應用。但是云計算絕不僅僅是一個計算的問題，它需要融合許許多多的技術與成果。基于云計算的數據管理、海量分布式存儲、并行計算都是云計算的重要組成部分。

一、云計算

（一）云計算概念。云計算是分布式處理（distributed computing）、并行處理（parallel computing）和網格計算（grid computing）的發展，或者說是這些計算科學概念的商業實現。

云計算的基本原理是，通過使計算分布在大量的分布式計算機上，而非本地計算機或遠程服務器中，企業數據中心的運行與互聯哇相似。這使得企業能夠將資源切換到需要的應用上，根據需求訪問計算機和存儲系統。這是一種革命性的舉措，打個比方，這就好比是從古老的單臺發電機模式轉向了電廠集中供電的模式。它意味著計算能力也可以作為一種商品進行流通，就像煤氣、水電一樣，取用方便，費用低廉。最大的不同在于，它是通過互聯網進行傳輸的。

近年來國內外各知名IT企業都在大力開發和推進云計算，如Google推出Google Apps服務，亞馬遜推出彈性計算云（EC2）服務，IBM推出“藍云”計劃，國內浪潮推出面向云計算的“云海”操作系統，初步的云計算產品已經投入了正式使用，但云計算還處于發展階段，與之相關的各項技術還不夠成熟。

（二）云計算特征。云計算管理的特點有很多， 主要具有海量性、 異構性以及非確定性。下面就幾種特點作簡要介紹。

1、海量性。我國在近些年來逐漸興起的物聯網技術， 很大程度上都是通過一定數量的傳感器來采集有效數據。這種應用的規模越來越大，同時在許多領域都有著非常廣泛的應用，如果這樣發展下去，要采集和處理的數據量將會是非常大的。因此數據處理的方法和技術又很多種，我們應該對其當代的技術改造和創新。在這種環境下應運而生出一種新興的數據管理技術——云數據管理。云數據管理能夠對海量的數據進行有效信息的提取，同時能夠進一步融合進而優化。

2、異構性。云計算通過傳感器等所采集到的數據，這些數據的數據結構和數據形態都是不一樣的；同時云計算中具有很多數量的應用，不同的行業和領域之間，獲取所需要的相關信息的途徑以及手段等都各不相同。就其中的傳感器而言，就可以分成許多種不同的類型。因為傳感器中具有不同的類別，行業中廣泛使用的濕度傳感器、溫度傳感器以及二氧化碳濃度傳感器的收集和處理信息的能力都是不一樣的。往往不同的傳感器，在采集方面會產生非常大的不同。也正是因為以上的幾個原因，數據資源具有很大的異構性。

3、不確定性。云計算之中的數據具有一個非常顯的特點：具有很大的不確定性。我們必須對相關的信息和數據進行相應的操作和傳輸處理，才能夠獲取有效而且十分準確的數據。不確定性本身所涉及到的概念相當廣泛，匹配的不確定性、分析的不確定性、數據查詢和數據本身，都具有很大的不確定性。

二、云數據管理技術

（一）GFS技術。GFS主要為云計算提供大量的存儲空間，是一種具有文件分布式的大型系統。GFS技術可以和許多其它的技術同時使用， 比如Chubby 和 Big Table 等，從而形成一個解決的方法。GFS 技術將所有的系統結點主要分成了三種類型：主服務器、數據庫服務器和客戶端。其中，主服務器的主要功能是保存系統的單元數據，而且主服務器也是整個系統的文件處理中心，能夠管理整個系統的結點； 數據塊服務器能夠將所需要存儲的數據，轉換成相應的文件格式，進而將這些文件存放到Chunk Server 里面， 數據庫服務器是系統存取信息的裝置。通常來說， Chunk Server 的數量越多， 那么 GFS 的規模也就會越大；客戶端能夠提供給系統中的應用序一組專門的訪問接口，同時這些接口不一定需要依據 POSIX 的規范定義。在連接接口的時候，可以直接與庫文件所在的庫進行連接，并直接調用序所需要的庫函數。

（二）Dynamo 技術。Dynamo 技術不僅具有存儲系統的分布式、數據庫和高可用行，而且還具有專有存儲系統的鍵值結構、Hash 表分布式，因此 Dynamo可直接提供底層支持與 A WS，并且可不用暴露于外網。Dynamo技術的優點是通過它所提供的N、R、W 三個使用參數，并根據自己來調整需求進行的實例，Risk、Project V oldemort 以及 Apache Cassandra是比較典型的 Dynamo 技術，其中N表示的是副本個數，R表示的是可達到讀取一致、讀取成功的個數，W表示的是認為寫入成功的個數，但并不要求副本個數全部成功，當讀取成成的個數加上寫入成功大于副本個數，就可以保證最終的數據一致性，當讀取成成的個數加上寫入成功小于副本個數，則不可以保證最終的數據一致性。此外，Dynamo 對于不同版本對象進行的處理功能、 記錄功能也是支持的，它的工作原理是將不同版本的應用提供給自己，并讓自己達到比對方更加靈活的目的。

（三）Big Table 技術。Big Table 是一個規模超過 1024TB 的巨大表，它是根據 MapRedcu 以及 GFS，建立起來的一種擁有大型數據庫的分布式，其工作原理是將需要處理的數據形成一個巨大的表格。 同時， Big T able 還是一種擁有數據擴展功能所設計的管理結構化分布式數據存儲系統，這就使 Big T able的數據可達到巨大化規模，比如有非常多的計算機用戶需要到達 Petabytes 服務器的規模數據，而現在非常多的互聯網都是用 Big T able 來建立應用程序。其中，比如典型的是 Hadoop Hbase，其利用 Big T able 基礎模型。Big T able是由時間戳、列關鍵字、行關鍵字所形成三維定位的單元格，以及一個擁有排序、多維以及稀疏 MAP 等共同組成，單元格所顯示的是字符串。

（四）Map Reduce技術。MapReduce適合于大規模數據集（大于 1TB）的并行處理，是 Google 設計的一種能夠實現高效編程的技術模式。通過這種編程模式，MapReduce 將需要運算的問題分解為兩個不同的部分映射和化簡。系統能夠將在單個節點上完成的運算任務細分為許多個子任務，其是使用Map函數劃分的。這些子任務會被分配到不同的計算機中進行運算和處理。Map 函數運算得到的結果數據，會通過 Reduce函數按照系統之前所預先寫好的序進行分析處理，最終得到所需要的數據結論。

三、總結

云計算由于具有海量性、異構性以及非確定性等一系列優點，因而在現階段得到了廣泛應用，且展現出了良好的應用前景。然而云計算的云計算管理畢竟發展時間不長，還存在諸多不完善之處，機遇和挑戰共存，實際開發研究中，注意對這種機遇和挑戰進行把握控制，以促進云計算和云數據管理技術的開發研究與發展應用。

參考文獻

[1]孟燕，郭冬梅.云計算及其數據存儲與管理技術研究[J]. 信息技術與信息化，2012（7）：73-76.

[2]羅軍舟，金嘉暉，宋愛波等. 云計算： 體系架構與關鍵技術[J].通信學報，2011.32 （7）： 29-30