程子傲 王丹華
摘 要:現階段,我國的科學技術得到了迅猛發展,促使信息資源的網絡化廣為流行起來。基于此,越來越多的人開始高度重視起云計算技術和云數據管理技術的應用。最近幾年,網絡應用技術的發展速度極快,在此形勢下,數據信息量日益增大,如何存儲這些數據信息就變得尤為重要,而應用云數據管理技術則能將這一問題有效解決。本文筆者結合自身工作實踐經驗,詳細分析了云計算技術和云數據管理技術,旨在借助此次研究,促進云計算和云數據管理技術的進一步發展。
關鍵詞:云計算 云數據 Dynamo技術
中圖分類號:TP315 文獻標識碼:A 文章編號:1674-098X(2018)01(a)-0149-02
不斷增加的數據信息量,逐漸提高了人們對計算機存儲的要求,而由于各種信息應用程序的出現,致使人們對數據管理和信息系統計算的要求越來越高。為了使人們的需求得到滿足,云計算應運而生,作為一種新型技術,云計算的應用使人們利用計算機的方式得到了有效改變,完善了計算機的各種功能。云計算可以高效存儲海量信息,而對于這一點而言,云數據管理技術又衍生了出來,這種技術的應用可以更加方便快捷地查找數據,從而將數據的利用率有效提高,及時地將可靠的應用數據提供給人們。
1 云計算
1.1 云計算的概述
云計算即為借助把諸多的計算分布到分布式計算機上,使虛擬化的計算機網絡系統得以實現,進而讓數據的計算運行相似于互聯網,可以立足于實際需求對系統和資源進行訪問。然而云計算并不是借助遠程服務器或本地計算機進行計算,而是類似于計算機網絡內部將分布式處理計算完成,這種方式就和電廠集中供電模式相似,有機結合低成本的運算單元,可以將計算能力和數據處理能力極大提高。云計算的計算模式具有極強的透明性,用戶只需要將自己的要求提交給系統,平臺和云計算軟件會自動進行處理,對于云計算的具體方法,用戶不需要對其進行了解就能將高效、快速的大數據處理實現[1]。
1.2 體系結構
云計算具有極為龐大且復雜的體系結構,其整個工作過程是借助“云”將一個龐大的計算機輔助工作網絡形成的。這個網絡利用虛擬技術的支持,串聯起各個不同的服務器,然后再整合這些服務器資源,之后再立足于用戶需求和選擇進行合理分配,提供給用戶一個龐大的服務器集群,從而使用戶的存儲需求和計算需求得到滿足。云計算的整個體系結構有管理系統、服務項目、用戶和服務器集群4個部分。
2 云數據管理技術
2.1 云數據基本特征
第一,容量大。現階段,三網整合等廣泛運用,并得到了迅速發展,大多數系統普遍采用傳感設備收集大量數據信息,從而使得整個數據量呈現出幾何增長趨勢。如何變革現階段數據管理技術或者引入新的數據管理技術來對大規模數據進行全面管理,并迅速從其中獲取有效信息已經成為了現階段我們思考的重點問題。第二,結構差異性。針對云計算的廣泛運用,社會各個行業獲取數據信息的方式、設備有所差異,獲取數據的表現結構與形式差異較大。各種類型的傳感設備(聲音傳感器、溫度傳感器等)在獲取數據的格式方面也有所差別。因為這些因素的存在,使得各行各業對數據管理模式也不相同。第三,不確定性。云數據不確定特征主要表現在語義匹配的不確定、查詢處理的不確定等方面。為了獲取更精確的信息,必須去粗取精,以此來確保后續數據的準確性、客觀性。
2.2 云數據管理技術分析
2.2.1 Dynamo技術
Dynamo技術不僅擁有獨立的數據庫、分布式存儲系統,而且還擁有專門的粗糙系統Hash表分布式、鍵值結構,基于此Dynamo技術能夠同底層支持與AWS相連接,與此同時可以不同暴露在外網。Dynamo技術的優勢表現在其通過提供N、R、W三個常見參數,同時按照實際情況調整需求,比較典型的Dynamo技術主要是Apache Cassandra、Project Voldemort和Risk,其中R代表能夠實現讀取一致、讀取成功的個數;N代表副本個數;W代表能夠寫入成功的個數,然而并不規定副本個數完全成功,當讀取成的個數+寫入成功個數>副本個數,就能夠確保所獲得的數據相同;當讀取成的個數+寫入成功個數<副本個數,這樣獲得的數據則不會一致。另外,針對不同版本的對象,Dynamo技術也可提供記錄功能和處理功能,其運行機制在于把不同版本的使用供給自己,然后使得自己實現超過對方靈活性的目標。
2.2.2 GFS 技術
GFS技術是指一個大規模文件計算系統,其主要是為谷歌計算提供大規模有效的數據存儲空間,逐漸成為了谷歌云計算解決的主要方法。GFS把整個系統劃分為客戶端、數據塊服務器、主服務器3種,這樣運用程序便能夠直接使用這些函數,并同數據庫聯系起來,對整個系統數據進行有效保存。GFS按照固定大小將文件進行分塊存儲,每一塊便組成為一個數據塊,并配以相關索引號。當客戶端對GFS進行訪問時,應先對節點進行訪問,然后獲得相關數據信息,這一數據存儲方法有效地控制的數據流,而且大大提高了云數據整體管理技術。
2.2.3 Big Table技術
該技術是一種云數據管理技術,由Google公司研發,其最用在于結構化全部數據。Big Table技術實質上是一種分布式存儲系統,在對結構化數據進行管理時也將其拓展到了較大規模,例如在幾千臺服務器上都能夠實現Petabytes規模。現階段,我們日常使用到的大多數程序均是以Big Table為基礎,例如Google Earth、Orkut、RSS 閱讀器等。Big Table也是一種稀疏、有序的映射表,其伸縮性特征顯著。其運行過程中包含了行、列和時間戳三個重要元素。其中列能夠進一步提高可續性;行包含了各種內容標準,多個行能夠組建成一個小表;時間戳能夠對不同版本的數據進行儲存。
Big Table的主要組成部分有連接各個客戶端的、主服務器和Table服務器。其中主服務器的主要作用是將相應的任務下達給Table服務器,對其添加狀態和垃圾回收等進行探測。Table服務器主要負責對Table的請求予以處理,并對較大的Table進行分割,使需求的目的得以達到。在使用的過程中,客戶端可以和Table服務器進行直接交流。Big Table將任務完成后,每個Table服務器只分得到一個Table,由主服務器監控此過程,及時對負載平衡進行調節。
3 結語
對于現代社會而言,計算機和云數據管理技術具有廣闊的發展市場,能夠對大規模非確定性數據進行有效處理,為企業的發展提供數據信息支持,同時值得注意的是,計算機和云數據管理技術的運用也面臨著嚴峻的考驗,要求企業應準確管理企業數據信息,并獲得簡單明了的數據處理結果,避免計算錯誤的現象出現。全面了解云計算機和云數據處理技術,對云數據管理方式進行明確,從而促使其更好地服務于現代社會的發展。
參考文獻
[1] 譚鑫.大數據云計算技術及其應用展望[J].中國管理信息化,2016,19(19):178-179.
[2] 張麗敏.基于云計算的云數據管理技術研究[J].自動化與儀器儀表,2017(1):177-179.
[3] 周麗英.云計算時代下的數據管理技術探討[J].中國管理信息化,2017,20(15):171-172.