計算機大數據分析與云計算網絡技術

郇濤 山東信息職業技術學院

引言

在新時代的互聯網背景下，傳統的數據處理方式和數據處理技術都已經很難滿足能夠對大規模數據進行有效處理、分析的要求，大數據工作也因此面臨著諸多問題，例如數據過于分散、數據量龐大以及數據結構存在漏洞等。為了真正實現大規模數據信息的輸入、輸出、存儲等功能，并不斷推動數據信息處理技術的發展，不斷調整和優化數據信息的整體架構，人們提出了一個新的網絡應用概念——云計算。云計算的核心概念是以互聯網為核心，在網站上提供云計算服務和數據存儲，最終形成一個龐大的計算資源與數據中心。通過云計算，人們不僅能夠通過多種渠道獲取數據信息，而且還能滿足數據信息在傳播時的一系列性能需求，例如安全性、準確性等。基于摩爾定律可以推測，每年的數據信息總量都會呈現出線性增長趨勢。因此，云計算也在不斷面臨著新的挑戰，只有更加精確、高效、迅速地處理和分析數據，才能滿足人們日益增長的需求。

1 大數據的特征和應用

整體來看，大數據共有五大特征：龐大性、豐富性、價值性、高速性以及準確性。由于大數據能夠實現數據的準確分析和研究，因而在各個領域都起到了極大的促進作用，間接性地提高了我國生產建設以及經濟發展的水平。在云計算環境下，大數據的容量和架構是不盡相同的，其應用主要包含以下三種架構：

其一，融合式架構。融合式架構可以將大量的數據信息進行整合，并采取相應的優化處理，從而提升系統的可操作性。這樣一種架構模式被稱為用戶/服務器模式。服務器可以對系統進行管理和整合，具體來說，就是對其中的程序進行管理和設置，對其中的數據的運行是否符合邏輯性等進行判斷和處理等等。

其二是分散式架構。這一架構類型最顯著的特點是，其可以將不同的模塊以較為均勻的形式散落分布在不同的客戶端當中。如此一來，整個系統就可以在其內部實現具有高度靈活性的自我控制，與此同時，其自我調整也會更加便捷。立足于此，這一類型的架構也能夠為系統的整體安全性提供保駕護航的力量。但是其同時也存在著不容忽視的缺陷，那就是這一架構無法提供有效性水平較高的數據信息儲存功能和數據維護功能。除此之外，當客戶在這一架構下進行注冊的時候，就會遇到數據錯誤的問題，而無法順利完成注冊。

其三是混合式架構。這種架構類型兼具了以上兩種類型的優勢，其在分發和傳播相關的數據信息的時候，所依賴的主要是服務器。而當其在進行不同用戶之間的數據交互的時候，主要依賴的則是客戶端。

2 大數據和云計算的關系分析

云計算在本質上是一種模式，其存在的目的是為了使得當前不斷增加的互聯網服務器以及相關的虛擬資源能夠獲得有效的運行和及時的處理。由于其具有無可比擬的數據處理功能，因此，其在進行數據處理的時候，所需耗費的資源較少，但是，其所能夠提供的網絡共享服務，卻具有十分不容小覷的功能。具體來說，云計算具有以下幾大方面的特性，其一是可擴展性，其二是虛擬性，其三是通用性，除此之外，其還具有著無可比擬的安全性，同時，其規模也是其他計算模式所無法企及的。據統計，云計算能夠實現千臺服務器以上的計算規模，而且還能夠將其所獲得的數據進行虛擬化的處理。與傳統的本地計算機相比較，這一計算技術，能夠立足于不同應用本身的特點，來進行針對化的數據處理，以此來為對方提供更高質量的數據。其次，如若用戶的需求規模發生變化，那么這一云計算的規模也會進行相應的自我調整。而用戶在使用這些數據的時候，可以實現跨行業的運作方式，同時無需花費較高的成本。

而具體來說，大數據和云計算之間的聯系是密不可分的。前者可以將后者的成熟技術作為其進行數據處理的基礎，而后者則可以為前者提供不容忽視的大規模數據處理的技術支持。與此同時，由于大數據在實踐過程當中，對于數據處理方案有著極大的需求，因此，這也在很大程度上推動了云計算技術的穩步發展。

3 淺析以云計算為基礎的大數據處理技術

3.1 集中和分布式采集技術

具體來說，大數據擁有兩種采集信息的方式，其一是集中式的，其二是分布式的[4]。如果使用者看重的是對數據的整體性進行把控的能力,那么則可以采用集中式的技術。而如果其看重的是對數據進行靈活性處理的能力，那么則可以采用分布式的方式。而大數據技術所要采集的信息內容，主要就是客戶端的使用者們在與不同的平臺進行互動的過程當中所產生的一系列數據。而這些數據信息有可能是相對獨立的，也有可能是較為分散的。因此如果能夠借助大數據將這些分散的信息關聯起來，那么則能夠對其進行有效的利用。而云計算則可以有針對性地解決這些大數據的采集問題，并使得相關的數據都能夠被儲存在各個組織所配備的服務器當中。

3.2 存儲技術

當前，互聯網每天所產生的數據都是海量的，且其同時具備分散性較強的特點。因此，如果借助傳統的數據存儲方法，則無法有效地使得當前的數據處理需求得到及時的滿足。而且如果采用較為傳統的處理數據的方式，其同時還需要花費較長的時間，同時效率也不高。在這樣的背景下，如果能夠基于云計算技術，借助于其獨有的列式存儲數據的途徑，來使得屬性迥異的數據可以進行合理的分割，并配備相對獨立的存儲單元，那么則能夠使得數據最終的處理效果得以獲得極大的提升。除此之外，由于這種存儲數據的方式能夠使得以往數據所占用的空間得以極大地壓縮，因此，也能夠節省不容忽視的數據存儲成本。

3.3 挖掘技術

立足于云計算這一技術,大數據的處理和挖掘工作可以以更為全面的方式來進行。在聯機分析的基礎之上,云計算所制備的挖掘技術可以通過對于諸多數據的充分挖掘，來借助模型的方式對其進行表達。與此同時,這一技術也可以使得諸多潛在的數據得以被充分的挖掘出來，并使其價值最大化。

4 結語

近年來，大數據正以無可抵擋之勢席卷全球的各個角落，當前已經沒有哪一個行業能夠離開大數據而獨立存在了。而云計算作為一種為大數據提供技術支撐的基礎，其所具有的高水平的數據處理模式，不僅能夠給大數據模式的運行提供前所未有的助益，與此同時，還能夠節省大量的數據分析和處理時間以及空間，來為大數據提供更為智能的運行模式。