基于云計算的大數據統

王穎?梁雪晴?王延輝

摘 要：本文主要是對基于云計算的大數據統一分析平臺進行研究與設計，首先介紹了大數據的基本特點以及基于云計算構建的大數據統一分析平臺的優勢，而后從大數據統一分析平臺的體系結構、軟件結構等來實現大數據統一分析平臺，在此基礎上實現企業業務數據的統一處理與分析，提升企業核心競爭力。

關鍵詞：云計算；大數據分析；低響應時間；高速

一、概述

隨著現代科學技術的不斷發展和應用，互聯網成為人們生活中不可缺少的有機組成部分，各個社會行業領域積極地促進信息化、網絡化進程來提升企業的管理效率和數據信息的管理水平，也使得社會邁入了信息時代。信息時代的核心是數據，隨著時間的推移和互聯網用戶的不斷增加，互聯網中的數據呈指數級增長，目前已經達到了傳統數據技術難以處理和管理的地步。反過來講，海量數據對于一個企業來說，是一筆無形的財富，里面蘊含著很多對企業深度經營和精確營銷非常重要的信息，一個企業如何從海量數據中高效、快速地挖掘出對企業有用的知識，勢必會讓其在市場競爭中占有一席之地。大數據的快速發展，與云計算、物聯網一起顛覆了傳統的互聯網觀念，對于企業的發展決策、行為預測等起到非常重要的作用。然而傳統網絡構架對于數據洪流的處理隨著數據量的繼續增加已經顯得捉襟見肘，而基于云計算的思想構建大數據的統一分析平臺，將會大大降低大數據統一分析平臺的成本和數據處理的壓力，從而有效地實現對海量數據的快速存儲、處理與高效分析，最終減少數據分析的響應時間，提升企業業務的處理效率，最終提升企業在市場同業務中的競爭力。

二、基于云計算的大數據統一分析平臺的優勢

大數據是“Big Data”，即大量信息數據，其在概念上需要符合三點：1）數據量龐大，該數據量一般在PB級別，常用海量等模糊詞來形容；2）數據結構復雜，大數據包含的信息眾多，類型復雜，除了傳統常規的結構化數據之外，大部分屬于非結構化數據，其包含的信息更加豐富；3）數據關聯度大，數據之間由于業務管理而使其關聯度非常高，這也是數據挖掘的最終意義體現，能夠挖掘到彼此之間相互的重要知識信息。

目前，大數據技術正在高速發展和廣泛應用，通過搭建云平臺來實現大數據的統一分析平臺，將提升整個系統對數據結構復雜度的包容力，實現了更多類型的非結構化數據處理能力和邏輯關聯能力的提升，最終實現了支持多類型非結構化的PB級別容量數據的分析，最終實現了前端應用在業務響應時間的減少，實現了其業務分析的價值提升，無論從經濟發展還是企業的戰略制定，都具有非常重要的實用價值。

利用云計算平臺構建大數據統一分析平臺，具有非常明顯的優勢，首先，能夠按照企業的不同業務的優先級來實現快速地對信息資源計算能力的分配；再者， 云計算平臺構建大數據分析平臺，通過細化數據集，保留數據集合內部的數據區別于聯系，從而優化業務精確度，保持業務差異化，最終提升企業業務處理效率和水平；同時，云平臺實現大數據分析，能夠針對關鍵業務開展范圍內的組織寫作，實現最佳算法的傳播與挖掘結果的快速展現；最后，云平臺自身具有成本低的優勢，通過云計算構建大數據分析平臺，可以構建商業化的大數據分析組件，從而擴展企業業務能力，提高業務機會，提升市場競爭力。所以，利用云計算構建大數據統一分析平臺，對于企業來說，提升業務數據處理能力，優化數據細分粒度，降低數據訪問延遲，加快數據倉庫的構建以及實現數據分析的集成，從而為企業在市場競爭中取得先機優勢。

三、基于云計算的大數據統一分析平臺的設計

1.分析平臺的體系結構

基于云計算的大數據統一分析平臺的設計，基本上拋棄了硬件結構，在相關的節點實現上都是以云計算平臺構建相應的虛擬硬件設施，來提供相應的硬件服務。基于云計算平臺，按照大數據統一分析平臺的基本需求構建相應的體系結構，從而實現最終的數據挖掘下的大數據分析功能。如圖1所示，為基于云計算大數據統一分析平臺的體系結構示意圖。

圖1 基于云平臺的大數據統一分析平臺體系結構示意圖

如圖1所示，整個系統結構的主要實現是以云計算為基礎，而相應的業務功能則是以大數據的思想來實現。在大數據統一分析平臺的后端，是整個大數據分析平臺的數據來源，主要是各個信息管理系統的數據庫存儲數據，例如企業的ERP系統、CRM系統等這些系統都會隨時產生大量的數據，為數據挖掘提供最原始的基礎數據。這些源數據在數據轉移下，經過大數據預處理技術，從而對數據進行轉換、清洗、去除噪聲數據等過程，最終形成可挖掘的數據，放置到數據倉庫中，最終經過大數據的數據挖掘技術實現對處理后的數據的處理，從而生成對于企業決策最基本的知識信息。最后，通過前端應用的實現，將這些數據形成直觀形象的數據報表，供企業決策者查閱分析，從而為企業的發展提供有效的、科學的依據。

2.分析平臺的軟件結構

大數據軟件架構的一般采用大數據分布式存儲和處理的思想來實現，通過構建一個Master主機和多個Slave的Segment服務器來實現對數據庫源數據的訪問、分析和處理。這種軟件結構每個存儲節點都相互獨立，彼此之間沒有數據共享，通過Master主機來實現slave節點的數據交換。一般的，Master服務器和Segment服務器之間通過互聯網相連，各個存儲節點之間在結構上沒有關聯，屬于完全無共享結構，從而實現了軟件結構的高擴展性，通過添加網絡節點和簡單配置即可增加網絡分布存儲節點。此外，為了提升系統高可用性，對于Master和Segment主機采用一主一備的方式，通過GE網絡將主機與Segment服務器相連，鏡像網絡實現數據備份，從而提升系統的可用性。

四、結語

基于云計算的大數據統一分析平臺的設計，是充分利用云計算技術和大數據數據挖掘技術，來試下對海量數據的存儲與管理，在高速的、智能的數據分析下，實現對海量數據的知識挖掘，最終優化企業的業務處理能力，提升企業服務效率和水平。

參考文獻：

[1] 李巍巍. 基于云計算的大數據統一分析平臺設計與應用[J]. 自動化與儀器儀表. 2016（08）.

[2] 趙春雷，喬治·納漢. “大數據”時代的計算機信息處理技術 [J]. 世界科學. 2012（02）.

[3] 成靜靜，喻朝新. 基于云計算的大數據統一分析平臺研究與設計[J]. 廣東通信技術. 2013（01）.