云計算技術在計算機大數(shù)據(jù)分析中的應用探析

李壽清

（四川工商學院，四川 成都 611745）

0 引 言

云計算技術在大數(shù)據(jù)系統(tǒng)中既可以提高數(shù)據(jù)的運行效率，又可以減少運作與維護的支出，在未來必定會成為兼具廣泛性與基礎性的一種數(shù)據(jù)處理技術，同時能夠有效解決廣大用戶在海量數(shù)據(jù)運算處理和資源儲存上的問題，不斷提升互聯(lián)網(wǎng)及平臺的服務水平。現(xiàn)代社會已經(jīng)進入信息化發(fā)展的新時代，在研究維度和商業(yè)維度，數(shù)據(jù)均起到了關鍵作用。在科技的快速發(fā)展下，現(xiàn)代化儲存技術持續(xù)興起，大眾需要從海量的復雜化數(shù)據(jù)中挖掘所需的信息。因此，必須對大數(shù)據(jù)技術與云計算技術展開進一步的研究，以此強化甄別數(shù)據(jù)的能力。

1 相關概述

1.1 云計算技術

大數(shù)據(jù)本身并不能產(chǎn)生價值，只有擁有了大規(guī)模的數(shù)據(jù)處理能力，并對其進行計算、挖掘和分析，將數(shù)據(jù)提煉成有用的信息，才能創(chuàng)造價值。云計算是一種基于互聯(lián)網(wǎng)的計算方式，是并行計算、網(wǎng)絡存儲、虛擬化等傳統(tǒng)計算機和網(wǎng)絡技術發(fā)展融合的產(chǎn)物。云計算技術能夠通過網(wǎng)絡以便捷的、所需的方式進入可配置的計算資源共享池（包括網(wǎng)絡、服務器、存儲、應用和服務等），并提高其可用性。云計算技術可以有效整合網(wǎng)絡資源，搭建處理大數(shù)據(jù)的計算平臺，高效、低成本地對大數(shù)據(jù)進行存儲與挖掘。大數(shù)據(jù)是生產(chǎn)資料，云計算技術是加工大數(shù)據(jù)的手段和平臺，兩者密不可分。本質上，智慧城市建設是從海量數(shù)據(jù)中挖掘城市運行所需的價值信息，并及時對各類業(yè)務場景給予“智慧化”的響應。智慧城市作為一個由多應用、多行業(yè)、復雜系統(tǒng)組成的綜合體，要從根本上支撐智慧城市龐大系統(tǒng)的高效、安全運行，必須考慮基于云計算的網(wǎng)絡架構。基于資源共享池的云計算能夠有效整合計算資源，處理更大規(guī)模的數(shù)據(jù)，并且能夠對數(shù)據(jù)進行深度挖掘，從而為政府決策、企業(yè)發(fā)展以及公眾服務提供更強大的支撐。因此，云計算技術和大數(shù)據(jù)已經(jīng)成為智慧城市建設的重要基石[1-3]。

1.2 大數(shù)據(jù)技術

1.2.1 大數(shù)據(jù)的發(fā)展歷程

在牛津英語辭典記載中，“大數(shù)據(jù)”這一專業(yè)術語在1941 被首次使用。它的前身Hadoop 最初由雅虎公司創(chuàng)建，創(chuàng)建的目的是解決網(wǎng)頁搜索。此后，由于Hadoop 強大的技術含量，被Apache Software Foundation 公司引進用于開源應用程序。網(wǎng)絡愛好者通過開源應用可以修改并分享一些大數(shù)據(jù)。Hadoop自身不是一個獨立的產(chǎn)品，是由許多軟件共同組成的生態(tài)系統(tǒng)的一部分。這些軟件的出現(xiàn)實現(xiàn)了網(wǎng)絡數(shù)據(jù)信息的全面功能化，使得人們通過軟件對數(shù)據(jù)信息進行靈活和詳細的分析與篩選。

用來儲存大量數(shù)據(jù)的Hadoop 分布式文件系統(tǒng)（Hadoop Distributed File System，HDFS）和MapReduce技術的高性能并行數(shù)據(jù)處理系統(tǒng)共同組成了Hadoop的構架。Hadoop 的構架、分布式文件系統(tǒng)以及分布式程序設計是大數(shù)據(jù)技術的核心程序。計算機運用這些技術可以將一個復雜化的數(shù)據(jù)結構進行快速、可靠的分析并基礎化。2015 年，美國正式發(fā)布了關于促進大數(shù)據(jù)發(fā)展行動的綱要。隨著計算機科研人員的不斷精心設計和多方協(xié)調，大數(shù)據(jù)技術不斷走向成熟，逐漸形成了安全性、高效性、平穩(wěn)性強且以人為本的服務大眾的數(shù)據(jù)信息項目。2016 年，大數(shù)據(jù)在技術信息含量和信息處理技術上給予了充分的肯定，我國計算機數(shù)據(jù)研究工作者對大數(shù)據(jù)進行了進一步的修改和研發(fā)，逐漸將大數(shù)據(jù)應用在工業(yè)、制作業(yè)、軍事以及醫(yī)療等各項產(chǎn)業(yè)，建立了跨行業(yè)計算機大數(shù)據(jù)網(wǎng)絡[4-6]。

1.2.2 大數(shù)據(jù)的定義

大數(shù)據(jù)一般指的是在一定時限內不能利用常規(guī)工具采集、處理、管理其相關內容的數(shù)據(jù)集合。大數(shù)據(jù)通常包含以下特點：一是具有大量的數(shù)據(jù)，超過PB 級；二是具有豐富的數(shù)據(jù)類型，如音頻、視頻、圖片以及文本等；三是具有很快的處理速度，應遵照一秒定律，可在不同類型數(shù)據(jù)中快速取得相關信息數(shù)據(jù)并進行歸納處理；四是具有很低的價值密度，在大量的數(shù)據(jù)中，有用的數(shù)據(jù)所占比例較少。

1.3 云計算技術與計算機大數(shù)據(jù)的關系

從技術視域來看，云計算與大數(shù)據(jù)息息相關。一臺單獨的計算機難以有效處理大數(shù)據(jù)，必須要利用分布式結構處理海量的數(shù)據(jù)。由此可見，若想實現(xiàn)數(shù)據(jù)在云計算中的應用，云計算需要進行實時分布式處理。大數(shù)據(jù)計算模式在云計算技術下出現(xiàn)了很大的改變，能夠通過網(wǎng)絡為不同的用戶提供動態(tài)化、虛擬化的數(shù)據(jù)資源。云計算資源基于用戶需要進行數(shù)據(jù)處理，幫助用戶完成對網(wǎng)絡資源的有效瀏覽，大幅提高網(wǎng)絡資源的應用率。

2 大數(shù)據(jù)技術應用的不足

隨著我國邁入“互聯(lián)網(wǎng)+”時代，數(shù)據(jù)支持已成為智慧城市建設的基礎。在大量數(shù)據(jù)信息條件下，大數(shù)據(jù)的實用性、真實性、安全隱私等相關因素成為影響城市發(fā)展的重要瓶頸。社會大眾在采集并應用信息數(shù)據(jù)時，不局限于按照個人的喜好進行推動。在不斷的發(fā)展中，大數(shù)據(jù)已從個人、企業(yè)上升到社會層面。有效提高整體產(chǎn)業(yè)的專業(yè)能力與綜合素質是大數(shù)據(jù)高速發(fā)展進步的基礎條件。此外，大數(shù)據(jù)行業(yè)中的專業(yè)人才不足已成為影響企業(yè)發(fā)展的重要問題。大數(shù)據(jù)人才不僅涉及計算機人才，而且涉及數(shù)學、統(tǒng)計學、理化等復合型人才。人才的斷檔不能有效彌補，未來大數(shù)據(jù)的發(fā)展將面臨嚴峻的挑戰(zhàn)，影響智慧城市的建設。

3 計算機網(wǎng)絡安全現(xiàn)狀

隨著網(wǎng)絡技術的不斷進步，雖然網(wǎng)速明顯提升，但也使計算機網(wǎng)絡安全面臨著越來越嚴峻的挑戰(zhàn)。首先，網(wǎng)絡攻擊種類不斷增多，攻擊面越來越廣。隨著黑客技術的不斷進步，網(wǎng)絡攻擊手段不斷升級，如釣魚攻擊、勒索軟件攻擊、分布式拒絕服務（Distributed Denial of Service，DDoS）攻擊、零日漏洞利用攻擊以及人工智能黑客攻擊等，給網(wǎng)絡安全帶來了巨大的挑戰(zhàn)。隨著物聯(lián)網(wǎng)、云計算、大數(shù)據(jù)等技術的發(fā)展，網(wǎng)絡連接的設備數(shù)量和種類不斷增加，網(wǎng)絡攻擊面也越來越廣。其次，病毒傳播速度更快。由于技術的進步，數(shù)據(jù)傳輸速度更快，使網(wǎng)絡中的病毒和惡意軟件也能夠更快地傳播和擴散，給用戶的信息安全和網(wǎng)絡安全帶來更大的威脅。最后，網(wǎng)絡安全意識不足。使用者缺乏網(wǎng)絡安全知識，容易受到網(wǎng)絡攻擊，如通過弱密碼登錄、接收垃圾郵件等方式，使網(wǎng)絡攻擊者能夠輕松獲取用戶的個人信息，降低了網(wǎng)絡安全系數(shù)。

4 云計算技術在計算機大數(shù)據(jù)分析中的應用分析

4.1 應用于營銷領域

大數(shù)據(jù)分析以及云計算技術的充分融合促進了個性化營銷等行業(yè)的發(fā)展。新時代，人們對于信息資源越來越重視。云計算技術在營銷領域的應用，能夠為客戶關系管理和維護帶來較大的便捷性。尤其是近年來，各種電商平臺的出現(xiàn)，可以實時掌握消費者的消費意向，將購買動機轉化為購買行為。系統(tǒng)會根據(jù)消費者的信息進行綜合分析評估，自動記錄，保留消費者的瀏覽足跡，包括瀏覽點擊量、頁面信息、時間長短等內容，綜合分析用戶的購買行為以及現(xiàn)狀，根據(jù)相應的內容為消費者預測信息，提供相應的推送產(chǎn)品以及內容。在營銷領域運用過程中，雖然客戶會察覺到App 推送自己搜索過的產(chǎn)品，但不會泄露用戶的基本信息，還能為用戶推送感興趣的產(chǎn)品，實現(xiàn)客戶資源的有效應用。系統(tǒng)平臺還會針對不同類型的客戶消費意向以及客戶數(shù)據(jù)采用針對性的統(tǒng)計分析構建消費數(shù)據(jù)庫，充分挖掘有價值、有規(guī)律的信息，為商家營銷提供決策支持。

4.2 應用于虛擬資源調度

計算機用戶比較重視數(shù)據(jù)資源傳輸過程的安全性，充分利用云計算網(wǎng)絡技術對安全模式進行創(chuàng)新。大數(shù)據(jù)技術全面采集各種信息資源，能夠對資源進行儲存管理。信息化的資源調度過程能夠保證資源分配和儲存的合理性。隨著時代的發(fā)展，借助大數(shù)據(jù)分析以及計算機網(wǎng)絡技術，能夠監(jiān)控數(shù)據(jù)傳輸?shù)恼麄€全過程，保證數(shù)據(jù)傳輸?shù)耐ǖ腊踩裕①Y源優(yōu)化技術體系，對虛擬技術進行數(shù)據(jù)處理，合理劃分虛擬資源，完善計算機應用以及技術服務體系，杜絕發(fā)生網(wǎng)絡安全問題。

4.3 在政務服務領域中的應用

一方面，采用云計算技術能夠實現(xiàn)政務服務的智能化和移動化管理，有利于促進“掌上政務”創(chuàng)新，簡化政務服務流程，打破政務服務各個業(yè)務系統(tǒng)之間的數(shù)據(jù)壁壘，將政務服務結為“一張網(wǎng)”，整合傳統(tǒng)的業(yè)務辦理窗口功能，統(tǒng)一由服務臺受理，之后進行分類，下發(fā)給對接部門，簡化業(yè)務辦理流程，盡可能實現(xiàn)政務服務的一次性辦理、全網(wǎng)通辦、100%網(wǎng)上申報，提高政務服務事項的審批速度和服務質量，構建和完善居民自主自助服務體系，通過多終端、多渠道隨時為廣大人民群眾提供自動化的服務咨詢、業(yè)務辦理、投訴申報等政務服務。另一方面，采用云計算技術能夠使政府各個部門之間實現(xiàn)政務服務信息資源的實時共享，有利于提高政府數(shù)據(jù)開發(fā)利用效率和辦事效率，促進政府和廣大人民群眾更好地進行互動。廣大人民群眾也能更好地輔助和監(jiān)督政府開展社會管理，解決實質性問題。

5 云計算技術在計算機大數(shù)據(jù)分析中的應用建議分析

5.1 加強計算機數(shù)據(jù)的存儲及篩選力度

在大數(shù)據(jù)時代，海量數(shù)據(jù)間存在某種聯(lián)系，與用戶和企業(yè)的實際需要緊密相關，但并非全部都有實用價值。因此，對這些關鍵信息進行準確過濾和存儲，對于用戶和企業(yè)都具有意義。計算機工作人員根據(jù)時代特征與企業(yè)的實際需要，將大量的數(shù)據(jù)進行有機整合，并通過智能技術篩選出具有較高應用價值的數(shù)據(jù)供用戶或企業(yè)使用，從而更好地利用這些數(shù)據(jù)降低垃圾信息的數(shù)量。在加強計算機數(shù)據(jù)存儲和篩選方面，必須大力發(fā)展數(shù)據(jù)挖掘和云計算技術。數(shù)據(jù)挖掘技術利用現(xiàn)代的數(shù)據(jù)處理技術，對海量、復雜的數(shù)據(jù)進行進一步處理，充分挖掘數(shù)據(jù)之間的內在聯(lián)系，然后利用計算機技術將數(shù)據(jù)靈活地運用到用戶和公司。在數(shù)據(jù)挖掘技術的支撐下，計算機資料的存儲和傳送更加有效，符合員工和公司的實際需要。云計算不但可以處理資料，還可以存儲計算機資料，對于資料的篩選有很大的幫助。

5.2 計算機硬件性能和質量建設

隨著信息技術的飛速發(fā)展，計算機數(shù)據(jù)存儲和傳輸技術的發(fā)展離不開計算機硬件性能與質量的提高。計算機的硬件故障通常表現(xiàn)為早期故障、中期故障以及晚期故障。因此，計算機專業(yè)人員要強化計算機硬件性能和質量建設，可以從2 個方面著手。一是計算機網(wǎng)絡的優(yōu)化。當前計算機軟件和硬件質量與國際上的應用標準存在差距，對計算機技術的發(fā)展非常不利。為了使計算機網(wǎng)絡達到最佳化，必須大力發(fā)展計算機網(wǎng)絡，提高計算機硬件性能和質量。二是要加強計算機軟件和硬件質量建設的協(xié)同合作。在大數(shù)據(jù)時代，資訊存儲及傳輸技術的發(fā)展要求各方面共同努力，大力發(fā)展資訊處理技術。目前，計算機工業(yè)的發(fā)展特點及時代的變化讓很多企業(yè)承擔著資訊科技的研發(fā)工作，為大數(shù)據(jù)時代計算機數(shù)據(jù)存儲與傳輸提供了必要的支持與保障。

6 結 論

當前科學技術迅速發(fā)展，大數(shù)據(jù)技術以及互聯(lián)網(wǎng)技術得到了廣泛應用，給人們的工作生活帶來了較大的便利。大數(shù)據(jù)以及云計算屬于新興的領域，必須要完善相應的技術，明確安全風險處理，推動我國社會各項工作的發(fā)展創(chuàng)新。企業(yè)在進行技術應用時，要深化數(shù)據(jù)分析技術和云計算網(wǎng)絡技術的優(yōu)勢，消除大數(shù)據(jù)分析和計算網(wǎng)絡技術帶來的風險，加快專業(yè)人才的培養(yǎng)，更好地發(fā)揮其價值，提高數(shù)據(jù)處理效率及指標，滿足企業(yè)的新時代發(fā)展要求。