云計(jì)算與大數(shù)據(jù)的發(fā)展趨勢(shì)

摘要：本文旨在論述云計(jì)算與大數(shù)據(jù)的關(guān)系，并展望了云計(jì)算與大數(shù)據(jù)不斷發(fā)展，為人們提供通過(guò)云計(jì)算的方式提高大數(shù)據(jù)的應(yīng)用能力。

關(guān)鍵詞：云計(jì)算;大數(shù)據(jù);趨勢(shì)

1.云計(jì)算與大數(shù)據(jù)

云計(jì)算和大數(shù)據(jù)是一個(gè)硬幣的兩面，云計(jì)算是大數(shù)據(jù)的IT基礎(chǔ)，而大數(shù)據(jù)是云計(jì)算的一個(gè)殺手級(jí)應(yīng)用，云計(jì)算是大數(shù)據(jù)成長(zhǎng)的驅(qū)動(dòng)力，而另一方面，由于數(shù)據(jù)越來(lái)越多、越來(lái)越復(fù)雜、越來(lái)越實(shí)時(shí)，這就更加需要云計(jì)算去處理，所以二者之間是相輔相成的。

30年前，存儲(chǔ)也就是約1000GB數(shù)據(jù)的成本大約是16億美元，如今存儲(chǔ)到云上只需不到100美元。但存儲(chǔ)下來(lái)的數(shù)據(jù)，如果不以云計(jì)算進(jìn)行挖掘和分析，就只是僵死的數(shù)據(jù)，沒(méi)有太大價(jià)值。目前，云計(jì)算已經(jīng)普及并成為IT行業(yè)主流技術(shù)，其實(shí)質(zhì)是在計(jì)算量越來(lái)越大、數(shù)據(jù)越來(lái)越多、越來(lái)越動(dòng)態(tài)、越來(lái)越實(shí)時(shí)的需求背景下被催生出來(lái)的一種基礎(chǔ)架構(gòu)和商業(yè)模式。個(gè)人用戶(hù)將文檔、照片、視頻、游戲存檔記錄上傳至“云”中永久保存，企業(yè)客戶(hù)根據(jù)自身需求，可以搭建自己的“私有云”，或托管、或租用“公有云”上的IT資源與服務(wù)，這些都已不是新鮮事。可以說(shuō)，云是一棵掛滿(mǎn)了大數(shù)據(jù)的蘋(píng)果樹(shù)。

大數(shù)據(jù)的出現(xiàn)，引發(fā)全球范技術(shù)與商業(yè)變革。在技術(shù)上以往更多是依靠模型的方法，現(xiàn)在可以借用規(guī)模龐大的數(shù)據(jù)，用基于統(tǒng)計(jì)的方法，有望使語(yǔ)音識(shí)別、機(jī)器翻譯這些技術(shù)領(lǐng)域在大數(shù)據(jù)時(shí)代取得新的進(jìn)展。在搜索引擎和在線廣告中發(fā)揮重要作用的機(jī)器學(xué)習(xí)，被認(rèn)為是大數(shù)據(jù)發(fā)揮真正價(jià)值的領(lǐng)域在海量的數(shù)據(jù)中統(tǒng)計(jì)分析出人的行為、習(xí)慣等方式，計(jì)算機(jī)可以更好地學(xué)習(xí)模擬人類(lèi)智能。隨著包括語(yǔ)音、視覺(jué)、手勢(shì)和多點(diǎn)觸控等在內(nèi)的自然用戶(hù)界面越來(lái)越普及，計(jì)算系統(tǒng)正在具備與人類(lèi)相仿的感知能力，其看見(jiàn)、聽(tīng)懂和理解人類(lèi)用戶(hù)的能力不斷提高。這種計(jì)算系統(tǒng)不斷增強(qiáng)的感知能力，與大數(shù)據(jù)以及機(jī)器學(xué)習(xí)領(lǐng)域的進(jìn)展相結(jié)合，已使得目前的計(jì)算系統(tǒng)開(kāi)始能夠理解人類(lèi)用戶(hù)的意圖和語(yǔ)境。“這使得計(jì)算機(jī)能夠真正幫助人類(lèi)并代表人類(lèi)去工作”。以往，移動(dòng)運(yùn)營(yíng)商和互聯(lián)網(wǎng)服務(wù)運(yùn)營(yíng)商等擁有著大量的用戶(hù)行為習(xí)慣的各種數(shù)據(jù)，在IT產(chǎn)業(yè)鏈中具有舉足輕重的地位。而在大數(shù)據(jù)時(shí)代，移動(dòng)運(yùn)營(yíng)商如果不能挖掘出數(shù)據(jù)的價(jià)值，可能徹徹底底被管道化和邊緣化。運(yùn)營(yíng)商和更懂用戶(hù)需求的第三方開(kāi)發(fā)者互利共贏的模式，已取得一定共識(shí)。

2.云計(jì)算與大數(shù)據(jù)的關(guān)系

本質(zhì)上講，云計(jì)算與大數(shù)據(jù)是靜與動(dòng)的關(guān)系;如果結(jié)合實(shí)際的應(yīng)用，前者強(qiáng)調(diào)的是計(jì)算能力，或者看重的存儲(chǔ)能力;但是這樣說(shuō)，并不意味著兩個(gè)概念就如此涇渭分明。大數(shù)據(jù)需要處理大數(shù)據(jù)的能力（數(shù)據(jù)獲取、清潔、轉(zhuǎn)換、統(tǒng)計(jì)等能力），其實(shí)就是強(qiáng)大的計(jì)算能力;另一方面，云計(jì)算的動(dòng)也是相對(duì)而言，比如基礎(chǔ)設(shè)施即服務(wù)中的存儲(chǔ)設(shè)備提供的主要是數(shù)據(jù)存儲(chǔ)能力，所以可謂是動(dòng)中有靜。如果數(shù)據(jù)是財(cái)富，那么大數(shù)據(jù)就是寶藏，而云計(jì)算就是挖掘和利用寶藏的利器！

從技術(shù)上看，大數(shù)據(jù)與云計(jì)算的關(guān)系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)必須采用分布式計(jì)算架構(gòu)。它的特色在于對(duì)海量數(shù)據(jù)的挖掘，但它必須依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫(kù)、云存儲(chǔ)和虛擬化技術(shù)。云計(jì)算能盛行的原因在于互聯(lián)網(wǎng)領(lǐng)域應(yīng)用系統(tǒng)的構(gòu)建：客戶(hù)群體是不確定的，系統(tǒng)規(guī)模不確定、系統(tǒng)投資不固定、業(yè)務(wù)應(yīng)用有很清晰的并行分割特征、數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的構(gòu)建、數(shù)據(jù)倉(cāng)庫(kù)規(guī)模可估算、數(shù)據(jù)倉(cāng)庫(kù)的系統(tǒng)投資與業(yè)務(wù)分析的價(jià)值和回報(bào)相關(guān)、商業(yè)智能應(yīng)用屬于整體應(yīng)用、Saas模式構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)。大數(shù)據(jù)管理，分布式文件系統(tǒng);同時(shí)SQL支持，以HiveHADOOP為代表的SQL界面支持，在大數(shù)據(jù)技術(shù)上用云計(jì)算構(gòu)建下一代數(shù)據(jù)倉(cāng)庫(kù)成為熱門(mén)話(huà)題。

云計(jì)算環(huán)境中基本計(jì)算單元的分化。企業(yè)云計(jì)算平臺(tái)上雖然有多個(gè)并行計(jì)算的CPU，但并沒(méi)有創(chuàng)造出具有超強(qiáng)數(shù)據(jù)處理能力的超級(jí)CPU，因此云計(jì)算平臺(tái)需要有并行運(yùn)算能力的軟件系統(tǒng)。同時(shí)，當(dāng)用戶(hù)的數(shù)據(jù)全部放在云端時(shí)，雖然存儲(chǔ)容量可以很方便地?cái)U(kuò)充，但面對(duì)大量用戶(hù)同時(shí)發(fā)起的海量數(shù)據(jù)處理請(qǐng)求，簡(jiǎn)單的數(shù)據(jù)處理邏輯已經(jīng)無(wú)法滿(mǎn)足需要。國(guó)內(nèi)有相當(dāng)多的電商企業(yè)使用過(guò)小型機(jī)和Oracle，并請(qǐng)了Oracle的專(zhuān)家不停優(yōu)化應(yīng)用系統(tǒng)，但由于數(shù)據(jù)量激增，業(yè)務(wù)開(kāi)始受到嚴(yán)重影響，最典型的例子無(wú)疑是京東商城所發(fā)生的大規(guī)模訪問(wèn)請(qǐng)求宕機(jī)事件，因此用戶(hù)開(kāi)始逐漸放棄Oracle或者M(jìn)S-SQL，并逐漸轉(zhuǎn)向MySQLX86的分布式架構(gòu)。

對(duì)系統(tǒng)穩(wěn)定性的需求，在應(yīng)對(duì)大規(guī)模訪問(wèn)的時(shí)候有一些系統(tǒng)穩(wěn)定性的追求，來(lái)自很多方面，來(lái)自網(wǎng)絡(luò)穩(wěn)定性、數(shù)據(jù)庫(kù)穩(wěn)定性。對(duì)系統(tǒng)而言，需要把握一個(gè)大原則，需要消除任何單點(diǎn)故障。不僅是網(wǎng)絡(luò)上單點(diǎn)故障，還有來(lái)自呼叫中心里的單點(diǎn)故障，只要有單點(diǎn)故障一定要消除掉。因?yàn)閷?duì)于電商行業(yè)而言，每一秒都是錢(qián)，電子商務(wù)業(yè)務(wù)如果宕機(jī)一個(gè)小時(shí)，損失多少是可以算出來(lái)的，電商行業(yè)需要非常全面的技術(shù)系統(tǒng)監(jiān)控報(bào)警系統(tǒng)。有時(shí)候會(huì)發(fā)現(xiàn)如果通過(guò)技術(shù)系統(tǒng)的監(jiān)控去推導(dǎo)出發(fā)生的問(wèn)題已經(jīng)來(lái)不及了。

3.發(fā)展趨勢(shì)：大數(shù)據(jù)逐步“云”化

縱觀歷史，過(guò)去的數(shù)據(jù)中心無(wú)論應(yīng)用層次還是規(guī)模大小，都僅僅是停留在過(guò)去有限的基礎(chǔ)架構(gòu)之上，采用的是傳統(tǒng)精簡(jiǎn)指令集計(jì)算機(jī)和傳統(tǒng)大型機(jī)，各個(gè)基礎(chǔ)架構(gòu)之間都相互孤立，沒(méi)有形成一個(gè)統(tǒng)一的有機(jī)整體。在過(guò)去的數(shù)據(jù)中心里面，各種資源都沒(méi)有得到有效充分地利用。而且傳統(tǒng)數(shù)據(jù)中心資源配置和部署大多采用人工方式，沒(méi)有相應(yīng)的平臺(tái)支持，使大量人力資源耗費(fèi)在繁重的重復(fù)性工作上，缺少自助服務(wù)和自動(dòng)部署能力，既耗費(fèi)時(shí)間和成本，又嚴(yán)重影響工作效率。而當(dāng)今越來(lái)越流行的云計(jì)算、虛擬化和云存儲(chǔ)等新IT模式的出現(xiàn)，又再一次說(shuō)明了過(guò)去那種孤立、缺乏有機(jī)整合的數(shù)據(jù)中心資源并沒(méi)有得到有效利用，并不能滿(mǎn)足當(dāng)前多樣、高效和海量的業(yè)務(wù)應(yīng)用需求。在云計(jì)算時(shí)代背景下，數(shù)據(jù)中心需要向集中大規(guī)模共享平臺(tái)推進(jìn)，并且，數(shù)據(jù)中心要能實(shí)現(xiàn)實(shí)時(shí)動(dòng)態(tài)擴(kuò)容，實(shí)現(xiàn)自助和自動(dòng)部署服務(wù)。

正所謂“梅雖遜雪三分白，雪卻輸梅一段香”，相比之下，私有云會(huì)比公有云在數(shù)據(jù)安全性方面有更好的表現(xiàn)，但公有云卻會(huì)比私有云有更“強(qiáng)壯的云架構(gòu)”。因此，從數(shù)據(jù)中心演進(jìn)的角度來(lái)看，討論何種“云”并無(wú)實(shí)質(zhì)意義，而重點(diǎn)應(yīng)該重視的是數(shù)據(jù)中心在未來(lái)發(fā)展中所扮演的角色和出現(xiàn)的歷史性變革。

參考文獻(xiàn)

[1]張倩.”大數(shù)據(jù)”技術(shù)再高校檔案信息服務(wù)中的應(yīng)用探索[J].電子技術(shù)與軟件工程.2016（21）：27-31

[2]李洪民.大數(shù)據(jù)在高校的應(yīng)用與探索[J].海外文摘，2018⑶：55-57

作者簡(jiǎn)介：李洪民（1964.02）男、漢，山東濱州、濱州醫(yī)學(xué)院網(wǎng)絡(luò)信息中心，高級(jí)實(shí)驗(yàn)師、本科、研究方向：計(jì)算機(jī)網(wǎng)絡(luò)與信息技術(shù)