Cloudera：針對(duì)Hadoop的三大預(yù)測(cè)

陳曲

1月29日，正值Hadoop十周年生日，作為大數(shù)據(jù)技術(shù)創(chuàng)新的積極推動(dòng)者和倡導(dǎo)者，Cloudera在京舉行了Hadoop十周年暨Cloudera新春媒體見面會(huì)。會(huì)上Cloudera全球副總裁大中華區(qū)總經(jīng)理凌琦分享了Hadoop及其演變的歷史， 闡述了Cloudera商業(yè)模式和行業(yè)領(lǐng)先地位，以及Hadoop在2016年的展望。凌琦表示，Cloudera將致力于喚醒沉睡在中國(guó)的大數(shù)據(jù)商業(yè)價(jià)值，從而幫助企業(yè)通過大數(shù)據(jù)處理和分析加速洞察的獲取效率。

眾所周知，2015年又是Apache Hadoop標(biāo)志性的一年。就在我們認(rèn)為2015年就這樣過去了，真正的Hadoop時(shí)代卻來臨了，我們有很多事情需要繼續(xù)做下去。我們看到Apache Spark已經(jīng)成為主流 ，Kudu（孵化中）的全新儲(chǔ)存能力也加入進(jìn)來，安全也更加卓越。難以想像后面還會(huì)有什么，但這正是Hadoop的美妙之處：永不止步、無限可能。至于結(jié)果，我們總是驚奇地拭目以待。

2016年我們的期望是什么？當(dāng)然，沒有人能未卜先知，但有幾件事我們認(rèn)為將可能會(huì)發(fā)生。

Hadoop將更加隱形

這不是一個(gè)新的觀點(diǎn)，早在去年，Mike Olson（Cloudera聯(lián)合創(chuàng)始人兼首席戰(zhàn)略官）就在紐約Strata Hadoop世界大會(huì)的演講中提出這個(gè)說法（意思是用戶真正在乎基于Hadoop的平臺(tái)和能達(dá)到的業(yè)務(wù)結(jié)果，而不是Hadoop本身）。這一觀點(diǎn)有必要重新提起。Hadoop之初的用例定位就是一個(gè)經(jīng)濟(jì)型的深度存儲(chǔ)和數(shù)據(jù)處理平臺(tái)，我們陸續(xù)看到如今大大小小的企業(yè)都在用這個(gè)平臺(tái)進(jìn)行創(chuàng)新部署，涉及的應(yīng)用也越發(fā)廣泛。

比如像包括True 和英國(guó)電信（BT）這樣的通信服務(wù)供應(yīng)商正在致力于構(gòu)建一些應(yīng)用可以對(duì)客戶跨業(yè)務(wù)形成360度視角，重新調(diào)整了與客戶的交互行為方式;金融服務(wù)機(jī)構(gòu)，就像Northern Trust，優(yōu)化了其服務(wù)交付，對(duì)付款流程采取實(shí)時(shí)健康監(jiān)測(cè)。一些跨行業(yè)的通用應(yīng)用也在革新，比如Countertack，就在為各行各業(yè)為安全擔(dān)憂的企業(yè)提供創(chuàng)新的網(wǎng)絡(luò)安全解決方案。

技術(shù)將被廣泛使用

在Cloudera學(xué)術(shù)合作伙伴（CAP）中，Cloudera非常自豪已經(jīng)有超過100名合作伙伴，這無疑是一個(gè)重要的里程碑，有助于Cloudera培養(yǎng)未來所需的Hadoop技術(shù)專家。隨著時(shí)間的推移，越來越多掌握Hadoop技術(shù)的人們進(jìn)入工作崗位為他們帶來成功。這的確是朝著正確方向邁進(jìn)的一大步，但并不是全部。

除了獲得必要的技能，對(duì)于企業(yè)來講，更大的挑戰(zhàn)是如何判斷和評(píng)估Hadoop的最佳適用。歲末年初，話題已經(jīng)從“是什么”和“為什么”轉(zhuǎn)向“怎么做”。 使用Hadoop來進(jìn)行平臺(tái)重構(gòu)時(shí)，技術(shù)本身只是等式的一部分，眾多企業(yè)意識(shí)到他們同樣需要考慮人員及流程變動(dòng)的因素，懂得如何去把握所有變化是一項(xiàng)十分艱巨的工作。

2016年，我們將看到成功之路上人們對(duì)教育的渴望。“今天的關(guān)鍵著手點(diǎn)是什么？”、“一旦實(shí)施，我將如何調(diào)整？”、“我如何從部門小項(xiàng)目提升為整個(gè)企業(yè)的計(jì)劃？”所有這些問題都需要解決。科技只是拼圖的一角，當(dāng)越來越多的企業(yè)停下腳步自我審視，企業(yè)處在何地，將去向何方，經(jīng)過一番深思熟慮，技術(shù)才會(huì)更加普及，過程才會(huì)更加流暢。

就自身而言，Cloudera將盡可能的簡(jiǎn)化產(chǎn)品。Cloudera Navigator Optimizer 讓工作負(fù)載更加可視化，有助于客戶了解如何最大化利用Hadoop平臺(tái)，減少開發(fā)時(shí)間并提高性能。這樣的不斷提升，Cloudera的技術(shù)也會(huì)更容易被客戶接納。

物聯(lián)網(wǎng)機(jī)遇下的云

談到最火爆的流行詞，“物聯(lián)網(wǎng)”據(jù)稱是大數(shù)據(jù)時(shí)代以來出現(xiàn)頻率最高的詞匯之一。無論是否言過其實(shí)，“物聯(lián)網(wǎng)”會(huì)隨著時(shí)間的推移而越發(fā)火爆，“云”也是一樣。對(duì)于Hadoop而言，“云”將繼續(xù)走在前沿，因?yàn)閿?shù)據(jù)越來越多地從本地遷移到云上。

在最近的一次網(wǎng)絡(luò)研討會(huì)上，Cloudera問參會(huì)者他們中有多少數(shù)據(jù)是存儲(chǔ)在云上而不是本地的，結(jié)果不出所料，45%的人回答到他們的所有數(shù)據(jù)都是本地存儲(chǔ)的，大概一些企業(yè)也是如此。相反，只有33%的人希望在2020年前，他們的數(shù)據(jù)可以實(shí)現(xiàn)云存儲(chǔ)。很難預(yù)見什么時(shí)候所有的數(shù)據(jù)都會(huì)存儲(chǔ)在云上。但是這個(gè)調(diào)研清晰地告訴我們，數(shù)據(jù)對(duì)混合云模式的轉(zhuǎn)變，我們認(rèn)為Hadoop部署也是同樣。

在一個(gè)專門討論如何在AWS上成功部署生產(chǎn)環(huán)境的網(wǎng)絡(luò)研討會(huì)上，54%的調(diào)查者表示在云上Hadoop的復(fù)雜性是導(dǎo)致他們不用云部署的原因。這也是為什么Cloudera要投資開發(fā)Cloudera Director這樣的工具來簡(jiǎn)化云部署技術(shù)，我們也會(huì)持續(xù)提高整個(gè)平臺(tái)的易用性。

“物聯(lián)網(wǎng)”會(huì)是我們?cè)趯砺牭礁嗟脑~。Cloudera的客戶長(zhǎng)期以來一直活躍于物聯(lián)網(wǎng)領(lǐng)域。舉個(gè)例子，Vivint使用Cloudera為用戶提供物聯(lián)網(wǎng)解決方案，提升了家居聯(lián)網(wǎng)的同時(shí)也改進(jìn)了服務(wù)體驗(yàn)。另一個(gè)例子，Omneo推動(dòng)工業(yè)化物聯(lián)網(wǎng)領(lǐng)域，實(shí)時(shí)優(yōu)化供應(yīng)鏈，通過這種方法節(jié)省了1500-2000萬美元。無論是升級(jí)用戶體驗(yàn)，還是數(shù)據(jù)驅(qū)動(dòng)產(chǎn)品，預(yù)計(jì)物聯(lián)網(wǎng)在未來都會(huì)是各個(gè)領(lǐng)域人們的熱門話題。