大數(shù)據(jù)不止于Hadoop，更需要安全可靠

本刊記者 | 張鵬

大數(shù)據(jù)不止于Hadoop，更需要安全可靠

本刊記者 | 張鵬

在電信行業(yè)，大數(shù)據(jù)分析和挖掘似乎更為特殊，運營商具備天然的大數(shù)據(jù)分析基礎(chǔ)，但如何保證用戶數(shù)據(jù)的隱私性卻是近些年阻礙其發(fā)展的關(guān)鍵所在。

2015年，國內(nèi)大數(shù)據(jù)市場繼續(xù)保持高速的發(fā)展態(tài)勢，其中以Hadoop為代表的一系列開源軟件服務(wù)商更是成為了產(chǎn)業(yè)鏈中的核心角色；來自國家政府層面的推動力量不容小覷，在年初“互聯(lián)網(wǎng)+”的產(chǎn)業(yè)大戰(zhàn)略帶動下，政府層面隨即又出臺了《促進大數(shù)據(jù)發(fā)展行動綱要》，為各地政府部門的數(shù)據(jù)建設(shè)和民生服務(wù)項目指引了方向。

可以說，2015年的國內(nèi)大數(shù)據(jù)產(chǎn)業(yè)正漸入佳境：一方面以Hadoop為代表的開源技術(shù)將原本束手無策的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一起來進行數(shù)據(jù)分析、建模和挖掘，并且基于該平臺之上的一系列更具深度智能分析的技術(shù)和工具也在不斷發(fā)展演進；另一方面，在政府、市場、客戶的多重影響下，企業(yè)對于大數(shù)據(jù)分析平臺的接受度也在不斷提升，并不僅限于研究和規(guī)劃層面，落腳點更多地放在了如何利用大數(shù)據(jù)分析工具提升企業(yè)生產(chǎn)力的角度。

然而，快速迭代的產(chǎn)業(yè)背后也存在著隱患，在最新發(fā)布的“2015年中國大數(shù)據(jù)技術(shù)和產(chǎn)業(yè)發(fā)展報告”中，“安全”成為了關(guān)鍵詞。

Hadoop為大數(shù)據(jù)“代言”，“安全”成關(guān)鍵詞

事實上，相對于傳統(tǒng)的數(shù)據(jù)模式，大數(shù)據(jù)更容易成為網(wǎng)絡(luò)攻擊的目標(biāo)，在如今網(wǎng)絡(luò)泛在化和數(shù)字化生活普及的當(dāng)下，大數(shù)據(jù)分析和存儲已經(jīng)進入了黑客們主要的“攻擊名冊”。因此，在企業(yè)逐漸采納并實踐大數(shù)據(jù)分析的過程中，如何構(gòu)建一個開源、穩(wěn)定、高性能和安全可靠的大數(shù)據(jù)管理平臺成為了CIO們的首要事項。

作為全球H a d o o p技術(shù)的核心供應(yīng)商，Cloudera對于國內(nèi)市場需求的轉(zhuǎn)變體會得更加深刻。Cloudera全球副總裁、大中國區(qū)總經(jīng)理凌琦告訴《通信世界》記者：大約在前兩年，國內(nèi)大數(shù)據(jù)正值市場導(dǎo)入期，很多企業(yè)都會選擇免費版Hadoop數(shù)據(jù)平臺進行嘗試，并在不斷實踐和運行中增進自身對于數(shù)據(jù)分析的理解力和挖掘能力；但伴隨企業(yè)對于大數(shù)據(jù)分析能力的逐漸提升，企業(yè)IT部門對于Hadoop平臺也有了更深層次的需求，尤其是，開源化Hadoop數(shù)據(jù)平臺需要具備可管可控以及高安全性。

據(jù)統(tǒng)計，在大數(shù)據(jù)Hadoop市場中，目前80%企業(yè)用戶采用的Hadoop免費版本都來自于Cloudera的發(fā)行版本。據(jù)悉，當(dāng)初創(chuàng)建Cloudera的幾位聯(lián)合創(chuàng)始人正是最初在搭建Hadoop生態(tài)系統(tǒng)中的幾位頂級代碼貢獻者。

大數(shù)據(jù)分析步入縱深，市場需求升級

越來越多的企業(yè)客戶開始意識到，大數(shù)據(jù)不僅需要Hadoop，更需要安全可靠。

某電信行業(yè)技術(shù)工程師告訴記者，在大數(shù)據(jù)分析的實驗室階段，由于涉及人員較少、使用功能簡單，因此Hadoop免費發(fā)行版就完全可以支撐，但隨著大數(shù)據(jù)分析能力逐漸進入生產(chǎn)系統(tǒng)，企業(yè)需要匯聚多業(yè)務(wù)平臺上的海量不間斷數(shù)據(jù)，且在該平臺上進行數(shù)據(jù)調(diào)取和分析的人員數(shù)量也逐漸加大，由此也就產(chǎn)生了安全隱患?！拔覀冃枰獙τ跀?shù)據(jù)平臺上所有人員在數(shù)據(jù)抓取和分析的權(quán)限進行細分，并對越權(quán)抓取數(shù)據(jù)的行為進行告警和實時攔截，更重要的是，所有數(shù)據(jù)的使用和調(diào)取情況都需要被準(zhǔn)確地記錄下來?！?/p>

而在電信行業(yè)，大數(shù)據(jù)分析和挖掘能力似乎更為特殊，由于運營商幾乎把持全國80%以上的管道資源，由此產(chǎn)生的用戶數(shù)據(jù)和網(wǎng)絡(luò)記錄每天都要以億計算，可以說是具備了天然的大數(shù)據(jù)分析基礎(chǔ)，但如何保證用戶數(shù)據(jù)的隱私性卻是近些年阻礙其發(fā)展的關(guān)鍵所在。

對此，凌琦也表示，目前國內(nèi)的政策法規(guī)在數(shù)據(jù)隱私保護方面并不明確，運營商確實需要在數(shù)據(jù)挖掘方面對于用戶的隱私和個人信息格外注意，不過這在技術(shù)上并非不能實現(xiàn)，目前大數(shù)據(jù)市場中已經(jīng)具備了較為成熟的數(shù)據(jù)清洗和數(shù)據(jù)脫敏的應(yīng)用工具，能夠?qū)⒂脩舻碾[私完全“藏”起來，完全滿足電信行業(yè)的數(shù)據(jù)分析需求。

以大數(shù)據(jù)增強市場競爭力，BT率先試水

不僅如此，在國外電信運營市場中，已經(jīng)有了很多通過大數(shù)據(jù)分析能力提升業(yè)務(wù)能力，保持自身可持續(xù)盈利能力的成功案例。而這對于正處于探索期的國內(nèi)電信行業(yè)而言，無疑具備參考價值。

BT（英國電信）就是其中的佼佼者，作為世界上規(guī)模最大的電信運營商之一，BT的年均收入高達180億英鎊（大約300億美元），用戶規(guī)模包含了1800萬個人消費者和300萬企業(yè)用戶。

對于BT目前的發(fā)展情況，與開發(fā)新市場、擴大用戶規(guī)模相比，搭建可持續(xù)且可盈利的增長模式、進一步擴展和深化客戶關(guān)系顯然更為重要，按照BT首席數(shù)據(jù)架構(gòu)師Philip Radely的說法:我們需要知道客戶是誰，他們已經(jīng)有了什么服務(wù)，運行效果如何，以及他們是如何與網(wǎng)絡(luò)連接的?！拔覀冃枰蚱茦I(yè)務(wù)后臺數(shù)據(jù)倉庫中的‘孤島’，實現(xiàn)所有數(shù)據(jù)資產(chǎn)的高質(zhì)量和完整度，由此洞見潛在的市場商機?！盤hilip Radely如是說。

最終，BT選擇了Cloudera企業(yè)數(shù)據(jù)平臺（EDH），通過9個月的努力基于Hadoop集群成功搭建了一個全新的關(guān)系型數(shù)據(jù)庫，由此具備了對于用戶數(shù)據(jù)的360度全視角分析能力?，F(xiàn)如今，BT的EDH數(shù)據(jù)平臺已經(jīng)能夠在1900多個運營系統(tǒng)中任意地抓取數(shù)據(jù)并進行分析。而BT的數(shù)據(jù)處理速率也由此提升了15倍，BT基于業(yè)務(wù)的數(shù)據(jù)分析可以直接采用當(dāng)天數(shù)據(jù)，而不是昨天的。

網(wǎng)絡(luò)安全：“互聯(lián)網(wǎng)+”時代安全形勢更加嚴峻

2015年，企業(yè)和用戶對打擊網(wǎng)絡(luò)有害信息和不法行為的呼聲更加強烈，維護網(wǎng)絡(luò)安全迫在眉睫、刻不容緩。這是因為，在外環(huán)境方面，針對政府、企業(yè)、個人的安全事件，甚至是國家之間的安全事件層出不窮；在內(nèi)環(huán)境方面，數(shù)據(jù)泄露等安全事件增多，企業(yè)或者個人在這些事件中遭受巨大經(jīng)濟損失或是隱私被公開。在這兩方面原因驅(qū)使下，2015年國家和企業(yè)愿意投入更多資源到網(wǎng)絡(luò)安全防護工作中，這進一步提升了中國網(wǎng)絡(luò)安全產(chǎn)業(yè)力量。

安全事件呈多發(fā)態(tài)勢

縱觀2015年，互聯(lián)網(wǎng)正在深刻改變著人們的生產(chǎn)、生活方式，人們在網(wǎng)上交流、交往、交易，話在網(wǎng)上說，錢在網(wǎng)上花，事在網(wǎng)上辦，已經(jīng)成為一種習(xí)慣、一種常態(tài)。

但同時，網(wǎng)絡(luò)安全問題也相伴而生，網(wǎng)絡(luò)攻擊、網(wǎng)絡(luò)恐怖等安全事件時有發(fā)生，侵犯個人隱私、竊取個人信息、詐騙網(wǎng)民錢財?shù)冗`法犯罪行為依然猖獗，網(wǎng)上黃賭毒、網(wǎng)絡(luò)謠言等屢見不鮮，已經(jīng)成為影響國家公共安全的突出問題。

今年5月，攜程和淘寶相繼發(fā)生大面積網(wǎng)絡(luò)癱瘓問題，被網(wǎng)友調(diào)侃為“‘互聯(lián)網(wǎng)+’還是抵擋不住傳統(tǒng)產(chǎn)業(yè)的一鏟子”；今年6月，境外黑客有組織地攻擊中國政府網(wǎng)站；之前，鐵路總公司的售票官網(wǎng)12306曾發(fā)生大規(guī)模用戶信息泄露……

越來越多的事實已經(jīng)證明，“互聯(lián)網(wǎng)+”時代，首先需要加上的就是安全砝碼。除了企業(yè)安全外，可以看到，近幾年通訊信息詐騙、惡意軟件、“偽基站”等侵害消費者權(quán)益、危害網(wǎng)絡(luò)信息安全的不法行為呈多發(fā)態(tài)勢。

防護手段更加智能、開放

在此背景下，廠商提供的安全防護技術(shù)也在升級。從技術(shù)層面看，互聯(lián)網(wǎng)安全形勢已經(jīng)發(fā)生重大變化，傳統(tǒng)單一企業(yè)級防護產(chǎn)品無法抵御新興威脅，目前產(chǎn)業(yè)鏈參與者正打破行業(yè)壁壘、優(yōu)勢互補，針對企業(yè)用戶內(nèi)外網(wǎng)容易遇到的各類問題，提供一套完整的管控安全解決方案。

可以看到，在2015年騰訊安全、綠盟科技、山石網(wǎng)科、360等，借助云計算和大數(shù)據(jù)技術(shù)，為消費者和企業(yè)提供更加智能的安全系統(tǒng)，從被動防護到主動防護。

而移動互聯(lián)網(wǎng)、大數(shù)據(jù)和云計算飛速發(fā)展，一方面對網(wǎng)絡(luò)信息安全提出的更大挑戰(zhàn)，另一方面也擴大了信息安全市場?？梢钥吹剑瑖鴥?nèi)三大運營商不再甘心只開展自身網(wǎng)絡(luò)防護，也將目光投入到不斷增長的信息安全市場中。如中國電信推出的DDoS防護系統(tǒng)“云堤”，中國聯(lián)通推出移動辦公等領(lǐng)域的聯(lián)通安全方案。