金山云：云上的大數據平臺

李昊原

數據應用四階段論。

電商企業有兩個鮮明的特點，第一是，有許多促銷運營的活動，比如“雙十一”、“雙十二”；第二是，對大數據的依賴性很強，借助對數據的分析進行精準推送。

一家企業一天可以產生多少數據呢？幾個例子可以說明問題：一家中大型的游戲公司，每天玩家可以產生600GB的行為數據；一家互聯網企業，用戶每天的點擊流和行為數據可以達到500GB；而一家醫療行業，或是生物分析行業的企業，假如想對幾十萬甚至上百萬人做基因的數據分析，人類的DNA是30億個堿基對，那每個人DNA的數據大概就是3GB，分析的數據量將逼近甚至達到PB級。對一些企業來說，大數據能力不僅是一種追求，而是企業運營的必需品。

在這樣的數據量面前，一個顯而易見的問題是如果電商企業自建機房，只為應對促銷活動時的IT壓力，這意味著購進大量設備，而在平時，這些資源是被閑置的，這是成本上的浪費。另外，大數據平臺的運營和維護成本也比較高。

隨著云計算的興起，企業紛紛將數據遷移到云上，以金山云為例，其存儲企業的總數據量已超過400PB，并以每天500TB的速度在不斷增加，在云上提供大數據服務成了一種必然。

在電商企業使用云平臺之后，實時數據則會通過萬兆網的專線，傳輸到金山云KMR（Kingsoft MapReduce，金山云托管Hadoop服務）集群進行處理與分析，然后將處理結果傳回電商的數據中心。在促銷活動時，可以按需購買資源，只需幾分鐘就能靈活擴容與收縮，成本下降效率卻大大提升了。同時，也不必在運營維護上投入過多資源，能更專注于本身的業務。對大多數技術不夠強的企業來說，面對突發情況，KMR的安全性也比自己搭建的大數據平臺要更高。

金山云大數據和AI技術總監張東進將企業對云上數據的應用分為四個階段：最基礎的是將數據放到云上，包括對數據的存儲和分發；第二個階段，是使用數據驅動決策和運營，包括商務智能和統計分析；第三個階段，不僅僅用數據來驅動決策和運營，還會利用數據來支撐一些關鍵業務，比如電商的商品推薦功能，一些傳統制造業企業，也會用數據配合人工智能，去優化生產制造流程；第四個階段，完全以數據為核心去構建業務模式，比如今日頭條。

“要是簡單地把企業分為互聯網企業和傳統企業，前者的數據意識比較高，又擁有較強的技術實力，業務模式通常也跟數據深度綁定，在數據應用上會走得比較深入。而傳統企業，早期主要是在商業智能（BI）上應用數據，現在也開始思考如何來應用大數據。我們發現一個趨勢，兩年前，傳統企業認為大數據重要，是因為國家和媒體的宣傳，并沒有真正的體會；而現在，他們的競爭對手在用大數據，他們能感受到差別，也真的認為大數據很重要了。不管哪種企業，都可以在這四個階段中滿足自己的需求。”

硬件革命推動大數據“上云”

大數據的關鍵是建立一個穩定高效的大數據分析平臺。2011年Hadoop開始流行時，大數據在實際部署中有一系列難以解決的問題：多租戶模式導致對數據安全性的詬病；搭建大數據平臺時，需要采購大量設備，對人員的技術要求高，時間長達數月，難以快速部署；對計算能力進行擴容，從采購機器到完成會耗時長，系統缺乏靈活性和可靠性。

與之對應的是，當時網絡還在千兆網時代，硬盤是每秒寫次50的SATA，計算方面是Westmere處理器，硬件的不足導致移動海量數據的成本高，計算需要在數據所在的地方進行，限制了大數據技術的落地。而現在，100G網絡已經出現，CPU的計算能力提升了10～20倍，最近發布的英特爾閃騰P4800X固態硬盤，每秒寫次達到50萬。硬件的革命性進步，讓計算和存儲可以分開到兩個獨立的集群中，通過高速互聯網來連接，云上大數據平臺的實現成為可能。

KMR就是金山云依托英特爾在硬件方面的實力，推出的云上大數據服務，通過數據打通，企業客戶在金山云上以及在自己的數據中心產生的數據，可以在平臺上一站式地做計算、做分析。

起家于IaaS的金山云，過去兩年深耕PaaS領域，更擅長于偏基礎性的平臺服務。“我們發現，SaaS更像是點上的需求，而PaaS則是廣泛的需求。比如說在一個大型集團中，都會用同一個PaaS來做大數據服務。”針對企業對SaaS方面的需求，尤其是傳統企業所需要的能夠直接面對運營和分析人員的數據服務，金山云除了自己開發，還通過與合作伙伴合作的方式在KMR上達成。云上大數據平臺可以滿足企業在數據處理第一和第二階段的需求，更高階段的數據應用，需要云上大數據和人工智能進行深度融合，這也是金山云接下來的重點方向。“我們可以通過人工智能技術改進大數據平臺，在數據的接入、轉換、挖掘，和支撐、賦能企業業務做到更好。”