Doug Cutting：HadooP的商業前景

鄭悅

大數據革命日益凸顯Hadoop技術的商業模式及前景。

大數據的勃興使得數據處理成為熱點應用，實踐證明從數據中挖掘價值成為企業需要解決的大數據痛點。這使得HadooP這項大數據技術從后臺走向前臺，成為人們關注的重點。

HadooP是一個基于Java的分布式密集數據處理和數據分析的軟件框架。基于Java語言構建的Hadoop框架實際上是一種分布式處理大數據平臺，其包括軟件和眾多子項目。自2005年Hadoop誕生以來，十年中Hadoop已成為大數據革命的中心。Hadoop的生態系統構建于Linux生態系統并發展，一個顯而易見的事實是，社交媒體和基于Web的應用驅動了Hadoop的發展。而Hadoop技術的商業應用代表公司Cloudera也隨之迎來了發展的機遇。

Cloudera是為Hadoop提供咨詢和技術服務的平臺，其客戶大多來自于傳統行業，希望通過HadooP來處理之前只能被直接拋棄的大規模數據。現在，除了這些傳統行業之外，Yahoo！、Facebook、eBay、Linkedln等公司都在使用Hadoop。

本期高端訪談邀請Hadoop的聯合發明者，人稱“Hadoop之父”、Cloudera公司首席架構師Doug Cutting談談Hadoop技術本身的發展以及商業應用前景。Cutting的目標是將Hadoop發展成云計算領域的RedHat，“我從來沒有想過，除了搜索引擎，Hadoop的作用還能在其他方面有所發揮，它今天所受到的關注程度，已超過了我之前的所有想象”。

Q：Hadoop作為一項發展了十年的技術，在您看來未來將有怎樣的發展？

A：開源技術的魅力在于身處社區之中，發展方向將由開發者所決定。作為Hadoop的聯合發明者，我很欣喜地觀察著這一過程。我也贊賞“Hadoop+”或者“后Hadoop”這樣的名稱，關注基于這一技術的相關應用及生態。

Cloudera作為Hadoop的商業應用代表之一，我們注意到基于Hadoop的行業應用剛剛開始，依然處于早期階段。電信、金融、政府、零售、醫療、制造等領域都開始有Hadoop的應用。而這些行業的特點是，在大數據的應用浪潮中，以往基于每一個具體功能的“豎井式”應用都亟需一個平臺，而這正是Hadoop的擅長之處。

在中國，有改造傳統產業的現實需求，這使得我們更加看好未來基于Hadoop技術的應用發展。在平臺化的過程中，企業級的應用需要安全、穩定、可管理的產品，而Cloudera所能提供的Hadoop商業套件可以滿足這樣的需求。

在我看來，2016年是基于Hadoop技術應用發展的高峰期。我們已經在日本看到金融和電信的相關應用，在汽車行業對于維修的可預測性的需求，也將觸發更多的應用，不過由于這一過程時間較短，尚需要知識和經驗的積累。

Q：您覺得Hadoop的發展過程中目前有哪些挑戰？

A：我覺得在這一點上Hadoop所面臨的挑戰和數據生態系統的是一樣的。首先是成熟度問題，這是一個需要完善的過程，Hadoop在商業化場景中的應用依然很新。其次是人才問題，無論是在中國還是在美國，都需要大量能夠熟練使用Hadoop的程序員。第三是復雜度，云計算與大數據帶來的使用環境的復雜，這催生了平臺化工具的用武之地。第四是安全與信任，這在任何使用場景中同樣重要。最后一點是變化，如何迎接變化是需要持續關注的話題。

Q：Cloudera公司的業務處于一個快速增長階段，您對此有怎樣的看法？

A：我能看到自己的發明正在變得越來越有力量。Cloudera公司每年的增長率都在百分百以上，在相當長的一段時間內利潤和客戶數也都在成倍增長。限制Hadoop增長的是能力和經驗的欠缺，這也和人才問題密切相關。

對于目前的企業客戶來說，使用Cloudera提供的套件化的Hadoop依然只是自身IT架構的一小部分，而隨著最佳實踐的普及，將可以讓更多公司能夠更容易地使用該技術。毫無疑問，Hadoop將成為公司IT架構中更大的部分。