Hadoop上的中國(guó)神獸

趙艷秋

“一流企業(yè)做開(kāi)源，二流企業(yè)做品牌。”這是Kyligence公司聯(lián)合創(chuàng)始人兼CEO韓卿的行業(yè)新說(shuō)。

當(dāng)開(kāi)源技術(shù)被廣泛使用的時(shí)候，也就成了事實(shí)上的標(biāo)準(zhǔn)，從Hadoop已經(jīng)成為事實(shí)上的大數(shù)據(jù)標(biāo)準(zhǔn)就可見(jiàn)一斑。

韓卿及其團(tuán)隊(duì)在過(guò)去幾年為中國(guó)開(kāi)源界在國(guó)際舞臺(tái)贏得了歷史性突破。2013年，還在eBay工作的他發(fā)現(xiàn)，在新興的大數(shù)據(jù)平臺(tái)Hadoop之上，缺乏標(biāo)準(zhǔn)的、快速的數(shù)據(jù)分析技術(shù)。于是，韓卿團(tuán)隊(duì)從無(wú)到有打造了超大規(guī)模數(shù)據(jù)分析技術(shù)麒麟（Apache Kylin）。它能在Hadoop上提供毫秒級(jí)的標(biāo)準(zhǔn)SQL查詢(xún)，更具備處理PB級(jí)數(shù)據(jù)的能力。2014年，在eBay應(yīng)用Kylin的生產(chǎn)系統(tǒng)上線(xiàn)后，這個(gè)項(xiàng)目被開(kāi)源出來(lái)，并很快加入了Apache軟件基金會(huì)成為其孵化項(xiàng)目之一。

開(kāi)源是一個(gè)態(tài)度問(wèn)題

“我個(gè)人認(rèn)為，特別是在基礎(chǔ)技術(shù)領(lǐng)域，開(kāi)源一定是未來(lái)的一種方式和標(biāo)準(zhǔn)。”韓卿說(shuō)，“一個(gè)項(xiàng)目，如果能做成一種使用率很高的開(kāi)源技術(shù)，其實(shí)也就成了行業(yè)的一個(gè)標(biāo)準(zhǔn)。”

開(kāi)源后，Kylin成為Apache軟件基金會(huì)中非常活躍的社群之一，并在2015年成為Apache頂級(jí)項(xiàng)目，這是首個(gè)來(lái)自中國(guó)的Apache 頂級(jí)項(xiàng)目，與Hadoop、Spark處于一個(gè)級(jí)別。韓卿也成為首個(gè)也是目前唯一的來(lái)自中國(guó)的Apache軟件基金會(huì)副總裁。

百度、美團(tuán)、京東、今日頭條、國(guó)泰君安、中國(guó)移動(dòng)、OPPO等擁有海量數(shù)據(jù)的企業(yè)先后使用了Kylin。以美團(tuán)為例，它的外賣(mài)和其他數(shù)據(jù)分析基本都跑在Kylin上。

同時(shí)，眾多的工程師人也積極參與和貢獻(xiàn)到了Kylin社區(qū)，比如美團(tuán)是最早采用Kylin的公司之一，目前有3名開(kāi)發(fā)者成為麒麟項(xiàng)目的Committer（主要貢獻(xiàn)者），最新的一位Committer通過(guò)在美團(tuán)的實(shí)踐，將Kylin一個(gè)基礎(chǔ)算法的效率提升了10倍以上，大大彰顯了他們的技術(shù)實(shí)力。

如今，韓卿已從10多年前那位“想要一個(gè)Apache郵箱”的開(kāi)發(fā)者，成為Apache Kylin項(xiàng)目委員會(huì)主席。他說(shuō)，中國(guó)開(kāi)源界已發(fā)生巨變，非常多的中國(guó)公司為開(kāi)源技術(shù)Spark、Hadoop和OpenStack等做著貢獻(xiàn)，也涌現(xiàn)出越來(lái)越多的中國(guó)原生項(xiàng)目和團(tuán)隊(duì)。這些項(xiàng)目都經(jīng)歷了國(guó)外不可能碰到的數(shù)據(jù)量及環(huán)境的挑戰(zhàn)和檢驗(yàn)，質(zhì)量和性能都很靠譜。

去年，在華為、阿里等幾個(gè)項(xiàng)目進(jìn)入Apache基金會(huì)過(guò)程中，韓卿也給予了很多建議和幫助，目前也是阿里兩個(gè)Apache孵化項(xiàng)目的導(dǎo)師（Mentor）。關(guān)于如何做開(kāi)源，韓卿提到“其實(shí)，開(kāi)源是一個(gè)態(tài)度問(wèn)題，你不是為了一個(gè)KPI、一個(gè)噱頭或Marketing，你是實(shí)實(shí)在在把東西貢獻(xiàn)出來(lái)，而且你要不斷貢獻(xiàn)和發(fā)展它——運(yùn)營(yíng)社區(qū)，不斷尋找用戶(hù)，不斷發(fā)展Committer，不斷與其他開(kāi)源項(xiàng)目建立交互，讓社區(qū)良性發(fā)展。這是我們的經(jīng)驗(yàn)。”

開(kāi)源項(xiàng)目背后的創(chuàng)業(yè)公司

每個(gè)成功的開(kāi)源項(xiàng)目背后，都有一家好的創(chuàng)業(yè)公司，比如Hadoop背后是Cloudera，Spark背后是DataBricks。

在Kylin 走上正軌后，韓卿也在思考這個(gè)問(wèn)題。“中國(guó)市場(chǎng)不比美國(guó)小，我們又擁有核心技術(shù)，為什么不去試試呢？”基于這樣的想法，韓卿與項(xiàng)目其他核心成員一起，在2016年初創(chuàng)建了Kyligence公司——名字由Kylin（麒麟）和Intelligence（智能）組合而來(lái)，寓意是讓這匹數(shù)據(jù)“神獸”更加智能。

公司創(chuàng)建后，很快推出了Apache Kylin的商業(yè)版本KAP（Kyligence Analytics Platform）。商業(yè)版本是開(kāi)源企業(yè)采用的最直接和最廣泛的商業(yè)模式，美國(guó)紅帽公司是這個(gè)模式最經(jīng)典的代表。把開(kāi)源技術(shù)和軟件做成一種更穩(wěn)定易用、更安全、兼容性更好、功能更豐富的企業(yè)級(jí)版本，通過(guò)付費(fèi)“訂閱”方式，為用戶(hù)提供技術(shù)支持和咨詢(xún)服務(wù)。同時(shí)，韓卿團(tuán)隊(duì)也在不斷創(chuàng)新，在企業(yè)版中增加了更多的企業(yè)級(jí)特性。

KAP定位在Hadoop上的數(shù)據(jù)倉(cāng)庫(kù)和商務(wù)智能（BI）。它具備企業(yè)級(jí)服務(wù)軟件的各種特點(diǎn)——穩(wěn)定、安全、易用等。尤其是Hadoop目前已分化出很多版本，Kyligence與Hadoop各供應(yīng)商合作，完成了產(chǎn)品認(rèn)證，具備更廣泛的兼容性，大大降低了用戶(hù)采用新技術(shù)的門(mén)檻。

在推出商業(yè)版本后，Kyligence也在探索其他商業(yè)模式。熟悉韓卿的人發(fā)現(xiàn)，每隔一段時(shí)間，他就會(huì)對(duì)商業(yè)模式有一些新的實(shí)踐和感悟。最新推出的自動(dòng)化診斷、優(yōu)化在線(xiàn)服務(wù)KyBot就是一種模式創(chuàng)新：用戶(hù)通過(guò)Agent等方式自動(dòng)將Kylin的相關(guān)日志上傳到KyBot服務(wù)，而在云端通過(guò)知識(shí)庫(kù)及數(shù)據(jù)挖掘等技術(shù)為用戶(hù)提供快速的、自動(dòng)化的分析和診斷，指導(dǎo)用戶(hù)就行相關(guān)系統(tǒng)的優(yōu)化和性能調(diào)優(yōu)，為用戶(hù)提供及時(shí)有效的支持。

現(xiàn)在，Kyligence正在邁出更新的一步，在微軟Azure和亞馬遜AWS等公有云上，提供大數(shù)據(jù)分析服務(wù)，去年已經(jīng)登錄了Azure中國(guó)鏡像市場(chǎng)，據(jù)悉他們正在和微軟及亞馬遜進(jìn)行合作，很快就會(huì)登陸國(guó)際版鏡像市場(chǎng)。

“雖然大部分國(guó)內(nèi)大數(shù)據(jù)項(xiàng)目都部署在內(nèi)網(wǎng)中，但從全球來(lái)看，越來(lái)越多的企業(yè)把生產(chǎn)應(yīng)用系統(tǒng)放在云上。于是，在云上提供數(shù)據(jù)分析能力，便成了他們的直接需求。”韓卿說(shuō)，“我們就為用戶(hù)提供這樣的解決方案。”

這是一類(lèi)被認(rèn)為含金量很高的服務(wù)，對(duì)技術(shù)要求及團(tuán)隊(duì)能力等都是非常大的挑戰(zhàn)，但韓卿表示已經(jīng)在去年做了很好的技術(shù)和人才儲(chǔ)備，很快就會(huì)提供，并且表示這些服務(wù)未來(lái)也會(huì)在國(guó)內(nèi)的各大公有云上提供。

傳統(tǒng)企業(yè)才是金礦

雖然Kylin項(xiàng)目源自eBay這家互聯(lián)網(wǎng)公司，目前的應(yīng)用者以互聯(lián)網(wǎng)企業(yè)居多，但韓卿說(shuō)：“公司的商業(yè)重點(diǎn)是傳統(tǒng)企業(yè)。”實(shí)際上，Kyligence目前的收入都來(lái)自傳統(tǒng)企業(yè)，這些客戶(hù)分布在金融、電信、制造等領(lǐng)域。

韓卿觀察到，傳統(tǒng)企業(yè)在近兩年的互聯(lián)網(wǎng)化中投資力度巨大，除了搭建非常強(qiáng)的團(tuán)隊(duì)外，積極與外界專(zhuān)業(yè)公司合作，來(lái)構(gòu)建這些企業(yè)的大數(shù)據(jù)和云計(jì)算能力。“為什么會(huì)采用這種合作模式呢？因?yàn)樗麄冊(cè)趽寱r(shí)間。”

例如，國(guó)內(nèi)一家擁有海量用戶(hù)的手機(jī)企業(yè)正基于KAP，為自己的分析人員和前端業(yè)務(wù)人員，構(gòu)建數(shù)據(jù)分析自助服務(wù)平臺(tái)。這讓過(guò)去要等幾個(gè)星期的分析結(jié)果變成了自助服務(wù)，分析時(shí)效縮短到了秒級(jí)，使得大數(shù)據(jù)平臺(tái)快速響應(yīng)業(yè)務(wù)變化成為了可能。而另一家國(guó)內(nèi)Top5的證券企業(yè)正使用KAP做日志分析。從客戶(hù)端登陸到中間網(wǎng)絡(luò)傳輸?shù)阶罱K的交易系統(tǒng)，系統(tǒng)信息一目了然，并且可以快速的查詢(xún)相關(guān)日志。證券公司業(yè)務(wù)人員因而能實(shí)時(shí)精準(zhǔn)定位相關(guān)故障從而更好的提供服務(wù)，提升了客戶(hù)滿(mǎn)意度。

韓卿看到，這些傳統(tǒng)企業(yè)客戶(hù)都是從Teradata、IBM或SAP的傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)和BI工具轉(zhuǎn)到KAP上來(lái)的。“從性能到成本考慮，他們現(xiàn)在都需要新技術(shù)來(lái)替換。”

為了平滑過(guò)渡，KAP遵從了數(shù)據(jù)倉(cāng)庫(kù)的方法論，采用了標(biāo)準(zhǔn)SQL接口，用戶(hù)可無(wú)縫遷移。分析師和管理人員也不用擔(dān)心在大數(shù)據(jù)時(shí)代原有的經(jīng)驗(yàn)和技術(shù)會(huì)被淘汰，他們基本不需要重新學(xué)習(xí)，就能上手使用。標(biāo)準(zhǔn)的技術(shù)也降低了人員成本和學(xué)習(xí)曲線(xiàn)，眾多原來(lái)的BI人員、分析師等一下子就掌握了大數(shù)據(jù)技術(shù)，而無(wú)需學(xué)習(xí)Java、MapReduce、Spark等即可完成超大規(guī)模數(shù)據(jù)的分析。

KAP還在自動(dòng)化和智能化上花費(fèi)了很多精力。“現(xiàn)在用麒麟實(shí)施大數(shù)據(jù)項(xiàng)目，是不需要寫(xiě)任何程序的。”國(guó)美在線(xiàn)從接觸到生產(chǎn)系統(tǒng)上線(xiàn)僅用了1個(gè)月，而他們?cè)谶x型時(shí)曾評(píng)估，如果采用其他技術(shù)可能需要五六個(gè)月。

不為用戶(hù)提供定制版

Kyligence目前支持了全球150多家用戶(hù)。一家創(chuàng)業(yè)企業(yè)怎么去支持?jǐn)?shù)量不斷擴(kuò)大且是自己?jiǎn)T工人數(shù)數(shù)倍的客戶(hù)群？

韓卿說(shuō)，這完全依靠標(biāo)準(zhǔn)化。“我們沒(méi)有為任何一家行業(yè)用戶(hù)提供定制。這就是通用化產(chǎn)品的威力。”

“做通用化產(chǎn)品、減少定制”一直是供應(yīng)商的夢(mèng)想。但在現(xiàn)實(shí)中，越是大客戶(hù)，往往越會(huì)提出定制化需求。Kyligence怎么說(shuō)服客戶(hù)采用統(tǒng)一的產(chǎn)品？韓卿提醒我，Oracle數(shù)據(jù)庫(kù)也沒(méi)為任何人做過(guò)定制。“這需要對(duì)產(chǎn)品技術(shù)發(fā)展方向有很強(qiáng)的把控能力。”Kyligence是由Apache頂級(jí)開(kāi)源項(xiàng)目核心團(tuán)隊(duì)組建的創(chuàng)業(yè)公司，這是一個(gè)重要條件。“只有把握了項(xiàng)目發(fā)展方向和底層核心技術(shù)，并不斷創(chuàng)新，才能做到產(chǎn)品通用化。”

今年初，Kyligence從千余家企業(yè)中脫穎而出，成功入選微軟加速器·上海首期成員。這令韓卿團(tuán)隊(duì)非常振奮。除了品牌、全球影響力、渠道等給Kyligence帶來(lái)的效益外，韓卿最期待的是微軟加速器給創(chuàng)業(yè)公司的指導(dǎo)。“這些指導(dǎo)可以給我們以啟迪——如何搭建一支有戰(zhàn)斗力和高效的團(tuán)隊(duì)，不斷抓住機(jī)會(huì)，做出改變，避免一些坑，從而成為一家成功的企業(yè)。”