新技術的溫床在中國

Kevin Xu

中國科技公司是典型的早期采用者—不是因為趕時髦，而是確實有必要這么做。“中國式規模”讓中國的互聯網經濟成為了高質量軟件，特別是基礎設施軟件工程的成長沃土，這在開源技術上得到了充分體現。國內開發者和企業向各大開源基金會貢獻了越來越多的開源項目，而我們對國外的開源項目也產生了越來越大的影響。

我87歲的祖母住在沈陽郊區的一所老房子里。雖然她年歲已高，但卻很有技術悟性。平常她會用京東、拼多多、淘寶等App進行網購。這三個App剛好是由中國電商市場的三巨頭開發的，其規模遠遠超出了千禧一代和Z世代的受眾總和。

購物節狂歡

電子商務是中國互聯網經濟增長最快的垂直領域之一，同時也帶動了數字支付和物流配送的發展。基礎設施技術在這一領域經受了最為殘酷的考驗。

“雙11”是最為典型的案例，這是由阿里巴巴提出的一個網購節日，每年的11月11 日，淘寶和天貓都會如期慶祝這個節日。2017年“雙11”總銷售額為253億美元，2018年增長到了308億美元。

中國第二大電子商務平臺京東也有自己的年中購物節，即“618”，這是一個為期18天的促銷活動，截至6月18日，這天剛好是京東的成立紀念日。2017年，618的總銷售額為176億美元，2018年增長到了284億美元。

美國亞馬遜的年中購物節Prime Day在2018年和2017年分別創造了41.9億美元和24.1億美元的銷售額。美國感恩節購物季在2018年和2017年的銷售額分別為178億美元和196.2億美元。

對于工程師來說，有趣的不是令人瞠目結舌的銷售數據，而是如何構建可以應對這些工作負載的基礎設施。

2017年，阿里巴巴公布了“雙11”期間系統的高峰吞吐量：每秒25.6萬筆交易和每秒4200 萬次查詢。

不難想象，在這些促銷活動期間，肯定會不可避免地出現大量的事務、查詢、數據一致性問題、實時分析容量和其他難以想象的邊緣情況。

除了這些公司，所有其他想要搭上這些促銷活動順風車的電子商務公司、所有為用戶在線購物提供電子支付解決方案的銀行，以及所有的物流中心和倉儲中心—他們都需要有好的基礎設施技術來應對新的工作負載和流量增長。

由于這種增長速度，以及由此產生的競爭壓力，中國科技公司在采用新技術方面具有相當強的風險承受能力。

一家公司找到合適的產品市場，然后在不到兩個月的時間內采用未經證實但很有前景的新技術為高速增長的流量提供服務，這種事情并非聞所未聞。

京東在2016年初開始采用Kubernetes，當時離谷歌開源Kubernetes還不到一年的時間，因為他們必須解決可伸縮性問題，而OpenStack沒能幫他們實現這一目標。目前，京東擁有全球最大的Kubernetes集群，運行在2萬臺裸機上。

更大的規模，更大的責任

中國擁有世界上最多的互聯網用戶，而龐大的用戶規模也帶來了不可預知的行為，這種不可預知的行為也促使科技公司必須認真對待每一項技術。而生存下來的技術會變得更強大、更有彈性，也更值得被用在其他地方。

但是很多行為是不可能在構建模式下進行預測或測試的。如何通過Paxos或Raft來模擬系統達到100倍查詢峰值時的網絡流量？當一件商品、一首歌或一段視頻突然變得像病毒一樣迅速傳播，所有用戶都在試圖訪問它們，而更糟糕的是，有價值的廣告收入取決于系統不能崩潰。在這種情況下，你該如何處理數據熱點問題？當數據增長率為每天數TB時，應該如何擴展存儲容量？

所有這些情況，在很多中國科技公司中時有發生。他們正在迅速地尋找新的解決方案，以迎接這些挑戰—這為考驗這些創新技術提供了一片沃土。

“中國式規模”已經催生了一些由中國原創的基礎設施技術。去年，云原生計算基金會（CNCF）接受了其中的三個項目：Harbor、TiKV 和DragonFly。

由螞蟻金服開發的分布式關系數據庫，最初用于支持支付寶。支付寶在中國已經無處不在。此后，OceanBase逐漸成為阿里巴巴所有關鍵電子商務平臺（如淘寶和天貓）的核心交易數據庫。它也是一個獨立的產品，南京銀行就是它的用戶之一。

2014年以來，它經歷了五次“雙11”的考驗。可惜的是，它是一個閉源產品，在中國以外沒有得到廣泛采用，所以與其架構、設計或工程方面相關的信息并不多。

一個開源的、兼容MySQL的NewSQL分布式數據庫，由PingCAP于2015年創建。它采用了分層架構，SQL處理層（左邊的TiDB集群）和可水平伸縮的存儲層（中間的TiKV集群）被分隔開來。（注：TiKV也由PingCAP發起，但現在由CNCF托管）。這個設計靈感來自于谷歌的Spanner和基于Spanner構建的F1項目。

PD（Placement Driver）集群保存元數據，提供一些負載均衡支持，并提供時間戳（作為系統事務模型的一部分）。TiSpark集群是一個可選組件，用戶可以直接基于保存在TiKV中的數據運行Spark作業。

此外，PingCAP現已提供TiDB的企業版和云服務，同時也在維護開源社區版本。目前，中國已經有幾百家公司在生產環境中部署了 TiDB，如摩拜、北京銀行和愛奇藝。國外也有一些大型互聯網公司使用了TiDB，如Shopee和 BookMyShow。

一個快速的OLAP（在線分析處理）引擎，最初由eBay中國團隊開發，在2014年貢獻給 Apache基金會，并在2015年底成為頂級項目。Kylin主要被用在Hadoop生態系統中，為數百億行數據的分析查詢帶來可觀的速度提升。

用戶先定義數據模型，然后利用Hadoop的分布式特性并行運行多個MapReduce作業，用以預構建必要的多維模型（也稱為“MOLAP”）。最后，Kylin將預先計算的模型存儲在HBase中，供用戶查詢。它還使用Zookeeper來協調和管理這個過程的不同部分。

作為大數據分析引擎，Kylin集成了 Tableau、MicroStrategy、Excel等流行的BI 工具。它還提供了一個RESTful API，方便與第三方應用程序連接。除了eBay，它還在OPPO、百度、中國太平洋保險等公司經受過實戰考驗，三星和摩根大通也是它的用戶。

一個相對較新的開源應用程序性能監控（APM）工具，用于在基于容器的環境中監控微服務。2017年底，它成為Apache基金會的孵化器項目。

Skywalking通過服務網格從微服務中提取指標，并利用Jaeger等流行工具來跟蹤信息，并可以查詢和分析這些指標和信息，還可以使用團隊開發的UI進行可視化。它還提供了一個可插拔的存儲接口，借助這個接口，可以將信息保存在一些流行的數據庫中，比如 Elasticsearch、MySQL和TiDB。

盡管這個項目成立還不到兩年，但中國的一些大型公司已經在使用它，如華為、小米和貝殼等。

中國之外

除了本土技術，國外的一些技術也有了“中國式規模”的味道。

京東是Prometheus、Vitesse、Jenkins和GitLab等技術的用戶，百度是CockroachDB（另一個受Spanner啟發的開源數據庫，類似于 TiDB）的用戶。Alluxio，一個分布式文件系統統一層，可以以內存速度運行（源自加州大學伯克利分校AMPLab的一個名為Tachyon的研究項目），也在百度、中國聯通和滴滴出行等企業中得到采用。

中國公司不僅在大規模采用這些技術，有時候甚至直接收購它們。

開源數據流平臺Apache Flink由柏林技術大學于2009年創建，作為Stratosphere研究項目的一部分。而阿里巴巴最終收購了由Flink 創始人創辦的dataArtisan。

有價值的權衡？

作為工程師，我們知道沒有什么技術是絕對的，它們總是存在權衡。我們總是在吞吐量和延遲、數據一致性和響應時間、新特性和系統穩定性之間做出權衡。我們很少能魚與熊掌兼得，我們也不相信把自己標榜得太高的技術。

市場的選擇也是如此。在中國互聯網經濟大環境中，有一些問題一定要考慮到，特別是信息審查方面的問題。

比如，對侵犯知識產權行為的法律追索仍然不太可靠，有關企業使用個人數據的監管尚處于初級階段。但如果你是一名開發者，正在尋找一些穩定可靠的技術，那么那些已經在中國互聯網環境中經受過實戰考驗的技術將是安全的選擇。