AWS的黑科技

王眾

給自家服務(wù)配上黑科技已經(jīng)不夠了，AWS在讓黑科技成為業(yè)界的新常態(tài)。

自從雙十一帶來意外的銷售效果，中國的網(wǎng)購小伙伴們迎來了各種購物節(jié)的轟炸。而電商的鼻祖和巨頭亞馬遜終于也坐不住，在2015年打造自己的購物節(jié)“Prime Day”。Prime是亞馬遜電商的會(huì)員名稱，也就是說，這是專為亞馬遜會(huì)員定制的購物節(jié)。

收費(fèi)會(huì)員制在國內(nèi)一直不太吃得開，但在美國零售業(yè)則是常態(tài)，著名的商超Costco和沃爾瑪旗下的山姆大叔，即便在當(dāng)下實(shí)體零售哀鴻遍野的現(xiàn)狀下仍然堅(jiān)挺；甚至山姆會(huì)員店2016年在中國迎著電商勇敢擴(kuò)張。Prime就是亞馬遜的全球收費(fèi)會(huì)員制，據(jù)統(tǒng)計(jì)在美國，1/10美國人（約10.7%人口）是亞馬遜Prime會(huì)員，而且他們可不是“僵尸粉”——Prime會(huì)員每年平均花費(fèi)達(dá)1200美元，超出非會(huì)員平均每年700美元的花費(fèi)。所以雖然起步晚，“Prime Day”的群眾基礎(chǔ)好極了。

2015年，試水的Prime Day在定在7月15日。到了2016年，積攢了經(jīng)驗(yàn)的亞馬遜將日子定在了7月12日，向美國、日本、加拿大和英國、西班牙、意大利等部分歐洲國家的Prime會(huì)員客戶推出超過10萬種促銷商品；并在7月5日至11日之間舉行了一系列會(huì)員促銷，挑動(dòng)購物欲。

AWS（亞馬遜公司旗下云計(jì)算服務(wù)平臺(tái)）在2016 re：invent大會(huì)上回顧了會(huì)員日的戰(zhàn)況，這種全球性爆發(fā)式的網(wǎng)絡(luò)事件如果沒有足夠強(qiáng)悍的云計(jì)算技術(shù)，宕機(jī)或者被各路黑客入侵掃貨就會(huì)成為“主旋律”。

彈性和真正的數(shù)據(jù)分析成新常態(tài)

對(duì)于經(jīng)常過剁手節(jié)和搶票節(jié)的中國企業(yè)來說，一言不合就“按秒付費(fèi)”擴(kuò)展一個(gè)數(shù)據(jù)中心，過了那幾小時(shí)再撤掉，大概是最經(jīng)濟(jì)的方式。哪怕是不那么有名氣的電商，在其購物節(jié)期間也能爆發(fā)出數(shù)倍于平時(shí)的瀏覽量和成交量，這時(shí)候，如果云服務(wù)沒搭建好，免不了臨時(shí)購入大批服務(wù)器，也要含淚撐住。每到雙十一，IT人就免不了盯上阿里的服務(wù)器表現(xiàn)，但2016年第一個(gè)10分鐘之后系統(tǒng)癱瘓，還是讓人倍感意外。

阿里似乎后來沒有秀自己的“云肌肉”，但AWS迫不及待地曬了自己的——他們?yōu)閬嗰R遜電商啟用了數(shù)十萬臺(tái)虛擬服務(wù)器（相當(dāng)于一個(gè)中等規(guī)模的數(shù)據(jù)中心），會(huì)員日之后又把這些虛擬服務(wù)器收回。曬完之后，AWS宣布，彈性將成為云計(jì)算的新常態(tài)。

彈性對(duì)于云計(jì)算行業(yè)來說，不僅不是新詞匯，而且是很多公有云用戶的主要要求。比如上文提到的，為了自家購物節(jié)臨時(shí)批發(fā)服務(wù)器的電商，對(duì)他們來說，在特殊的日子租用最多上百臺(tái)服務(wù)器足矣，這樣的需求，一家中等體量的云服務(wù)廠商即可以滿足。但當(dāng)彈性的需求是上萬、甚至數(shù)十萬虛擬服務(wù)器的時(shí)候，并且在短時(shí)間內(nèi)啟用和回收、且能保證速度和穩(wěn)定性；就要求云服務(wù)提供商有強(qiáng)大的技術(shù)和高昂的資金投入。

為了保證彈性成為新常態(tài)，AWS目前在全球有14個(gè)數(shù)據(jù)中心區(qū)域，2017年還將再增加4個(gè)。此外，AWS目前在全球有68個(gè)CloudFront PoP（邊緣站點(diǎn)，即CDN發(fā)布點(diǎn)，這是數(shù)據(jù)傳輸流暢性的重要保證）。因?yàn)槿际亲杂匈Y源，統(tǒng)一管理、統(tǒng)一運(yùn)營和統(tǒng)一交付，整體效率、質(zhì)量和用戶體驗(yàn)都要好很多。這樣就避免了不同供應(yīng)商之間復(fù)雜的合同談判。

AWS的每個(gè)數(shù)據(jù)中心區(qū)域都至少有兩個(gè)可用區(qū)域（Available Zone）每一個(gè)可用區(qū)域至少有一個(gè)數(shù)據(jù)中心，有的可用區(qū)域容納了8個(gè)數(shù)據(jù)中心，在可用區(qū)域內(nèi)有大量冗余網(wǎng)絡(luò)，有的可用區(qū)域的服務(wù)器數(shù)量高達(dá)30萬臺(tái)規(guī)模。每個(gè)數(shù)據(jù)中心區(qū)域還有兩個(gè)傳送中心（Transit Center）。兩個(gè)傳送中心互為冗余，它們的任務(wù)是為所屬數(shù)據(jù)中心區(qū)域和外部提供連接和交換功能，傳送中心會(huì)連入AWS Global Network。

無論雙十一也好、Prime Day也好，除了拖著一串0的交易額，還有寶貴的、沉淀下來的消費(fèi)數(shù)據(jù)，如何有效處理這些海量數(shù)據(jù)？

對(duì)這個(gè)話題，亞馬遜CTO Werner Vogels直言：“以前，通常被劃歸為分析的那些行為，比如索引、獲取、存儲(chǔ)、安全等，其實(shí)并不是嚴(yán)格意義上的分析行為。80%的數(shù)據(jù)分析都不是分析，只是苦力活，只有20%的真正的分析，這是傳統(tǒng)數(shù)據(jù)架構(gòu)存在的弊端。”

他認(rèn)為，用戶應(yīng)該建立現(xiàn)代化的數(shù)據(jù)架構(gòu)，其主要特征是：可靠、自動(dòng)化的數(shù)據(jù)采集和整合；實(shí)現(xiàn)全生命周期管理，以及對(duì)“冷數(shù)據(jù)”進(jìn)行良好保存；按照管理、安全、合規(guī)和隱私性的要求對(duì)數(shù)據(jù)進(jìn)行分類；實(shí)現(xiàn)自助式的發(fā)現(xiàn)、查詢和訪問；管理數(shù)據(jù)質(zhì)量、為分析做好準(zhǔn)備、捕獲數(shù)據(jù)的變化……

對(duì)此，AWS推出了AWS Glue和Batch。前者能夠自動(dòng)抓取數(shù)據(jù)源，識(shí)別數(shù)據(jù)格式，然后建立模式和轉(zhuǎn)換，讓客戶將80%的準(zhǔn)備時(shí)間壓縮到20%。后者則根據(jù)提交的批處理作業(yè)的卷和特定資源要求，動(dòng)態(tài)地提供計(jì)算資源（例如CPU或內(nèi)存優(yōu)化實(shí)例）的最佳數(shù)量和類型；讓使用者能高效地在AWS上運(yùn)行數(shù)十萬個(gè)批處理計(jì)算作業(yè)。

為AWS數(shù)據(jù)處理能力背書的是年輕的地圖平臺(tái)MAPBOX，它剛剛發(fā)布了針對(duì)中國用戶的版本。這個(gè)平臺(tái)開放面向開發(fā)者的地圖API，以創(chuàng)建自定義地圖， foursquare、Pinterest、Evernote、Github、500px 都在使用Mapbox 創(chuàng)建自己的地圖。除了提供傳統(tǒng)的地圖服務(wù)以外，MAPBOX還能進(jìn)行實(shí)時(shí)的路況信息收集和分析等，每天能夠處理1億英里（約1.6億公里）范圍內(nèi)的傳感器數(shù)據(jù)。

一輛卡車“裝下”5000個(gè)國圖

發(fā)布會(huì)上出現(xiàn)車已經(jīng)見怪不怪了，自行車、摩托車、蘭博基尼……這次，AWS直接上了一輛卡車，它屬于Snowball（雪球）系列。2015年，AWS推出了AWS Snowball服務(wù)，其最初是一臺(tái)50 TB數(shù)據(jù)傳輸設(shè)備，其設(shè)計(jì)目標(biāo)在于強(qiáng)調(diào)物理接入及數(shù)據(jù)安全等要求。一年來，很多客戶將初代Snowball應(yīng)用于不同類型的物理環(huán)境當(dāng)中，并借此實(shí)現(xiàn)包括大數(shù)據(jù)、基因組學(xué)以及數(shù)據(jù)收集在內(nèi)的各類工作負(fù)載的遷移工作。

用戶的實(shí)際應(yīng)用場(chǎng)景讓AWS發(fā)現(xiàn)了新商機(jī)——客戶們希望收集產(chǎn)生自農(nóng)田、工廠、醫(yī)院、飛機(jī)乃至油井中的數(shù)據(jù)，從車間監(jiān)控到視頻攝制再到物聯(lián)網(wǎng)設(shè)備信息收集；他們希望能夠利用單一模式實(shí)現(xiàn)高度簡化的數(shù)據(jù)存儲(chǔ)與轉(zhuǎn)發(fā)，并在數(shù)據(jù)到達(dá)時(shí)進(jìn)行本地處理，包括過濾、清理、分析、組織、追蹤、總結(jié)以及監(jiān)測(cè)。

于是，Snowball的體量越來越大，傳送速度也越來越快。大家伙AWS Snowmobile可以實(shí)現(xiàn)極大量數(shù)據(jù)（100PB，相當(dāng)于5000個(gè)國家圖書館的信息量總和）的遷移。據(jù)Andy Jassy介紹，如果使用一條 10Gbps 的高速網(wǎng)絡(luò)傳輸 1EB 的數(shù)據(jù)，需要 26 年；但如果使用 Snowmobile，這個(gè)時(shí)間很可能會(huì)縮短到 6 個(gè)月。

Netflix在2008年遭遇大規(guī)模數(shù)據(jù)庫損毀后決定采用云端計(jì)算，從那時(shí)起直到2016年，花了7年的時(shí)間才將所有數(shù)據(jù)資料搬移至 AWS 亞馬遜云端運(yùn)算服務(wù)。不知道如果當(dāng)時(shí)有Snowmobile話，這個(gè)周期能縮短到多久。

近年來的IT企業(yè)都喜歡預(yù)測(cè)到2020年，全球有多少數(shù)據(jù)量，言下之意，就是物聯(lián)網(wǎng)、云計(jì)算有多少商機(jī)。AWS首席執(zhí)行官Andy Jassy也不能免俗，他表示，亞馬遜的云業(yè)務(wù)完全有機(jī)會(huì)做到1000億美元的規(guī)模，這接近于今天亞馬遜的總營收。