弄潮數據“洪流”
——記上海交通大學電子信息與電氣工程學院計算機系講席教授過敏意

張靜怡

過敏意

這是一個大數據的時代。

一個人的消費行為、支付行為、娛樂行為、社交媒體行為，甚至行動軌跡等都在為大數據這座摩天大樓添磚加瓦。

大數據可以有多大？

舉一個簡單的例子，2019年天貓“雙11”開始后，僅14秒成交額就破了10億元。2018年天貓“雙11”全天交易額為2135億元，而2019年用了16小時31分就達到了這個數值。第三方機構數據顯示，淘寶App當天的日活躍用戶比2018年同期增長9638萬，達到4.76億。對日活過億的淘寶來說，在類似“雙11”這種特殊時刻面臨的用戶驟然上漲就是一個“突變型峰值”——扛不住的話，輕則響應緩慢，重則系統崩潰。

更重要的是，在大數據時代，不是只有“雙11”才會遭遇“突變型峰值”。春晚當天的實際登錄量，可能是“雙11”的十幾倍；而12306，春運40天每天都是“雙11”。就連新冠肺炎疫情“眾宅”期間，中國網民每天花在移動互聯網上的時長都比2000年年初增加了21.5%。

截止到2020年6月，中國網民人數已達9.4億，并且依然處于增長狀態。這意味著，在我國，“突變型峰值”的場景只可能增多，不會減少。站在數據洪流中，如何應對日益增長的互聯網服務應用需求，這也是擺在過敏意面前的重大課題。

云上的“雙11”

對于一家企業來說，當一臺服務器的運算能力不足以滿足運算需求時，就需要企業購置多臺服務器，甚至演變成為一個具有多臺服務器的數據中心。但問題是，初期建設成本已經很高了，可中心要運營下去，消耗的電費以及維護支出，可能比建設成本還高，普通的中小型企業難以承擔。

“云計算”就是為了解決這個問題出現的。它本質上是一種提供資源的網絡，打個比方，這里的“云”就像水、電、燃氣一樣，用戶可以隨時取用，不限量，但需要按照使用量付費，這時的使用成本當然遠低于用戶自己去建造一個“自來水廠”或“電站”。在云計算面世之初，這種近乎無限的資源量和彈性能力，就是其最鮮明的賣點。

即便如此，當傳統云計算遇到突變型峰值，還是有心無力。突出問題表現為：“成本高”——應對峰值需求預備容量，成本不節約；“延遲長”——云中低算力節點負載高，調度不均衡；“吞吐低”——存儲設備擴展故障劇增，回復不迅速；“擴展慢”——服務鏡像倉庫網絡擁塞，分發不及時；“運維難”——專家經驗演進和查詢慢，分析不智能。

這樣的云計算，真的能扛過突變型峰值嗎？

“云計算是今后幾十年企業的使能性技術，是發展趨勢。”過敏意堅信，只要能讓云計算把優勢發揮出來，就能找到一個最優解。

事實上，阿里巴巴也愿意相信他的判斷。自從2009年計劃推出天貓“雙11”起，阿里巴巴就預料到突變型峰值勢必會給計算服務帶來巨大的流量壓力，可能超過日常情況幾十倍，甚至幾百倍。怎么辦？總不能因為有百倍的流量壓力就購買百倍的服務器來解決問題吧。那可太貴了。不只是造價貴，阿里巴巴當然可以按照“雙11”的用戶量來準備服務器，但一年有幾個“雙11”這樣的盛況呢？他們更不想看到精心打造的服務器資源一年中大部分時間都在被浪費?？稍朴嬎愕膯栴}怎么辦？

當然是迎難而上。

彼時，過敏意剛從日本回國不久。對他來說，辭去日本會津大學終身教職的一個重要原因就是要走出舒適區，迎接更具挑戰性的生活，為中國科技事業做貢獻。對認準了的事，他有一股“一根筋”式的執拗，為了得到圓滿的結果，他帶著團隊與阿里巴巴一合作就是十余年。

突變峰值的挑戰不是單一技術點就可以應對的，過敏意帶領的上海交通大學團隊就開始和阿里巴巴團隊探索混部技術，希望通過將在線業務和離線大數據計算的負載混部運行在共享的集群中，來顯著提高數據中心資源利用率。

舉個例子，在數據中心日常態下，在線業務普遍資源利用率較低，且業務峰值壓力時間短，或固定在大促脈沖波峰時間，白天壓力較大，且對延遲和抖動敏感；離線業務正好相反，平時資源使用壓力較高，業務資源使用較為固定，主要資源壓力集中在晚上，重視高吞吐，但對時延不敏感。

這時候，在“容器和混部技術”的“統籌”下，服務器能夠將相同/相似需求合并處理，同時識別任務的輕重緩急，優先處理對時效要求高的任務。那問題來了，服務器會因為收到這樣的“指令”有針對性地減緩執行速度嗎？又會不會犧牲掉被定義為“輕”“緩”部分用戶的體驗呢？

過敏意覺得，千臺服務器同時運行的情況下，每天一兩臺出現問題比較常見，一般情況下服務器會在短時間內自動恢復，這時用戶可能無法感知到。但由于服務器規模過大，以及分布式系統本身的復雜性，的確可能會降低運行其上的軟件服務質量。所以，在基于容器和混合部署的高效資源整合技術之上，他們特意開發了基于內存數據分析的服務質量保證技術。其內核就是預先識別出問題服務器，并引導負載使用其他正常運行的服務器，令“統籌”更加完善。“這是我們的撒手锏?！边^敏意說。

再加上突變峰值用戶請求快速處理技術、基于存儲陣列的數據高可靠吞吐技術等核心技術的突破，他們把“面向突變型峰值服務的云計算關鍵技術與系統”這座大廈夯實得越來越牢固。

2014年之前，阿里電商云化平臺峰值流量達到平日的173倍時，就會出現系統崩潰、無響應等現象。2015年起，應用該系統，實現了1000萬核的實時彈性擴展，峰值流量達平日1069倍時的平穩支撐，無丟單漏單，助力2018年實現“雙11”日銷售額新高。

到2019年，阿里巴巴集團基于阿里云智能天然的彈性能力和自研神龍服務器強大穩定的性能，通過混部集群全面上云，實現了基于安全容器的新一代云原生混部技術的架構升級；且通過基于數據智能驅動的運維、調度和管控等創新方法，實現了自動智能化的云原生混部集群管理能力，大大提高了混部集群的業務穩定性，更進一步降低了成本。

訪問美國時和佐治亞州立大學潘毅教授（右）在一起

2019年“雙11”戰役打響后，這一系統帶來了一個新的傳奇。1秒鐘，可以創造8700萬次的數據處理，可以產生54.4萬筆訂單！這組峰值數據，是世界最大信用卡組織VISA交易峰值的8倍，也是2009年第一次“雙11”的1360倍。數據庫中，一個新的世界峰值紀錄誕生了。

更令人稱道的是，在這期間，系統將峰值時用戶請求尾時延從分鐘級降低至百毫秒級，用戶發出搜索指定商品、查庫存、總價計算等指令的響應速度大大加快。讓用戶體驗“絲般順滑”的服務——當初立下的目標，他們做到了。

造“云”進行時

“面向突變型峰值服務的云計算關鍵技術與系統”為過敏意贏得了科研生涯中的第一個國家獎——2019年度國家技術發明獎二等獎，也實現了互聯網公司在國家技術發明獎上零的突破。

為什么能夠支持突變型峰值服務的云計算系統（SPS）如此受青睞？僅僅因為“雙11”嗎？當然不是。SPS最耀眼的優點就是可以支持暴增的流量服務需要。這讓阿里巴巴、中國聯通、新浪微博、中國郵政、優酷視頻、餓了么等，扛住了瞬間暴漲百倍甚至千倍的交易量洪峰。

21世紀進入第2個10年，信息洪流下，電子商務、交通出行、醫療健康、文化社交、電信運營、生活服務等領域無一可避免突變型峰值的沖擊。這時，SPS的出現無疑是雪中送炭。尤其在計算資源的高效整合利用方面取得重大突破之后，在保證終端用戶請求服務質量的前提下，SPS將硬件資源利用率從10%提高到45%。

這是什么概念？2015年年初，衛寧健康云服務產品的在線用戶到3000家時，就開始出現響應遲滯、拒絕服務等現象。但從同年12月起，采用強隔離富容器智能混合部署、分布式數據分析加速等技術后，它能同時支撐5000多家醫院就診高峰期時段多種在線離線服務。

交通出行也一樣。現在已經不僅限于每逢佳節必堵車了，每逢雨雪天氣、早晚高峰期一樣易堵車，這樣的交通狀況令打車也成了一大難題。2020年國慶長假前，部分出行App系統大面積崩潰把“最難打車日”送上了熱搜。究其原因，最主要的就是當突變型峰值到來之時缺乏高可靠高吞吐技術的支撐。“數據失效時存儲陣列恢復慢且擴展困難”，明白了其中的難點，SPS對癥下藥，發明了基于存儲陣列的多級緩存算法優化技術、多盤容錯存儲陣列編碼及快速擴展技術，提高了數據可靠性及訪問速度，實現了存儲陣列單節點數據恢復吞吐率從1.61GB/秒到2.75GB/秒的提升。高德地圖兩年前就應用了相關技術，這使其在2018年國慶期間導航規劃105億次，成為全國第一個日活用戶破億出行服務App?！暗厍虿槐?，高德地圖不放假”，或許這次熱搜事件上，來自高德地圖官方的戲謔性表態最能說明SPS的優勢了。

獲得國家獎，對SPS是一個巨大的肯定。但過敏意認為，他們的工作還要繼續下去。畢竟隨著5G時代的來臨，客戶端的數據處理能力只會越來越強，數據交換也會更頻繁。新冠肺炎疫情以來，“云”成了一種趨勢。人們在云端看診、開會、辦公、上課、看演出……運算需求增長迅猛。過敏意希望，SPS的應用場景能進一步拓展，把這朵看不見、摸不著的“云”做大做強，有效支持和響應日益增長的客戶端需求，這也是他們下一步要考慮的重大問題。

在實驗室和學生討論

城市之光

“十年磨一劍”，過敏意覺得值得。

令他驕傲的是，S P S已經響應國家“一帶一路”倡議，進入東南亞、中東、歐洲，面向全球提供云計算服務了。但他的目光卻沒有停滯在“突變型峰值”上。在他眼里，大數據像一道光，應該照亮的不只是某個行業，而是整個城市。

在過敏意全職回國前，2006年年初，我國發布的《國家中長期科學與技術發展規劃綱要》就提出了“重點研究城市基礎數據獲取與更新、城市多元數據整合與挖掘、城市動態監測與應用”等發展戰略，要求在2020年之前建立城市綜合信息平臺。城市大數據計算理論與方法研究逐漸被列為國家重大戰略。

那時的過敏意，主持的“普適計算的關鍵理論與技術的研究”已經得到國家自然科學基金重點項目的支持立項?？吹絿覍用鎸Υ髷祿闹С郑约皩ο嚓P科研的重視和支持程度，過敏意認為回到上海交通大學，他有太多有益的事要做了。

的確如此。自從2007年全職回國后，國家杰出青年科學基金、國家自然科學基金中芬合作項目、國家原“863”目標導向重點項目、國家原“973”計劃……項目接二連三地進來，過敏意甚至將自己的研究側重點調整到大數據和云計算上。

2020年6月，科技部公開了原國家重點基礎研究發展計劃驗收情況。結果顯示，過敏意的“城市大數據三元空間協同計算理論與方法”為“良好”。在這個項目中，他把目光投向國家在智慧城市建設中面臨的城市精細化管理需求。

從某種程度上說，城市大數據的知識和價值蘊藏于一個“人、機、物”三元空間里。在信息化推進和發展過程中，很多城市的政府與公共服務部門都積累了大量的數據資源。按理說，再進行大數據融合與集成就簡單多了吧，但問題是城市大數據來源廣泛、類型眾多、結構復雜、動態實時且關聯也非常復雜，想要實現數據的“聚、通、用”非常難。

所謂的“聚、通、用”要達到什么程度？舉個例子，如果是在城市公共食品安全管理中，食品原材料的采購、加工、物流和銷售信息，消費者對食品的評論，以及醫院就診和藥店購買記錄等就屬于三元空間的大數據。而在他們的系統中，一旦對這些數據進行深度融合，利用群智認知方法，就能夠挖掘、推理潛在的食品安全隱患，定位、追溯問題環節，提供有害食品的安全預警，從而控制有害食品的蔓延。

為了實現這一點，過敏意團隊確立了清晰的思路，“從數據感知到群智認知再到智能服務”。項目由上海交通大學聯合浙江大學、西北工業大學、中國科學院深圳先進技術研究院共同承擔。自2015年項目啟動之后，他們要做的就是以數據三元化、認知群智化、計算層次化為特征，建立一套新型城市大數據計算理論與方法體系。相關成果發布后，得到了超過30個ACM/IEEE Fellow、國際著名期刊主編等學者的引用，受到高度認可和肯定。其中，實現群智感知的CrowdOS開源系統平臺，支持二次開發，已在城市管理和公共安全方面展開示范應用，2019年9月開源上線以來已經有包括美、英、日等在內的30余個國家的科研人員訪問和下載。高性能分布式深度計算引擎SINGA，目前已經成為Apache頂級項目（http://singa.apache.org）。作為世界使用排名第一的Web服務器軟件，Apache可以運行在幾乎所有廣泛使用的計算機平臺上，能與之聯手，是SINGA的重要突破，也受到了國內外學術界和工業界的極大關注。目前，網易、shentilium等公司已經在其服務器集群上部署了SINGA。

作為項目首席科學家，過敏意經常在各種場合針對三元空間數據利用進行深入淺出的講解。項目組其他骨干人員也做出了同樣的選擇。如果說計算令城市更智慧，他們期冀此刻就種下星星之火，吸引更多同道中人加入到建設智慧城市的隊伍中來。那將是一個流光溢彩的未來。

過敏意的“道”

“我的整個學術生涯比較長，已經有30多年了。”過敏意說。對計算機的好奇，使得他在不同時期有著不同的側重點。比如：南京大學時側重軟件工程，在日本時做過數據挖掘、分子計算、生物信息學研究等，回國之初做普適計算，后來又集中于云計算和大數據?！稗D型要付出很多，但也拓寬了研究領域，可以把不同的研究方向融會貫通，形成新的大課題。”他表示，計算機科學本來也很難涇渭分明，真要較真的話，其實他也從未繞開過“并行與分布式系統”“高性能計算”這些圈子。

回國十余年，過敏意身上變化最大的就是一頭黑發漸白?！暗倚膽B還可以，沒什么能讓我沮喪的”，他強調道，并不掩飾自己的斗志。他一直是篤定的，打定主意不回頭的那種。

21世紀初，日本還是世界第二大經濟體。但過敏意更愿意換個角度去看問題?！拔覀儑艺粽羧丈希罹嗾诳s小，最重要的是國家非常重視科技投入。與其在日本培養人才，不如回國去培養人才，為祖國的教育和科技事業做點貢獻?！币挥羞@個想法，他就再也回不到原來平穩的一眼看到退休的生活中去了?！敖K身在日本，非我所愿?！彼f。

給“城市大數據三元空間協同計算理論與方法”做總結時，過敏意在PPT的最后寫道：建立一支有凝聚力，高層次的城市大數據研究團隊。

培養人才，他一直是認真的。

2019年9月，阿里巴巴達摩院宣布啟動第二屆青橙獎評選，將面向信息技術、芯片、智能制造等基礎研究領域，遴選出10名青年科學家。上海交通大學青年研究員陳全位列其中，他是過敏意的學生。2008年，阿里云創始人王堅找過敏意合作時，陳全也參與了該項目。提起這位學生，過敏意很是欣慰，陳全曾獲中國計算機學會2015年度優秀博士論文獎，在美國密西根大學完成博士后研究后回到上海，現已成為過敏意團隊的骨干力量。到2020年第三屆青橙獎頒布時，團隊的另一位青年教師冷靜文博士也榜上有名，一個團隊連續兩屆獲得青橙獎，一時傳為佳話。

而在學生王鴻偉的記憶里，過敏意一直在給他們創造寬松自由的環境，支持他去參加各種學術會議，甚至支持他提前半年多畢業去斯坦福大學做博士后。現在他也有回上海交通大學的打算。

但學生還是少數，過敏意團隊的重要組成骨干還是其他海歸。用他的話說，這是為了避免“近親繁殖”，開闊視野?！拔覟槿巳?，人人為我，團隊就應該各有擅長，取長補短，協同發展?！倍嗄赀^去，他打造出和諧向上的團隊文化。他樂于看到，走出去的學生為人處事受人稱道，無論在高校還是企業都能獨當一面；走進來的人自由成長，道路越走越遼闊。

他相信且堅持“規范”，這里的規范不是指套路和模板，而是在求解找真相的過程中，要一絲不茍、精益求精。他做到了。至今，他本人在各種學術期刊、會議上發表了400余篇論文，出版中英文著作6部，授權發明專利40多項，在國際學術會議上7次獲得最佳論文；2020年又當選歐洲科學院院士。而近幾年里，他的團隊中幾乎每年都有青年骨干脫穎而出，入選各類青年計劃。

“各人有各人的道”，過敏意的“道”很單純，他不迷信英雄主義，認為只有團隊效益提升到最高，才能干成大事。就像，不管現在的他在外界看來有多成功，他滿心里只有：對云計算要有更高的要求，以解決現在解決不了的問題。

“就算遇到難題，只要堅持下去，總歸是車到山前必有路，柳暗花明又一村。”過敏意時常以此勉勵身邊的年輕人，“做學問當心無旁騖，切忌像猴子掰玉米，掰一路扔一路，到最后什么也得不到。”