基于新一代大數(shù)據(jù)處理引擎Flink的“智慧滁河”系統(tǒng)

葉 楓，張 鵬，夏潤亮，顧和生，陳 勇

(1.河海大學(xué)計算機(jī)與信息學(xué)院, 江蘇 南京 211100； 2.南京龍淵微電子科技有限公司,江蘇 南京 211106;3.江蘇省水利廳,江蘇 南京 210029； 4.黃河水利科學(xué)研究院，河南 鄭州 450003；5.南京市江北新區(qū)環(huán)境保護(hù)與水務(wù)局，江蘇 南京 210032)

IBM于2008年率先提出了“智慧地球”，期望通過普適的數(shù)字化、網(wǎng)絡(luò)化和智能化，提高效率、靈活性，做出更加明智的決策。“智慧”體現(xiàn)在3個方面：“更透徹的感知，更廣泛的互聯(lián)互通，更深入的智能化”[1]。所謂“更透徹的感知”是指利用任何可以隨時隨地感知、測量、捕獲和傳遞信息的設(shè)備、系統(tǒng)或流程；“更廣泛的互聯(lián)互通”是指通過各種形式的高速寬帶通信網(wǎng)絡(luò)，將個人電子設(shè)備、組織機(jī)構(gòu)等信息系統(tǒng)中收集和儲存的分散信息及數(shù)據(jù)連接起來，進(jìn)行交互及多方共享，從而更好地對環(huán)境和業(yè)務(wù)狀況進(jìn)行實(shí)時監(jiān)控，從全局的角度分析并實(shí)時解決問題，使得工作和任務(wù)得以通過遠(yuǎn)程的、多方協(xié)作方式完成；“更深入的智能化”指使用先進(jìn)技術(shù)(如數(shù)據(jù)挖掘工具、科學(xué)模型)來完成復(fù)雜的數(shù)據(jù)分析、匯總和計算，整合和分析跨地域、跨行業(yè)和職能部門的海量數(shù)據(jù)和信息，并應(yīng)用到特定行業(yè)、場景以及解決方案中，以更好地支持決策和行動，如，“智慧醫(yī)療”“智慧城市”和“智慧交通”等。由于水利業(yè)務(wù)的復(fù)雜性、動態(tài)性，涉及因素(天氣、地形、人類活動等)的多樣性及關(guān)聯(lián)性，導(dǎo)致水利業(yè)務(wù)數(shù)據(jù)也呈現(xiàn)多樣性、動態(tài)性、大數(shù)據(jù)規(guī)模化等特點(diǎn)，這為水利領(lǐng)域智慧化的研究帶來諸多挑戰(zhàn)，當(dāng)前仍需要堅實(shí)的理論、恰當(dāng)?shù)哪Ｐ汀⒂行У姆独⑸钊氲脑囼?yàn)和具體的實(shí)現(xiàn)。從信息科學(xué)和技術(shù)的角度看，主要有2個關(guān)鍵問題：①實(shí)現(xiàn)“智慧”，從根本上解決數(shù)據(jù)密集型科學(xué)發(fā)現(xiàn)的問題[2-4]，這既有科研傳感器數(shù)據(jù)集的海量性、多樣性、豐富性、不確定性、實(shí)時性帶來的挑戰(zhàn)，也有對水利領(lǐng)域數(shù)據(jù)內(nèi)在的時空特性和特定屬性理解和處理的困難；②實(shí)現(xiàn)“智慧化”的河流、流域，驗(yàn)證所提出的“智慧河流”等的可行性、有效性，需要選型并構(gòu)建面向水利領(lǐng)域大數(shù)據(jù)的獲取、處理、分析的綜合平臺，以有效應(yīng)對大數(shù)據(jù)多樣化的處理場景。本文提出了基于新一代大數(shù)據(jù)處理引擎Flink的“智慧滁河”系統(tǒng)，旨在為水利信息化邁向“智慧”提供可行的解決方案。

1 相關(guān)概念

“智慧河流”“智慧流域”和“智慧水利”等，實(shí)質(zhì)是“智慧地球”理念在水利領(lǐng)域的延伸。當(dāng)前，對于水利領(lǐng)域智慧化的研究，代表性的工作有蔣云鐘等[5-6]提出的“智慧流域”和王忠靜等[7]提出的水聯(lián)網(wǎng)和智慧水利的概念。蔣云鐘等[5-6]提出，智慧流域是指把新一代IT技術(shù)充分運(yùn)用于流域綜合管理，把傳感器嵌入和裝備到流域各個角落的自然系統(tǒng)和人工系統(tǒng)中，通過普遍連接形成“流域物聯(lián)網(wǎng)”；而后通過超級計算機(jī)和云計算將“流域物聯(lián)網(wǎng)”整合起來，以多源耦合的氣象水文信息保障平臺、二元水循環(huán)及伴生過程數(shù)值模擬平臺等為支撐，將其與數(shù)字流域耦合起來，完成數(shù)字流域與物理流域的無縫集成，使人類能以更加精細(xì)和動態(tài)的方式對流域進(jìn)行規(guī)劃、設(shè)計和管理，從而達(dá)到流域的“智慧”狀態(tài)。王忠靜等[7]認(rèn)為，水聯(lián)網(wǎng)的總體架構(gòu)是集物理水網(wǎng)、虛擬水網(wǎng)和市場水網(wǎng)為一體的現(xiàn)代化水資源系統(tǒng)。在實(shí)現(xiàn)層面，需要物聯(lián)網(wǎng)、云平臺、服務(wù)體系來探索智慧化水利之路，已成為當(dāng)前的研究共識，并已做了一些具體工作[8-9]。但是，從信息科學(xué)和技術(shù)的角度看，實(shí)現(xiàn)“智慧”的關(guān)鍵標(biāo)準(zhǔn)是從根本上是解決數(shù)據(jù)密集型科學(xué)發(fā)現(xiàn)的問題，目前缺乏具體完整的系統(tǒng)架構(gòu)方案或典型案例。由于水利業(yè)務(wù)的復(fù)雜性、動態(tài)性等特點(diǎn)，對大規(guī)模的動態(tài)、實(shí)時、多樣化水利業(yè)務(wù)數(shù)據(jù)的處理存在諸多挑戰(zhàn)。因此，應(yīng)把握“智慧”的特征，根據(jù)水利特定領(lǐng)域大數(shù)據(jù)驅(qū)動的主線，選擇合適的平臺和技術(shù)進(jìn)行集成，構(gòu)建智慧化應(yīng)用系統(tǒng)。

2 水利領(lǐng)域大數(shù)據(jù)

實(shí)現(xiàn)“智慧”，從根本上說是解決數(shù)據(jù)密集型科學(xué)發(fā)現(xiàn)的問題，數(shù)據(jù)本身是核心，涉及數(shù)據(jù)的獲取、傳遞、存儲、處理和展現(xiàn)等流程。水利領(lǐng)域大數(shù)據(jù)最顯著的特點(diǎn)可以概況為規(guī)模大、主題多樣、數(shù)據(jù)本身的信息豐富、處理和利用難度大。根據(jù)馮鈞等[10]的研究，經(jīng)過長期的業(yè)務(wù)實(shí)踐，水利領(lǐng)域已經(jīng)積累了大量分布異構(gòu)獨(dú)立的業(yè)務(wù)數(shù)據(jù)，如，實(shí)測信息就包括水文觀測信息(地表地下水量水質(zhì)狀態(tài)等信息)、水利設(shè)施在線運(yùn)行狀態(tài)信息、用水戶用水排水信息等，截至2012年，單是水文數(shù)據(jù)，全國已超100TB。隨著各類水文、水質(zhì)傳感器和攝像頭等的廣泛應(yīng)用，所獲取數(shù)據(jù)的規(guī)模和增長速度都是空前的。從主題角度，有水文、水質(zhì)[11]、水資源、水利設(shè)施(空間)、土壤侵蝕、灌溉、水能資源調(diào)查、農(nóng)村水電等專題，以及第一次水利普查工程對河流湖泊、水利工程、重點(diǎn)經(jīng)濟(jì)社會取用水戶及水利單位等對象進(jìn)行普查和清查匯總形成的普查成果數(shù)據(jù)。這些主題不斷豐富著水利領(lǐng)域的大數(shù)據(jù)集。以水資源數(shù)據(jù)為例，水利信息往往具有以下特征[12]：存在異常數(shù)值，連續(xù)觀測的值往往是彼此密切相關(guān)的，依賴于其他變量等。水利領(lǐng)域數(shù)據(jù)的處理和利用難度很大，主要是因?yàn)閿?shù)據(jù)獲取過程中對位置、環(huán)境、天氣等相關(guān)因素的數(shù)據(jù)系統(tǒng)標(biāo)注缺失，丟失了數(shù)據(jù)之間存在的豐富時空關(guān)聯(lián)信息。水利領(lǐng)域的業(yè)務(wù)數(shù)據(jù)迥異于商業(yè)數(shù)據(jù)，其數(shù)據(jù)類型豐富、規(guī)模大，屬性和關(guān)聯(lián)關(guān)系也更加復(fù)雜[13]，因此，研究并選擇合適的大數(shù)據(jù)處理平臺和技術(shù)成為構(gòu)建智慧化系統(tǒng)的關(guān)鍵。

3 基于Flink的體系架構(gòu)

3.1 新一代大數(shù)據(jù)處理引擎Flink

Apache Flink[14-16]是由歐洲的多名研究者和多家資助單位聯(lián)合研發(fā)的一款開源的并行化數(shù)據(jù)分析軟件，現(xiàn)已成為Apache Software Foundation的頂級項(xiàng)目。Flink本質(zhì)是一個流式計算引擎，在同一個運(yùn)行時(Runtime)，分別搭建了流式計算和批處理的編程接口和相配套的生態(tài)系統(tǒng)，其體系結(jié)構(gòu)圖見圖1。

圖1 Apache Flink的體系架構(gòu)

Apache Flink具有的特性是：①既能支持高吞吐、低延遲、高性能的流處理操作，也可以用于批數(shù)據(jù)的處理；②支持有狀態(tài)計算的Exactly-once語義；③具備基于輕量級、分布式快照(Snapshot)實(shí)現(xiàn)的容錯機(jī)制；④支持高度靈活的窗口(Window)操作，包括Time、Count、Session以及Data-driven的窗口操作；⑤在JVM內(nèi)部實(shí)現(xiàn)了自身的內(nèi)存管理；⑥支持迭代計算；⑦支持機(jī)器學(xué)習(xí)(FlinkML)、圖分析(Gelly)、關(guān)系數(shù)據(jù)處理(Table)和復(fù)雜事件處理(CEP)；⑧支持Flink on YARN、HDFS、Kafka、Apache HBase、Hadoop、RabbitMQ、S3以及XtreemFS等大數(shù)據(jù)相關(guān)軟件。

圖2 “智慧滁河”的體系結(jié)構(gòu)

相比于Spark、Storm等大數(shù)據(jù)平臺，Apache Flink被認(rèn)為是第四代，也是最新一代的大數(shù)據(jù)處理引擎。文獻(xiàn)[17]通過2個試驗(yàn)評估吞吐效率和節(jié)點(diǎn)失效下的彈性(Resilience)，結(jié)果表明，F(xiàn)link比Spark Streaming快15倍。Chintapalli等[18]開發(fā)了一個流處理Benchmark，用于測評Flink、Storm和Spark Streaming。通過構(gòu)造數(shù)據(jù)管道機(jī)制，最大程度地模擬了真實(shí)世界的數(shù)據(jù)流場景。結(jié)果表明，F(xiàn)link、Storm性能近似，對于流數(shù)據(jù)的響應(yīng)近似線性；而Spark Streaming雖吞吐量較大，但延遲較高。基于3個不同數(shù)據(jù)集和不同的算法，文獻(xiàn)[19]提出了一個用于比較Apache Flink和Apache Spark的Benchmark，結(jié)果表明Apache Flink在數(shù)據(jù)挖掘和圖處理方面比Apache Spark更優(yōu)。可以看出，F(xiàn)link的優(yōu)勢在于其從上到下提供了一整套完整的、針對大數(shù)據(jù)的棧式解決方案，并為用戶提供了易于使用的數(shù)據(jù)分析系統(tǒng)。

3.2 “智慧滁河”系統(tǒng)的體系架構(gòu)

“智慧滁河”系統(tǒng)的體系結(jié)構(gòu)分為5層：感知識別層、網(wǎng)絡(luò)構(gòu)建層、基礎(chǔ)設(shè)施層、平臺與服務(wù)層以及應(yīng)用層，見圖2。感知識別層由3部分組成，一是多源數(shù)據(jù)的感知、采集機(jī)制，如：RFID、視頻探頭、全球定位系統(tǒng)、遙感、各類傳感器(水位、水質(zhì)、雨量等)；二是控制機(jī)制，用于交互下位機(jī)和控制器，并與網(wǎng)絡(luò)構(gòu)建層通信；三是能量管理、抗干擾、編解碼等機(jī)制。如，將所監(jiān)測的河道沿程的水位、流速、水質(zhì)以及視頻監(jiān)控攝像頭自動獲取監(jiān)測閘門的開度等傳給網(wǎng)絡(luò)構(gòu)建層，也會接受反饋的指令，對傳感器、下位機(jī)和控制器進(jìn)行操作，進(jìn)而調(diào)整傳感器，操控閘門、灌溉設(shè)備等。網(wǎng)絡(luò)構(gòu)建層是實(shí)現(xiàn)物-物互聯(lián)的重要基礎(chǔ)，主要由各類網(wǎng)絡(luò)組成，包括各種通信網(wǎng)絡(luò)、互聯(lián)網(wǎng)形成的融合網(wǎng)絡(luò)。該層的作用是把感知識別層所采集的數(shù)據(jù)接入網(wǎng)絡(luò)。以傳感器數(shù)據(jù)為例，各種監(jiān)測數(shù)據(jù)通過無線傳感器網(wǎng)絡(luò)形成局部區(qū)域網(wǎng)絡(luò)，將覆蓋區(qū)域的信息收集起來，然后通過網(wǎng)絡(luò)構(gòu)建層自動向位于基礎(chǔ)設(shè)施層的數(shù)據(jù)中心傳輸數(shù)據(jù)流。不難看出，網(wǎng)絡(luò)構(gòu)建層是“更廣泛的互聯(lián)互通”的實(shí)現(xiàn)基礎(chǔ)。基礎(chǔ)設(shè)施層、平臺與服務(wù)層以及應(yīng)用服務(wù)層均基于以云計算[20]為代表的大規(guī)模分布式處理平臺之上。基礎(chǔ)設(shè)施層與云計算模型的IaaS(基礎(chǔ)設(shè)施即服務(wù)，Infrastructure as a Service)層是相對應(yīng)的，主要包括：用于管理、存儲水利領(lǐng)域大數(shù)據(jù)的存儲機(jī)制(關(guān)系數(shù)據(jù)庫，NoSQL[21-22]數(shù)據(jù)庫等)、虛擬機(jī)群、網(wǎng)絡(luò)資源，該層可由開源或商業(yè)的云計算解決方案實(shí)現(xiàn)，如Apache CloudStack、OpenStack等。用戶可以按需整合資源以適于不同的業(yè)務(wù)處理場景。

平臺與服務(wù)層包括諸多相關(guān)的業(yè)務(wù)系統(tǒng)、模型庫和知識庫等，如各類數(shù)據(jù)存儲機(jī)制，知識庫包含灌區(qū)相關(guān)的專家知識，模型庫包括系統(tǒng)涉及的計算模型(如需水預(yù)報模型)。通過對各類業(yè)務(wù)系統(tǒng)、模型庫和知識庫進(jìn)行集成，實(shí)現(xiàn)具體的業(yè)務(wù)服務(wù)、中間件或服務(wù)工作流，以供上層應(yīng)用軟件調(diào)用。Apache Flink為構(gòu)建平臺層提供最為直接的支持，它能為業(yè)務(wù)邏輯提供并行化的處理機(jī)制，也能訪問基礎(chǔ)設(shè)施層中的數(shù)據(jù)資源等。在正確部署Apache Flink的基礎(chǔ)上，基于Apache Flink提供的流數(shù)據(jù)Datastream API或Batch Processing API，編程先獲取執(zhí)行環(huán)境，然后通過各種連接器(connectors)獲取相應(yīng)的數(shù)據(jù)源，接下來利用各種轉(zhuǎn)換函數(shù)(Map、KeyBy、Reduce、Window等)對數(shù)據(jù)進(jìn)行處理，最后將處理的數(shù)據(jù)保存。

處于整個體系結(jié)構(gòu)最上層的是應(yīng)用服務(wù)層。該層主要訪問界面或接口，承擔(dān)計算和分析結(jié)果展示的任務(wù)。它既可以通過各種應(yīng)用軟件調(diào)用平臺與中間件層的服務(wù)，也可以調(diào)用來自第三方提供的各類服務(wù)(百度路徑導(dǎo)航服務(wù)、地震信息查詢服務(wù)、天氣預(yù)報服務(wù)等)，將結(jié)果和交互界面展示給用戶。

4 系統(tǒng)驗(yàn)證

選取2015年1月1日至2017年6月30日的滁河實(shí)時水位數(shù)據(jù)集，一共有18 910 865條數(shù)據(jù)記錄。運(yùn)行環(huán)境是是由3臺同型號PC組成的集群，配置為：處理器為AMD Ryzen 7 1700X(八核)，內(nèi)存是32G海盜船DDR4 3000Mhz，硬盤是三星sm961的128G固態(tài)硬盤，顯卡為華碩的GeForce GTX 1060。試驗(yàn)一是查找特定水位值，如查找河道水位高度在“5.5”以上的記錄。通過邏輯訪問MySQL庫表的檢索方式，需要 8.41 s；通過邏輯訪問MongoDB的檢索方式，需要7.46 s；而通過Flink實(shí)現(xiàn)的邏輯訪問MongoDB，檢索完成時間只需要0.03 s左右。試驗(yàn)二是查找最小值，如查找70余個監(jiān)測站點(diǎn)出現(xiàn)最低水位值的記錄。通過邏輯訪問MySQL庫表的檢索方式，需要16.2 s；通過邏輯訪問MongoDB的檢索方式，需要10.3 s；而通過Flink實(shí)現(xiàn)的邏輯訪問MySQL或MongoDB，檢索完成時間只需要0.03 s左右。試驗(yàn)三是刪除數(shù)據(jù)操作。以500萬條記錄為例，效果更為明顯，只需要3.22 s，遠(yuǎn)遠(yuǎn)小于使用MySQL的邏輯所需的122 s。不難看出，通過Flink平臺提供的API實(shí)現(xiàn)機(jī)制，要比傳統(tǒng)的Java EE技術(shù)所開發(fā)的多層架構(gòu)有更優(yōu)的性能表現(xiàn)，充分利用了對于集群的并發(fā)機(jī)制，讓大數(shù)據(jù)處理的方式簡單高效。

5 結(jié) 語

基于Flink的“智慧滁河”系統(tǒng)的計算能力遠(yuǎn)超傳統(tǒng)的多層架構(gòu)系統(tǒng)，讓大數(shù)據(jù)處理的方式變得簡單高效，也為水利信息化邁向“智慧”提供了可行解決方案。后續(xù)的研究將集中于研究Flink平臺上的機(jī)器學(xué)習(xí)算法與水文數(shù)據(jù)分析的結(jié)合，特別是針對傳感器流數(shù)據(jù)的實(shí)時分析工作，進(jìn)一步完善“智慧滁河”系統(tǒng)，為防汛防旱提供更加迅捷的決策支持，豐富水利信息化領(lǐng)域的數(shù)據(jù)智能化處理的完整案例。