南水北調(diào)工程數(shù)據(jù)中臺架構(gòu)設(shè)計與實踐

譚宇翔，陳誠

（阿里云計算有限公司，江蘇 南京 210000）

0 引言

南水北調(diào)工程調(diào)度運(yùn)行管理系統(tǒng)承擔(dān)工程運(yùn)行管理主要核心業(yè)務(wù)，實時監(jiān)測工情、水情、水質(zhì)、圖像視頻等，為應(yīng)對長距離輸水、多形態(tài)工程設(shè)施、工程管理業(yè)務(wù)關(guān)聯(lián)復(fù)雜導(dǎo)致系統(tǒng)建設(shè)更迭速度快的問題[1]，并進(jìn)一步貫徹落實水利部“智慧水利”的決策部署，推進(jìn)數(shù)據(jù)驅(qū)動發(fā)展的數(shù)字化轉(zhuǎn)型戰(zhàn)略規(guī)劃，促進(jìn)調(diào)度管理理念和治水模式進(jìn)步，實現(xiàn)南水北調(diào)工程數(shù)據(jù)資源目錄管理，提供統(tǒng)一的數(shù)據(jù)服務(wù)、分析能力，以數(shù)據(jù)流驅(qū)動業(yè)務(wù)，夯實智慧調(diào)水?dāng)?shù)據(jù)基礎(chǔ)，本文在專有云服務(wù)平臺基礎(chǔ)上，協(xié)同業(yè)務(wù)中臺微服務(wù)架構(gòu)構(gòu)建標(biāo)準(zhǔn)化、規(guī)范化數(shù)據(jù)中臺，對接數(shù)據(jù)采集系統(tǒng)，應(yīng)對業(yè)務(wù)應(yīng)用系統(tǒng)信息孤島問題，實現(xiàn)數(shù)據(jù)資源共享，沉淀數(shù)據(jù)價值，為有效挖掘數(shù)據(jù)價值及智能化應(yīng)用提供支撐[2]。

1 數(shù)據(jù)分析

南水北調(diào)工程調(diào)度運(yùn)行管理系統(tǒng)涉及工程監(jiān)控、水量調(diào)度、工程管理等業(yè)務(wù)，業(yè)務(wù)數(shù)據(jù)采集來源包括以下內(nèi)容。水情數(shù)據(jù)：以站點為基本單位，存放站名、站碼、站類型等基本信息及水位、流量實時水情信息；水質(zhì)數(shù)據(jù)：包含測點名稱、采樣日期、水溫、PH值、溶解度、高錳酸鉀指數(shù)、氨氮等內(nèi)容；泵站工程屬性：包括泵站名稱、設(shè)計揚(yáng)程、設(shè)計流量、最高站上水位、最低站上水位、最高站下水位、最低站下水位、站上防洪水位、站下防洪水位、裝機(jī)臺數(shù)、裝機(jī)容量、建成日期；閘站工程屬性：包括名稱、編號、設(shè)計上游水位、設(shè)計下游水位、閘孔數(shù)；機(jī)電設(shè)備：包括泵閘站所管理的設(shè)備名稱、編號、型號、數(shù)量、購價、生產(chǎn)廠家、購買日期、使用部門等及關(guān)聯(lián)相應(yīng)的文字、圖片、視頻資料；湖泊、河道、渠道等基礎(chǔ)數(shù)據(jù)；統(tǒng)一用戶數(shù)據(jù)；調(diào)度方案；合同；調(diào)水計劃；政策法規(guī)；空間地理數(shù)據(jù)；視頻采集數(shù)據(jù)；工程管理和監(jiān)控數(shù)據(jù)。鑒于分批建設(shè)等歷史原因，上述數(shù)據(jù)采集在數(shù)據(jù)存儲及使用上存在以下問題：第一，標(biāo)準(zhǔn)化運(yùn)維問題。數(shù)據(jù)分散存儲在各個系統(tǒng)中，需要業(yè)務(wù)人員配合才能定位數(shù)據(jù)；數(shù)據(jù)多源匯聚，維護(hù)工作量大；同義數(shù)據(jù)存在多源多表現(xiàn)形式的問題；隨著應(yīng)用系統(tǒng)開發(fā)上線，數(shù)據(jù)運(yùn)維能力需求將越來越迫切；第二，缺少統(tǒng)一管控平臺。無論是存量或者增量數(shù)據(jù)都缺少統(tǒng)一的管控平臺，數(shù)據(jù)隨業(yè)務(wù)系統(tǒng)新建而新增，當(dāng)系統(tǒng)廢棄不用后，歷史數(shù)據(jù)存在無法被讀取使用的風(fēng)險；第三，數(shù)據(jù)割裂共享難。辦公、財務(wù)、檔案、調(diào)度、工程管理、工程監(jiān)控等業(yè)務(wù)因涉及不同部門，各個系統(tǒng)呈現(xiàn)“煙囪式”數(shù)據(jù)庫，系統(tǒng)間數(shù)據(jù)互通難。與水利、國土、氣象等外部數(shù)據(jù)交換、共享不夠。缺少數(shù)據(jù)共享的全生命周期的數(shù)據(jù)統(tǒng)一管理；第四，數(shù)據(jù)價值無法體現(xiàn)?？鐦I(yè)務(wù)領(lǐng)域的數(shù)據(jù)挖掘及關(guān)聯(lián)分析因數(shù)據(jù)共享難，無法有效挖掘數(shù)據(jù)價值并將數(shù)據(jù)價值化反作用于生產(chǎn)而提升運(yùn)營管理和企業(yè)戰(zhàn)略決策。

綜上所述，需在技術(shù)層面上構(gòu)建統(tǒng)一的數(shù)據(jù)平臺來落實數(shù)據(jù)標(biāo)準(zhǔn)，實現(xiàn)數(shù)據(jù)共享，挖掘數(shù)據(jù)價值，幫助調(diào)水業(yè)務(wù)轉(zhuǎn)型升級，從業(yè)務(wù)驅(qū)動走向數(shù)據(jù)驅(qū)動，體現(xiàn)數(shù)據(jù)的價值[3]。

2 數(shù)據(jù)中臺設(shè)計

數(shù)據(jù)中臺是指通過數(shù)據(jù)技術(shù)，對海量數(shù)據(jù)進(jìn)行采集、處理、加工，統(tǒng)一標(biāo)準(zhǔn)和口徑，再進(jìn)行存儲，形成數(shù)據(jù)中臺資源層，進(jìn)而提供全域高效服務(wù)，實現(xiàn)數(shù)據(jù)驅(qū)動業(yè)務(wù)。數(shù)據(jù)中臺通過數(shù)字化轉(zhuǎn)型管理思路建設(shè)一套全新的、科學(xué)的中臺架構(gòu)驅(qū)動管理提升，從局部規(guī)劃設(shè)計向全局規(guī)劃和頂層設(shè)計轉(zhuǎn)變，逐步實現(xiàn)業(yè)務(wù)數(shù)字化。

本論文根據(jù)數(shù)據(jù)中臺建設(shè)的最佳實踐與企業(yè)數(shù)字化轉(zhuǎn)型的成功經(jīng)驗設(shè)計南水北調(diào)工程江蘇段調(diào)度運(yùn)行管理系統(tǒng)數(shù)據(jù)中臺，設(shè)計遵循全面建設(shè)“智慧調(diào)度、智能控制”的智慧水利建設(shè)思路，以業(yè)務(wù)服務(wù)為主線，在信息安全基礎(chǔ)上，進(jìn)一步打破“信息孤島”，盤活融通數(shù)據(jù)資產(chǎn)、激活數(shù)據(jù)服務(wù)能力，促進(jìn)“業(yè)務(wù)數(shù)據(jù)化、數(shù)據(jù)業(yè)務(wù)化”的正循環(huán)效應(yīng)，解決不同系統(tǒng)間“信息孤島”，實現(xiàn)數(shù)據(jù)共享，以數(shù)據(jù)驅(qū)動工程監(jiān)控、工程管理、水量調(diào)度等業(yè)務(wù)，實現(xiàn)數(shù)據(jù)采集、治理、倉儲、挖掘以及應(yīng)用的功能，集中分析和展示監(jiān)控安全運(yùn)營管理，實現(xiàn)優(yōu)化、經(jīng)濟(jì)運(yùn)行，滿足水源地、輸水區(qū)、調(diào)水沿線供水、防洪、排澇、航運(yùn)等業(yè)務(wù)需求。設(shè)計方案具體由四個方面構(gòu)成：第一，數(shù)據(jù)中臺基礎(chǔ)平臺。數(shù)據(jù)中臺是構(gòu)建數(shù)據(jù)中心的底座，通過基礎(chǔ)云環(huán)境構(gòu)建，形成包含存儲組件、計算組件、分析組件的技術(shù)底盤，滿足企業(yè)對數(shù)據(jù)全域融合存儲、復(fù)合計算、實時響應(yīng)等需求；第二，數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)模型架構(gòu)。定義數(shù)據(jù)中臺的標(biāo)準(zhǔn)體系，含數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范、數(shù)據(jù)集成標(biāo)準(zhǔn)規(guī)范、數(shù)據(jù)分析指標(biāo)規(guī)范、數(shù)據(jù)交換與共享規(guī)范，確定數(shù)據(jù)資產(chǎn)目錄和數(shù)據(jù)模型清單；第三，數(shù)據(jù)資產(chǎn)中心。搭建數(shù)據(jù)中臺匯聚與共享平臺，采集并整合部門及泵站相關(guān)數(shù)據(jù)，建立綜合數(shù)據(jù)庫和共享交換數(shù)據(jù)庫，并且建立對數(shù)據(jù)資產(chǎn)的管理、維護(hù)、更新和使用的長效管理機(jī)制，實現(xiàn)企業(yè)各部門之間的互聯(lián)互通、資源共享，促進(jìn)跨部門的業(yè)務(wù)協(xié)同，實現(xiàn)數(shù)據(jù)資源的全面匯聚和高效利用；第四，支撐多形態(tài)應(yīng)用。通過數(shù)據(jù)資產(chǎn)中心，支撐全面洞察決策和智能應(yīng)用。一方面，利用數(shù)據(jù)中臺技術(shù)，構(gòu)建調(diào)水運(yùn)行分析指標(biāo)，實現(xiàn)調(diào)度系統(tǒng)全過程、全要素分析。形成對系統(tǒng)內(nèi)數(shù)據(jù)和外部環(huán)境等數(shù)據(jù)的深度挖掘與融合分析能力，實現(xiàn)數(shù)據(jù)中臺服務(wù)支撐體系科學(xué)化運(yùn)作，圍繞智慧調(diào)水系統(tǒng)開展應(yīng)用示范，有效提升企業(yè)運(yùn)營質(zhì)量與效益。實現(xiàn)生產(chǎn)運(yùn)營精細(xì)化監(jiān)管，實現(xiàn)防范安全風(fēng)險，進(jìn)一步提升管控水平及決策能力[4]。

3 數(shù)據(jù)中臺搭建

數(shù)據(jù)中臺實踐依循頂層設(shè)計、方案設(shè)計、開發(fā)治理、交付驗證和運(yùn)維運(yùn)營流程規(guī)范，配備相應(yīng)的使能技術(shù)工具。數(shù)據(jù)中臺實踐融合全量數(shù)據(jù)，將分散的數(shù)據(jù)通過OneData、OneID、OneService的架構(gòu)模式進(jìn)行梳理和組織，挖掘數(shù)據(jù)價值。數(shù)據(jù)中臺整體架構(gòu)參考先進(jìn)的互聯(lián)網(wǎng)雙中臺的架構(gòu)設(shè)計模式，實現(xiàn)敏捷響應(yīng)、服務(wù)復(fù)用、業(yè)務(wù)創(chuàng)新以及數(shù)據(jù)化運(yùn)營的需求。在架構(gòu)落地層面，提供分布式的互聯(lián)網(wǎng)級中間件開發(fā)組件，確保技術(shù)落地的先進(jìn)性、可管理性，強(qiáng)力支撐業(yè)務(wù)的動態(tài)變化調(diào)整基于數(shù)據(jù)，實現(xiàn)“物在線、人在線、服務(wù)在線”的數(shù)字化目標(biāo)。基于數(shù)據(jù)治理工具，通過梳理當(dāng)前的數(shù)據(jù)資源，建立包含數(shù)據(jù)資源管理、數(shù)據(jù)標(biāo)準(zhǔn)化、數(shù)據(jù)治理、數(shù)倉建設(shè)、數(shù)據(jù)服務(wù)、數(shù)據(jù)可視化為中心的數(shù)據(jù)中臺。具體內(nèi)容如下：第一，數(shù)據(jù)資源管理。過開發(fā)數(shù)據(jù)庫管理、應(yīng)用資源管理、數(shù)據(jù)資源管理、數(shù)據(jù)質(zhì)量管理模塊，將數(shù)據(jù)統(tǒng)一納入數(shù)據(jù)中臺，對數(shù)據(jù)進(jìn)行監(jiān)控，做到“心中有數(shù)”，能夠?qū)?shù)據(jù)資源進(jìn)行統(tǒng)一調(diào)度管理；第二，數(shù)據(jù)標(biāo)準(zhǔn)化。構(gòu)建資源標(biāo)準(zhǔn)化，依托現(xiàn)有業(yè)務(wù)系統(tǒng)，梳理現(xiàn)有業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫，升級完善標(biāo)準(zhǔn)規(guī)范體系，完善目錄注冊、發(fā)布、查詢、節(jié)點管理功能模塊，構(gòu)建完整的調(diào)水信息目錄服務(wù)體系。同時開發(fā)公共屬性管理模塊及元數(shù)據(jù)管理功能模塊形成各類標(biāo)準(zhǔn)化數(shù)據(jù)集，用于發(fā)布或共享的數(shù)據(jù)，提供標(biāo)準(zhǔn)化數(shù)據(jù)查閱、共享；第三，數(shù)據(jù)治理。設(shè)置數(shù)據(jù)通道，實現(xiàn)元數(shù)據(jù)、關(guān)系型數(shù)據(jù)庫、NoSQL數(shù)據(jù)庫、MPP數(shù)據(jù)庫、非結(jié)構(gòu)化存儲全量、增量匯聚，管控各種數(shù)據(jù)類型的轉(zhuǎn)換、過濾、采集，提供全鏈路的流量、數(shù)據(jù)量、臟數(shù)據(jù)探測和運(yùn)行時匯報。設(shè)置業(yè)務(wù)流程設(shè)計器，可以實現(xiàn)將不同類型業(yè)務(wù)節(jié)點組織在一起的開發(fā)方式，讓用戶能以業(yè)務(wù)流程為中心組織數(shù)據(jù)開發(fā)邏輯。設(shè)置數(shù)據(jù)清洗表達(dá)式，支持多種數(shù)據(jù)清洗轉(zhuǎn)換方法，包括數(shù)據(jù)篩選、表達(dá)式、連接、聯(lián)合、匯總、排序、自定義代碼片段、函數(shù)等；第四，數(shù)倉構(gòu)建。提供固化數(shù)據(jù)的處理邏輯和處理過程的功能，引用預(yù)置算子并配置算子的參數(shù)，以智能化數(shù)據(jù)處理方式來降低人工參與程度，提高數(shù)據(jù)清洗策略的準(zhǔn)確性，保證數(shù)據(jù)按數(shù)據(jù)標(biāo)準(zhǔn)的要求被正確處理。利用現(xiàn)有的數(shù)據(jù)存儲工具及能力，構(gòu)建主題數(shù)據(jù)域，梳理各業(yè)務(wù)系統(tǒng)對數(shù)據(jù)需求，形成各類數(shù)據(jù)集市；根據(jù)業(yè)務(wù)類型，形成多類主題數(shù)據(jù)域；構(gòu)建領(lǐng)導(dǎo)視圖，形成“智慧大腦”，為調(diào)水綜合決策科學(xué)化提供支撐；第五，數(shù)據(jù)服務(wù)。按照數(shù)據(jù)中臺建設(shè)目標(biāo)，構(gòu)建數(shù)據(jù)共享服務(wù)平臺，開發(fā)標(biāo)準(zhǔn)表管理模塊、通過對數(shù)據(jù)資源中心的數(shù)據(jù)資源進(jìn)行封裝，形成標(biāo)準(zhǔn)的數(shù)據(jù)服務(wù)，實現(xiàn)服務(wù)共享網(wǎng)關(guān)、數(shù)據(jù)集市等功能，為各個業(yè)務(wù)應(yīng)用提供數(shù)據(jù)開放與共享能力[5]。

4 結(jié)語

南水北調(diào)工程調(diào)度運(yùn)行管理系統(tǒng)承擔(dān)工程運(yùn)行管理主要核心業(yè)務(wù)，數(shù)據(jù)中臺向上支撐各類應(yīng)用業(yè)務(wù)系統(tǒng)，向下提供各類數(shù)據(jù)采集、存儲、交換、共享的統(tǒng)一標(biāo)準(zhǔn)規(guī)范，能節(jié)省人力成本，有效匯聚全網(wǎng)絡(luò)數(shù)據(jù)，有效落實工程管理規(guī)范化、標(biāo)準(zhǔn)化、精細(xì)化，提高工程調(diào)度運(yùn)行管理的整體水平，有助于構(gòu)建更加科學(xué)、規(guī)范、先進(jìn)、高效的現(xiàn)代化工程管理體系，做到“組織系統(tǒng)化，權(quán)責(zé)明晰化，業(yè)務(wù)流程化，措施具體化，行為標(biāo)準(zhǔn)化，控制過程化，考核定量化，獎懲有據(jù)化”。