基于數(shù)據(jù)中臺(tái)的裝備保障數(shù)據(jù)集成分析

陳 麗，徐 鵬，李泊愷，李萬(wàn)陽(yáng)，劉 熠

（國(guó)網(wǎng)甘肅省電力公司互聯(lián)網(wǎng)事業(yè)部 甘肅 蘭州 730050）

1 引言

和一般性的數(shù)據(jù)信息系統(tǒng)相比，中臺(tái)架構(gòu)在打造的過程中能夠充分滿足客戶的基本需求，提高項(xiàng)目交付質(zhì)量，增強(qiáng)數(shù)據(jù)的應(yīng)用價(jià)值。裝備保障管理信息系統(tǒng)經(jīng)過多年的建設(shè)發(fā)展，各個(gè)管理業(yè)務(wù)數(shù)據(jù)信息變得更加穩(wěn)定，局部地區(qū)建立了大量的管理信息系統(tǒng)。但是由于缺乏統(tǒng)一、專業(yè)的組織和規(guī)劃，這些信息系統(tǒng)的數(shù)據(jù)格式存在異構(gòu)、標(biāo)準(zhǔn)不一、信息系統(tǒng)交互性差的問題。為了能夠解決這些問題，保障裝配設(shè)備的穩(wěn)定運(yùn)行，需要進(jìn)一步實(shí)現(xiàn)數(shù)據(jù)集成，而數(shù)據(jù)源就是解決數(shù)據(jù)集成的重要技術(shù)途徑。從實(shí)際研究成果來看，當(dāng)前關(guān)于裝備保障數(shù)據(jù)集成架構(gòu)工作主要針對(duì)的是結(jié)構(gòu)化數(shù)據(jù)，具體包含關(guān)系型數(shù)據(jù)庫(kù)、二維表數(shù)據(jù)庫(kù)，而對(duì)半結(jié)構(gòu)化數(shù)據(jù)、文本數(shù)據(jù)信息、圖表信息等非結(jié)構(gòu)數(shù)據(jù)研究不多。為此，文章以數(shù)據(jù)中心為基本理念，開展基于數(shù)據(jù)中臺(tái)的裝備保障數(shù)據(jù)集成架構(gòu)和分類研究，目的是實(shí)現(xiàn)對(duì)結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)信息的統(tǒng)一整理[1]。

2 數(shù)據(jù)元基本理論

數(shù)據(jù)元是使用一組屬性描述定義、標(biāo)識(shí)、表示和允許設(shè)置的數(shù)據(jù)單元。在特定的語(yǔ)義環(huán)境下，數(shù)據(jù)元被認(rèn)為是不可以再進(jìn)行分割的最小數(shù)據(jù)單元。數(shù)據(jù)元一般情況下由以下幾個(gè)部分組成。（1）對(duì)象類。數(shù)據(jù)元是思想、概念以及實(shí)際世界中事物的集合體現(xiàn)。數(shù)據(jù)元具備清楚的邊界和含義，且特征和行為也會(huì)遵循一定的規(guī)則。（2）特征。數(shù)據(jù)元具備對(duì)象類所有個(gè)體所共同擁有的一些性質(zhì)。（3）表示。數(shù)據(jù)元是值閾、數(shù)據(jù)類型的一種組合，在具體應(yīng)用的時(shí)候會(huì)包含度量單位和字符集[2]。

3 裝備保障數(shù)據(jù)元

裝備保障數(shù)據(jù)元是裝備保障義務(wù)活動(dòng)中所涉及的數(shù)據(jù)單元，裝備保障數(shù)據(jù)元具備裝備保障領(lǐng)域的基本特點(diǎn)，也是裝備保障領(lǐng)域標(biāo)準(zhǔn)化中能夠表示的最小定義。在描述裝備標(biāo)識(shí)時(shí)所使用的裝備代碼就是一個(gè)不能夠再進(jìn)行細(xì)分的最小數(shù)據(jù)單元。裝配是對(duì)象類，代碼是對(duì)象類的特征[3]。

4 數(shù)據(jù)中臺(tái)的運(yùn)行價(jià)值

數(shù)據(jù)中臺(tái)不是簡(jiǎn)單的一套軟件系統(tǒng)或者標(biāo)準(zhǔn)化產(chǎn)品，更多的是一種強(qiáng)調(diào)資源整合、集中配置、能力沉淀、分步執(zhí)行的運(yùn)作機(jī)制，是一系列數(shù)據(jù)組件或模塊的集合，為企業(yè)數(shù)據(jù)治理效率的提升、業(yè)務(wù)流程與組織架構(gòu)的升級(jí)、運(yùn)營(yíng)與決策的精細(xì)化賦能。數(shù)據(jù)中臺(tái)的運(yùn)行價(jià)值具體體現(xiàn)如下：（1）強(qiáng)化對(duì)數(shù)據(jù)信息的匯集處理，起到承上啟下的重要作用。數(shù)據(jù)中臺(tái)運(yùn)行的基本概念是將所有數(shù)據(jù)信息匯集起來，整合到數(shù)據(jù)中臺(tái)上，之后的每個(gè)數(shù)據(jù)應(yīng)用都會(huì)從數(shù)據(jù)中臺(tái)中獲取數(shù)據(jù)。按照這樣的模式，如果企業(yè)中的數(shù)據(jù)應(yīng)用數(shù)量不斷增長(zhǎng)，節(jié)約成本會(huì)增加。和一般性的數(shù)據(jù)倉(cāng)庫(kù)信息存儲(chǔ)相比，數(shù)中臺(tái)策略更加強(qiáng)調(diào)數(shù)據(jù)的齊全，也會(huì)從各個(gè)層面出發(fā)來采取措施保障數(shù)據(jù)的落實(shí)。（2）縱觀大局，推動(dòng)全局發(fā)展。數(shù)據(jù)業(yè)務(wù)是整個(gè)企業(yè)發(fā)展過程中的重要業(yè)務(wù)，是在新時(shí)期需要提高定位的業(yè)務(wù)，也是企業(yè)的重要戰(zhàn)略業(yè)務(wù)體現(xiàn)。在發(fā)展的過程中，數(shù)據(jù)中臺(tái)成本也會(huì)節(jié)省30%的比例。伴隨數(shù)據(jù)應(yīng)用的增長(zhǎng)，數(shù)據(jù)處理成本也會(huì)增加。和傳統(tǒng)意義上數(shù)據(jù)倉(cāng)庫(kù)的運(yùn)行相比，數(shù)據(jù)中臺(tái)在運(yùn)行的過程中更加強(qiáng)調(diào)數(shù)據(jù)的齊全和數(shù)據(jù)中臺(tái)組織、組織之間的協(xié)作關(guān)系，在數(shù)據(jù)處理的過程中從設(shè)計(jì)、組織、建設(shè)、流程等角度落實(shí)了這個(gè)模式。（3）技術(shù)升級(jí)，應(yīng)用便捷。傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)中臺(tái)相比，不管是在海量數(shù)據(jù)處理能力、節(jié)點(diǎn)擴(kuò)展能力、實(shí)時(shí)計(jì)算能力、軟件購(gòu)買和維護(hù)成本等方面都無(wú)法和大數(shù)據(jù)平臺(tái)抗衡。

數(shù)據(jù)中臺(tái)在運(yùn)作的時(shí)候永遠(yuǎn)為業(yè)務(wù)中臺(tái)服務(wù)，因?yàn)閿?shù)據(jù)本身不具備復(fù)用的能力，通過數(shù)據(jù)決策才能夠具備復(fù)用的能力。站在數(shù)據(jù)中臺(tái)的應(yīng)用角度來看，在使用數(shù)據(jù)中臺(tái)的時(shí)候，企業(yè)會(huì)將數(shù)據(jù)信息整合起來，如果企業(yè)通過數(shù)據(jù)可視化能夠獲得更多的數(shù)據(jù)信息，則是可以將這些信息進(jìn)一步整合使用，最終更好服務(wù)于業(yè)務(wù)結(jié)果。數(shù)據(jù)可視化扮演角色也是數(shù)據(jù)中臺(tái)數(shù)據(jù)信息交換之間的橋梁，能夠幫助且更好的積累財(cái)富。在數(shù)據(jù)匯集之后可以被業(yè)務(wù)中臺(tái)有效調(diào)用[4]。

5 基于大數(shù)據(jù)平臺(tái)服務(wù)的裝備保障數(shù)據(jù)集成架構(gòu)

5.1 大數(shù)據(jù)平臺(tái)

其具備大數(shù)據(jù)信息的收集、清洗、管理和分析能力，整個(gè)平臺(tái)在運(yùn)作的時(shí)候能夠支撐業(yè)務(wù)的標(biāo)準(zhǔn)化、規(guī)范化建設(shè)，在數(shù)據(jù)信息處理的過程中能夠減少數(shù)據(jù)I/O吞吐和不必要的冗余數(shù)據(jù)，實(shí)現(xiàn)對(duì)數(shù)據(jù)計(jì)算結(jié)果的反復(fù)使用，最終實(shí)現(xiàn)數(shù)據(jù)的標(biāo)準(zhǔn)化、規(guī)范化、統(tǒng)一化和共享化應(yīng)用管理。基于大數(shù)據(jù)平臺(tái)服務(wù)的裝備保障數(shù)據(jù)集成架構(gòu)見圖1。

圖1 基于大數(shù)據(jù)平臺(tái)服務(wù)的裝備保障數(shù)據(jù)集成架構(gòu)

5.2 實(shí)現(xiàn)裝備保障數(shù)據(jù)信息的同步使用

基于大數(shù)據(jù)平臺(tái)服務(wù)的裝備保障數(shù)據(jù)集成系統(tǒng)平臺(tái)在運(yùn)作的時(shí)候會(huì)以數(shù)據(jù)信息的使用作為基本理念，通過授權(quán)授機(jī)制、手段、電子簽名等認(rèn)證方式來全面落實(shí)一裝一卡、一人一卡的管理制度，由此來保障數(shù)據(jù)信息的有效使用。裝備保障數(shù)據(jù)信息采集架構(gòu)見圖2。在裝備運(yùn)行信息記錄儀、嵌入裝備技術(shù)、通用數(shù)據(jù)采報(bào)平臺(tái)、掃一掃工具的使用下，能夠?qū)⒉杉b備基礎(chǔ)數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)的使用和消耗信息傳輸?shù)较到y(tǒng)集群中，并將一些需要實(shí)時(shí)處理的狀態(tài)數(shù)據(jù)信息存儲(chǔ)到Hadoop分布文件系統(tǒng)中，最終所有的數(shù)據(jù)信息都會(huì)被存儲(chǔ)到分布式文件系統(tǒng)中，用戶通過訂閱主題數(shù)據(jù)就能夠?qū)崿F(xiàn)對(duì)數(shù)據(jù)信息的有效處理。

圖2 裝備保障數(shù)據(jù)信息采集架構(gòu)

5.3 裝備保障大數(shù)據(jù)平臺(tái)

5.3.1 裝備保障中數(shù)據(jù)模型的層次結(jié)構(gòu)

裝備保障大數(shù)據(jù)平臺(tái)從下到上分別是操作數(shù)據(jù)層、公共維度模擬層、應(yīng)用數(shù)據(jù)層。在系統(tǒng)運(yùn)作的時(shí)候，裝備保障公共維度模型層可以細(xì)分為明細(xì)數(shù)據(jù)層和匯總數(shù)據(jù)層。（1）操作數(shù)據(jù)層。裝備保障業(yè)務(wù)信息系統(tǒng)集成平臺(tái)上所有裝備保障業(yè)務(wù)系統(tǒng)數(shù)據(jù)會(huì)借助數(shù)據(jù)同步工具來將數(shù)據(jù)信息匯集到有需要的層級(jí)，屏蔽不相干的異構(gòu)數(shù)據(jù)。（2）公共維度模型層。公共維度模型層會(huì)采取基于維度建模的數(shù)據(jù)建模方式，通過使用恰當(dāng)?shù)慕７椒ù蛟斐鰯?shù)據(jù)模型，計(jì)算出各個(gè)系統(tǒng)模塊的運(yùn)行參數(shù)，減少數(shù)據(jù)掃描。數(shù)據(jù)信息進(jìn)行清洗、過濾、記錄處理，DWD在經(jīng)過一系列的處理之后，完成多來源同主題數(shù)據(jù)的融合操作，打造出最原始的粒度明細(xì)事實(shí)表。裝備保障業(yè)務(wù)明細(xì)表中的數(shù)據(jù)信息是裝備保障業(yè)務(wù)操作層數(shù)據(jù)，這個(gè)層級(jí)的數(shù)據(jù)信息會(huì)為各類作業(yè)的登記管理提供支持。DWS會(huì)按照不同粒度、維度來對(duì)明細(xì)數(shù)據(jù)信息進(jìn)行匯總分析，分析之后匯總出事實(shí)表。基礎(chǔ)數(shù)據(jù)信息具備唯一性的屬性，所有在裝備保障業(yè)務(wù)信息系統(tǒng)集成平臺(tái)中開發(fā)、使用的業(yè)務(wù)數(shù)據(jù)需要以O(shè)DPS提供的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)內(nèi)容為標(biāo)準(zhǔn)。（3）明細(xì)數(shù)據(jù)層。明細(xì)數(shù)據(jù)層根據(jù)CDM和ODS加工生成，在加工處理之后用來存放個(gè)性化的統(tǒng)計(jì)指標(biāo)數(shù)據(jù)。明細(xì)數(shù)據(jù)層對(duì)應(yīng)裝備保障決策 規(guī)劃層戶數(shù)，能夠?yàn)檠b備保障業(yè)務(wù)提供綜合性的分析信息，為裝備整改提供有保障的方案支持。

5.3.2 裝備保障中數(shù)據(jù)模型信息處理流程

裝備保障中數(shù)據(jù)模型信息具體處理流程如下所示：首先，通過數(shù)據(jù)收集服務(wù)系統(tǒng)將各個(gè)信息終端采集的監(jiān)測(cè)數(shù)據(jù)、軍事數(shù)據(jù)等擺渡到ODPS；其次，根據(jù)業(yè)務(wù)需求來對(duì)源數(shù)據(jù)信息進(jìn)行清洗，之后使用裝備圖譜、圖像識(shí)別等分析工具來對(duì)數(shù)據(jù)信息進(jìn)行挖掘分析；再次，使用一些專業(yè)的通信技術(shù)手段和工具將數(shù)據(jù)分析結(jié)果借助軟件開發(fā)工具包發(fā)布給應(yīng)用系統(tǒng)；最后，裝備業(yè)務(wù)應(yīng)用調(diào)用數(shù)據(jù)服務(wù)裝備來處理數(shù)據(jù)信息，使得數(shù)據(jù)信息的終端來自業(yè)務(wù)層，而后將數(shù)據(jù)服務(wù)使用需求和應(yīng)用情況反饋到ODPS，提升裝備系統(tǒng)數(shù)據(jù)服務(wù)質(zhì)量。

比如在車場(chǎng)日評(píng)估中可以先使用MaxCompute工具來將非結(jié)構(gòu)化的監(jiān)控視頻數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化的進(jìn)場(chǎng)人數(shù)和姿態(tài)的統(tǒng)計(jì)信息，之后使用多維數(shù)據(jù)信息分析挖掘工具，根據(jù)參數(shù)記錄儀來檢測(cè)車輛的運(yùn)行速度、轉(zhuǎn)動(dòng)速度、液壓油的溫度、變速箱水流的溫度、發(fā)動(dòng)機(jī)溫度，在對(duì)以上信息綜合分析之后，來獲得車場(chǎng)落實(shí)情況，將這些信息充分整合，最終按照RESTful數(shù)據(jù)服務(wù)的方式來對(duì)外發(fā)布，達(dá)到裝備保障業(yè)務(wù)層數(shù)據(jù)化處理、裝備保障數(shù)據(jù)業(yè)務(wù)化處理的發(fā)展目的。

5.4 裝備保障大數(shù)據(jù)平臺(tái)數(shù)據(jù)服務(wù)API

裝備保障大數(shù)據(jù)平臺(tái)能夠?yàn)檠b備使用提供規(guī)范化、統(tǒng)一化、共享化的數(shù)據(jù)信息，在整合處理信息的基礎(chǔ)上將裝備目錄、單裝、人員安排、機(jī)構(gòu)設(shè)置、計(jì)算機(jī)處理結(jié)果通過API的形式向外部提供。數(shù)據(jù)系統(tǒng)服務(wù)管理依托Serverless架構(gòu)，在系統(tǒng)運(yùn)作的時(shí)候用戶僅僅需要關(guān)注API本身的查詢邏輯即可，不需要關(guān)心裝備保障大數(shù)據(jù)平臺(tái)系統(tǒng)運(yùn)行環(huán)境，且在運(yùn)行的過程中能夠支持彈性拓展。在數(shù)據(jù)信息服務(wù)生成API之后可以對(duì)數(shù)據(jù)信息進(jìn)行注冊(cè)處理，而后發(fā)布到和API有關(guān)的網(wǎng)絡(luò)平臺(tái)上[5]。

6 結(jié)語(yǔ)

綜上所述，文章在闡述數(shù)據(jù)元基本內(nèi)涵的基礎(chǔ)上，設(shè)計(jì)出了基于ODPS的裝備保障數(shù)據(jù)系統(tǒng)集成架構(gòu)，在這個(gè)數(shù)據(jù)系統(tǒng)集成架構(gòu)平臺(tái)的作用下能夠?qū)崿F(xiàn)對(duì)結(jié)構(gòu)化、非結(jié)構(gòu)化系統(tǒng)裝備保障信息的集中化管理，實(shí)現(xiàn)數(shù)據(jù)信息和系統(tǒng)運(yùn)行的匹配，而后通過API的形式來為裝備保障應(yīng)用層提供數(shù)據(jù)服務(wù)支持。在這個(gè)過程中，針對(duì)裝備保障集成數(shù)據(jù)分類問題，還可以根據(jù)裝備保障集成數(shù)據(jù)分類情況來處理整個(gè)數(shù)據(jù)信息，在確定特征詞的時(shí)候根據(jù)專家知識(shí)經(jīng)驗(yàn)來在其中加入其他可能的特征詞，打造NB和特征詞匹配的分類器，提升裝備保障集成數(shù)據(jù)應(yīng)用的精準(zhǔn)性。