基于大數(shù)據(jù)的實(shí)時(shí)數(shù)據(jù)治理系統(tǒng)設(shè)計(jì)*

紅云紅河煙草(集團(tuán))有限責(zé)任公司昆明卷煙廠 李泓燊 周波 李曉科 董健翔

隨著大數(shù)據(jù)、云計(jì)算等新技術(shù)的不斷成熟,特別是國(guó)家大數(shù)據(jù)戰(zhàn)略的提出,使得數(shù)據(jù)已被越來(lái)越多企業(yè)所重視,利用大數(shù)據(jù)技術(shù)挖掘數(shù)據(jù)價(jià)值,推動(dòng)企業(yè)完成數(shù)字化轉(zhuǎn)型工作已成為普遍認(rèn)識(shí)。通過(guò)以往的信息化建設(shè),企業(yè)積累了大量的業(yè)務(wù)數(shù)據(jù)或設(shè)備實(shí)時(shí)數(shù)據(jù),為了更好的釋放數(shù)據(jù)所蘊(yùn)含的價(jià)值,應(yīng)當(dāng)確保數(shù)據(jù)的精準(zhǔn)性、有效性與可靠性,而要實(shí)現(xiàn)這一目的,若不依賴高效的治理工具,僅憑借人力是無(wú)法達(dá)到的。對(duì)此,本文進(jìn)行了以下方面的探究,旨在提供一套可行的數(shù)據(jù)治理體系,希望能為有關(guān)人士提供參考。

0 引言

數(shù)字經(jīng)濟(jì)時(shí)代已經(jīng)來(lái)臨,傳統(tǒng)企業(yè)已在積極推進(jìn)數(shù)字化升級(jí)轉(zhuǎn)型:積極引入先進(jìn)的技術(shù)理念,實(shí)現(xiàn)業(yè)務(wù)轉(zhuǎn)型,達(dá)到數(shù)據(jù)驅(qū)動(dòng)。在很多企業(yè)中,大數(shù)據(jù)、云計(jì)算得到了大力的推廣,特別是一些發(fā)展較好的卷煙企業(yè),已達(dá)到了業(yè)務(wù)系統(tǒng)和大數(shù)據(jù)的相互融合,并且基于數(shù)據(jù)整合運(yùn)用,產(chǎn)生了很多新技術(shù)理念與數(shù)據(jù)平臺(tái),推動(dòng)大數(shù)據(jù)行業(yè)的進(jìn)一步發(fā)展。實(shí)際上,即便一些企業(yè)把業(yè)務(wù)系統(tǒng)數(shù)據(jù)集中于大數(shù)據(jù)平臺(tái),然而針對(duì)部分技術(shù)能力不強(qiáng)的組織,還存在著種種問(wèn)題,如數(shù)據(jù)質(zhì)量不高、數(shù)據(jù)清洗不易、數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一等,所以數(shù)據(jù)還是難以發(fā)揮其價(jià)值。并且由于治理工具的不健全,造成數(shù)據(jù)治理不充分,數(shù)據(jù)質(zhì)量不理想,影響分析決策的準(zhǔn)確性,一定程度上降低了運(yùn)用效果。

1 必要性及意義

隨著數(shù)字經(jīng)濟(jì)與實(shí)體經(jīng)濟(jì)深度融合,提升煙草行業(yè)產(chǎn)業(yè)鏈供應(yīng)鏈現(xiàn)代化水平,加快工業(yè)企業(yè)發(fā)展動(dòng)能轉(zhuǎn)換,增強(qiáng)工業(yè)企業(yè)核心競(jìng)爭(zhēng)力,是今后行業(yè)經(jīng)濟(jì)發(fā)展的關(guān)鍵著力點(diǎn)。為達(dá)到這一目的,需不斷積累數(shù)據(jù)、有效治理數(shù)據(jù),使數(shù)據(jù)完善且精準(zhǔn),同時(shí),依托于大數(shù)據(jù)技術(shù)來(lái)推動(dòng)產(chǎn)業(yè)發(fā)展,切實(shí)提升自動(dòng)化水平,方可具備實(shí)現(xiàn)的根本[1]。卷煙企業(yè)的進(jìn)一步發(fā)展,一方面要增強(qiáng)對(duì)市場(chǎng)的把控,掌握市場(chǎng)的態(tài)勢(shì),了解消費(fèi)者的喜好;另一方面要促進(jìn)生產(chǎn)制造水平的提升,及時(shí)發(fā)現(xiàn)生產(chǎn)過(guò)程中的問(wèn)題,提高生產(chǎn)效率和產(chǎn)品質(zhì)量。如此,才能看準(zhǔn)市場(chǎng)的變化趨勢(shì)、制定科學(xué)合理的戰(zhàn)略布局、持續(xù)制造出使消費(fèi)者滿意的產(chǎn)品,從而提升自身的競(jìng)爭(zhēng)優(yōu)勢(shì),獲得消費(fèi)者的認(rèn)可。實(shí)時(shí)數(shù)據(jù)是生產(chǎn)過(guò)程最真實(shí)的反應(yīng),只有基于高質(zhì)量的數(shù)據(jù)才能更好的發(fā)現(xiàn)生產(chǎn)過(guò)程中的問(wèn)題,優(yōu)化生產(chǎn)工藝流程,提升生產(chǎn)制造水平,從而達(dá)到提質(zhì)降本增效的效果。目前,各卷煙企業(yè)的實(shí)時(shí)數(shù)據(jù)普遍存在嚴(yán)重的質(zhì)量問(wèn)題,為數(shù)據(jù)價(jià)值的挖掘造成了很大的影響,因此,借助數(shù)據(jù)治理工具,及時(shí)開(kāi)展實(shí)時(shí)數(shù)據(jù)的治理工作,有著其必要性和長(zhǎng)遠(yuǎn)意義。

2 實(shí)時(shí)數(shù)據(jù)治理思路

實(shí)時(shí)數(shù)據(jù)是通過(guò)設(shè)備、傳感器采集的,按時(shí)間分布的序列數(shù)據(jù),具備時(shí)效性高、數(shù)據(jù)量大、數(shù)據(jù)分散等特性,所以其治理過(guò)程應(yīng)有別于業(yè)務(wù)數(shù)據(jù)的治理方式,充分考慮其數(shù)據(jù)的時(shí)效性和分布特性,針對(duì)性的采取治理措施。(1)在數(shù)據(jù)資產(chǎn)梳理過(guò)程中應(yīng)根據(jù)工藝路徑,以產(chǎn)線模型為切入,逐級(jí)細(xì)化,最終落到工序和設(shè)備的各采集點(diǎn)上。(2)在對(duì)實(shí)時(shí)數(shù)據(jù)進(jìn)行資產(chǎn)登記時(shí),應(yīng)側(cè)重管理元數(shù)據(jù)和數(shù)據(jù)關(guān)系的維護(hù),將零散的測(cè)點(diǎn)數(shù)據(jù)在業(yè)務(wù)上進(jìn)行串聯(lián),便于用戶的管理和使用。(3)在進(jìn)行質(zhì)量管理的過(guò)程中,應(yīng)采用事前為主事后為輔的檢測(cè)方式,及時(shí)發(fā)現(xiàn)數(shù)據(jù)問(wèn)題,保障數(shù)據(jù)的實(shí)時(shí)性和準(zhǔn)確性。

3 數(shù)據(jù)治理體系設(shè)計(jì)

建設(shè)實(shí)時(shí)數(shù)據(jù)治理系統(tǒng),旨在積累全域數(shù)據(jù),高質(zhì)量管理制造設(shè)備實(shí)時(shí)數(shù)據(jù),促進(jìn)治理水準(zhǔn)及協(xié)同能力的提高,進(jìn)一步強(qiáng)化數(shù)據(jù)運(yùn)用價(jià)值。本系統(tǒng)基于微服務(wù)架構(gòu)體系而設(shè)計(jì),既能降低系統(tǒng)開(kāi)發(fā)的技術(shù)難度,又能提升服務(wù)部署的靈活性。

本文將從數(shù)據(jù)治理體系和關(guān)鍵內(nèi)容進(jìn)行分析和探討。

3.1 數(shù)據(jù)治理體系

數(shù)據(jù)治理是一個(gè)從上至下建立體系,從下而上實(shí)施執(zhí)行的工作。需設(shè)立上下貫通、分工明確、職責(zé)清晰的組織架構(gòu),實(shí)現(xiàn)數(shù)據(jù)治理工作的全面領(lǐng)導(dǎo)。數(shù)據(jù)治理技術(shù)是實(shí)現(xiàn)各數(shù)據(jù)管理職能活動(dòng)開(kāi)展的技術(shù)支撐,將數(shù)據(jù)管理職責(zé)、管理要求和管理流程固化到系統(tǒng),從而提高數(shù)據(jù)治理工作的效率和質(zhì)量,如圖1所示。

圖1 數(shù)據(jù)治理體系架構(gòu)Fig.1 Data governance system architecture

3.2 數(shù)據(jù)資產(chǎn)管理

數(shù)據(jù)資產(chǎn)管理旨在使用戶能清晰的了解本企業(yè)數(shù)據(jù)的定義、關(guān)系及數(shù)據(jù)鏈路,從而更好的使用數(shù)據(jù),挖掘數(shù)據(jù)潛能。(1)通過(guò)數(shù)據(jù)源配置,可靈活配置業(yè)務(wù)系統(tǒng)、實(shí)時(shí)數(shù)據(jù)等多源數(shù)據(jù),便于數(shù)據(jù)采集工作的開(kāi)展;通過(guò)自動(dòng)采集功能,實(shí)現(xiàn)數(shù)據(jù)的同步,同時(shí)采用數(shù)據(jù)核檢機(jī)制,有效追蹤改變過(guò)程,保證數(shù)據(jù)的準(zhǔn)確性。(2)數(shù)據(jù)資產(chǎn)目錄管理,可登記企業(yè)數(shù)據(jù)資產(chǎn)、配置數(shù)據(jù)關(guān)系、構(gòu)建數(shù)據(jù)資產(chǎn)索引,同時(shí),根據(jù)實(shí)時(shí)數(shù)據(jù)的特點(diǎn)建立以工藝路徑為主線的資產(chǎn)目錄結(jié)構(gòu)。(3)通過(guò)可視化統(tǒng)計(jì)分析,對(duì)數(shù)據(jù)資產(chǎn)信息進(jìn)行統(tǒng)計(jì)展現(xiàn),便于總體了解資產(chǎn)現(xiàn)狀。(4)通過(guò)全文檢索,方便用戶快速查找、調(diào)用數(shù)據(jù)服務(wù)。

3.3 數(shù)據(jù)標(biāo)準(zhǔn)管理

數(shù)據(jù)標(biāo)準(zhǔn)管理旨在通過(guò)標(biāo)準(zhǔn)化的手段規(guī)范數(shù)據(jù)定義,降低數(shù)據(jù)共享和治理的難度。(1)通過(guò)數(shù)據(jù)標(biāo)準(zhǔn)管理,能有效管理各項(xiàng)數(shù)據(jù)標(biāo)準(zhǔn)的明細(xì)、標(biāo)準(zhǔn)文檔、參考數(shù)據(jù)等,核檢源系統(tǒng)的數(shù)據(jù)問(wèn)題。(2)標(biāo)準(zhǔn)審核功能,可對(duì)數(shù)據(jù)元實(shí)行審核,確保數(shù)據(jù)標(biāo)準(zhǔn)的合規(guī)性和權(quán)威性。(3)通過(guò)標(biāo)準(zhǔn)模板管理,可靈活制定符合企業(yè)特色的標(biāo)準(zhǔn)模板,以適應(yīng)不同的標(biāo)準(zhǔn)注冊(cè)場(chǎng)景。

3.4 數(shù)據(jù)質(zhì)量管理

數(shù)據(jù)質(zhì)量管理旨在通過(guò)有效的質(zhì)量檢測(cè)規(guī)則,核檢數(shù)據(jù)的質(zhì)量問(wèn)題,提出改進(jìn)策略,從而提升數(shù)據(jù)質(zhì)量。(1)通過(guò)質(zhì)量規(guī)則管理,從不同的質(zhì)量檢測(cè)維度,靈活制定檢測(cè)規(guī)則,對(duì)數(shù)據(jù)質(zhì)量實(shí)行檢查。(2)通過(guò)質(zhì)量任務(wù)管理,配置規(guī)則執(zhí)行邏輯,如調(diào)度時(shí)間、執(zhí)行策略等,便于檢測(cè)工作的長(zhǎng)期開(kāi)展和質(zhì)量問(wèn)題的自發(fā)現(xiàn)。因?qū)崟r(shí)數(shù)據(jù)具有高度的實(shí)時(shí)性要求,后期補(bǔ)錄數(shù)據(jù)很困難,所以應(yīng)側(cè)重事前檢測(cè),及時(shí)發(fā)現(xiàn)問(wèn)題,避免造成不可挽救的損失。(3)通過(guò)問(wèn)題處理功能,及時(shí)查看問(wèn)題數(shù)據(jù)的情況,了解問(wèn)題處理過(guò)程和結(jié)果。(4)通過(guò)質(zhì)量分析報(bào)告,統(tǒng)計(jì)數(shù)據(jù)問(wèn)題,便于查看問(wèn)題的變化趨勢(shì),采取合理的對(duì)策,短時(shí)間內(nèi)處理問(wèn)題,并且可以導(dǎo)出分析報(bào)告[2]。

4 實(shí)時(shí)數(shù)據(jù)治理系統(tǒng)實(shí)現(xiàn)

本系統(tǒng)屬于理論研究與應(yīng)用實(shí)踐相結(jié)合的通用化產(chǎn)品,被應(yīng)用于多個(gè)項(xiàng)目中,同時(shí)取得了不錯(cuò)的效果。如在某項(xiàng)目上,通過(guò)引入本系統(tǒng),將企業(yè)所使用的數(shù)據(jù)進(jìn)行資產(chǎn)和標(biāo)準(zhǔn)化注冊(cè)。同時(shí),針對(duì)不同的標(biāo)準(zhǔn)要求制定了全方位的質(zhì)量檢測(cè)規(guī)則,通過(guò)對(duì)所有制造設(shè)備產(chǎn)生的實(shí)時(shí)數(shù)據(jù)進(jìn)行了全面的質(zhì)量檢查,發(fā)現(xiàn)53%的數(shù)據(jù)存在質(zhì)量問(wèn)題,通過(guò)對(duì)問(wèn)題數(shù)據(jù)進(jìn)行清洗校對(duì),不僅有效解決了數(shù)據(jù)質(zhì)量問(wèn)題,還大大的節(jié)約了運(yùn)營(yíng)成本。

4.1 數(shù)據(jù)資產(chǎn)管理

數(shù)據(jù)資產(chǎn)管理模塊集中管理了企業(yè)全部的數(shù)據(jù)資產(chǎn)信息。以數(shù)據(jù)源管理為入口,配置各源端數(shù)據(jù)的連接信息。針對(duì)不同的連接類(lèi)型,實(shí)現(xiàn)不同的配置界面,如Oracle類(lèi)型,需要配置連接地址、用戶名、密碼等,而對(duì)于實(shí)時(shí)數(shù)據(jù),除配置上述信息外,還需配置OPC Tag點(diǎn)信息等[3]。以數(shù)據(jù)資產(chǎn)目錄管理為中樞,在有效數(shù)據(jù)源配置的基礎(chǔ)上,實(shí)現(xiàn)數(shù)據(jù)的自采集和自檢測(cè)。同時(shí),利用數(shù)據(jù)地圖呈現(xiàn)所有數(shù)據(jù)的關(guān)系網(wǎng),便于快速了解和使用數(shù)據(jù)。以數(shù)據(jù)資產(chǎn)服務(wù)為紐帶,以簡(jiǎn)便的調(diào)用方式快速為各系統(tǒng)提供數(shù)據(jù)服務(wù),促進(jìn)數(shù)據(jù)資產(chǎn)應(yīng)用的落地。

4.2 數(shù)據(jù)標(biāo)準(zhǔn)管理

數(shù)據(jù)標(biāo)準(zhǔn)管理模塊以結(jié)構(gòu)化的方式對(duì)企業(yè)全域數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化管理,首先應(yīng)具備標(biāo)準(zhǔn)模板管理功能,便于用戶制定符合本企業(yè)要求的標(biāo)準(zhǔn)管理格式。考慮到部分卷煙企業(yè)已完成一些標(biāo)準(zhǔn)的定義工作,為便于快速將已有成果錄入系統(tǒng),除提供數(shù)據(jù)標(biāo)準(zhǔn)的增刪改查操作外,還應(yīng)具備標(biāo)準(zhǔn)的導(dǎo)入、導(dǎo)出功能。對(duì)于外部標(biāo)準(zhǔn),應(yīng)提供標(biāo)準(zhǔn)接入服務(wù)和標(biāo)準(zhǔn)文檔管理功能,用戶可上傳、下載標(biāo)準(zhǔn)文檔。標(biāo)準(zhǔn)是會(huì)根據(jù)應(yīng)用場(chǎng)景的需要而更新的,所以需有統(tǒng)一的版本管理功能,便于與歷史信息對(duì)比,加深對(duì)標(biāo)準(zhǔn)的理解。明確數(shù)據(jù)標(biāo)準(zhǔn)后,應(yīng)提供標(biāo)準(zhǔn)調(diào)用服務(wù),方便與數(shù)據(jù)質(zhì)量進(jìn)行協(xié)同,通過(guò)引入標(biāo)準(zhǔn)服務(wù)而自動(dòng)生成質(zhì)量檢測(cè)規(guī)則,保障質(zhì)量檢測(cè)規(guī)則的準(zhǔn)確性。

4.3 數(shù)據(jù)質(zhì)量管理

對(duì)于簡(jiǎn)單的規(guī)則,能夠從標(biāo)準(zhǔn)導(dǎo)入,而部分復(fù)雜的檢驗(yàn)場(chǎng)景,使用者能通過(guò)腳本或存儲(chǔ)過(guò)程來(lái)實(shí)現(xiàn)規(guī)則的制定,同時(shí)通過(guò)定時(shí)任務(wù),實(shí)現(xiàn)標(biāo)準(zhǔn)的自動(dòng)檢測(cè)。針對(duì)數(shù)據(jù)量較多的表,為提升檢測(cè)效率、防止非必要的重復(fù)檢測(cè),可通過(guò)增量檢測(cè)的方式有效檢測(cè)新增數(shù)據(jù)。根據(jù)質(zhì)量報(bào)告,可綜合性反應(yīng)質(zhì)量情況,其中包含時(shí)間和數(shù)據(jù)兩個(gè)維度。前者以時(shí)間為基準(zhǔn),體現(xiàn)問(wèn)題的改變趨勢(shì);庫(kù)和表屬于后一種維度,可以顯示問(wèn)題的分布;無(wú)論是何種信息,都有助于使用者采取應(yīng)對(duì)措施,提升數(shù)據(jù)質(zhì)量[4]。

4.4 資源調(diào)度服務(wù)

這一部分中同樣包含多個(gè)功能:通過(guò)任務(wù)管理,可對(duì)任務(wù)信息進(jìn)行查看、更改;通過(guò)任務(wù)監(jiān)控,可掌握所有任務(wù)的運(yùn)行情況;通過(guò)運(yùn)行日志管理,可實(shí)現(xiàn)對(duì)日志的查看;而利用報(bào)警配置管理,可以實(shí)現(xiàn)對(duì)報(bào)警規(guī)則的配置。

5 結(jié)論

根據(jù)卷煙企業(yè)在數(shù)據(jù)治理上的需要,特別是實(shí)時(shí)數(shù)據(jù)的治理方式,本文給出了一個(gè)新的治理思路,同時(shí)依托于微服務(wù)架構(gòu),實(shí)現(xiàn)了實(shí)時(shí)數(shù)據(jù)治理系統(tǒng)。這一系統(tǒng)已在多個(gè)項(xiàng)目中應(yīng)用,完全符合使用者在數(shù)據(jù)治理上的需要及技術(shù)要求。不過(guò)由于數(shù)據(jù)治理的覆蓋范圍比較廣,治理體系和治理方法豐富多樣,且用戶的信息化環(huán)境和數(shù)據(jù)治理需求存在差異性,加上因時(shí)間和資源上的限制,即便相對(duì)全面的分析了整體架構(gòu),以便符合擴(kuò)展需要,在個(gè)別功能的實(shí)現(xiàn)上還是做了適當(dāng)?shù)耐讌f(xié),存在一定的提升空間。后續(xù)將繼續(xù)深挖系統(tǒng)潛能,不斷完善系統(tǒng),以便向用戶提供更為優(yōu)質(zhì)的服務(wù)。

引用

[1] 吳亮.基于分布式數(shù)據(jù)庫(kù)查詢優(yōu)化的數(shù)據(jù)治理平臺(tái)研究與實(shí)現(xiàn)[D].南昌:江西師范大學(xué),2021.

[2] 孫鏡濤.一個(gè)大數(shù)據(jù)治理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].濟(jì)南:山東大學(xué),2021.

[3] 王磊.面向傳統(tǒng)大型制造企業(yè)的大數(shù)據(jù)平臺(tái)解決方案研究與設(shè)計(jì)[J].冶金自動(dòng)化,2020,44(3):1-7.

[4] 范家寧.基于Spark的多數(shù)據(jù)源大數(shù)據(jù)治理平臺(tái)研究[D].北京:中國(guó)地質(zhì)大學(xué)(北京),2020.