交通運輸政務(wù)主數(shù)據(jù)管理成套關(guān)鍵技術(shù)研究與應(yīng)用

韋 揚，羅海宇

(1.廣西交通運輸信息管理中心，廣西 南寧 530012；2.廣西交通設(shè)計集團有限公司，廣西 南寧 530029)

0 引言

主數(shù)據(jù)通常被定義為“用來定義企業(yè)核心實體一致、統(tǒng)一的屬性和標識”，是核心業(yè)務(wù)實體的映射數(shù)據(jù)，通常長期存在且應(yīng)用于多個系統(tǒng)，需要滿足跨系統(tǒng)的共享要求。主數(shù)據(jù)不是企業(yè)全域、全量的數(shù)據(jù)，而是面向重點業(yè)務(wù)、可高度共享復(fù)用、高價值的核心數(shù)據(jù)集合。主數(shù)據(jù)對數(shù)據(jù)的有效性、一致性、準確性等有著較高要求。為此，國際上SAP、IBM等公司率先形成了主數(shù)據(jù)管理的方法體系，目標是構(gòu)建統(tǒng)一的數(shù)據(jù)標準，實現(xiàn)主數(shù)據(jù)的統(tǒng)一識別、采集與整合，并提供穩(wěn)定、統(tǒng)一的主數(shù)據(jù)共享應(yīng)用服務(wù)。主數(shù)據(jù)管理是一整套管理和技術(shù)方法的集合，目前在電信、物流、航空、煙草、金融、綜合性集團公司等大企業(yè)中均得到了普遍應(yīng)用，為企業(yè)跨部門、跨系統(tǒng)的信息共享與業(yè)務(wù)協(xié)同提供有力支撐。

在新一輪數(shù)字政府建設(shè)浪潮下，交通運輸政務(wù)服務(wù)秉承著“讓群眾少跑腿，數(shù)據(jù)多跑路”的原則，衍生出眾多跨層級、跨行業(yè)、跨部門、跨系統(tǒng)的數(shù)據(jù)共享需求，但前期的信息系統(tǒng)通常是“煙囪式”的建設(shè)模式，只滿足少數(shù)的業(yè)務(wù)場景需求，彼此間數(shù)據(jù)未能整合共享，形成了眾多“信息孤島”。為此，交通運輸行政部門開展政務(wù)數(shù)據(jù)基礎(chǔ)庫的建設(shè)，主要圍繞交通運輸行業(yè)普遍的管理對象(包括人員、組織、運載工具、基礎(chǔ)設(shè)施、貨物、項目、財務(wù)等)，完成基礎(chǔ)屬性信息整合與梳理。基礎(chǔ)庫旨在匯聚行業(yè)中具有廣泛業(yè)務(wù)意義的核心數(shù)據(jù)，是跨層級、跨專業(yè)、跨部門、跨系統(tǒng)數(shù)據(jù)共享的基準，必須具備強一致性、高可用性的特性。引入主數(shù)據(jù)管理相關(guān)技術(shù)和方法，系統(tǒng)開展主數(shù)據(jù)分析與識別、主數(shù)據(jù)治理、主數(shù)據(jù)共享分發(fā)等工作，是提升交通運輸政務(wù)數(shù)據(jù)基礎(chǔ)庫建設(shè)質(zhì)量的有效途徑。同時，配備主數(shù)據(jù)管理系統(tǒng)，實現(xiàn)自動、準確的主數(shù)據(jù)采集、整合與分發(fā)，為高效、準確、統(tǒng)一的政務(wù)數(shù)據(jù)共享與應(yīng)用提供支撐。

1 主數(shù)據(jù)管理體系

1.1 主數(shù)據(jù)分析與識別

1.1.1 業(yè)務(wù)分析與數(shù)據(jù)資源映射

根據(jù)交通運輸行業(yè)的業(yè)務(wù)特征，在不同層次和粒度上分析全域的業(yè)務(wù)分類和流程。分析模板采用“職能域-業(yè)務(wù)事項域-數(shù)據(jù)主體域”三層結(jié)構(gòu)來梳理業(yè)務(wù)和數(shù)據(jù)主體映射。首先根據(jù)交通運輸政務(wù)部門的業(yè)務(wù)活動劃分“職能域”,然后根據(jù)“三定”方案和權(quán)責清單分析梳理業(yè)務(wù)事項，再根據(jù)業(yè)務(wù)事項構(gòu)建數(shù)據(jù)資源的概念模型和映射關(guān)系，并提取基礎(chǔ)的數(shù)據(jù)主體，實現(xiàn)“業(yè)務(wù)-數(shù)據(jù)”的映射關(guān)聯(lián)，為后續(xù)的主數(shù)據(jù)識別提供清晰的關(guān)系圖譜[1]。比如“道路運輸管理職能-道路運輸車輛行政許可-道路運輸許可證車輛信息/業(yè)戶信息/人員信息”的映射。交通運輸行業(yè)主要政務(wù)職能如表1所示。

表1 交通運輸主要政務(wù)職能表

1.1.2 主數(shù)據(jù)識別

交通運輸政務(wù)主數(shù)據(jù)是指整個領(lǐng)域內(nèi)需要共享流轉(zhuǎn)的、高價值的、核心的基準數(shù)據(jù)，這些數(shù)據(jù)在開展主數(shù)據(jù)整合與管理前，可能存在于多源異構(gòu)的信息系統(tǒng)中。并非所有的政務(wù)數(shù)據(jù)都是主數(shù)據(jù)，主數(shù)據(jù)必須具有穩(wěn)定性、準確性、通用性和集成性的特質(zhì)。因而，完成主數(shù)據(jù)識別是一項復(fù)雜的工程。政務(wù)數(shù)據(jù)具有服務(wù)面廣、基礎(chǔ)性強、相互獨立性顯著的特點，在組織行業(yè)業(yè)務(wù)專家充分調(diào)研評估后，設(shè)定了主數(shù)據(jù)識別認定的規(guī)則，當同時滿足這些規(guī)則時，可歸為交通運輸政務(wù)主數(shù)據(jù)，具體如表2所示。

表2 主數(shù)據(jù)識別認定規(guī)則表

1.2 主數(shù)據(jù)治理

主數(shù)據(jù)對數(shù)據(jù)的一致性、準確性、完整性、有效性具有較高要求，為提升交通運輸政務(wù)主數(shù)據(jù)的質(zhì)量，須開展主數(shù)據(jù)治理工作。主數(shù)據(jù)治理體系如圖1所示。

圖1 主數(shù)據(jù)治理體系示意圖

1.2.1 數(shù)據(jù)標準管理

數(shù)據(jù)標準是在滿足業(yè)務(wù)對數(shù)據(jù)應(yīng)用要求的前提下，使主數(shù)據(jù)達到全局一致、準確的可通用且可復(fù)用的規(guī)范。數(shù)據(jù)標準管理是一項體系工作，包括數(shù)據(jù)標準定義和框架、管理規(guī)程等。

主數(shù)據(jù)標準的定義遵循“有標遵標，無標定標”的原則，以形成完整的標準規(guī)范，應(yīng)重點參照《交通信息基礎(chǔ)數(shù)據(jù)元》等行業(yè)標準。主數(shù)據(jù)標準的定義框架應(yīng)包含業(yè)務(wù)屬性、技術(shù)屬性、管理屬性。

(1)業(yè)務(wù)屬性指主數(shù)據(jù)應(yīng)遵循的交通運輸政務(wù)業(yè)務(wù)規(guī)定的統(tǒng)一定義與解釋，如車輛登記的信息項規(guī)定、營運編號要求等。

(2)技術(shù)屬性指IT技術(shù)層面對主數(shù)據(jù)的規(guī)定與定義，如車輛信息的數(shù)據(jù)類型、數(shù)據(jù)精度等。

(3)管理屬性指業(yè)務(wù)屬性和技術(shù)屬性的管理職責等規(guī)定與要求。如車輛信息的錄入單位、審核人、執(zhí)法監(jiān)管等屬性。

編碼標準是典型的主數(shù)據(jù)標準定義過程，其本質(zhì)是業(yè)務(wù)特性和管理要求的規(guī)范化體現(xiàn)。編碼標準應(yīng)充分考慮業(yè)務(wù)、技術(shù)、管理三方面的要求。根據(jù)業(yè)務(wù)目標和特性形成交通運輸政務(wù)服務(wù)領(lǐng)域內(nèi)的主數(shù)據(jù)編碼規(guī)范和方案，同時遵循繼承性、唯一性、實用性、擴展性的原則[2]。繼承性指盡量繼承已有的分類規(guī)則和標準，符合“有標遵標”的原則；唯一性是指同一種數(shù)據(jù)實體在其整個生命周期內(nèi)只能對應(yīng)一個編碼，同一編碼只代表一個實體對象；實用性是指充分考慮政務(wù)服務(wù)規(guī)則和慣用表達；擴展性是指充分考慮未來業(yè)務(wù)發(fā)展和數(shù)據(jù)增長，預(yù)留擴展空間。

在確定數(shù)據(jù)標準內(nèi)容的基礎(chǔ)上，應(yīng)同時配套數(shù)據(jù)標準管理規(guī)程，對數(shù)據(jù)標準相關(guān)工作制度以及工作流程做出要求，編制《交通運輸政務(wù)數(shù)據(jù)基礎(chǔ)庫主數(shù)據(jù)標準管理辦法》，指導(dǎo)數(shù)據(jù)標準的制定、確認、錄入、編輯、發(fā)布、變更、應(yīng)用等操作。

1.2.2 元數(shù)據(jù)管理

元數(shù)據(jù)是數(shù)據(jù)的數(shù)據(jù)，其記錄了主數(shù)據(jù)的基本屬性，以及從采集、加載、存儲、轉(zhuǎn)換、共享到應(yīng)用的全生命周期信息，構(gòu)建主數(shù)據(jù)應(yīng)用的“地圖”。元數(shù)據(jù)管理同樣是一項體系工作，包括元模型定義、元數(shù)據(jù)采集、元數(shù)據(jù)分析、元數(shù)據(jù)管理規(guī)程等[3]。

元模型指的是元數(shù)據(jù)的采集模板，對元數(shù)據(jù)搜集的屬性項做統(tǒng)一的規(guī)定，針對不同來源、不同類型的元數(shù)據(jù)定義不同的元模型。元數(shù)據(jù)的來源可以是數(shù)據(jù)庫表信息、數(shù)據(jù)模型設(shè)計信息、表格、文檔、XML文件等。元數(shù)據(jù)類型主要有以下幾種：

(1)技術(shù)元數(shù)據(jù)。從技術(shù)層面描述主數(shù)據(jù)的屬性，如數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)處理方面的特征描述。

(2)業(yè)務(wù)元數(shù)據(jù)。從業(yè)務(wù)層面描述主數(shù)據(jù)的屬性，如業(yè)務(wù)指標定義、業(yè)務(wù)規(guī)則、業(yè)務(wù)術(shù)語等。

(3)管理元數(shù)據(jù)。從主數(shù)據(jù)管理從屬和需求層面描述主數(shù)據(jù)的屬性，如人員角色、崗位職責、管理流程等信息。

元數(shù)據(jù)的存儲原則上均以結(jié)構(gòu)化數(shù)據(jù)的形式，且較為穩(wěn)定、變化頻率較低，宜采用離線數(shù)據(jù)的采集方式。元數(shù)據(jù)的來源多且具有異構(gòu)性，其可直接從數(shù)據(jù)庫表、數(shù)據(jù)模型管理工具直接采集，也可從表格、文檔等轉(zhuǎn)換采集，亦可人工處理錄入采集。

元數(shù)據(jù)分析應(yīng)包含血緣分析、影響分析兩類。血緣分析作用主要體現(xiàn)在對主數(shù)據(jù)上游的溯源，通過分析主數(shù)據(jù)采集、轉(zhuǎn)換、流轉(zhuǎn)等環(huán)節(jié)的元數(shù)據(jù)，快速清晰地描述數(shù)據(jù)脈絡(luò)，為數(shù)據(jù)口徑追溯、數(shù)據(jù)質(zhì)量問題定位提供支撐。影響分析的作用主要體現(xiàn)在對主數(shù)據(jù)下游的可能性研究，通過分析數(shù)據(jù)要素的定義和關(guān)聯(lián)關(guān)系，發(fā)掘當前數(shù)據(jù)變化對下游數(shù)據(jù)的影響。

根據(jù)元數(shù)據(jù)相關(guān)管理規(guī)程，制定《交通運輸政務(wù)數(shù)據(jù)元數(shù)據(jù)管理辦法》，規(guī)范指導(dǎo)元模型定義和使用、元數(shù)據(jù)采集調(diào)度、元數(shù)據(jù)版本確立和變更、元數(shù)據(jù)分析等操作，保障元數(shù)據(jù)的應(yīng)用效果。

1.2.3 數(shù)據(jù)質(zhì)量管理

數(shù)據(jù)質(zhì)量提升是主數(shù)據(jù)治理的核心任務(wù)。主數(shù)據(jù)質(zhì)量管理是一個閉環(huán)過程，包括質(zhì)量規(guī)則制定、質(zhì)量審計、質(zhì)量問題定位、質(zhì)量問題解決等環(huán)節(jié)。同時，制定《交通運輸政務(wù)主數(shù)據(jù)質(zhì)量管理辦法》，規(guī)范指導(dǎo)質(zhì)量管理閉環(huán)過程的執(zhí)行。

質(zhì)量規(guī)則主要依據(jù)主數(shù)據(jù)標準制定，包括編碼規(guī)則，其校驗粒度應(yīng)覆蓋字段級別，是驅(qū)動主數(shù)據(jù)質(zhì)量審計的核心要素。質(zhì)量規(guī)則通常體現(xiàn)主數(shù)據(jù)標準中業(yè)務(wù)屬性和技術(shù)屬性的規(guī)范和要求。

質(zhì)量審計是依托制定的質(zhì)量規(guī)則，結(jié)合元數(shù)據(jù)和數(shù)據(jù)主體本身的取值，對數(shù)據(jù)質(zhì)量進行檢查，找出元數(shù)據(jù)、數(shù)據(jù)取值與數(shù)據(jù)標準不一致的項，識別重復(fù)、錯誤的質(zhì)量問題。

質(zhì)量問題定位主要通過元數(shù)據(jù)分析開展，摸清主數(shù)據(jù)的來龍去脈、定義口徑，結(jié)合審計結(jié)果，定位質(zhì)量問題所在，便于解決問題時對癥下藥。

質(zhì)量問題解決是需要業(yè)務(wù)、技術(shù)和管理共同支撐的工作，應(yīng)配套管理考核機制，針對問題所在，落實質(zhì)量問題解決責任，從業(yè)務(wù)和技術(shù)兩個層面制定數(shù)據(jù)清洗方案。

數(shù)據(jù)的產(chǎn)生和流轉(zhuǎn)是動態(tài)變化的過程，主數(shù)據(jù)質(zhì)量的保障和提升應(yīng)不斷迭代、循環(huán)開展，應(yīng)開展周期性、常態(tài)化的規(guī)則完善與質(zhì)量審計，及時發(fā)現(xiàn)問題、及時解決。

1.3 主數(shù)據(jù)共享與分發(fā)

在對數(shù)據(jù)整合與治理的基礎(chǔ)上，基礎(chǔ)庫集合了交通運輸政務(wù)領(lǐng)域權(quán)威、核心的主數(shù)據(jù)。統(tǒng)一共享和分發(fā)主數(shù)據(jù)，為跨行業(yè)、跨層級、跨部門、跨系統(tǒng)的業(yè)務(wù)交叉協(xié)同提供了一致、準確的基準信息。

在管理機制上確定基礎(chǔ)庫主數(shù)據(jù)的權(quán)威性和唯一性，在交通運輸政務(wù)領(lǐng)域，所有涉及主數(shù)據(jù)信息的應(yīng)用，均以基礎(chǔ)庫主數(shù)據(jù)為準，基礎(chǔ)庫無條件為下游應(yīng)用提供主數(shù)據(jù)共享與分發(fā)服務(wù)。

在標準指南上，整合主數(shù)據(jù)標準，制定對應(yīng)的共享規(guī)范、技術(shù)指南，統(tǒng)一公布給下游應(yīng)用，形成標準規(guī)范更新、迭代、下發(fā)的管理機制。

在技術(shù)實施上遵循“統(tǒng)一性、規(guī)范性、開放性、安全性”原則，采用成熟穩(wěn)定的數(shù)據(jù)共享與分發(fā)技術(shù)。在共享技術(shù)方式上，兼容數(shù)據(jù)視圖開放、數(shù)據(jù)交換通道、數(shù)據(jù)接口等；在數(shù)據(jù)分發(fā)同步方式上，采用“全量同步”和“增量同步”兩種方式，對于數(shù)據(jù)量較少、時效性要求低的主數(shù)據(jù)集，采用全量比對完成變化數(shù)據(jù)的同步；對于數(shù)據(jù)量較大、時效性要求高的主數(shù)據(jù)集，基礎(chǔ)庫和數(shù)據(jù)共享模塊應(yīng)做好變化數(shù)據(jù)標記，捕捉數(shù)據(jù)的增量變化，實時分發(fā)至下游應(yīng)用。

1.4 建立交通運輸政務(wù)主數(shù)據(jù)管理系統(tǒng)

為了主數(shù)據(jù)分析與識別、主數(shù)據(jù)治理、主數(shù)據(jù)共享與分發(fā)整套體系的落實，需要一套信息系統(tǒng)來具體支撐。系統(tǒng)邏輯架構(gòu)如圖2所示。

圖2 主數(shù)據(jù)管理系統(tǒng)邏輯架構(gòu)圖

主數(shù)據(jù)管理系統(tǒng)的主要功能為數(shù)據(jù)標準管理、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、主數(shù)據(jù)資源管理、數(shù)據(jù)共享管理、流程引擎等，直接與交通運輸政務(wù)數(shù)據(jù)基礎(chǔ)庫交互，實現(xiàn)交通運輸主數(shù)據(jù)管理。數(shù)據(jù)標準管理模塊包括標準模板管理、標準錄入與編輯、標準落地、標準發(fā)布與維護等功能；元數(shù)據(jù)管理包括元模型管理、元數(shù)據(jù)采集與調(diào)度、元數(shù)據(jù)版本管理、元數(shù)據(jù)分析等功能；數(shù)據(jù)質(zhì)量管理包括質(zhì)量規(guī)則定義、質(zhì)量審計方案管理、質(zhì)量審計、質(zhì)量報告、質(zhì)量問題處理等功能；主數(shù)據(jù)資源管理包括主數(shù)據(jù)查詢?yōu)g覽、主數(shù)據(jù)目錄管理、主數(shù)據(jù)發(fā)布與維護管理等功能；數(shù)據(jù)共享管理包括數(shù)據(jù)資源掛載、共享服務(wù)發(fā)布、共享審核、標準指南發(fā)布管理等功能；流程引擎為基礎(chǔ)組件，重點支撐各類管理流程的實現(xiàn)。

主數(shù)據(jù)的共享分發(fā)主要通過數(shù)據(jù)服務(wù)總線執(zhí)行。為滿足不同方式的主數(shù)據(jù)共享分發(fā)需求，服務(wù)總線集成了ESB、數(shù)據(jù)交換通道、數(shù)據(jù)庫直坊鏈接、微服務(wù)等多種技術(shù)。

交通運輸政務(wù)主數(shù)據(jù)的架構(gòu)應(yīng)根據(jù)交通運輸主要業(yè)務(wù)實體的關(guān)系，構(gòu)建有效的全域邏輯模型，表述主數(shù)據(jù)實體間基本關(guān)系以及應(yīng)用結(jié)構(gòu)，如圖3所示。

圖3 交通運輸政務(wù)主數(shù)據(jù)全域邏輯模型架構(gòu)圖

主數(shù)據(jù)管理系統(tǒng)的建設(shè)，一方面需要嚴格遵循主數(shù)據(jù)管理相關(guān)流程、制度、規(guī)范的要求，確保系統(tǒng)的流程、功能貼合主數(shù)據(jù)管理工作，提升效率；另一方面，系統(tǒng)的使用需要主數(shù)據(jù)管理制度的保障，嚴格要求各業(yè)務(wù)部門、業(yè)務(wù)人員、技術(shù)人員，以主數(shù)據(jù)管理系統(tǒng)為主數(shù)據(jù)管理的唯一工具系統(tǒng)，整個交通運輸行政部門的主數(shù)據(jù)分析、治理、共享分發(fā)均依托系統(tǒng)開展。

2 結(jié)語

交通運輸行政部門利用本文提出的方法和技術(shù)，構(gòu)建了一致、權(quán)威的基礎(chǔ)庫，在公路規(guī)劃管理、公路建設(shè)管理、公路養(yǎng)護管理、道路運輸管理、水路行道規(guī)劃管理、港航運行管理等主題域建立“業(yè)務(wù)-數(shù)據(jù)”映射關(guān)系，篩選識別以“人員、組織、基礎(chǔ)設(shè)施、貨物、運載工具”等基準信息為核心的交通運輸政務(wù)主數(shù)據(jù)，在主數(shù)據(jù)管理系統(tǒng)的支撐下，有效開展主數(shù)據(jù)治理工作，在交通運輸行政部門范圍內(nèi)保障了基礎(chǔ)庫主數(shù)據(jù)的統(tǒng)一性、正確性、唯一性，提高了數(shù)據(jù)質(zhì)量，為跨行業(yè)、跨層級、跨部門、跨系統(tǒng)的數(shù)據(jù)共享和業(yè)務(wù)協(xié)同打下堅實基礎(chǔ)，初步與新冠疫情防控部門、交警部門、消防部門等實現(xiàn)了數(shù)據(jù)共享分發(fā)。主數(shù)據(jù)管理是一項長期、復(fù)雜的工程，未來仍須依托管理機制，持續(xù)迭代、不斷完善交通運輸政務(wù)基礎(chǔ)庫的建設(shè)。