高速公路大數據資產管理平臺的研究與設計

秦曙光，吳文茂，梁 暉，楊 程

(廣西交通投資集團有限公司，廣西 南寧 530022)

0 引言

在大數據時代，大數據正被越來越多的企業視為重塑及打造核心競爭力的重要戰略資源，“數據即資產”被廣泛認可，但數據本身并不具有資產屬性。依據財務上的資產定義，數據資產可理解為企業或組織擁有或控制的，能帶來未來經濟利益的數據資源，即數據資產應具備可控制、可計量、可變現的屬性。因此，從數據到數據資產必然需要一個有效的數據資產管理系統來支持完成數據的采集、處理、分析、應用、開放、連接、整合等一系列流程，有效支持企業利用數據資源創造業務價值和企業效益。對于高速公路運營企業來說，利用已建立的規模龐大的高速公路網以及支撐路網建設、運營、管理的大量信息化基礎，已積累和形成PB級規模的多源異構數據，數據本身蘊含著巨大的應用和分析價值，迫切需要對這些數據進行科學高效的資產化管理，以便更好地利用大數據分析支持日益繁重的高速公路運營管理工作。

1 高速公路數據資產管理現狀

隨著高速公路信息化基礎設施建設日益完善，高速公路數據的采集手段和來源也日趨豐富。其包括氣象、卡口及服務區的監控視頻數據及道路巡檢車定期采集的路面數據、工程項目建設進度數據、出入口收費數據等，具體可梳理歸納為公眾出行、養護、應急救援、收費、監控五大類型數據(見圖1)，呈現海量、多源、異構的大數據特征以及很強的時空特性、采集多樣性、記錄格式多樣性、展現形式多樣性的高速公路行業特征。

圖1 高速公路數據類型圖

在管理這些數據的過程中，筆者對廣西和區外主要的高速公路企業進行調研后發現：高速公路信息化建設受制于不同的發展時期，并非一蹴而就，而是長期不斷地積木式迭代演進，缺乏企業級的整體架構和整體數據規劃，導致在管理高速公路數據管理過程中，普遍存在數據架構失控、元數據管理混亂、數據標準缺失、數據質量參差不齊、數據增長無序、數據安全問題突出等問題。在利用大數據進行高速公路運營管理的相關分析決策時，缺乏高質量、可靠有效的數據支持。

2 高速公路數據資產管理目標

高速公路數據資產管理的目標是要實現高速公路數據的資產化管理，為高速公路大數據增值應用以及變現提供充足有效的支持和保障，具體包括兩層含義：

(1)打通數據連接，數據融合共享。打通數據是數據資產管理的前提。在分析現有的信息系統及數據類型的基礎上，重點梳理系統數據架構、理清數據分類和制定統一數據標準與接口，打破高速公路數據壁壘，打通數據連接，實現數據的互聯互通、血緣管理及全程可控，有效盤活企業數據資產。

(2)高效治理數據，提供可用數據。數據治理是數據資產管理的核心。明確高速公路數據治理戰略，開展全方位數據治理，包括數據安全、數據質量、數據生命周期、數據標準、數據架構等，實現數據由全局到局部的精細化管理，提升數據質量，確保能為高速公路大數據的挖掘分析提供充足可用的數據資源。

3 高速公路大數據資產管理平臺

3.1 應用架構

從高速公路大數據的全生命周期出發，設計了包括數據采集、數據存儲、數據治理、數據挖掘應用的高速公路大數據資產管理和應用平臺總體架構(見圖2)，高速公路大數據資產管理平臺應用架構主要集中在數據采集、數據存儲、數據治理三個模塊。

圖2 高速公路大數據資產管理和應用平臺總體架構圖

3.1.1 數據采集模塊

通過封裝關系數據庫數據采集、實時數據采集、文件數據采集等采集接口，構建分布式、多源的數據采集能力，滿足高速公路攝像頭、傳感器等感知設施數據以及傳統數據庫數據的實時和離線采集。針對高速公路工程項目紙質文檔數據采集需求，通過數字化業務系統對各類圖文紙質文檔進行大規模的掃描加工和抽取。

3.1.2 數據存儲模塊

通過構建Hadoop集群、關型數據倉庫、MPP集群等數據集管理工具，對HDFS下的待處理高速公路數據集進行管理和處理調度，能有效支持TB級的結構化、半結構化和非結構化數據存儲，并提供數據的安全管理、備份、訪問權限控制等。

3.1.3 數據治理模塊

數據治理包括兩個方面：(1)提供數據標準、數據調度、數據生命周期、數據共享(發布)、數據質量、數據安全以及數據操作等管理功能；(2)支持數據抽取、轉換、分類、清洗等預處理，將半結構化、非結構化數據轉化為結構化、高質量的可用分析大數據集，向上支撐高速公路大數據挖掘應用。

3.2 技術架構

高速公路大數據資產管理平臺以Hadoop+Spark生態圈開源技術為主，采用Sqoop+Flume、Kafka+Socket數據采集框架及HDFS、HBase、Hive等分布式存儲以及MapReduce分布式計算框架等開源產品或技術，并且采用統一監控及配置管理平臺。高速公路大數據資產管理平臺技術架構設計見圖3。

圖3 高速公路大數據資產管理平臺技術架構圖

3.2.1 數據采集層

數據采集層采用Sqoop+Flume和Kafka+Socket的大數據采集框架，分別解決離線數據采集和實時數據抽取、采集的問題，滿足高速公路多源、異構數據快速接入、采集的需求。

3.2.2 數據存儲層

數據存儲層采用傳統關系數據庫(RMDB)MySQL、Oracle等存儲結構化數據；采用分布式存儲架構Hadoop、Hive、HBase等存儲非結構化數據。滿足高速公路視頻、圖像、表格、文本等異構數據海量存儲、訪問以及存儲拓展等需求。

3.2.3 數據治理層

數據治理層采用MapReduce、Hive、Impala、Pig實現分布式并行數據分析，以及基于內存計算的處理框架Spark、任務調度框架Oozie和大數據Web工具Hue進行處理。數據處理技術提供可視化的操作界面，提供類SQL查詢海量數據的功能，滿足海量數據快速處理、實時處理的要求，允許用戶自定義工作流及對工作流調度的定制。同時提供數據的假設檢驗、分類和回歸、線性模型、樸素貝葉斯、決策樹、隨機森林和Gradient-Boosted樹、主成分分析(PCA)、特征提取和轉換、頻繁模式挖掘、FP-growth等機器學習相關算法，充分挖掘數據價值。

4 結語

當前，無論是國家的交通強國建設，還是高速公路企業自身的業務拓展和企業轉型升級，都迫切需要大數據驅動，而大數據驅動的必要前提是數據的融合共享和高效治理。高速公路大數據資產管理平臺能加速高速公路數據資源的創新管理和共享開放，并通過深度且綜合地采集、融合、治理、共享高速公路各類數據，為挖掘分析高速公路大數據、將數據分析結果轉化為目標應用提供可靠有效的數據，為高速公路企業的運營管理降本增效、戰略決策以及產業的轉型升級帶來現實意義。