廣西交通運輸數據共享交換平臺建設研究

陳猷輝

摘要：文章針對當前廣西交通運輸行業數據采集加工方式落后、信息溝通不暢、數據共享能力差、數據標準不統一等問題，提出建設廣西交通運輸數據共享交換平臺，介紹了該平臺業務、邊界、功能及特點，并評述該平臺可實現廣西交通運輸政務數據資源的全面匯聚和實時交換，提高廣西交通運輸行業工作效率和管理水平，促進數字廣西的進一步發展。

關鍵詞：交通運輸;數據;共享;交換

0 引言

廣西交通運輸行業的信息化存在“信息孤島”“數據煙囪”、重復建設、資源浪費、數據標準不統一、系統協同能力不強等問題，嚴重制約了數據資源的有效利用和充分挖掘，需要建立一套統一的數據共享交換平臺，實現對數據資源的全面匯聚和有效管控。筆者認為通過建設廣西交通運輸數據共享交換平臺，作為廣西交通運輸行業對內對外的統一基礎數據平臺，可實現行業數據資源跨區域、跨部門的匯聚、管理、協同調度和實時交換[1]，并提供數據共享與開放服務，為其他信息系統提供橫縱向的信息資源共享交換服務。

1 平臺業務和邊界

1.1 平臺業務

廣西交通運輸數據共享交換平臺縱向連接各級交通運輸管理部門，橫向連接自治區各部門的政務信息資源共享交換體系[2]，能促進廣西交通運輸行業政務信息資源共享和業務協同，解決廣西交通運輸行業各級各部門政務信息數據共享交換平臺互聯互通問題，通過有效的數據質量管控，實現廣西交通運輸數據的有效匯聚和融合，形成權威的行業基礎數據。

1.2 平臺邊界

（1）按照數據權屬，廣西交通運輸數據共享交換平臺對交通運輸部共享交換平臺開放相應的數據接口，實現交通運輸部級平臺對相關數據的查詢、調用、下載等多種服務;通過級聯交通運輸部共享交換平臺，實現交通運輸行業跨省業務數據的共享交互。

（2）依據《廣西政務數據資源管理與應用改革實施方案》以及自治區人民政府、自治區大數據局關于政務數據“聚通用”工作的要求，廣西交通運輸數據共享交換平臺級聯自治區各共享交換平臺，作為行業的共享交換節點，實現不同結構數據資源橫向與自治區各政府部門，以及與各地市交通運輸管理部門的政務數據共享交互。

（3）廣西交通運輸數據共享交換平臺實現廣西交通運輸廳本級、廳直屬各單位相關業務系統數據資源的匯聚、融合以及共享交換，實現數據資源的統一管理，形成廣西交通運輸行業統一的數據資源池。

綜上所述，平臺邊界內容如圖1所示：

2 平臺功能

廣西交通運輸數據共享交換平臺主要建設內容包括信息資源目錄管理系統、數據資源管理系統、數據交換管理系統、數據共享管理系統、平臺統一維護系統5個應用系統，實現各級各部門之間數據資源的交換共享以及對交通運輸行業數據資源的對外開放[3];建設基于Hadoop架構的大數據基礎平臺，主要實現對Hadoop集群環境的應用服務以及節點機器的實時維護，便于對集群環境更直觀地監控;部署ETL工具，實現數據資源的抽取、清洗轉換和加載等功能;完成相關數據工程，在業務數據庫中構建數據資源池[4]。

平臺功能模塊架構如圖2所示：

2.1 信息資源目錄管理系統

建設信息資源目錄管理系統，主要實現對匯聚的信息資源進行編目，并通過分類目錄和索引，為用戶提供快捷直觀的訪問方式，同時為共享交換管理提供底層服務支撐。該系統實現數據和服務資源目錄庫的建立、更新、備份與恢復，并支持批量模板導入。實現對信息資源和封裝的服務組件建立分類目錄和索引，以及對數據和服務資源元數據的編輯和管理功能;實現數據和服務資源目錄內容提供者向目錄體系注冊數據和發布數據等功能。

2.2 數據資源管理系統

數據資源管理系統包括數據源管理和平臺資源管理模塊，主要實現對所匯聚的交通行業政務數據進行統一管理，為用戶提供直觀的數據源和平臺資源的展示和查詢，方便用戶查詢共享交換平臺的數據匯聚情況。

數據源管理模塊是數據交換的基礎配置，為交換系統提供業務元數據和相關基礎數據。所有的數據交換業務必須先建立對應的數據源信息，數據源直接連接業務數據，數據源內容包括：名稱、數據源類型、開通狀態、所屬部門、業務系統名稱、聯系人、聯系方式、服務器IP、端口、連接用戶名、密碼和連接驅動等，數據源類型支持數據庫和文件等。

平臺資源管理模塊展示了目前共享交換平臺匯聚的資源情況，實現對已存在的數據資源進行增加、修改、查看和刪除等管理功能，資源類型包括數據庫、文件和接口等。

2.3 數據交換管理系統

通過建立規范、統一的數據交換共享機制，滿足廣西交通運輸行業各業務系統、各部門間形成數據雙向流動以及數據資源的同步更新。參照《國家政務信息資源交換體系標準》，并結合交通運輸行業橫縱向數據交換的需求，建設數據交換和共享管理系統，實現交換通道申請與審核、交換通道規則管理、交換通道任務管理、交換日志管理等相關功能。

交換節點是通道的基本組成單元，每個節點管理自己相對應的數據源信息。節點通過注冊、驗證才能建立交換通道，注冊內容包括：節點名稱、節點編碼、所屬部門、節點IP、節點Mac地址、授權碼等。節點注冊完成后，系統根據節點Mac地址生成對應的授權碼用于安裝校驗。

系統用戶通過申請交換通道實現業務系統之間數據交換，申請內容包括：交換相關節點、更新頻率、限制條件（如某區域、某時段）等。周期性交換通道只需申請一次，臨時性交換通道按需申請。

數據交換后臺在執行數據交換作業時，對任務執行日志進行統一記錄管理，方便掌握各交換通道的詳細執行記錄。

2.4 數據共享管理系統

數據共享管理系統主要包括共享管理和共享門戶模塊。共享管理模塊實現部級應用系統、各省交通運輸管理部門、自治區各級交通運輸管理部門、自治區共享交換平臺上的其他政府部門（如公安、安監、文旅、市場監管等）相互之間數據共享服務的管理工作，包括共享資源發布、共享審核、規則設定和共享信息管理等功能。

共享門戶模塊，主要面向行業及其他政府部門用戶，提供統一的資源門戶，實現資源目錄的查詢瀏覽和共享資源的檢索申請服務。共享門戶是面向行業及其他政府部門用戶，基于數據資源目錄實現查詢、瀏覽以及共享數據資源的瀏覽、搜索、共享申請等功能。用戶可通過數據共享門戶進行注冊，實現數據資源的申請、瀏覽、下載。

2.5 平臺統一維護系統

平臺統一維護系統主要包括用戶及權限管理和統一應用中心模塊。用戶及權限管理模塊實現平臺用戶的統一認證及用戶的應用與數據權限管理。另外，提供交流反饋板塊，針對用戶在共享門戶使用過程中出現的問題實現及時答疑和處理，增強平臺的友好度和易用性。

統一應用中心模塊將不同的業務系統訪問頁面進行整合，基于單點登錄簡化用戶的操作流程，提高用戶的工作效率。通過構建一個各級別用戶共同使用的統一工作門戶平臺，整合現有業務系統的訪問控制，為各部門、各級基層用戶按照各自角色權限提供統一接入點，實現單點登錄（SSO），通過統一的應用中心在一個桌面上進行各項申請和審批操作，減少系統使用復雜度。同時應用中心還提供了各類通知通告、動態信息、信息簡報等匯總統計顯示，以及各類業務信息的播報，使用戶獲取和使用信息更直接、更方便。

2.6 大數據基礎平臺

廣西交通運輸數據共享交換平臺技術的創新在于建設基于Hadoop架構的大數據基礎平臺及其性能優化，提供分布式數據存儲、并行數據處理和統一管理維護等能力，除滿足海量結構化數據的存儲分析，還可以存儲海量非結構化數據，如圖片、音頻、視頻、文本等，并且在資源匯聚整合后，大數據平臺提供數據分布式計算的能力以及分析挖掘能力。

Hadoop的集群性能取決于其運行環境和平臺本身，其運行環境主要包括底層硬件、操作系統和JVM環境，平臺自身層面更多是參數和組件服務配置調優，其優化過程需要日常運行過程中結合實際場景和數據特點不斷進行調整，是一項持久的工程。在數據存儲方面，根據訪問頻度和存儲時長（從進入集群環境開始計算）對數據進行溫度分層，由高至低的數據分別為熱數據、溫數據、冷數據和凍數據，熱數據和溫數據優先存儲于運算能力較強的節點，冷數據和凍數據更多存儲于性能較弱的節點。通過Hadoop的跨層數據流傳輸機制，對溫度變化的數據塊進行跨層的轉移。通過數據分層機制，讓計算資源更集中地處理熱數據，提高資源的利用率。

在數據傳輸方面，由于Hadoop頻繁地在各節點間傳輸數據，需要高效利用寬帶資源，可通過增加通信線程數、增加數據緩沖區、提高數據密度、優化數據序列化機制、優化通信協議、優化數據壓縮算法、優化數據校驗算法等措施提高整體IO性能[5]。

2.7 ETL工具

部署ETL工具，實現分散、零亂、標準不統一的數據的清理和整合。

2.7.1 數據抽取模塊

實現從源系統中抽取所需的數據，源系統的數據是數據共享交換服務的主要數據來源。

2.7.2 數據清洗轉換模塊

按照數據規范標準的要求，進行數據的轉換、清洗、拆分、合并等處理，保證來自不同系統、不同格式的數據的一致性和完整性。

2.7.3 數據加載模塊

將數據源系統中抽取、轉換后的數據加載到數據中心。

3 平臺特點

（1）滿足多源異構數據采集匯聚的需求。廣西交通運輸數據共享交換平臺支持結構化、半結構化、非結構化等多類數據源的對接與采集，支持不同類型的數據轉換清洗，并支持集中調度監控功能，確保數據“采得進”“監控得到”。平臺可面向新舊業務系統，多種不同類型數據源通過接口方式進行數據融合，系統自身無需做任何調整，只需按照平臺所需數據范圍通過不同接口方式增量上報于數據共享交換平臺前置節點Agent即可，對關系型數據庫、數據接口、文件、大數據文件系統、FTP文件服務器等異構數據源可進行統一采集融合。

（2）實現信息資源目錄與共享管理聯動。為廣西交通運輸行業數據資源提供統一的編目管理功能，實現資源目錄到共享門戶的發布，實現目錄與平臺資源的綁定，提供多類數據共享方式，并進行統一的審核管控，有效保障數據在業務管理、領導決策、公眾服務和數據自助服務中得到充分應用。

（3）實現多節點與交換通道的統一管理。支持不同種類數據資源的錄入管理以及平臺資源的羅列呈現，實現交換節點的遠程管理，支持遠程更新，支持多類通道管理與傳輸監測，確保數據交換任務的合規、安全、穩定。

（4）結合數據工程，不斷探索適用于廣西交通運輸行業政務數據共享交換的規范指引，在實踐中不斷提升平臺使用、數據匯聚整合的標準性。

4 平臺運行效果

（1）廣西交通運輸數據共享交換平臺完成了廣西交通運輸行業相關數據匯聚和整合，掛載包括道路運輸行業涉及相關的人車業戶業務許可、證照、備案、線路等數據共1750余萬條;客運站場、道路客運票班線、道路客運票務信息共210多萬條;匯聚水路運輸相關的許可、證照、備案和檔案等數據1.5萬余條;水路客票詳單信息3千余條;PDF版式文件74萬余個。

（2）在廣西政務數據“聚通用”應用中，相關基礎政務數據按要求同步掛載至自治區共享交換平臺，共計掛載接口資源數7個，庫表資源數17個，文件資源數302個，數據庫數據1960余萬條;匯聚行政處罰監管行為數據41萬余條、監管對象數據10萬余條，推送國家“互聯網+監管”平臺監管行為數據35萬余條;推送電子證照總庫結構化數據78萬余條、PDF版式文件74萬余個。

（3）在部省數據共享方面，按照交通運輸部的部省水運政務數據共享工作相關要求，通過級聯交通運輸部共享交換平臺完成國內水路運輸經營許可證、國內船舶營業運輸證、國內船舶管理業務經營許可證等11項數據的共享，并完成水路運輸相關的許可、備案和檔案等1.5萬余條水運政務數據的匯聚和推送。

（4）結合自治區新型冠狀病毒感染肺炎疫情防控工作領導小組指揮部和交通運輸部相關要求，完成高速公路卡口聯網收費的車輛入桂離桂以及道路水路運輸客運售票乘客的相關數據的匯聚和共享，支撐自治區疫情防控指揮部和交通運輸部在新冠肺炎疫情管控期間的相關數據需求。

（5）在廣西交通運輸體系內數據共享方面，實現桂林、梧州、賀州交通運輸局智慧交通項目中道路運輸人車戶以及包車等相關數據的共享交互。

5 結語

廣西交通運輸數據共享交換平臺實現了廣西交通運輸政務數據資源的全面匯聚和共享交互，為各大交通運輸行業應用提供了良好的交換基礎，平臺的建立可以全面提升廣西交通運輸信息化基礎設施建設和應用水平，有利于推動廣西智慧交通建設和數字廣西發展。

參考文獻：

[1]熊 瑰.淺談政府數據共享交換平臺建設[J].信息通信，2018，2（182）：254-255.

[2]周 鳴.基于廣西電子政務外網數據交換共享平臺的構建與研究[J].華東科技（綜合），2018（3）：378-380.

[3]鄒 宇，黃 霖.貴州省交通運輸數據中心信息資源規劃與數據交換共享平臺的設計研究[J].計算機光盤軟件與應用，2012（14）：27-28.

[4]程 軍.政務信息資源共享交換平臺研究[J].電子政務，2009（Z1）：120-126.

[5]何 剛.基于Hadoop平臺的分布式ETL研究與實現[D].上海：東華大學，2014.