雷強勝 劉 立 俞 博
(重慶市交通規劃研究院,重慶 401147)
隨著經濟社會的發展和物質生活水平提高,城市汽車保有量呈快速增長態勢,對城市道路交通造成很大負擔,部分交通設施已達到承受極限。在大數據時代,城市道路交通數據呈指數級增長,具有多源、異構、數量巨大等特點[1-3]。快速高效分析數據并將分析結果充分利用,可以提高交通基礎設施的使用率及城市交通運行效率,是城市交通工作的重點。SuperMap大數據地理信息系統采用先進的大數據框架平臺,能夠滿足技術人員及管理人員對交通基礎設施數據的使用需求[4-5]。文章基于SuperMap大數據地理信息系統構建交通設施空間數據查詢系統,為交通設施數據管理提供平臺。
建設交通設施空間數據查詢系統的總體目標為實現跨系統數據共享,解決信息孤島,提升數據管理能力,輔助決策分析,提供統一的數據服務。
(1)為解決查詢效率低下、實時性差、缺乏空間查詢等問題,基于交通設施空間數據查詢系統建造數據倉庫,提高交通數據的利用率,為領導的科學決策提供必要的技術支持。
(2)為實現交通海量數據的數據查詢、分析性能和數據管理應用水平,創新性地利用大數據管理技術,為交通管理大數據決策、大數據分析、大數據作戰、大數據監管和大數據服務打下堅實基礎。
交通大數據管理平臺界面如圖1所示。

圖1 交通大數據管理平臺界面
各類交通設施數據分散在不同的應用系統中,各系統的數據接口、數據庫結構等缺乏統一標準,數據發布未形成統一的標準,無法實現互聯互通和信息共享,豐富的信息資源有待有效的開發利用,限制交通信息化整體效益的發揮,成為交通信息化建設中迫切需要解決的問題。構建交通設施空間數據查詢系統,實現已有系統整合、優化,可以有效利用信息化資源。
目前,已具有多個涉及交通設施數據的專題應用系統,隨著信息化深入建設,相關數據系統數量會越來越多,需要對系統進行整合,避免一個用戶使用多個系統、多次申請賬號、多次登錄的問題。
在“共建共享”模式要求下,交通設施空間數據查詢系統必須是開放、可共享的。數據倉庫的建設不僅能夠滿足本查詢系統,也能夠實現數據的對外共享能力。需要考慮數據共享過程中數據權限控制以及數據安全問題。
綜合運用大數據、可視化及地理信息技術,直觀、生動地整合、呈現、分析數據,深挖數據價值,從傳統紙質報表轉向基于可視化形式,實時對城區交通進行研判、規劃、決策。通過構建交通數據倉庫,實現對交通行業信息數據資源的深度挖掘,提高數據利用價值。
隨著大數據的發展,利用數據決策、根據數據說話、使用數據治理成為相關單位開展工作的重要方式,迫切需要建立綜合的數據平臺,快速、準確、實時地了解交通行業的發展情況,為加快新舊動能轉換實施定向調控和精細化管理。通過構建交通數據倉庫,綜合運用大數據分析、大數據挖掘及大數據可視化等技術對交通情況進行實時監測,能夠更全面、準確地反映發展情況,為領導決策提供更精準的應用服務。
交通設施空間數據查詢系統的架構應是開放的,支持各應用系統間的分享硬件資源、軟件資源、網絡資源、開發接口和關于地理信息功能軟件的服務。
系統架構應具備先進性和可擴展性,保證后期需要對系統進行升級改造時,能夠保護現有的投資。系統的結構應合理,具有良好的可擴展性,能夠比較容易地適應調整、擴充和刪減;能夠與其他系統的接口兼容,充分利用各系統的特長。
系統設計應結合實際需求,圍繞應用,注重實效方針,利用成熟技術,設計界面美觀、布局簡潔、功能實用、操作方便的系統,解決用戶實際業務問題。
全面考慮系統運行的安全性,從物理環境(包括機房、網絡及設備)、數據層面、應用層面、安全管理制度等方面進行全方位的設計。部署在公有環境的應用涉及的計算資源、存儲資源以及地理信息數據和專題數據等信息必須符合相關保密安全要求。
圍繞各部門的實際需求,通過數據匯聚、數據清洗、數據轉換、數據融合、數據發布等過程,形成權威統一的交通大數據倉庫,實現交通大數據全生命周期管理。
匯聚各信息系統的多源異構數據種類多、類型復雜,各類數據具有不同的更新頻率及更新方式,人工處理的工作效率較低,無法持續投入建設。因此,實現數據倉庫自動化運行成為該項目建設的重要內容。
數據倉庫建立包含數據匯聚、轉換、存儲等多個階段,為了滿足處理流程自動化運行要求,需要完成數據匯聚標準化、數據處理流程化、流程運行任務化、任務執行可監控等內容的設計與建設。
圍繞業務工作的整體流程,開展多部門間的協同應用,通過數據倉庫及查詢系統建設,充分利用數據在業務協同中的價值,通過統一的數據服務接口對外開放應用,實現“數據協同、業務共享”。
交通設施空間數據具有大數據的4V特性。本項目構建的時空信息數據種類多樣、數據量大,具有挖掘分析的價值,需要使用大數據技術進行管理。
時空信息數據的存儲、管理和分析需借助支持時空大數據的GIS專業軟件。傳統的GIS軟件以數據獲取、存儲、管理功能為主,添加各種時間維度和空間維度的專題圖展示功能,可以實現空間統計、地理分區、路徑分析、選址優化等空間分析功能,在城市建設、交通運輸、氣象預測、區域發展、決策支持等方面發揮非常重要的作用。針對時空大數據,現有數據管理和分析算法難以擴展到大規模的分布式并行計算系統上、無法滿足對非結構化的未知數據的探索性分析的需要。因此,需要基于最新的虛擬化計算基礎設施(如OpenStack/Docker)和分布式計算架構(如Spark/Hadoop)技術構建GISpark,支撐時空大數據分析。本系統基于SuperMap構建,充分利用SuperMap在空間大數據存儲、處理方面的強大功能。
數據處理系統大致可以分為聯機事務處理OLTP、聯機分析處理OLAP兩類系統。OLTP對實時性要求高,主要處理數據庫記錄的增刪改查等基本的日常事務,通常用于業務應用系統的建設。OLAP系統的實時性和事務性要求不高,數據倉庫主要采用OLAP系統建立,支持大數據量的分析操作,側重決策支持,提供直觀、豐富的結果展示形式。
數據倉庫需要將各業務應用系統的數據匯聚,數據體量和并發量較大,符合數據倉庫系統的特點,基于數據倉庫可以形成涵蓋時間、空間以及屬性的多維數據體系,支持多維數據分析,構建可持續更新的城市指標體系,支撐智能化的業務模型和業務應用。傳統的OLTP數據管理方式已經不能滿足需求,迫切需要為時空大數據與云平臺建立數據倉庫系統,以滿足大量的數據分析和挖掘工作,提高平臺的智能化程度。
隨著數據庫技術的應用和發展,研究人員嘗試對數據庫中的數據進行再加工,形成綜合的、面向分析的環境,更好地支持決策分析,形成數據倉庫。在數據倉庫建設中,業務數據庫中的數據向數據倉庫遷移的工作量較大,因為原有數據庫的數據標準不統一、數據形式不一致。ETL工具為解決數據遷移過程中的問題,將數據進行“凈化提煉”,裝入數據倉庫,是建設數據倉庫的重點之一。
建設交通設施空間數據查詢系統時,利用Geo-ETL技術從數據源中抽取需要的數據,清洗數據,按照預先定義好的數據倉庫模型將數據加載至數據倉庫中,完成數據從數據源向目標數據倉庫轉化的過程。
大數據分布式計算新一代地圖表達技術支持影像、矢量、三維數據的標準化建庫、自動化制圖和電子地圖的一鍵免切圖快速發布和即時瀏覽,以矢量瓦片方式支持動畫、動態和演示模變化,實現地圖數據的個性化、動態化表達。
以時空信息為基礎,將全市二維、靜態、動態等信息資源,通過一體化技術手段進行展示與應用,提供個性化配圖功能。用戶可以按照不同需求,定制包含不同的個性化地圖,配置地圖風格,滿足各專業部門對不同專題信息的需求。
(1)組合查詢及自定義空間范圍查詢分析。
整合各類交通匯總數據,提供基于地理信息的查詢與分析。綜合數據查詢結果,以統計表格、統計圖、專題圖的形式展現;支持對交通數據按照空間要素查詢;支持按照定制的區域進行定制分析;支持自定義區劃分析,自定義的邊界,基于地理信息對數據進行空間篩選和統計分析。
交通大數據查詢功能如圖2所示。

圖2 交通大數據查詢功能
(2)空間GIS分析。
系統支持空間和屬性分析,通過構建統一的空間地理分析框架,實現交通信息的全面整合,為各專業用戶提供靈活、多角度的空間GIS分析,包括緩沖分析、熱力分析、空間求交等。
(3)CAD數據上傳疊加。
支持帶坐標的DWG格式的CAD規劃數據上傳,可以疊加至現有數據圖層,進行疊加展示。
(4)方案分屏查看。
系統支持在地圖上疊加規劃方案,通過多屏展示方式進行方案對比聯動,對多個設計方案或不同的調整結果進行比較。
(5)數據導出。
實現系統數據的導出,包括查詢數據結果、專題地圖、渲染圖等,為用戶提供統一數據導出工具。
(6)流量監控及報警。
提供高頻訪問探測、數據防泄漏功能,自動探測與制止惡意扒取數據行為,主要功能包括流量監測和數據異常告警處理功能。
重慶交通設施空間數據查詢系統已應用于交通規劃、交通管理、交通研究等領域,基于SuperMap大數據地理信息系統的框架對支撐多行業應用起關鍵作用。