城市群經濟區建設與管理綜合應用數據集成技術

孟祥輝 李浩川 柏中強 左渤

摘要 本課題是國家“十三五”科技重大專項中城市群經濟區建設與管理空間信息綜合應用集成示范課題中的數據集成子課題。主要面向城市群經濟區建設與管理海量、異構、多源、多時相數據集成需求，建立數據集成標準規范。研究海量矢量數據分級索引與動態渲染技術和分布式存儲環境下多源異構的數據一體化存儲模型和訪問接口等多項技術，研發數據集成管理系統。開展城市群經濟區建設與管理綜合應用數據集成示范。

【關鍵詞】科技重大專項 城市群 空間信息數據集成管理

1 研究目標

本子課題面向城市群經濟區建設與管理海量、異構、多源、多時相數據集成需求，建立數據集成標準規范。研究海量矢量數據分級索引與動態渲染等多項技術，研發數據集成管理系統。開展城市群經濟區建設與管理綜合應用數據集成示范。

2 研究內容

本子課題包括城市群經濟區建設與管理數據集成標準規范研究，城市群經濟區建設與管理數據集成技術研究及數據集成管理系統研發，參與城市群經濟區建設與管理綜合應用集成示范3項任務，主要內容如下：

2.1 城市群經濟區建設與管理數據集成標準規范研究

面向城市群經濟區建設與管理空間信息服務綜合應用對分布式異構環境下空間信息資源標準化、一體化管理的需求，研究數據集成標準規范。

2.2 城市群經濟區建設與管理數據集成技術研究及數據集成管理系統研發

研究海量矢量數據分級索引與動態渲染技術;研究分布式存儲環境下多源異構的數據一體化存儲模型和訪問接口技術;研究面向要素類和時空序列的多維數據組織管理技術;研究面向多主題的數據清洗、動態整合和快速抽取技術（ETL）。研發數據集成管理系統，實現城市群經濟區建設與管理數據標準化整合集成、一體化存儲管理、二三維高性能展示。

2.3 參與城市群經濟區建設與管理綜合應用集成示范

針對城市群經濟區建設與管理綜合應用集成示范，集成各課題待提交數據并負責制作京津冀城市群相關產品。

3 研究方法

面向城市群經濟區建設與管理海量、異構、多源、多時相數據集成需求，基于統一時空框架、統一分類編碼、統一目錄體系、統一數據模型，建立數據集成標準規范，研究空間數據的深度關聯與鉆取關鍵技術;海量矢量數據分級索引與動態渲染技術;研究分布式存儲環境下多源異構的數據一體化存儲模型和訪問接口技術;研究面向要素類和時空序列的多維數據組織管理技術;研究面向多主題的數據清洗、動態整合和快速抽取技術（ETL），研發數據集成管理系統，實現城市群經濟區建設與管理數據標準化整合集成、一體化存儲管理、二三維高性能展示。

研究城市群經濟區建設與管理數據集成關鍵技術，依據城市群經濟區建設與管理數據集成標準規范集成各課題單位提交的數據成果，按照不同數據類型進行數據庫物理存儲設計，通過分布式存儲架構技術支撐多源異構數據的一體化存儲，研發數據集成管理系統，實現數據的處理、入庫、更新、展示等功能。

4 主要創新點

4.1 海量矢量數據分級索引與動態渲染技術

面向城市群經濟區海量數據高效瀏覽和二三維高性能展示等需求，研究海量矢量數據分級索引與動態渲染技術來支撐課題的示范應用。對于大比例尺矢量數據，尤其是地形數據、地表覆蓋數據，數據量大、要素多，傳統的渲染技術路線無法滿足實際瀏覽效率需求，該技術則可有效解決了這一問題。

4.2 分布式存儲環境下多源異構的數據一體化存儲模型和訪問接口技術

面向多源、異構、海量大數據存儲管理需求，傳統單一存儲管理模式己無法滿足數據接入、海量存儲、并行處理、高并發訪問等不同場景下的數據存儲管理需求，在傳統的多源數據存儲管理基于的關系數據庫、共享文件系統基礎上，采用混合存儲架構，擴展并綜合利用NoSQL數據庫、分布式文件系統，構建彈性可擴展的存儲模型，形成面向空間大數據的關系數據庫集群、NoSQL數據庫集群、共享文件系統集群、分布式文件系統集群，并在此基礎上提供規范化的數據存取接口，可滿足大數據存儲管理及應用服務需求。

4.3 面向多主題的數據清洗、動態整合和快速抽取（ ETL）技術

城市群經濟區數據庫需要根據應用示范集成要求對數據進行面向多主題的數據清洗、動態整合和快速抽取，傳統的數據集成方法已經不能滿足需求，研究面向多主題的、采用統一的數據標準、統一業務規則的數據清洗、整合和抽取技術。通過多源數據的適配，實現城市群經濟區數據庫與外部共享交換系統之間的數據抓取與整合。以外部數據庫為轉換源數據庫，以數據集成與管理系統的交換庫或匯集庫為轉換目標數據庫，基于方案進行批量自動化數據模型轉換，包括圖層轉換、屬性轉換和代碼轉換，實現源數據結構向目標數據結構的重組。

4.4 面向要素類和時空序列的多維數據組織管理技術

研究包括基于要素類的海量異構矢量、影像、表格等數據一體化存儲組織模型、基于統一時空框架的多維空間數據存儲組織模型、面向高性能二三維可視化環境下綜合分析應用的空間信息組織模型在內的面向城市群經濟區建設與管理數據資源要素類和時空序列的多維數據數組織管理技術。最終以開發研制出的城市群經濟區數據庫及原型系統對關鍵技術進行驗證，從而支撐課題應用示范工作。

參考文獻

[1]崔鐵軍，郭黎，多源地理空間矢量數據集成與融合方法探討[J].測繪科學技術學報，2007 （01）.

[2]李曉軍，丘健妮，彭龍軍，武蘇里，多源空間數據集成技術狀況與應用前景研究[J].計算機與現代化，2006 （05）.

[3]聶運菊，趙吉先，鄒莉，城市基礎地理信息多源空間數據集成模式的探討[J].北京測繪，2003 （01）.