云環境下基于PostGIS的城市時空地質大數據管理研究

王 蕾， 陳渠波

(四川省地質工程勘察院集團有限公司，四川 成都 610032)

1 引言

本文研究的對象與商業大數據、網頁大數據、社交大數據等不同，城市時空地質大數據含有大量不同時間尺度和不同空間尺度的多源異構數據，數據的存儲、處理和空間分析需要GIS技術的支撐，因此需要GIS技術和大數據技術的結合。

現階段，我國大數據技術在地質管理方面的應用成果頗豐。我國地質調查局開發并應用了地質調查信息網絡平臺，其中包含了前沿技術的應用，如網格GIS、信息技術、分布式計算等，平臺利用互聯網技術手段完成了分布式數據的獲取、存儲以及處理；除此之外，地質云1.0、地質云2.0平臺充分應用大數據技術、MapGIS云技術，實現了對傳統地質工作中基礎設施、數據、業務應用和服務的高效管理和統一調度；國土資源部相關部門建設了地學大數據技術研究實驗平臺GeoBDA，該平臺分別基于Oracle與Hadoop兩種架構，為解決地質大數據存儲和組織等問題提供了很好的參考方法，也是地質大數據在應用層上的示范性實例。以上研究應用緊緊圍繞解決地質數據資源量大、協同共享缺乏、軟件類型龐雜、服務節點分散、規模成效不足等問題。大部分系統或平臺主要以數據庫技術、GIS技術、計算機網絡技術為依托，依靠商業軟件來實現地質大數據的管理和應用，用戶需投入高額費用且擴展能力較弱。

開源軟件具有靈活性、可擴展性等優點，其跨平臺能力強且成本低廉，其實用性遠遠超越了許多商業軟件。地質數據的高效管理和處理分析是“盤活”數據的基礎，開源關系型數據庫PostgreSQL的優勢在于性能好、應用模式豐富， PostGIS是它的擴展，包含空間地理數據的儲存與管理功能。該數據庫支持OpenGIS規范，具備管理和分析空間數據的能力，在地理信息工程專業中具有廣泛的用戶群體。本文在開源GIS平臺OpenGIS、大數據平臺Hadoop和服務器集群環境下，提出基于開源數據庫PostgreSQL的空間擴展PostGIS建立城市時空地質大數據基礎管理平臺，通過研究不同空間尺度和時間尺度的城市地質數據模型，較大程度地解決了異構空間數據的集成與管理問題，為城市地質數據的應用開發提供高效、廉價、可靠的解決方案。

2 數據類型

2.1 數據內容

本文研究的城市地質時空大數據涉及的類型包括：水文地質、工程勘察、地質災害和礦產勘察，由于不能在建立原型系統時囊括所有數據類型，故系統設置了可拓展模塊，即當有不同類型的數據加入時，用戶可添加該類型的元數據字段來實現專題數據類型的增加。雖然目前數據類型只有四類，但基本涵蓋了所有城市時空地質數據格式，為后期擴展數據類型奠定了系統基礎。數據格式不僅包含如PDF文檔、Excel數據表、圖片數據、Word報告等文件數據，同時也涵蓋了MapGIS數據、DEM數據、影像數據、CAD數據以及ArcGIS數據等空間數據。

2.2 匯聚方式

傳統的通過編寫SQL實現經緯度間的計算相對復雜，代碼可讀性差，可移植性差。計算執行效率低，用常規的方法計算經緯度間距需要用ROUND，ASIN，SIN，COS等多重函數嵌套，相對而言計算規模大，效率低，在實時場景下遠遠達不到要求，對日常作業更新帶來很大困難。數據精度較低，傳統方法計算經緯度不支持空間投影，在一些地方需要進行DECIMAL截取操作，還有對π的支持，在使用PostGIS之前計算距離是截取的14位π值，傳統計算方式數據精度相對較低。在對象關系型數據庫系統PostgreSQL的基礎功能上，賦予系統更多的數據管理與分析功能。

本文研究內容的數據來源主要是城市地質項目，如工程勘察、地質災害調查，地下水監測等，故原型平臺設計導入數據是按照項目和項目類型導入的方式來實現數據匯聚的，數據導入之后由自主研發的數據導入工具對數據格式進行分類和格式轉換，最終存入PostgreSQL和PostGIS中，選用此平臺可在一定程度上減少代碼冗余和提高數據庫訪問效率。數據匯聚工作流如圖1所示。

圖1 異構空間數據匯聚路線

2.3 時空標識

所謂的時空標識包含數據處理標識的三個部分，分別是屬性標識、空間標識以及時間標識。顧名思義，也就是數據具有的時間屬性與空間屬性，包括數據具有的項目歸屬以及類型劃分等。時空標識的目的在于簡化時空大數據的處理過程。

3 數據模型建立

3.1 數據流程建立

城市地質數據從數據結構上可分為結構化數據和非結構化數據。結構化數據包含矢量數據(如各類GIS數據、數據庫、元數據等)、柵格數據(JPG、TIFF、BMP等)；非結構化數據包含圖件、報告、圖片等。這些數據來源多樣，數據類型與儲存方式千差萬別，所以城市地質數據的多源異構性明顯。構建云環境下的城市時空地質大數據模型，需要實現多源異構數據的統一處理，并保持其完整性、正確性、可讀性，以充分發揮數據的價值。

本文從數據結構上將城市地質數據分為結構化數據和非結構化數據。如元數據、GIS數據等均屬于矢量數據，是結構化數據的一種類型；DEM數據、影像數據則屬于柵格數據，同樣也屬于結構化數據。而報告、音視頻文件等則屬于非結構化數據。因數據來源多樣，數據類型與儲存方式千差萬別，所以城市地質數據的多源異構性明顯。只有對這些數據進行標準化統一處理，提升數據處理的準確性和完整性，才能最大限度地發揮數據價值。

數據的多源異構特性導致其應用處理方法千差萬別，找出適用于本研究的處理流程是數據入庫的關鍵。處理流程基本可劃分為：第一步，劃分數據源；第二步，劃分數據結構；第三步，收集數據；第四步，處理數據；最后，數據入庫。

數據源無法被直接應用，需要先進行數據源的清洗，剔除數據雜質，本文借助統一明確的數據處理標準，數據清洗過程均需要遵循該標準。首先利用ETL工具實現了數據的抽取、轉換和加載。數據抽取的數據源來自于各個業務系統，抽取模式可采用全量抽取或增量抽取。數據轉換過程就是對抽取數據后的數據進行數據清洗，利用統一的處理標準進行數據格式的轉換，最終應用在新的目標數據庫中。對于未采用信息化手段，以紙質形式或電子文檔存儲的數據，需要采用手工錄入或工具導入的方式清洗并加載到目標數據庫。在處理大量的日志和輿情數據時，預處理階段利用Hadoop平臺進行對數據進行簡單的清洗分類，將數據分析價值較高的數據留存在HDFS中。具體流程如圖2所示。

3.2 數據應用

本文總結了三種城市地質源數據類型，第一種是核心業務數據，第二種是全量結構化數據，第三種是半結構化和非結構化數據，并根據各類數據的特征和用途采用不同的數據存儲技術。數據在經過采集、預處理、分類存儲后，提供給上層業務應用，展現數據最大價值。業務應用有三類，首先是數據共享，從數據可視化和核心業務共享實現其數據價值。其實是數據分析，它可以將城市地質時空大數據進行多維度的可視化展示。最后是數據挖掘，主要依靠Hadoop平臺具有的大數據處理分析功能，挖掘出數據具有的潛在屬性特征。數據模型應用結構如圖3所示。

圖2 數據入庫流程

圖3 數據模型結構

4 平臺搭建

4.1 總體架構

城市地質時空大數據基礎管理平臺分為虛擬設備層、云計算層、應用層。平臺總體架構如圖4所示。

圖4 系統架構圖

虛擬設備層：利用計算機虛擬化技術將系統中涉及到的軟件資源與硬件設備集成，產生一個具有邏輯功能特征的資源池，保證平臺的穩定運行。硬軟件主要有：安全設備、數據庫軟件、PC機、服務器群、傳感通信設備等。

云計算層：基于虛擬設備層創建功能與數據服務，分別是云數據中心層和云服務層。數據中心層主要實現數據訪問接口的功能，而服務層涉及到的數據服務較多，如數據交換、數據管理、數據處理、空間分析等。

應用層：通過調用云計算層的服務接口，設計開發出城市時空地質大數據基礎管理平臺，這一平臺可以有效地保證用戶數據挖掘、分析以及共享的應用需求，為其提供應用支撐和業務集成服務。

4.2 系統功能

云環境下城市時空地質大數據管理平臺主要包含以下五大功能模塊：項目信息管理模塊、系統管理功能部分、統計分析功能部分、數據可視化功能部分、數據集成功能部分。系統功能結構如圖5所示。

圖5 系統功能結構圖

項目信息管理模塊：該模塊包含項目添加、項目修改、項目查詢。以城市地質項目為管理單位，實現項目集成、項目成果管理，經過授權的用戶可以通過該模塊查詢到相關項目的所有成果數據。

數據集成模塊：該模塊集成各城市地質專題數據，目前系統內置了四個專題的數據，分別是水文地質、工程勘察、礦產勘察和地質災害數據。系統用戶通過專題圖層分層瀏覽，實現上傳下載、瀏覽查詢相關資料。導入的數據類型包括shapefile格式的背景圖、專題圖，pdf文本報告，excel和access數據表等。

數據可視化模塊：該模塊包含背景圖加載、專題圖加載、文檔管理和數據表管理。按時間、項目、區域、資料類型查詢文本資料，以列表方式列出滿足條件的查詢結果，用戶可以查看選定數據的詳細信息。

統計分析模塊：該模塊包含項目統計分析、區域統計分析和圖表展示。分項目或區域對各類專題數據進行統計分析，如項目數量、鉆孔數量、地質災害類型等。以圖表的方式將用戶所選擇感興趣的項目數據通過統計圖、曲線等方式直觀的展示，提供實時刷新、定時刷新及手動刷新等功能。

系統管理模塊：包含數據類型管理和權限管理功能。數據類型管理是指通過該功能添加更多的專題地質數據類型，如區域地質調查數據、遙感數據等。權限管理模塊是指按照用戶級別對用戶權限進行對應的匹配。

5 結論

本文通過將地質調查工作中獲取到的地質資源、地質環境、地下空間等多源異構海量數據建立統一的數據模型，依靠開源數據庫PostGIS和PostgreSQL功能，實現數據集成，進而實現用戶數據的共享，讓這些數據產生更大的價值。通過設計應用原型系統，地質信息服務的產業化屬性與集群化屬性將進一步擴大，使得地質資料具備復用開發和長期服務的功能，降低地質工作成本，提升地質工作效率，讓地質工作邁入新的發展階段。