構建企業級勘測資源數據管理框架體系

魏金明，趙向陽，張濤

(濟南市勘察測繪研究院，山東 濟南 250101)

1 引 言

隨著移動互聯網、物聯網、智慧城市、大數據等現代信息技術的發展，數據的生成和獲取日益簡單，數據量激增，人類正逐步進入大數據時代，數據成為有價值的公司資產、重要的經濟投入和新型商業模式的基石[1，2]。長期以來勘測企業積累了大量勘察、測量、地信數據，近幾年隨著人類生產活動的加劇及新型智能測繪技術裝備的不斷涌現，勘測數據正呈爆炸式增長[3]，尤其是傾斜攝影和激光點云數據的加入使數據量以T為計量單位進行存儲。如何對企業內多類別、多格式、大體量、分散存放的勘測數據進行有效管理和高效應用，滿足數據“管、看、用”的需求，是勘測企業亟待解決的迫切問題。

從信息化進程的模擬時代到數字時代再到智慧時代，其核心都是對數據的處理、管理和應用。無論是智慧城市建設還是作為其基礎的數字城市[4]，都是對信息的數字化表達、提取和應用，其中大部分是與位置相關的勘測數據。在對勘測數據的處理、管理和應用方面，眾多專家從不同尺度不同類別開展了富有成效的研究。從尺度上說，曾慶有等研究了企業級工程地質數據庫管理系統[5]，趙麗鳳研究了國有勘測企業信息化發展模式[6]，戚文來等研究了智慧城市時空大數據平臺下自然資源檔案管理系統[7]，向紅梅等研究了城市地理時空大數據管理與應用平臺[8]；從類別上說，王祎婷等研究了海洋遙感數據管理應用[9]，謝洪等研究了車載海量點云數據管理方法[10]，蔣科材等研究了實時GNSS數據流管理平臺[11]。專家們的研究為勘測數據管理提供技術參考，在此基礎上提升改造勘測企業在數據生產、信息化平臺研發、智慧城市建設等項目案例中積累的數據、技術、軟硬件經驗，結合企業對勘測數據規范管理、快速提取、綜合應用的需求，構建企業級勘測資源數據管理框架體系。本文在介紹該框架體系構成及架構的基礎上，詳細介紹其數據中心和管理平臺的創新性特色策略和富有生命力的支撐保障環境，并將其服務于濟南勘測院的項目生產和業務推廣。

2 框架體系構成及架構

企業級數據管理應用結合企業對數據“可看、可查、可調、可取、可用”的需求，構建一套務實便用的管理框架體系，便于企業以最小成本獲取最大收益。

2.1 框架體系構成

勘測資源數據管理框架體系由管理框架、數據中心、管理平臺、應用示范、保障體系和運行支撐環境六部分構成，如圖1所示。其構建是基于管理框架各類標準規則創建大數據中心，研發管理平臺對數據進行有效管理和使用，利用應用示范推廣和擴充應用面，通過支撐環境和保障體系確保框架體系高效運行。

圖1 勘測資源數據管理框架體系構成圖

2.2 框架體系技術架構

勘測資源數據管理框架體系的技術架構分支撐層、數據層、管理層、服務層、應用層五層，如圖2所示。

圖2 勘測資源數據管理框架體系技術架構圖

支撐層是整個管理框架體系的運行基礎，包括網絡設施、存儲設備和基礎軟硬件等。數據層包含各類基礎數據、專題數據和展示數據，提供整個框架體系的數據支撐。管理層針對勘測資源大數據建立相應的管理制度和管理軟件工具，為數據應用和服務提供有效支撐。服務層對服務注冊、服務發布進行組件化處理，按照“高聚合、低耦合”的模式，開發一系列服務組件，滿足快速搭建應用的需求。應用層基于服務層提供的各類數據服務、應用服務組件，搭建數據管理應用平臺。標準規范體系、運營管理體系、安全保障體系可提供數據生產、數據管理、系統建設、項目運營等全流程的規范化體系保障。

3 數據中心建設

勘測資源數據具有來源廣、存放散、種類繁、格式多、體量大、應用面廣的特點，需要搭建規范合理的數據中心對其有效管理和應用。通過管理框架建設，制定數據分類框架、數據處理和存儲規則，以此為依據創建內容全面、組織規范、開放共享的大數據中心。

3.1 數據中心建設技術路線

數據中心建設過程中，為實現企業對數據的精準應用，將數據創新性的分為基礎數據、專題數據和展示數據三類。對原始數據進行分類形成基礎數據，對基礎數據進行專題化處理形成專題數據并制作專題圖，對專題圖進行地圖發布形成展示數據，最后將所有數據存放于統一、權威、共享的勘測資源大數據中心，其技術路線如圖3所示。

圖3 數據中心建設技術路線圖

3.2 專題圖制作流程

專題數據是數據中心中最重要的數據，由基礎數據而來，目的是制作專題圖進而發布成展示數據，起到“承上啟下”的作用。專題圖制作流程如圖4所示。

圖4 專題圖制作流程圖

制作專題圖，首先確定專題圖名稱，接著判斷基礎數據內是否有所需數據并進行相關處理，然后判定元數據是否規范若不規范則進行規范化處理，再進行地圖制作，最后進行質量檢查并保存專題圖。地圖制作過程中，根據專題圖表達內容，有時用一個數據，有時用一類數據，有時用多類數據組合。地圖制作時，先進行基本處理，對于矢量數據進行地圖符號化、制圖綜合等處理，對于柵格數據進行色彩調整、鑲嵌融合等處理；之后進行圖面整飾；最后生成整飾好的地圖文檔。

3.3 數據存儲優化策略

數據存儲過程中，為提高數據查詢、瀏覽、提取效率，進行了以“信息拆分”為原則的屬性分割、圖屬分離、屬檔分離等優化策略。針對屬性項過多影響查詢效率的問題，采取分割過多屬性項的信息拆分策略，通過飽和測試并考慮數據擴增，確定一個表的屬性項不宜超過20項，超過20項則拆分為兩個表，兩表之間通過外鍵關聯，并對經常查詢的屬性項建立索引。針對空間數據屬性項過多影響瀏覽效率的問題，采取將空間圖形與屬性信息分離的信息拆分策略，空間圖形保留不超過6項關鍵屬性，其余屬性信息拆分入屬性表內，并通過外鍵將圖屬關聯。針對文檔數據存放混亂影響提取效率的問題，采取整理文檔屬性信息存入數據庫表，規范文檔存儲路徑并將其寫入關聯庫表，屬性與文檔分離的信息拆分策略，快速查找并提取所需文檔。

4 管理平臺建設

勘測資源管理平臺是管理框架體系建設的核心，通過管理平臺對數據進行管理、發布、瀏覽、查詢、提取、應用。

4.1 管理平臺構建路線

管理平臺不是單一化的軟件，是在分析測試對比現有軟件平臺基礎上，遵循“專業數據由專業軟件處理”的原則，通過二次開發和調用專業處理功能集合而成的軟件共同體，可實現展示數據“可看、可查、可調”和基礎數據“可取、可用”。

管理平臺的數據管理、瀏覽、查詢功能基于現有平臺進行二次開發實現，其中二維平臺基于OneMap開發，三維平臺基于Skyline開發。OneMap平臺是集海量、多源異構空間信息資源的整合、管理、發布、WEB服務、應用搭建和運維保障為一體的完整的解決方案，由地圖制圖模板、平臺管理系統、資源服務中心、地圖應用模板和移動應用模板共同組成。Skyline平臺通過與Cesium開源平臺、Wish3D Earth平臺在數據處理、大場景瀏覽、功能實現等方面進行測試對比，發現Cesium開源平臺存在數據處理效率不高、大場景瀏覽不夠順暢的不足，Wish3D Earth平臺存在數據難以實現分布式存儲的不足而選定。

管理平臺的數據發布、提取、應用功能基于數據自身結構和存儲規范，調用專業軟件處理功能實現。其開發思路為：首先確定實現某項功能應使用的最優專業軟件，其次調用該專業軟件的關聯功能進行自動化批量處理，最后將處理結果顯示并寫入日志文件。常調用的專業軟件包括CAD、EPS、ArcGIS、Skyline等。

4.2 創新性效率提升策略

借鑒大數據分布式思路，以“信息拆分”為原則，開展多項創新性效率提升策略。存儲優化策略中的“信息拆分”主要從縱向進行，這里主要在橫向上進行拆分，將展示數據發布在多臺服務器，將大數據量文件拆分為多個同類文件并引入分類別多尺度數據顯示策略優化數據顯示效率。

為緩解多數據服務并發訪問的壓力，借鑒大數據云平臺分布式部署經驗，采用多節點部署、多組節點聯合的方法，將數據服務發布在不同的服務節點，同類服務構成數據服務組，在一臺機器上統一管理全部數據服務，解決多并發訪問問題。同時組間節點支持動態添加和擴展，滿足數據服務擴充的需求。

為提升大數據量文件查詢瀏覽效率，對大數據量文件進行拆分處理，若數據量大于50萬條則進行拆分。專題圖顯示時，對圖層進行尺度組合、信息標注、顯示驅動等處理，生成多尺度專題圖和顯示驅動配置文件，建立分類別多尺度地圖序列。尺度組合是將圖層按顯示尺度進行組合，形成全尺度顯示圖層；信息標注是將重要注記標注在專題圖上；顯示驅動是配置專題地圖的顯示驅動文件，用于顯示時調用不同圖層。

為解決數據準確、快速提取的問題，根據數據自身結構和數據分類存儲規則，開發數據自動提取、批量裁切、批量刪減等專業性功能，進而準確快速的提取所需數據。對于標準分幅、標準存放的數據，根據圖幅號、數據存放規則編寫數據拷貝函數，自動提取數據；對于需要裁切、刪減的數據，調用專業軟件的相關功能，實現數據的批量化處理。

5 保障體系建設

通過建立運營管理規范制度和改造軟硬件支撐環境，保障數據管理框架體系安全高效持續運行。

5.1 建立規范制度

建立涵蓋標準規范、運營管理、安全防護的一系列規范制度保障體系，包括《標準規范有效版本目錄》《機房和網絡管理規定》《數據資源管理辦法》《數據更新擴充流程》《平臺運維管理辦法》《數據備份恢復方案》《常用數據處理作業流程》等十余項規范制度。其中，《數據更新擴充流程》詳細介紹數據變化信息的發現提交、方案確定、成果更新規范流程和整項數據的擴充發布機制，保障數據的現勢性和完整性；《平臺運維管理辦法》明確規定平臺日常管理、框架環境常規操作及維護、病毒防范等維護人員日常工作規范，保障平臺穩定運行；《數據備份恢復方案》制定數據中心備份策略，對備份、恢復方式及操作流程進行詳細說明，保障數據的可恢復性。一系列規范制度能保障管理框架體系安全、穩定、高效運行，同時通過不斷擴充數據資源、提供技術服務保持其生命力。

5.2 改造支撐環境

勘測資源數據管理框架體系搭建在企業內部網絡環境內，與外部網絡物理隔離，同時配備華途智能加密、北信源內網安全管理等安全防控專業軟件，滿足安全保密要求。采用SAN(存儲局域網)架構搭建存儲平臺，優化擴充主存儲、備份存儲容量和交換機配置，同時購置多塊硬盤備份數據并做到異地備份。改造數據交換網絡，建立40G骨干網，重點應用區建立10G桌面網，提高數據傳輸效率。運行平臺獨立部署，骨干網絡采用萬兆光纖，節點和骨干網之間達到千兆，建立負載均衡，增加吞吐量、提高網絡的靈活性和可用性。利用專業運維軟件對運行環境進行監控及預警，實時監控資源運行狀態，及時發現問題，準確、快速定位并解決故障。按照嚴格的用戶、權限、角色三層安全體系，對不同的用戶分配不同的功能及資源訪問權限，同時配備日志系統，確保基于平臺的各類行為可控、可追蹤。

6 應用實效

勘測資源數據管理框架體系構建完成后，已在濟南市勘察測繪研究院運行近一年時間，為企業提供了權威、豐富、精細化的勘測資源信息，通過平臺服務和示范工程應用服務于企業項目生產和業務推廣。

6.1 平臺服務情況

管理平臺在企業內網上線運行以來，累計提供各類數據服務百萬余條，熱點服務訪問量統計如圖5所示。

圖5 熱點服務訪問量統計圖

管理平臺使企業員工迅速了解企業擁有的全部數據資源，快速瀏覽各條數據，快捷調用生產過程和業務開展中涉及的各項資源，促進勘測資源數據的綜合利用，使得資源效益得以充分發揮，提高企業的管理水平和工作效率。當前，管理平臺已成為企業權威的數據資源獲取瀏覽渠道，是員工日常工作的必要工具。某月份IP訪問量統計如圖6所示。

圖6 某月份IP訪問量統計圖

6.2 應用示范工程

管理框架體系通過數據服務和技術運用兩種模式，提供在線地圖服務、定制開發服務、在線調用數據資源、前置服務應用等多方面應用，開展多領域應用示范工程。其中基本地形圖動態更新的變化發現、成果數據質量檢查和三維展示平臺搭建三個示范工程已在企業內得到廣泛應用。基本地形圖動態更新的變化發現利用最新的 1∶500基本地形圖和最新影像數據制作動態更新基本底圖，通過專業生產軟件調用基本底圖，實現數據調用、地圖瀏覽、影像分析、量測、變化標注等功能。成果數據質量檢查利用待檢查數據成果、最新基本地形圖、關聯專題圖和最新影像數據制作質檢工作底圖，通過專業生產軟件調用質檢工作底圖，實現數據調用、地圖瀏覽、量測、信息查看、地圖標注等功能。三維展示平臺搭建利用傾斜攝影實景數據、數字高程模型數據、行政區劃圖和最新影像數據制作基本三維底圖，通過三維瀏覽平臺研發積累的技術應用經驗，快速搭建三維展示平臺，實現數據調用、圖層管理、三維圖瀏覽、三維量測、三維分析等功能。

6.3 經濟效益分析

管理框架體系的建設，為勘測資源大數據應用提供了權威平臺，通過多種服務模式，降低了使用門檻，創造良好的經濟效益，以服務接口調用型項目建設成本為例，如表1所示：

表1 服務接口調用項目建設成本分析

通過表1可以看到，在管理框架體系建成前，一個常規的GIS項目，不計算資料費用、加工處理費用、數據庫管理系統以及系統開發費用，僅GIS平臺及GIS服務器投入就需100萬元。若將其他相關費用計算在內，其開銷是巨大的。在信息化建設進程中，企業各部門常進行類似項目建設，每年相關項目建設的投入將是一大筆費用。通過管理框架體系的應用示范建設，確立其權威地位，一方面促進數據資源共享利用，避免重復性建設的浪費；另一方面，為各部門基于管理框架體系開展應用建設提供了保障，促使各部門放心、積極地專諸于自身業務開展專項應用示范。

7 結 語

面對勘測企業內多類別、多格式、大體量、分散存放的勘測數據，為實現其有效管理和高效應用，本文構建了由管理框架、數據中心、管理平臺、應用示范、保障體系和運行支撐環境構成的企業級勘測資源數據管理框架體系。以管理框架為依據創建內容全面、組織規范、開放共享的大數據中心；研發滿足數據“管、看、用”需要的數據管理平臺對數據進行管理、發布、瀏覽、查詢、提取、應用；利用軟硬件支撐和規范制度保障其安全高效和生命可持續。通過大數據分布式、屬性分割、圖屬分離、屬檔分離等“信息拆分”策略提升數據訪問效率，調用重寫專業軟件提升數據處理能力。管理框架體系建成近一年時間，提供各類數據服務百萬余條，使企業員工迅速了解企業擁有的全部數據資源，快速瀏覽各條數據，快捷調用生產過程和業務開展中涉及的各項資源，有效地促進企業的項目生產和業務推廣。