大數據時代 GIS 發展路徑探究

韋怡 葉波

摘要：隨著第三次信息化革命浪潮的到來和移動互聯網技術的高速發展，大數據時代的萬物互聯開始讓我們感受到“位置” 連接一切，位置服務無所不在。GIS在其中相當于橋梁，精準的空間位置服務可以實時感知道路擁堵、給城市“治病”、控制人類疫情、改變城市生活質量。大數據時代，空間大數據雖然數據價值大，但價值密度低，導致實時分析決策能力不足，如何從中有針對性地提取感興趣的目標信息、信息量不夠豐富以及時效性差等是應用過程中的巨大挑戰。

關鍵詞： GIS技術;空間大數據; 行業應用;第三次信息革命;萬物互聯

中圖分類號：G642? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2021）36-0046-02

開放科學（資源服務）標識碼（OSID）：

1 引言

中國工程院院士李建成在2017年4月首屆中國空間大數據產業高峰論壇上表示，GIS中的信息數據是大數據的重要來源之一，這也將成為大數據時代下各產業領域的一次重大變革。學術界公認的傳統GIS技術與其他信息系統和電子地圖的區別在于它能夠將空間數據管理以及空間分析能力與基于地圖的數據可視化能力進行深度融合。大數據時代的到來對傳統的GIS技術的應用和技術方面提出了巨大的挑戰，為了滿足大數據時代各行業各領域的實際需求，GIS技術絕不能僅僅是為了更加精準地描述地理實體，更重要的是結合分析功能在海量數據中發現規律和預測趨勢。

2 大數據時代背景下GIS的挑戰

隨著大數據時代到來，空間大數據雖然數據價值大，但價值密度低，導致實時分析決策能力不足，如何從中有針對性地提取感興趣的目標信息、信息量不夠豐富以及時效性差等是應用過程中的巨大挑戰。大數據最基本的特征之一就是數據量巨大，以 GIS 空間大數據為例，面臨著不斷累積的數據存儲量和依舊不斷增多的數據量，用戶面臨的數據計數單位從之前的 GB 級到TB 級甚至到之后的 PB 級發展，隨著每天仍然有大量的用戶通過集中的關系型數據庫進行存儲，面臨逐步增加的數據容量，集中式存儲模式已經無法承載如此大的數據量，同時也無法為計算分析提供高效的存儲保障。越來越多的用戶不僅需要接入傳統測繪數據類型，如矢量數據和影像數據，還需要可存儲新型測繪數據類型，如傾斜攝影模型、BIM、激光點云等，同時還需要接入帶有地理位置的 IT 大數據，系統接入的數據類別也越來越多，越來越豐富。前兩種數據類型還有相對比較規范的數據標準，而 IT 大數據還處于模態多樣、 雜亂無章、標準不統一、時空尺度不統一、精度不統一等階段，如何梳理成可信數據也成為一大挑戰。

3 大數據時代背景下GIS的機遇

傳統 GIS 處理的是靜態數據，而如今98%都是動態的數據。龔建雅院士也提出了“實時 GIS 是未來的發展趨勢，在統一的空間大數據框架下，基于傳感網的實時動態 GIS 可以實時管理與分析城市內部的人流、物流和事件流，因而能夠在智慧城市中發揮重要作用”。如何能夠接入多源的傳感設備，快速高效處理實時數據，同時動態實現實時數據的可視化展示也是 GIS 要面臨的一大挑戰。當然更大的挑戰就是如何從空間大數據中，通過 GIS 技術去實現數據挖掘， 通過 GIS 的空間分析、空間查詢和空間可視化等技術優勢為用戶提供指導和決策。 這就需要 GIS 具有大數據的相關技術支持。在主流的 IT 技術體系下，已經有相對成熟完善的大數據技術支持，從各種各樣類型的大數據中，快速獲得有價值信息技術，包括數據采集、存儲、管理、分析挖掘、可視化等技術集成為一體。適用于大數據的技術，包括大規模并行處理（MPP）數據庫、數據挖掘、分布式文件系統、分布式數據庫、分布式存儲以及云計算平臺等。這就需要傳統 GIS 基礎軟件在空間數據的各個環節去擴展、升級、優化其大數據的處理能力，為空間大數據的挖掘提供平臺支持。現有的地理空間大數據價值還沒有充分發揮出來，深度挖掘地理空間大數據價值仍在路上，大數據本身不等于價值，它是“貧礦”，只有挖掘出它的價值， 才是“金子”。

GIS 技術并不僅僅要解決與空間大數據技術的融合，更重要的是如何能夠通過 GIS 大數據技術為各個行業的相關業務提供多元思維、多元決策。為了滿足各行業能夠迎合新技術的沖擊，新技術為各行業發展提供了堅實的技術基礎。當然更大的挑戰就是如何從空間大數據中，通過 GIS 技術去實現數據挖掘，通過 GIS 的空間分析、空間查詢和空間可視化等技術優勢為用戶提供指導和決策。這就需要 GIS 具有大數據的相關技術支持，從各種各樣類型的大數據中，快速獲得有價值信息的技術的能力，包括數據采集、存儲、管理、分析挖掘、可視化等技術集成為一體。適用于大數據的技術，包括大規模并行處理（MPP）數據庫、數據挖掘、分布式文件系統、分布式數據庫、分布式存儲以及云計算平臺等。這就需要傳統GIS 基礎軟件在空間數據的各個環節去擴展、升級、優化其大數據的處理能力，為空間大數據的挖掘提供平臺支持。

4 大數據時代GIS的技術層

大數據時代的到來對GIS的技術層提出了新要求，需要其將大數據空間分析、大數據存儲管理和大數據流處理等技術進行結合，并貫穿空間大數據的各個環節，實現技術創新，全面擴展對大數據的支持能力的影響，全新的空間大數據 GIS技術體系特點體現如下：

1）數據存儲主要涉及所有的空間數據格式以及大數據技術體系中常用的數據存儲技術，如 Oracle、HDFS、MongoDB 集群等，它們既可以利用存儲的數據進行數據分析，也可以用于存儲分析產生的中間數據和最終成果數據。在空間大數據時代下，通過對分布式數據庫、分布式文件系統等大數據技術的擴展支持，實現了對空間大數據高效穩定的管理存儲能力。

2）通過空間大數據組件，從內核對Spark 空間數據模型進行擴展，在基于分布式計算技術重構已有的空間分析算法的基礎上，不但大幅提升了海量空間數據分析的效率，而且針對大數據研發了一系列新的空間分析算法，可直接嵌入到 Spark 內運行，在一定程度上解決了空間大數據分析和應用的難題（圖1為解決大數據空間問題的經典DIKW模型）。

3）通過Apache Spark為大規模處理而設計的快速通用的計算引擎Spark，提供了全新的空間大數據分析、空間大數據存儲和流數據處理等 Web 服務，并內置了 Spark 運行庫，降低了大數據環境部署門檻;Spark 擁有許多特有的優點，但其中的Job 中間輸出結果可以直接保存在內存中，HDFS不再需要重復讀寫，因此能更好地適用于數據挖掘與機器學習等需要迭代的MapReduce 算法。通過Spark集群如此循環往復，直到將代碼全部執行完，并且計算完所有的數據（Spark工作原理如圖2）。

4）在大數據時代，不斷累積的大數據體量，通過橫向擴展分布式處理集群方式實現分布式 GIS 空間分析能力，需要為用戶在物理環境或者基礎云環境上提供更加高效的大數據運維能力，包括快速部署、資源管理、運維監控等，用于在多源基礎環境下為用戶解決大數據 GIS 平臺難以管理和運維的諸多問題，讓 GIS 各個平臺產品聯系更加緊密、協同更加智能，并且提供了展現形式豐富的、兼具二維三維的各種聚合圖、密度圖、關系圖、熱度圖等空間大數據可視化技術，突破二維和三維等圖像海量動態目標可視化技術。

5）通過資源調度算法、任務自動化調度、資源監控與預警，實現了基于大數據的運維管理。大數據 GIS 技術著重解決兩類問題：新興的空間大數據的管理和傳統（經典）空間數據的計算性能問題。因此，大數據 GIS 技術體系架構包含兩個非常重要的部分（如圖3）。一個是空間大數據技術，專門針對空間大數據的處理和分析挖掘;另一個是經典 GIS 功能的分布式重構，專門針對經典空間數據的管理和處理。

該技術體系通過從 GIS 內核級別深度結合 IT 的空間大數據，例如分布式計算框架、分布式存儲技術、流數據處理框架等，在 GIS 基礎軟件中構建針對空間大數據的存儲、索引、管理和分析能力，僅需較少編程甚至不用編程就能管理和分析空間大數據，大幅降低了空間大數據分析的門檻。同時，利用 IT的大數據分布式存儲和大數據分布式計算框架，對經典 GIS 的經典空間分析方法和空間數據處理進行了 重構，對經典空間數據處理與分析能力在數據量層面上有了質的提升。

5 大數據時代GIS的行業應用層

行業應用層通過時空大數據平臺提供的多種服務資源，提供面向桌面端、 Web 端和移動端的產品交付和開發 SDK，為不同行業應用的建設需求提供時空大數據的業務應用支持。圍繞各個行業大數據應用需求，為大數據行業監管、大數據決策支持、行業應急指揮、智能交通、精準農業等提供大數據平臺的技術支持。 基于云架構的 GIS 大數據建設應充分利用云計算與大數據技術，構建四層架構（基礎設施層、數據資源層、平臺服務層、行業應用層）體系，深度融合大數據技術，實現了對時空大數據的存儲、計算、分析和可視化等。

6 結論

當今大數據時代來臨，對GIS技術提出更多要求，需要其貫穿大數據的各個環節實現技術創新，將大數據空間分析、大數據存儲管理和大數據流處理等技術與GIS 技術相結合，提高大數據全面的支持能力。GIS 技術并不僅僅要解決與空間大數據技術的融合，更重要的是如何能夠通過 GIS 大數據技術為各個行業的相關業務提供多元思維、多元決策，為行業能夠迎合新技術的沖擊，新技術助力行業發展提供堅實的技術基礎。

參考文獻：

[1] 陳雷鳴.基于BIM和GIS的智慧城市探索[J].土木建筑工程信息技術，2016，8（6）：91-95.

[2] 趙躍.智慧城市時空大數據云平臺建設探討[J].測繪與空間地理信息，2021，44（1）：93-95.

[3] 蒯希，賀彪，羅恒，趙志剛.城市空間三維地圖及其在智慧城市中的應用[J].測繪地理信息，2021，46（1）：66-70.

[4] 朱良峰.基于GIS的三維地質建模及可視化系統關鍵技術研究[D].武漢：中國地質大學（武漢），2005.

[5]劉同文.基于地質大數據的地質綜合成果信息平臺研究與實現[J].北京測繪，2020，34（6）：814-818.

[6] 王丹丹.基于GIS在水文水資源領域中的應用分析[J].黑龍江水利科技，2016，44（2）：95-98.

[7] 區燕棠.統計信息化和統計在大數據時代下的發展[J].中外企業家，2015（23）：68.

【通聯編輯：王力】