貴州測繪地理信息大數據系統建設探討

楊學軍++夏正清

作者簡介：（1971—），男，工程師，主要從事測量工程、地理信息系統等相關工作與研究。

摘要：當前，我省正全面推進各行業的大數據系統建設，旨在打造西南地區大數據中心。本文在此背景下，探討了我省測繪地理信息大數據的現狀，簡要闡述了我省測繪地理信息大數據建設的目標和原則，并概略講述了測繪地理信息大數據系統的設計目標進行闡述，對該系統的邏輯架構進行了討論。通過建設本省測繪地理信息大數據系統，可為全省綜合大數據庫系統的建設提供技術積累和數據積累；也使我省測繪地理信息數據這一重要“金礦”得到充分的挖掘與應用，從而也帶動了我省測繪地理信息產業的跨越式發展。

關鍵字：測繪地理信息 大數據 系統設計 大數據系統

中圖分類號： P208 文獻標識碼：A文章編號：1672-3791（2015）01（c）0000-00

2014年3月1日在北京中關村舉行的貴州· 北京大數據產業推介會上，貴州省省長陳敏爾說到：“大數據是大產業、大紅利、大變革、大機遇，貴州省委、省政府高度重視大數據發展，將大數據作為全省產業轉型升級的戰略重點之一，促進就業增長、形成新的經濟增長極”[1]。中國移動、中國聯通和中國電信將投資150億元在貴安新區建立云計算基地，總規模將超過10萬個機柜、200萬臺服務器[2]。在這樣一個機遇與挑戰并存的時代下，作為測繪地理信息產業如何在大數據產業中發揮效益是當代測繪人應該思考一個重要內容。

測繪地理信息部門提供了用于各種工程建設的基礎資料，如1：5萬及1：1萬基礎地理信息數據、大比例尺地形圖；今年全省又在開展地理國情普查，這項工作將產生更多的數據，如覆蓋全省的0.5米分辨率衛星影像、部分地區0.2米航空影像、各行業的專題數據等。如何充分利用和挖掘這些數據是測繪地理信息部門未來發展的關鍵，今后測繪地理信息部門將在不斷更新現有數據的基礎上，加強大數據的開發與應用。

1 測繪地理信息大數據現狀

1.1 大數據概念

大數據（big data），或稱巨量資料，指的是所涉及的資料量規模巨大到無法通過現有主流軟件工具在合理時間內達到收集、管理、處理，并整理為幫助決策層提供積極的信息[3]。

1.2 測繪地理信息大數據來源

對于測繪地理信息大數據有以下三種來源：互聯網、物聯網、各種測繪成果。

互聯網數據主要來自于數字城市項目中公眾服務平臺產生的各種數據，如日志、留言、圖片標注等非結構化的數據；

物聯網主要來自于具有信息采集功能的電子設備所產生的數據，如CORS（連續運行衛星定位服務綜合系統）系統提供的定位數據、遙感衛星提供的影像數據、測量機器人或各類監測設備提供的監測數據，物聯網產生的數據可以是非結構化的、也可以使半結構化的，其數據量龐大、且其價值密度低，如何存儲和快速處理這些數據是目前面臨的挑戰；

各種測繪成果主要指基礎測繪成果和其它測繪成果?；A測繪成果為1：5萬和1：1萬的3D產品（即DOM、DEM、DLG），這是測繪地理信息管理部門最為重要，也是較難獲取的數據，這些數據大都為結構化的數據，隨著更新周期的頻繁其數據量也在不斷增大。貴州省現有6000余幅1萬圖幅和400余幅5萬圖幅，按照每幅3D產品數據量平均200MB來計算，現有基礎測繪資料也有1.3TB。其它測繪成果包括如大比例尺地形圖、地理國情普查數據、地籍圖等。

隨著測繪技術手段不斷創新，利用高分辨率航片生產不同比例尺的基礎測繪成果已稱為必然，但這伴隨而來的是海量航片數據的存儲與快速加工，這將是測繪地理信息大數據的有一重要來源，也勢必會帶動我省測繪地理信息大數據產業的發展。

1.3 測繪地理信息大數據的特征[3][4]

測繪地理信息大數據和其它大數據一樣，除具有數據量大、數據類型復雜、數據種類多等共有特性外，與其它大數據最本質的區別就是其具有空間信息，而其它大數據僅有屬性信息，數據的處理就沒有測繪地理信息大數據那么復雜。

1.3.1 數據量大（Volume）

通過1.2中的分析可以看出，測繪地理信息大數據既有柵格數據、也有矢量數據、還有多媒體數據，特別是定期或不定期的航拍形成的高分辨率航空影像，目前1000KM2的數據量就可達1TB。如定期更新，歷史數據與現有數據共同存儲，數據量將可達PB、甚至EB級別。

1.3.2 數據多樣化（Variety）

有以關系型數據庫存儲的數據，此類數據在大數據類型中定義為結構化數據，如全國第二次土地調查數據庫、全國礦業權核查數據庫、全國地理國情普查數據庫等；有半結構化的數據，如CORS系統產生數據、基于位置的服務（LBS）產生的數據、各類監測傳感器傳回的數據等；有非結構化的數據，如原始航空影像、在公眾服務系統中產生的日志、文字等。

1.3.3 數據高速更新（Velocity）

作為衛星影像獲取平臺，QuickBird可1-6天就可更新當前地點的影像，WorldView2為1-3天；作為航空影像獲取平臺，可根據用戶需求，數小時就可更新；數據高速更新的同時勢必帶動數據的高速處理，這將與傳統的數據挖掘技術有本質不同。

1.3.4 低密度（Veracity）

在大量的數據中，有價值的信息是很少的，這些有用信息是通過分析處理才能發現的，雖然價值密度低，但其體檢的價值極高，如用衛片進行土地執法，一景數百平方公里的影像中僅能提供幾平方公里或更少的圖斑數據。

1.4 我省測繪地理信息大數據現狀

隨著數字城市在我省陸續開始建設，CORS系統的穩步推進，地理國情普查及監測項目的開展，基礎測繪的定期更新，全省高分辨率航空影像的覆蓋，測繪地理信息大數據在我省已經稱為重要的大數據組成部分。

現在我省測繪地理管理部門面臨最大的困難就是日益增長的數據量與數據處理及應用速度跟不上的矛盾，一方面全省每天都有新的數據產生，另一方面我們還在使用幾年前的數據。這就是我省如今測繪地理信息大數據的現狀，建設本省測繪地理信息大數據系統既符合行業發展需求，也符合省政府將貴州省打造為全國數據中心的戰略目標。

2 測繪地理信息大數據系統設計

2.1 概念

測繪地理信息大數據系統就是將所有測繪地理信息大數據聚集起來，加以綜合分析和處理，挖掘出對大眾及政府關注的有價值信息，以供人們了解過去與現在，并能預測未來變化趨勢的系統。主要由以下幾個部分組成：大數據、集群計算機、分布式數據庫、分布式文件系統、高速網絡、用戶。

2.2 與現有系統的關系

現有系統指不同大數據系統的系統，如OA辦公系統、各種管理系統、公眾服務平臺等。

大數據系統與現有系統的關系有：

1、協同關系

現有系統為大數據系統提供結構化、半結構化和非結構化的數據，沒有這些數據的支撐，大數據系統就是個空殼。

2、依賴關系

現有系統目前對某個小領域內的數據還算得心應手，但對大數據確是無力應對，所以現有系統需要大數據系統的支持，以最大效益化地挖掘和利用各種數據。

3、并列關系

就目前而言，現有系統提供了大數據所需的各種數據，大數據基于這些數據進行了有用信息的提取，兩者是并列關系，同時并存。

2.3 系統設計目標和原則[3]

2.3.1 系統設計目標

1、可以存儲海量數據

存儲海量數據主要有三個方面的內容：首先是系統能夠存儲隨著時間變化不斷增長的數據；其次為系統能夠存儲各種不同結構、不同格式的數據；最后系統應具有靈活性，即既可以存儲單個很小的數據，也可以存儲單個很大的數據。

2、可以進行高速處理

系統要保證數據量激增而不影響其處理速度，仍能夠滿足用戶對請求的響應速度。

3、可快速開發出并行服務

系統應提供并行服務的開發框架，讓開發人員能依此框架快速開發出面向大數據的程序代碼。

4、可運行在計算機集群上

這是系統的重要目標，為了節約成本，提高效率，系統可以安裝并運行在廉價的計算機上，并有管理協調數百萬臺計算機集群工作的功能。

5、有強大的空間數據處理能力

這是測繪地理信息大數據系統的獨有特征，系統能充分利用位置數據、路徑數據、屬性數據在三維空間進行分析，以為用戶提供意想不到的信息。

2.3.2 系統建設原則

1、實用性

實用性體現在以下幾個方面：一是系統既可以滿足幾個節點構成的小規模集群，也可以滿足上百萬個節點組成的大規模集群；二是系統必須支持多種協議格式，允許用戶基于這些協議與系統進行交互；三是系統在一個節點上安裝后，可以快速將其復制到多個節點上。

2、可靠性

當核心節點出現故障時，系統能快速切換到備份節點；當計算節點出現故障，相應的任務會自動分發到鄰近節點上繼續處理，而不會對數據造成任何損失。

3、安全性

數據是整個系統的核心，安全性主要體現在兩個方面，一是節點故障不能造成數據破壞和損失；二是數據自生的防護，系統應有超強的防火墻，避免數據被非法獲取。

4、可擴展性

系統應支持熱插拔，主控節點可隨時感知節點的增加和減少，并做出重新分發任務的工作；節點的增加和減少應不影響系統的可靠性和安全性。

5、完整性

系統應具有數據采集、存儲、管理、分析、顯示等全生命周期的子系統，能讓用戶基于該系統完成其應用，而不在借助別的任何軟件或系統。

3 測繪地理信息大數據系統架構

系統架構的總體思想是“分層分域，主從模式”，具體的架構邏輯圖見圖1。

圖1 測繪地理信息大數據系統邏輯架構圖

Fig1. Surveying and mapping geographic information data system logic structure diagram

3.1 外部系統層

該層主要由現有系統組成，該層可為數據處理層提供數據輸入，也可使用數據處理層中的數據處理子系統處理大數據并使用數據顯示子系統顯示其處理結果。

3.2 數據處理層

數據處理層作為大數據處理系統的窗口，可喻為大數據系統的感官系統，既能接收外部系統層提供的各種數據并顯示，也能接收數據分系層中對大數據進行分析挖掘后的數據并顯示。數據采集系統完成將結構化數據、半結構化數據和非結構化數據的采集，并以分布式文件管理方式和分布式數據庫管理方式進行存儲；數據處理系統主要完成數據格式轉換、坐標系統轉換等簡單數據處理，以提供統一的大數據處理服務，如需更多的數據處理功能，可將數據傳入數據分析層中進行處理；數據顯示系統將數據處理系統的結果以頁面方式提供給外部系統層。

3.3 數據分析層

數據分析層是大數據處理的核心部分，可喻為大數據系統的大腦，它主要完成大數據的分析挖掘任務，提供結果數據給數據顯示系統以便進行結果輸出。數據管理系統旨在完成結構化數據的各種分析和挖掘任務；數據分析系統主要完成半結構化和非結構化數據的分析和挖掘任務；數據計算系統完成網絡分析、空間分析、位置分析等高級分析功能。

3.4 運維管理層

該層是大數據系統的中樞神經，負責大數據系統各項任務的分配與協作，保證數據的可靠性、安全性與完整性。作業節點子系統是對作業的任務進行調度分配和運行狀態的管理；名稱節點子系統提供目錄和文件的元數據管理，是分布式文件系統讀寫的統一入口；數據庫幾點子系統是分布式數據庫系統讀寫的統一入口；備份節點子系統實現數據的自動備份與相關日志的生成；統一系統節點子系統提供各種共享信息的統一協同服務，從而避免數據共享沖突引起的數據不一致。

4 結論

當前，我省正在大力發展大數據產業，測繪地理信息行業也將作為全省大數據中的一小朵云納入到全省大數據的建設中，但是為了更加及時、更加有效地使用測繪地理信息現有的大數據，建設全省測繪地理信息大數據系統是有必要的，與全省綜合大數據系統的建設并不相悖，相反可起到試驗田的作用，以此可幫助建設全省綜合大數據庫系統提供技術積累和數據積累；另一方面，也使我省測繪地理信息數據這一重要“金礦”得到充分的挖掘與應用，從而也帶動了我省測繪地理信息產業的跨越式發展。

參考文獻：

[1] 中國日報貴州記者站. 貴州力爭成為全國大數據中心，中國日報，2014.3.3，

http：//www.chinadaily.com.cn/dfpd/gz/bwzg/2014-03/03/content_17317898.htm

[2] 呂慎. 大數據 看貴州，光明日報，2014.3.1 07版

[3] 大數據技術全解 基礎、設計、開發與實踐[M].北京：電子工業出版社，2014

[4] 尤文辰、徐躍通等.淺析GIS大數據[J].電腦知識與技術，2013（9）：5399-5402

[5] 喬朝飛.大數據及其對測繪地理信息工作的啟示[J].測繪通報，2013（1）：107-109

[6] 林媛媛、林川等.淺談大數據時代下的GIS發展[J].江西測繪，2013（3）：15-16