韓 征 ,郭 萌 ,秦俊生 ,李 瀟 ,李 佳 ,劉 釗 ,李 敏
(北京市地勘局信息中心,北京 100195)
首都地質資源環境承載能力監測預警信息平臺建設思路
韓 征 ,郭 萌 ,秦俊生 ,李 瀟 ,李 佳 ,劉 釗 ,李 敏
(北京市地勘局信息中心,北京 100195)
為適應大數據的新背景和首都未來發展形勢的新需求,同時避免“信息孤島”、“重復建設”等現象的發生。本次以首都地質資源環境承載能力監測預警平臺為例,提出以多維地理信息系統、智慧地圖、互聯網大數據分析等信息化技術為基礎的平臺建設思路,闡述了平臺的總體架構及云計算技術,多源異構空間數據集成技術,大數據存儲處理技術等關鍵技術問題,同時對平臺將實現的功能應用和服務對象進行了分析和說明。
地質資源;地質環境;大數據;物聯網;云計算
目前,一場以大數據、云計算、物聯網、移動互聯、智能控制,為核心的信息化浪潮深刻的改變著整個社會、經濟的運行方式,顛覆了現有的信息化建構模式,海量數據內在價值的深入挖掘和分析利用,將成為未來信息化建設的主要方向和最終目標。而地勘行業的信息化成果與國家經濟發展息息相關,在國家發展戰略中具有不可替代的基礎地位和支撐作用。因此,在信息化發展的新時期,地勘行業如何與時俱進的引入信息化的新觀念,并全方位的貫徹于城市地質的調查研究中,便成為地質資源環境承載能力監測預警信息平臺建設的關鍵性問題。
北京市地勘局在過去的“十二五”規劃期間,初步研發了首都地質資源環境承載能力監測預警信息平臺(衛萬順等,2016),完成了地下水環境、地面沉降、土壤地質環境等監測預警系統的集成,實現了地勘成果的分析利用,為未來八大監測預警系統的全面整合、集成奠定基礎。但受限于當時的軟硬件技術條件、平臺架構模式以及系統開發方式,平臺缺乏架構體系的總體設計,全局的整體效率并沒有隨著信息化投資的增加而同步提高,逐漸出現了一些亟待解決的問題。如現有的地質勘查信息系統和數據庫處于條塊分割、孤島叢生、重復投資、低水平重復建設狀態,各專業領域監測預警系統集成度不高,各類成果數據融合水平較低,綜合分析預警功能尚待開發。這與“十二五”規劃期間系統建設的普遍模式息息相關,一般的信息化建設都會經歷從分散到集中、從構建部門系統到全局整合系統的過程。這個過程造成的其中一個嚴重后果就是“信息孤島”(張瑛等,2007)。
為了滿足“十三五”期間城市地質創新工作的需求,以及滿足與國土資源云、全國地質環境信息平臺進行信息交換的需求,本次將運用大數據、云計算、物聯網、多源異構等新一代信息技術,參考國土資源環境承載力評價技術要求(國土資源部,2016),以首都地質資源環境承載能力監測預警平臺為例,對平臺建設的總體思路以及云計算技術、大數據存儲處理技術、物聯網技術、多源異構空間數據集成等關鍵技術進行討論,并對平臺將要實現的基礎研究類、展示服務類、決策支撐類、專業技術類四大類功能應用及服務對象進行了說明,為將來建立“智慧型”地質資源環境承載能力監測預警平臺提供建設思路。
1.1 建設目標
首都地質資源環境承載能力監測預警信息平臺將建設成為地質勘查管理與服務的“智慧型”大數據應用平臺,平臺借助于新時期大數據、云計算等新一代信息技術,按照國土資源環境承載力評價技術要求,在監測首都地質資源環境承載能力的基礎上,提供預警預報、決策支持、技術會商、應急處置等服務,為北京市地勘局各類專業技術人員提供地質數據綜合利用、地質資料查詢檢索、三維地質結構瀏覽展示服務,同時,作為北京市地勘局的對外展示窗口,向社會公眾展示各類地勘工作成果。平臺的建立,將全面提升監測預警平臺空間感知信息的動態獲取能力、多源異構數據的融合能力、地勘綜合預警預報模型的建設能力以及地質信息資源的按需服務能力,促進海量地質信息的深入融合和全面共享,逐步實現大數據時代的“智慧地質”。
1.2 總體思路
首都地質資源環境承載能力監測預警信息平臺,包括空間信息感知層、政務云平臺基礎層、信息資源層、服務層、應用層和用戶層,還包括智能運維、政策機制和云安全標準等方面的建設內容。平臺將依托于市級政務云、政務外網、物聯專網進行建設,實現基于“大數據”的地勘全流程業務應用(圖1)。

圖1 地質資源環境承載能力監測預警信息平臺架構體系圖Fig.1 Overall architecture of capital geological resources environment bearing capacity monitoring and forecast platform
空間信息感知層將借助于物聯網技術,通過規范監測預警物聯網的三層體系結構,實現地下水環境、地面沉降、重大線性工程、重大構筑物及地下空間、突發地質災害、隱伏構造、土壤地質環境、地熱及淺層地溫能等監測預警物聯網空間信息、監測數據的匯聚(郭萌等,2015)。這些結構化、半結構化、非結構化的數據,將首先通過政務外網匯聚至資源層地質要素數據庫中,然后統一分發至采用分布式架構的基層單位監測預警信息系統,最后通過全局統一的數據交換接口和交換庫上載至平臺的信息資源層,并按照數據類型分別存儲于關系型和非關系型數據庫中,由地質信息資源管理系統統一進行資源管理。
云平臺基礎層將全面依托于市級政務云,該政務云可以向平臺提供IaaS級的云服務。平臺將根據信息資源的規模,按需租用政務云的計算資源、存儲資源、網絡資源。架構與政務云之上,平臺將實現信息安全三級等保標準,地勘局將負責虛擬層(不含)之上的安全運維工作,政務云服務商將統一提供虛擬層之下的運維,這將大大減輕了專業技術人員的工作量,使之可以將精力全部投入到業務應用之中。云平臺基礎層可以實現信息資源的按需服務,實現快速彈性的資源供給量以及動態資源池的配給,可根據應用程序的具體需求獲到服務器時間、網絡資源等計算資源,而這種按需供應的能力恰好可以滿足部分監測預警物聯網因季節變化而產生的差異性計算資源的變動需求。另外,由于政務云可以實現廣泛的網絡訪問,因此可以將野外調查、野外人工監測數據通過互聯網直接匯聚至平臺資源層,這將大大提升野外的工作效率,創新智能化的野外工作手段。
信息資源層將依托于當前發展成熟的關系型數據庫,結合大數據分布式文件系統(HDFS、GFS等)和非關系型數據庫(Big Table、Hbase等),實現各類結構化、半結構化、非結構化的成果數據、監測數據、鉆孔數據、物化探數據、調查數據、影像數據的高效存儲。在多源異構數據處理方面,將根據數據類型,采用不同的ETL工具(Hadoop sqoop、傳統ETL工具)將分散的異構數據源、各專業領域物聯網中的數據抽取到中間層后,進行清洗、轉換、集成,最后加載到對應的數據倉庫或分布式文件系統中,為后期的聯機分析處理、數據挖掘提供決策依據;在大數據處理分析方面,采用并行處理技術和流處理技術,如采用Hadoop的MapReduce并行處理技術或Storm流處理技術等,實現海量數據的高速處理和準確分析。
服務層將采用SOA的架構思想進行建設,系統將地質應用開發服務(集成開發環境、業務模型工具等)、各類模型服務(預警模型、三維模型等)、地質數據服務(數據查詢、數據管理、Lucene搜索等)、地質軟件服務(GIS軟件、OLAP、挖掘工具等)等相關功能都進行有效封裝,達到模塊內強聚合,模塊間松耦的封裝程度,然后以網絡服務的方式進行發布和應用,使這些松散耦合的功能和服務可以方便的進行重組并提供其他系統調用,實現資源的共享和個性化的定制服務。因此對于其他委辦局和相關專業技術人員,可以通過服務層對地質資源環境承載能力監測預警資源進行編輯和重組,以輔助實現各自信息系統的應用功能,擴大地質信息資源的共享范圍。
應用層將實現決策支撐類、展示服務類、基礎研究類、專業技術類四大主題應用,建成后將全面服務于市級領導的決策支撐、服務于社會公眾的科普教育和預警預報,服務于地勘局專業技術人員的業務管理和基礎研究工作。
地質資源環境承載能力監測預警信息平臺建設將運用海量數據存儲技術、云計算技術、物聯網技術、實時數據處理技術、數據高速傳輸技術、多源異構空間數據集成技術、非關系型數據庫技術、并行計算模型技術、分布式文件存儲技術、智能數據分析技術、數據可視化技術(吳沖龍,2011)、數據ETL技術、多源地質空間數據挖掘技術(陳國旭等,2008)、三維數字地質體的多樣化空間分析技術等多項關鍵技術,以下僅對比較重要的關鍵技術進行簡述。
2.1 云計算技術
云計算是隨著計算、存儲以及通信技術的快速發展而出現的一種嶄新的共享基礎資源的商業計算模型(崔勇等,2016)被譽為“革命性的計算模型”。由于云計算技術具備按需服務、廣泛網絡訪問、資源共享、快速彈性、可計量服務等基本特征,且可以提供軟件即服務(SaaS)、平臺即服務(PaaS)和基礎設施即服務(IaaS)的服務模型(Vaquero,et al,2009),因此很適用于對計算資源彈性要求較高的監測預警信息平臺。平臺內建的突發地質災害、重大線性工程等物聯網具有明顯的季節性特征,如突發地質災害監測預警系統,在非雨季野外傳感器的監測頻率、傳輸頻率往往以天為單位,而入汛后為了有效的進行監測和預警預報,野外數據的監測頻率、傳輸頻率將大大增加,同時因預警預報模型數據處理而造成計算需求大大增加,這就需要監測預警系統具有應對數據采集、傳輸、處理、存儲、分析對于計算資源、存儲資源、網絡資源的彈性需求,而云計算技術便可滿足這類信息資源按需分配的需求。
2.2 大數據存儲處理技術
大數據(big data),指無法在一定時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合,是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力來適應海量、高增長率和多樣化的信息資產。針對地質勘查業而言,地質大數據是指通過物聯網、移動互聯網、手持式一體機、電腦終端等各類傳感器、移動終端實現海量地質空間信息的采集,以及融合不同時代、不同主題、不同業務領域、不同格式地勘成果數據,形成海量的異構地質空間感知數據和專業領域業務數據,通過云計算平臺實現基于大數據的分布式非關系型數據管理與處理、異構地質空間數據的融合,實現這些異構地質數據快速、高效的整合、集成、存儲和處理,以助于后期的數據挖掘和智能分析。因此,大數據時代的來臨,為地學領域提供了跨越式發展的重要機遇(滕艷等,2013)。
因此,對于信息平臺所涉及的地面沉降、地下水位、地下水環境、地下空間等各類監測數據,以及地勘數字化成果數據、鉆孔數據、物化探數據、檔案資料數據等結構化、半結構化、非結構化數據,應借助于傳統關系型數據庫和非關系型數據庫,采用大數據混合存儲架構,實現對數據快速、高效的處理和分析,并借助于數據挖掘分析技術進行及時、準確的地質災害決策分析。
2.3 物聯網技術
物聯網是新一代信息技術的重要組成部分,也是“信息化”時代的重要發展階段。物聯網的體系架構普遍具有三個層次,分別為“神經末梢”的感知端傳感器、“神經中樞”的融合化網絡通信基礎設施和前端的應用服務支撐體系。其中感知端傳感器主要是通過各類傳感器、RFID、GPS、手持式一體機等技術設備實現實時監測數據的自動采集和智能識別;融合化的網絡通信層是通過各類有線、無線通訊網絡實現監測數據的快速、安全的傳輸和處理,它既可以自下而上的傳遞感知信息,又可以自上而下的傳輸控制指令;應用服務支撐體系主要負責對物聯網采集到的數據進行集成、存儲和智能分析,進而實現更高層次的智能化應用。
因此,在地質資源環境承載能力監測預警物聯網建設過程中,應根據物聯網的三層體系架構,對包括地面沉降、地下水環境、突發地災、重大線性工程、地下空間、隱伏構造、地熱淺層地溫能和土壤地質環境的監測預警物聯網進行統一設計,實現感知端傳感器的標準化接口,建立基于GPRS、CDMA、政務外網、市級物聯專網、北斗衛星的有線、無線通訊網絡,實現各類監測數據的實時、安全傳輸,并在應用服務端實現基于“大數據”的信息處理和應用,以助于各類監測預警信息系統實現從“人工分析”到“智能分析”的躍遷,實現對地質資源環境承載力的全面監控和預警。
2.4 多源異構空間數據集成技術
平臺未來將通過物聯網技術接入地下水環境、地面沉降等監測預警系統,所涉及的傳感器包括雨量計、泥位計、水位計、地聲儀、攝像頭、微震儀等數十種,具有復雜多變的數據類型。同時,為了進行綜合分析和預警預報,平臺還將接入以非結構化數據為主的歷史資料數據、GIS圖件、物化探數據、遙感數據、數字化成果、模型數據,因此如何將這些多源異構的地質數據進行集成和融合,便是平臺應首先解決的一項關鍵技術。
本次計劃將采用關系型數據庫、非關系型數據庫相結合的方式,解決多源異構空間數據集成的問題。對于部分監測數據、成果數據、GIS數據、鉆孔數據等結構化數據,可以直接或通過空間數據引擎(ArcSDE等)置入關系型數據庫(Oracle等)中,這將充分利用關系型數據庫的數據集中控制、數據獨立性高、共享能力強、數據冗余少、易于關聯分析等優勢。同時,對于流數據、文檔數據、數字化成果數據等非結構化的數據,需要數據庫具備高并發讀寫能力、能夠容納海量數據的高效存儲和訪問、能夠具有高可擴展性和高可用性,因此需要采用分布式文件系統(HDFS、GFS等),搭配非關系型數據庫(Big Table、Hbase等),建立復雜地質勘查非結構化數據存儲模型,采用并行編程模式(MapReduce、Spark等)對非結構化的海量地質數據進行搜索、挖掘、分析和機器智能學習,采用Hive數據倉庫工具進行非結構化數據的統計分析,同時ArcGIS已具有通過Hive進行大數據空間數據訪問、分析的能力,可實現對海量影像數據存儲和分析。另外,可以使用Handoop sqoop工具實現關系型數據庫與非關系型數據庫之間的數據交互,以及使用Lucene技術實現地質數據發現和搜索結構的聚類集成(李超嶺等,2015)
首都地質資源環境承載能力監測預警信息平臺的服務對象,分別為地勘局基層單位、政府機關、委辦局和社會公眾、專業技術人員。根據服務對象的不同,分別實現專業技術類應用、決策支撐類應用、展示服務類應用和基礎研究類應用(圖2)。
3.1 專業技術類應用
平臺根據業務需求,分別實現地下水環境、地熱及淺層地溫能、地面沉降、土壤地質環境、隱伏構造、地下空間地質安全和重大線性工程監測預警信息系統。每個監測預警信息系統均對應一項地勘核心業務,系統將包括物聯網管理、數據處理、成果數據管理、專業分析和預警預報功能,以實現相應物聯網信息的管理、數據質量管理以及與平臺數據中心的對接。

圖2 平臺功能結構圖Fig.2 Function structural design of information p latform
3.2 決策支撐類應用
地質資源環境承載力綜合預警分析系統。系統通過建立地下水環境、突發地災等專業領域的預警模型、預報模型,實現單監測預警系統的預警預報;通過建立基于數理統計、聚類分析、空間關聯分析、分形理論的綜合預警、預報模型,生成綜合預警產品,并通過共享發布系統對外進行發布。同時,系統將依托于監測預警中心數據庫、成果數據庫、資料數據庫、基礎數據庫、模型數據庫等,實現對數據庫中的實時監測數據、地勘成果數據、地質資料、地勘基礎數據進行再加工;同時依托于空間分析模型、統計分析模型、空間關聯模型等專業領域數據處理方法,對各類數據進行綜合分析處理。
地質資源環境應急服務系統。系統將實現應急指揮管理機構查詢、應急指揮體系查詢、應急預案管理、應急值班信息管理、險情信息管理、應急避險信息管理、應急信息發布管理以及應急視頻會商等的功能,可為地勘領域應急工作提供全流程的管理服務。
地質勘查決策支持系統。系統通過建立各類、不同級別的決策支持模型,實現對區域各類地質勘查、監測、資料信息的邏輯推演和綜合分析,從而對市級領導、地勘局領導、技術專家、專業技術人員,進行分級的決策支撐。
3.3 展示服務類應用
地質資源環境承載力公共服務系統。系統可將經過脫密處理的各類監測數據、地勘成果、預報信息、預警信息按級別向公眾進行開放,同時允許社會公眾按照需求定制相應的地勘服務。
共享交換及信息發布系統。系統的主要功能,是實現平臺數據與北京市市級公共基礎數據庫、共享交換數據庫、主題數據庫、共享交換平臺、國土資源部、中國地調局進行數據交換。同時,系統可以對預警信息、預報信息、應急信息、地勘成果等,向社會公眾進行及時、準確的發布。
3.4 基礎研究類應用
地勘資料檢索服務系統。系統在非關系型數字化成果庫的基礎上,聯合監測預警中心數據庫,實現地質資料、監測數據的多種檢索方式,包括關鍵字檢索、目錄檢索、區域檢索及相關統計功能。
地勘資源服務系統。系統可以在監測預警中心數據庫、資料數據庫、成果數據庫的基礎上,向各類技術專家和專業技術人員提供自定義方法編輯功能,使得各類專業技術人員可以按照自定義的分析模型、三維模型、預報模型、預警模型對地勘數據進行處理,并生成自定義的分析產品,實現SaaS層面的軟件即服務。
地質三維綜合展示分析系統。系統基于地勘局現有的多個三維地質結構模型,實現地上地下一體化空間分析、屬性分析、統計查詢、瀏覽展示等功能,支持鉆孔的自動提取和任意剖面的切割分析,實現地上地下一體化全方位的三維建模。
本文系統性的介紹了首都地質資源環境承載能力監測預警信息平臺的建設思路和技術標準,由于新一代的信息技術在地勘領域的應用正處于初級階段,各方面的理論研究和技術標準也正在逐步完善,依舊存在許多關鍵技術問題尚未得到有效解決。因此,未來應加大地質大數據技術體系的理論研究力度,實現多源異構空間數據集成技術的突破,力爭在小范圍實現示范應用,為將來建設各類監測預警信息系統奠定基礎。
Vaquero L M,R odero-Merino L,Caceres J,et al,2009.A Break in the Clouds: Towards a Cloud Definition[J].ACM SIGCOMM Computer Communication R eview,39(1): 50-55.
陳國旭,李忠,陳秋成,等,2008. 多源地質空間數據挖掘方法研究[J]. 有色金屬(礦山部分),60(3):19-23.
崔勇,任奎,唐俊,2016. 云計算中數據安全挑戰與研究進展[J/ OL]. 中國計算機學會通訊,(2016-05-20). http://www. cbdio.com/BigData/2016-05/20/content_4950824.htm.
國土資源部,2016. 國土資源環境承載力評價技術要求(國土資廳函〔2016〕1213號)[R].
吳沖龍.2011.地質數據三維可視化的屬性、分類和關鍵技術[J].地質通報,30(5):642-649.
滕艷,張地珂. 中科院院士趙鵬大:大數據時代需重視數字地質研究[N/OL]. 中國國土資源報,2013-03-15. http:// www.gtzyb.com/dizhikuangchan/20130315_32914.shtm l.
李超嶺,李健強,張宏春,等,2015. 智能地質調查大數據應用體系架構與關鍵技術[J]. 地質通報,7(34):1288-1299.
衛萬順,鄭桂森,于春林,等,2016.未來五年我國城市地質工作戰略思考[J].城市地質,11(2):1-5.
張瑛,夏克儉,張法明,等,2007.分布式異構數據庫數據同步系統的研究與實現[J].小型微型計算機系統,10(28):1803-1806.
The General Establishing Idea of Information Platform on Capital Geological Resource Environment Carrying Capacity M onitoring and Forecast
HAN Zheng ,GUO Meng ,QIN Junsheng ,LI Xiao ,LI Jia ,LIU Zhao ,LI M in
(Information Centre of Beijing Geology Prospecting & Developing Bureau, Beijing 100195)
W ith the new environments of big data and the new requirements of capital future development, geological information platform was established by advancing technologies which also can avoid some terrible situations such as information isolated island and repeated construction. To Take "Information Platform on Capital Geological Resource Environment Carrying Capacity Monitoring and Forecast " (Information Platform, for short) as an example, this paper introduced some new thinkings about how to establish a geological information platform based on advanced information technologies of multi-dimensional information system, smarter map and internet big data analysis. Key technologies of platform establishment w ill be explained including overall architecture, cloud computing technology, integrated technology of multi-source heterogeneous spatial data, big data processing and storage technology; meanwhile the platform function and applicable targets w ill be discussed and explained.
Geological resources; Geological environment; Big data; IOT; Cloud computing
A
1007-1903(2017)02-0001-06
10.3969/j.issn.1007-1903.2017.02.001
韓征(1983- ),男,碩士,工程師,主要從事地質信息化工作及研究