地質大數據分析與應用模式研究

李朝奎， 嚴雯英， 肖克炎， 趙亞楠

(1.湖南科技大學地理空間信息技術國家地方聯合工程實驗室，湖南湘潭411201； 2.中國地質科學院礦產資源研究所，北京100037)

地質大數據分析與應用模式研究

李朝奎1， 嚴雯英1， 肖克炎2， 趙亞楠1

(1.湖南科技大學地理空間信息技術國家地方聯合工程實驗室，湖南湘潭411201； 2.中國地質科學院礦產資源研究所，北京100037)

摘要：大數據時代下地質數據的獲取方式多種多樣，數據量十分龐大，數據格式復雜多樣。從地質大數據的存儲管理、數據挖掘技術、可視化技術等方面闡述了其分析應用的關鍵點。介紹了大數據不同于傳統數據的分析思維，強調注重數據本身的重要性。大數據的分析與應用方法處在不斷創新中，同時也面臨巨大挑戰，如何保證地質大數據的質量、如何高效地搭建云平臺等都是需要解決的難題。指出了地質大數據的開發對礦產資源預測、城鎮選址等具有十分重要的意義。

關鍵詞：地質大數據；存儲管理；數據挖掘；可視化；云平臺

doi:10.3969/j.issn.1674-3636.2015.03.352

中圖分類號：P628+.2

文獻標識碼：A

文章編號：1674-3636(2015)03-0352-06

收稿日期：2015-06-12；修回日期：2015-06-21；編輯：侯鵬飛

基金項目：國家自然科學基金項目“集群環境下大范圍三維復雜場景的并行繪制機理及算法實現 ”(41271390)、國土資源部公益性行業科研專項“地質大數據技術研究與應用試點”(201511079-04)、中國地質調查局地質礦產調查評價專項“全國重要礦種成礦區劃部署研究”(12120114051501)、湖南科技大學創新基金基礎研究項目“地質空間數據挖掘方法及其應用基礎研究”(S140038)聯合資助

作者簡介：李朝奎(1967—)，男，教授，博士，地理信息工程專業，主要從事三維地理信息理論方法及技術應用研究工作，E-mail：chklhn@163.com

0引言

我國地質行業自20世紀60年代以來，開展了礦產資源勘查、地球科學研究、海洋地質勘察等工作。隨著科技的進步，地質調查工作的方式趨向數字化、信息化、智能化。GPS、RS大大提高了地質數據的獲取能力， GIS、數字地質調查系統空間數據庫的建庫技術等改善了地質數據的應用水平(孫磊等，2010)。近年來，在空載熱輻射與反射成像技術高光譜反射技術、新型激光3D制圖技術(Zebedee系統)等的推動下，地質數據的數量迅速增加，形式也多種多樣，傳統的一些技術方法越來越不能滿足不斷豐富的服務內容，地質行業已到了“地質大數據”時代。

作為不同地史時期下地質作用信息的載體，地質數據主要用于研究地質歷史進程的恢復以及對未來地質演化的推測。為了從地質數據中獲得更為全面的有用信息，以便深刻地了解和認識地質體、地質現象和地質過程，更好地利用和保護地質資源，地質工作越來越多地求助于數學方法和地質信息技術。各種物化探異常的正、反演理論方法(趙鵬大，2012；陰江寧等，2013)和各種地球動力學理論方法(李四光，1973；於崇文等，1993)的提出和完善，都是這方面的重要成果，對地質學定量化和地礦勘查信息化進程起到了重要的推動作用。地質行業應該借鑒大數據的思維，解決地質大數據的問題。

1地質大數據分析思路

自2008年以來，Nature、Science、麥肯錫、達沃斯論壇等相繼發表了專門的大數據研究報告，美國政府也于2012年3月發表了《大數據研究和發展倡議》，作為信息科學領域又一重大舉措(Executive Office of the President，2012)。研究證明，有效地管理與使用大數據能給企業提供更多增強生產能力和競爭能力的機會，并能帶來巨大的潛在商業價值(Manyika et al，2011)。2012年10月，中國計算機學會和中國通信學會各自成立了大數據專家委員會，從行業學會的層面組織和推動大數據的相關產學研用活動。從研究內容看，尚處于應用探討與展望階段。

1.1　從數據角度思考

過去信息相對貧乏，任意一個數據點的測量情況都會對結果至關重要，對地質數據進行分析前必須盡量保證每個數據點的精確性，才不會導致結果的偏差。如今，高精密的儀器能夠保證數據的大趨勢正確，也大大增強了數據處理能力，數據分析不再通過隨機采樣的方式進行，而是使用全部數據。

全國礦產資源潛力評價數據集成管理應用平臺(DipMopa)系統采用將傳統的關系型數據庫管理系統和列式數據庫相結合的方式，對多源地學非結構化數據進行存儲(何翠云，2013)(表1)，并結合有關應用軟件實現對全國礦產資源潛力評價數據的高效管理。大數據解決方案架構下的數據庫HBase可以很好地按列存儲數據。HBase是一個分布式、面向列的開源數據庫，它不同于一般的關系數據庫，適合于非結構化數據存儲。

表1　全國礦產資源潛力評價數據庫分類

2007年，吉姆·格雷(Jim Gray)在他最后一次演講中描繪了數據密集型科學研究的“第四范式”(The Fourth Paradigm)(劉光鼎，2002)，把數據密集型科學從計算科學中單獨分出來，這意味著從數據中直接查找或挖掘所需要的信息、知識和智慧，甚至無需直接接觸需研究的對象。“第四范式”不僅是科研方式的轉變，也是人們思維方式的大變化。

地質大數據本身所包含的規律客觀存在，人們一直將理論應用到實踐中來分析和理解這些規律。在大數據數時代，應著重關注數據本身，在很多情況下，與致力于避免錯誤相比，對錯誤的包含會帶來更多的好處。

1.2　數據非理性效果

目前大數據在商業方面運用較為成熟，Google 公司通過大規模集群和MapReduce 軟件，每月處理的數據量超過400 PB；百度每天大約要處理幾十PB 數據；Facebook 注冊用戶超過10億，每月上傳的照片超過10億張，每天生成300 TB 以上的日志數據；淘寶網會員超過3.7億，在線商品超過 8.8億，每天交易數千萬筆，產生約20 TB數據(李國杰等， 2012)。

隨著全球工業化和城市化的推進，自然資源開發引起了一系列地質環境變化，全球水土污染不斷加重，突發性的地質災害頻發，引發了區域性地質環境的重大變化。資源、環境、生態問題相互交織，這些問題產生的原因來自于多方面，單純通過數學計算和現有的理論很難全面掌握問題的根源(雷志強，2011)。大數據由于考慮了數據的全面性與相關性，在研究中往往會得到事先難以預測的因素。

地質大數據存在著多源異構、綜合利用難度大等問題，決定了其數據分析算法有別于普通情況，不再追求高精確、復雜的計算，往往簡單的算法比基于小數據的復雜算法更加有效。同時，數據分析將不再熱衷于尋找因果關系，利用基礎算法對大數據進行相關關系分析，突破傳統思維模式，進行技術創新，才能有效地挖掘出地質大數據中隱藏的信息，獲得其地質應用價值。現階段基于大數據的數據分析模式主要還是基于統計方法的關聯性分析，缺乏邏輯推導過程(Agrawal et al，1996；Cheung et al，1996)。對于理論邏輯層次清晰的地質行業，大數據的統計學方法不足以支撐地質行業的知識發現，需要在數據分析過程中插入中間環節，完善推導過程，協助新理論、新方法的研究(繆謹勵,2014)。

1.3　大數據面臨的問題

大數據的相關技術正在不斷影響和改變地質行業，從數據的采集到存儲管理再到應用服務，傳統思維習慣也將逐漸變化。地質大數據中所蘊藏的信息，等待著大數據技術來“開采”。但是大數據技術目前還不完善，許多問題等待解決。例如，礦產資源預測的關鍵在于有效地獲取礦產資源信息、正確認識礦床模型和成礦條件、正確刻畫礦產資源的時空分布規律，運用大數據技術，對于勘查難度大、未發現礦產資源多的地區能夠進行信息綜合和建模，有效降低成本，輔助勘探決策，但是不能保證結果的正確性，在地質研究過程中，不論是地質災害預測，或是礦產資源勘測都講究對結果進行驗證，以提高模型的準確性。因此，大數據不是萬能的：(1)歷史數據不能準確預測未來；(2)預測模式中存在不確定因素；(3)各種模式操作過程中存在偏頗以及不符合實際的預測。

地質大數據提供了海量數據源，但是這些數據包含的數據價值密度相對較低，可能造成挖掘結果的謬誤。要以辯證的觀點看待大數據帶來的創新技術，不能完全棄用以往的方法經驗，應該根據實際問題，將新技術與過去的方法相結合，相輔相成，才能有效保證結果的正確性。

2地質大數據應用關鍵技術

2.1　存儲管理技術

地質大數據種類繁多，關系復雜，有結構化數據如關系數據庫的統計數據、表格表單數據等，也有非結構化數據如矢量數據、文本數據、影像數據、圖片等。

基于傳統的關系數據庫查詢方法已經不能滿足要求，對地質大數據進行統一組織和存儲，實現多源異構數據的集成，是地質大數據信息化的基礎。

地質數據種類繁多，通過分析與抽象，主要可以分為圖件、文檔、表格3種實體性數據和報告，2種概念型數據(表2)。

表2　地質數據分類

地質大數據由于數據量龐大，數據類型復雜多樣，進行數據粒度分析會涉及到多種粒度數據的混合處理，需要根據相關業務要求，利用粗粒度與細粒度間的內部聯系，有機統一起來進行管理，根據粒度進行數據庫層次化部署。在已有數據庫的基礎上，制定相應的數據更新機制，以確保能夠存儲同一數據不同時態的數據，為支持數據時態對比、歷史數據演變等提供必要的信息支撐。

地質大數據查詢檢索技術主要有4種方式：(1) 基于文件名查詢；(2) 基于范圍和分辨率查詢；(3) 基于范圍和格網數查詢；(4) 基于內容查詢。其主要構架在地質大數據云存儲系統設計的基礎上，能夠快速定位并獲取所需的數據。

目前，數據庫領域中最常用的數據模型是關系模型，基于此模型的數據庫管理系統(DBMS)產品較多，有Oracle、SQL Server、DB2等，在大數據解決方案架構下，以Google的GFS(Google File System)和Hadoop的HDFS(Hadoop Distributed File System)為代表，HDFS是GFS的開源實現，它們均采用分布式存儲方式存儲數據，用冗余存儲的模式保證數據可靠性，不同于一般的關系數據庫，是一個適合于非結構化數據存儲的數據庫。

在地學大數據技術研究實驗平臺GeoBDA實驗中，作者通過對比實驗得出大數據平臺的對比：Hadoop架構中沒有提供完善的檢索解決方案，如果要在數據挖掘方面滿足特定的需求，需要投入較大的開發力量，這與Hadoop作為Apache項目的發展歷程有關(繆謹勵，2014)。Oracle架構中，Intermedia支持直接搜索，Oracle各種組件功能強大，產品化、成熟度高，不過價格比較高。

2.2　數據挖掘技術

數據庫知識發現 (KDD) 是從數據集中識別出有效、新穎、潛在有用的以及最終可理解的模式的非平凡過程(圖1)，數據挖掘是數據庫知識發現過程中應用數據分析和發現算法的一個步驟，在可接受的計算效率的局限性之內，在數據上產生一種特殊的列舉模式(或模型)(李德仁等，2002)。

圖1　知識發現流程示意圖Fig.1　Schematic diagram showing the process of knowledge discovery

從數量上來說，可能需要處理數量級達到TB 級乃至PB級的數據，另外還有高維數據、各種噪聲數據以及動態數據等，選擇合適的算法及并行策略來完成任務是關鍵。另外，算法的設計、參數的調節都會直接影響到最終的結果，數據挖掘過程中可能會存在許多不明確性，進行數據挖掘的目的就是要將這些不明確性帶來的影響降到最低。這些不明確性包括對數據挖掘任務描述的不明確性、進行數據采集和預處理時會出現的不明確性、數據挖掘方法選擇和最終結果的不明確以性及對如何評價數據挖掘結果的不明確性等。數據挖掘算法將直接影響到所發現知識的結果。

多個發達國家早已將SOA(Service Oriented Architecture，基于面向服務的體系結構)、并行計算、虛擬化等技術融入到地質調查信息化建設中，建立了在線編圖等采用“一站式”工作模式服務的應用系統(表3)。雖然我國目前在這方面的技術相對落后，但是許多科研團隊對多元、異構的地學數據集成與共享也已經進行了深入研究與探討。

提供地理空間信息的查詢訪問有助于信息的共享和獲取。對全球8萬余次地震發生的分布圖(圖2)進行簡單的數據挖掘，可以發現地震活躍帶和板塊構造中各板塊的邊緣比較吻合，從圖中可以看到通過空間數據挖掘的計算結果和經驗判斷基本相符(繆謹勵，2014)。

表3　部分國家的地質空間數據挖掘技術系統

圖2　大數據研究實驗平臺實驗效果(據繆謹勵，2014)Fig.2　Experimental results of the experimental big data platform(after Miao, 2014)

2.3　地質大數據可視化技術

數據可視化是進行大數據分析的一個很重要的手段，可視化的目標是通過可視的方法提供新的洞察力以影響現有的科學方法(McCormick et al，1987)。可視化思維是個人通過探索數據的內在關系來揭示新問題，形成新觀點，進而產生新的綜合，找到新的答案并加以確認，而可視化交流是向公眾表達已經形成的結論和觀點。

大數據有利于簡化模型設計，豐富的數據為直接基于數據的建模提供了可能性，甚至有可能實現基于每個時空實體構建局部的實時、動態模型。地質體、地質現象及地質過程的可視化是為了更加直觀和真實的表達。對于專業人員，這有利于地質現象分析、科學計算、評價決策、工程設計等操作；對于普通人員，有利于理解晦澀難懂的專業知識(陳建國等，2012)。由于地質大數據的特殊性，其可視化的關鍵在于：(1) 海量三維數據體的存儲和快速調度；(2) 三維地質體數字化的快速建模技術；(3) 三維數字地質體的快速自由矢量剪切技術；(4) 三維數字地質體的局部快速動態更新技術；(5) 三維數字地質體的多樣化空間分析技術(吳沖龍，2011)。

目前，已有一些比較完善的三維地質建模軟件能夠實現多種數據三維綜合建模、顯示和分析等功能，如國外的 GOCAD、MVS、MicroStation、Surpac 等，國內的如QuantyView(GeoView)、GeoMo3D、Titan 3DM等。但這些建模方式仍然是靜態交互的，在大數據時代下的可視化技術將朝著自動化和交互性方向邁進。

3地質大數據面臨的挑戰

3.1　數據質量問題

高質量的數據是大數據發揮效能的前提和基礎，對大數據進行有效分析的前提是必須保證數據的質量。隨著整體數據量增加，其中含有誤差的噪聲數據量也隨之增加，如何制定地質大數據質量的標準要從無數次的經驗總結而來。數據質量問題貫穿始終，數據的來源、處理及使用，都應該隨時把握數據質量。在數據獲取階段，要保證數據定義的一致性、元數據定義的統一性；在處理階段，噪聲數據的去除、目標數據的最大化保留是實現高水平數據質量的基本保障；在存儲階段，應該根據地質大數據的特殊組成與結構，合理地設計數據存儲和使用規則，以方便對數據進行快速讀取。

我國對于地質大數據的研究水平還不高，對數據質量的重要性意識還比較淡薄，大數據方案的建設及應用在我國還不夠完善成熟，對于地質大數據存儲分析技術、數據管理方案等各項配套設施和制度還不完善，保證大數據的質量應該受到越來越多的關注。

3.2　云平臺搭建

地質行業的專業性較強，在數據量相對較少的情況下，數據的收集、存儲管理、算法研究等由專業人員進行即可，但在大數據時代，則需要多方面的協作，除了需要地質專業研究人員，還應配備高端的專業數據庫設計和開發人員、程序員、數學和統計學家，相互協作才能完成。在數據挖掘過程中，數據挖掘算法、系統設計工程、資源分配等是重點，但這多適合于專業技術人員，阻礙了數據挖掘的廣泛應用。地質大數據應用總體框架如圖3所示。云計算作為一種新興的計算模式，它隱藏了計算資源以及計算的執行過程，用戶不用考慮內部計算架構，就能通過瀏覽器或者應用程序界面提交計算任務或者服務請求，這大大增加了地質數據的使用效率，使地質數據攜帶的信息在相關應用領域創造更多價值。

圖3　地質大數據應用總體框架示意圖Fig.3　Sketch of overall framework for the application of geological big data

建設云計算平臺是一個涉及軟件資源、硬件資源管理、優化、分配等復雜的系統化工程。為了搭建地質云計算平臺，至少需要解決如下關鍵問題：(1) 明確地質大數據的應用目的；(2) 在已有軟硬件資源的基礎上,基于虛擬化技術研究并搭建云存儲模式，實現地質大數據的合理組織；(3) 搭建服務虛擬化的地質云計算平臺，給出服務管理、搜索調用機制；(4) 通過不同粒度的數據服務和計算服務來實現對地質大數據的訪問，并發布這些服務。

目前，ESRI、GIS Cloud等已經開始研究將GIS遷移到云計算環境中，初步形成了提供GIS數據和服務的云GIS平臺。

4結論

我國幅員遼闊，地質環境復雜，地質數據量巨大。有效地利用這些數據成為越來越重要的問題。隨著大數據時代的來臨，應積極尋求解決問題的方法，使其適應信息化社會和知識經濟時代的要求，發揮地質大數據潛在知識的價值，提升新時期地質行業的創新服務能力。作為當今最受矚目的對象，大數據的出現并不是一蹴而就的。數據量由GB增長到TB、ZB……是人類需求不斷增加的結果。在這些蘊藏著規律的海量數據中，價值無法估量。

地質大數據對于城市規劃、建設、安全等方面有著十分重要的意義，對于城市環境和防災減災工作十分重要，利用地質基礎數據能夠進行選址適宜分析、地下空間分析等，動態監測數據提供了自然變化和人為工程對地質環境影響的監測結果，模擬分析數據可以客觀模擬災害發生時的情景，預警案例數據則可以為防災減災預警工作提供數據支撐(王少勇， 2014)。

在大數據時代，從海量地質數據的存儲管理到地質知識發現，并通過智能化處理平臺服務于用戶，滿足用戶日益增長的需求，對于地質大數據的管理應用將發生深刻變化。地質數據的數字化是基礎，最終是為了實現信息化，創新開展知識管理和知識服務，發揮地質大數據潛在的知識價值，提升新時期地質大數據管理水平與創新服務能力，這也是適應當今信息化社會和數字化時代的必然要求。

參考文獻：

陳建國，肖敦輝，梁玉輝，等.2012.重磁三維可視化反演系統的設計與實現[J].地質學刊，36(3):250-255.

何翠云.2013.廣西礦產資源潛力評價數據特征[J].地質學刊，37(3):451-455.

李四光.1973.地質力學概論[M].北京：科學出版社.

李德仁，王樹良.2002.論空間數據挖掘和知識發現的理論與方法[J].武漢大學學報：信息科學版，27(3)：221-233.

劉光鼎.2002.回顧與展望：21世紀的固體地球物理[J].地球物理學進展，17(2)：191-197.

雷志強.2011.加強地質災害防治，構建生態城市環境[J].地質學刊，35(1):104-108.

李國杰，程學旗.2012.大數據研究：未來科技及經濟社會發展的重大戰略領域：大數據的研究現狀與科學思考[J].中國科學院院刊，27(6)：647-657.

繆謹勵.2014.地學大數據技術研究實驗平臺GeoBDA[J].地理信息世界，21(6)：48-52.

孫磊，張彥杰，李豐丹，等.2010.數字地質調查系統空間數據庫建庫技術方法應用：以1∶5萬瑤里幅地質圖空間數據庫制作為例[J].地質學刊，34(3)：260-270.

吳沖龍.2011.地質數據三維可視化的屬性、分類和關鍵技術[J].地質通報，30(5)：642-649.

王少勇.2014-12-22.迎接地質大數據時代[N].中國國土資源報，(1).

於崇文，岑況，鮑征宇，等.1993.熱液成礦動力學[M].湖北武漢：中國地質大學出版社.

陰江寧，肖克炎，汪新慶，等.2013.中國稀土礦產資源定量分析與預測[J].地質學刊，37(3)：378-381.

趙鵬大.2012.數字地質與礦產資源評價[J].地質學刊，36(3)：225-228.

AGRAWAL R, SHARFER J.1996.Prarallel mining of association rules[J].IEEE Trans on Knowledge and Data Engineering, 8(6):962-969.

CHEUNG D W , NG V T,FU A W, et al.1996.Efficient mining of association rules in distributed database[J].IEEE Trans on Knowledge and Data Engineering, 8(6)：911-922.

Executive Office of the President.2012-03-29.Big data across the federal government[EB/OL].http://www.whitehouse.gov/sites/default/files/microsites/ostp/big_data_fact_sheet_final_1.pdf.

MCCORMICK B H, DEFANTI T A, BROWN M D.1987.Visualization in scientific computing[J]. Computer Graphics,12(6):1103-1109.

MANYIKA J,CHUI M,BROWN B, et al.2011.Big Data：the Next Frontier for Innovation, Competition, and Productivity[R].Washington,DC,USA: McKinsey Global Institute.

Analysis and application mode of geological big data

LI Chao-kui1， YAN Wen-ying1， XIAO Ke-yan2， ZHAO Ya-nan1

(1. National-Local Joint Engineering Laboratory of Geo-Spatial Information Technology, Hunan University of Science and Technology, Xiangtan 411201, Hunan, China; 2. Institute of Mineral Resources,Chinese Academy of Geological Sciences, Beijing 100037, China)

Abstract：In the era of big data, there are many ways to obtain geological data. The amount of data is very large, and the formats are complex and diverse. This paper illustrates the key points of analysis and application from the aspects of the storage and management of geological data, data mining technology and visualization technology. We also introduce the different analysis thinking of big data, and emphasize the importance of focusing on the data. In the technology innovation, there are also challenges, such as how to ensure the accuracy of geological big data, and how to build a cloud platform. The development of geological big data is of great significance for the prediction of mineral resources and selection of urban location.

Keywords：geological big data; storage management; data mining; visualization; cloud platform