海洋地球物理數據庫設計與實現

崔愛菊, 王建村, 蘇天赟

(1.國家海洋局 第一海洋研究所, 山東 青島 266061; 2.國家深海基地管理中心, 山東 青島 266061)

近幾十年來, 國家有關部門投入了大量的人力、物力和財力, 在中國海域和鄰近大洋地區相繼開展了多次大規模的海洋地球物理調查工作, 獲得了大量珍貴的基礎資料。但是, 海洋地球物理數據與其他海洋專業數據相比, 有著數據類型繁多、格式復雜和數據量大等特點, 為海洋地球物理數據的有效管理和共享提出了挑戰。經過長期的探索與實踐, 許多海洋地學數據庫和數據中心已經建立, 并且為海洋科研和工作人員提供便捷、高效的數據共享服務, 如美國NGDC的Marine Geology & Geophysics數據庫、英國斯科特極地研究所的極地與冰川數據庫等。

目前, 已建成或正在建設的海洋科學數據庫主要是基于業務信息(如項目、航次等)對海洋專業要素進行組織和管理, 而專業要素的空間特征則作為屬性信息分別存儲在各個相關的數據表中, 強調數據的最小冗余度和最大一致性約束, 并沒有建立空間索引機制。這種數據庫雖然能夠滿足基于屬性信息的海洋專業要素查詢和共享的應用需求, 但是當基于空間特征對海洋綜合信息進行空間檢索、分析和可視化表達等功能時, 系統效率會明顯降低, 甚至無法滿足應用需求。空間數據倉庫能夠實現對分散的、各自獨立的包含空間信息的數據集進行統一集成和管理, 形成統一空間標準(如坐標系統、投影方式、比例尺等)和空間索引機制, 支持面向主題的大數據量的空間分析和空間數據挖掘等操作[1-2]。經過10多年的發展, 空間數據倉庫的相關理論和技術得到了蓬勃的發展, 并且已經出現了一些成熟的空間數據倉庫產品, 如美國 ESRI公司的 ArcSDE、美國MapINFO公司的 SpatialWare、美國 Microsoft公司的 TerraServer等, 從而促使空間數據倉庫在眾多領域展開研究、示范和實質性應用[3-11]。

本文面向海洋地球物理數據管理和共享的應用需求, 對海洋地球物理數據庫進行設計, 開發和實現了適合于海洋科學研究和海洋資源勘探開發等工作的海洋地球物理綜合數據庫系統。

1 海洋地球物理數據

根據調查方法, 海洋地球物理數據可以劃分為導航定位、水深探測、側掃聲吶探測、淺地層剖面探測、海洋地震勘探(單道、多道或OBS)、海洋重力探測、海洋磁力探測、海底熱流探測等數據。另外, 根據調查和研究階段的不同, 海洋地球物理數據又可以劃分為原始數據(Raw Data)和二次數據(Secondary Data)。具體內容及類型如圖1所示。

2 海洋地球物理數據庫設計

2.1 數據庫總體設計

海洋地球物理數據庫主要包括3部分: 元數據庫、基礎數據庫和空間數據倉庫。元數據管理是構建、管理、維護和使用數據庫和數據倉庫的核心部件[2], 元數據庫主要對基礎數據庫和空間數據倉庫中的數據進行描述和管理, 便于系統對數據的檢索和獲取; 基礎數據庫主要存儲和管理海洋地球物理調查與研究過程中獲得的基礎數據和產品; 空間數據倉庫主要根據一定的應用主題, 從基礎數據庫中進行數據提取、清洗和再組織, 基于空間特征對各專業數據要素進行管理, 為面向網絡的空間信息提取和表達提供必要的支持。

圖1 海洋地球物理數據分類Fig.1 The classification of marine geophysical data

2.2 元數據庫設計

海洋地球物理元數據需要對數據庫的內容、質量、條件和其他特征進行描述和說明, 從而幫助用戶有效地定位、評價、比較、獲取和使用其綜合數據。目前我國海洋領域不同學科或項目為了滿足特定應用需求都制定了自己的元數據標準。為了確保系統的兼容性, 主要依據現有成熟的國際海洋元數據標準(如 FGDC[12]、Dublin Core 等), 同時參考了我國“海洋信息元數據標準”, 對元數據的核心要素進行了確定。設計并制定適合于海洋地球物理數據庫的元數據標準體系, 對基礎數據庫和空間數據庫中的數據集進行描述和管理。

2.3 基礎數據庫設計

海洋地球物理基礎數據庫主要以調查任務(項目)為紐帶, 以調查專業和方法為類別, 參考國內外海洋地質環境數據庫標準和規范, 對海洋地球物理基礎數據庫結構進行設計。建模語言采用基于面向對象技術的UML(Unified Modeling Language), 統一了面向對象建模的基本概念、術語及其圖形符號, 可以方便地分析和描述對象之間的各種關系(圖2)。

2.3.1 全局分類

對工作流程以及數據內容進行整理和分析, 首先從全局上對數據對象進行抽象和分類。海洋地球物理數據總體上可以劃分為基礎信息、專業信息以及文檔資料三類。其中, 基礎信息包括項目、調查航次、站位、測線等信息, 這些信息是專業信息的基礎,也是元數據的重要組成部分; 專業信息包括: 水深測量、海底地貌探測、淺地層剖面勘測、單道或多道地震勘探、重力場和磁力場調查等數據; 文檔資料主要包括項目合同、實施方案、航次計劃、航次報告、航海日志、資料處理報告、研究報告、驗收報告以及相關圖件等。

2.3.2 逐步細化

根據全局分類的結果, 針對每一類局部的數據對象進行逐步細化, 確定數據對象的屬性和相互之間的關系, 并向數據庫管理系統所支持的關系模式(即數據庫關系表)進行映射, 確定關系模式的屬性和碼, 用于數據庫的創建工作。數據對象向數據庫關系表的映射應注意以下問題: (1)每一個對象類映射為一個關系模式, 即數據庫中的關系表(Table), 實體的屬性就是關系表的屬性字段(Field), 實體的碼就是關系表的關鍵字; (2)聯系集(一對一、一對多以及多對多)的映射可以映射為一個表[13], 也可以在對象類表間定義相應的外鍵進行關聯; (3)當數據實體之間是繼承(分為父類和子類)的關系時, 可以對父類、子類分別映射表, 也可以不定義父類表而讓子類表擁有父類屬性, 反之, 也可以不定義子類表而讓父類表擁有全部子類屬性; (4)對映射后的庫表進行冗余控制調整, 使其達到合理的關系范式。設計后的數據庫結構如圖2所示。

2.4 空間數據倉庫設計

海洋地球物理數據中包含大量的空間信息, 這些空間信息對于數據的空間統計分析和可視化表達具有重要的應用價值。空間目標除了具有最基本的空間坐標位置(x,y)信息之外, 還具有與之相關的屬性信息, 同時空間目標之間還具有特殊的空間關系——空間拓撲關系。為了滿足對海洋地球物理空間數據進行分析和可視化表達的應用需求, 需要基于空間特征對空間目標進行設計、組織和管理, 進一步對空間目標之間的拓撲關系進行定義, 創建合理的空間索引機制。在實現空間數據存儲和管理的同時, 為空間分析和可視化表達等應用提供高效的空間數據支持。

圖2 邏輯結構圖(基礎數據表)Fig.2 Logic structure diagram (Basic data table)

2.4.1 空間數據引擎

本文主要利用了數據庫管理系統 ORACLE和ESRI公司開發的空間數據引擎 ArcSDE, 為海洋地球物理空間數據倉庫提供空間數據存儲、查詢與管理解決方案, 保障了數據庫具有較高的存儲效率和完整性。其中, ORACLE負責在關系表中存儲數據,ArcSDE則為前端的GIS應用服務器解釋數據庫表中的數據。

2.4.2 空間數據存儲結構

海洋地球物理空間數據倉庫在設計上, 主要依照 ArcSDE提供的空間數據管理的技術方案[14], 通過矢量和柵格兩種數據結構來實現空間數據的管理和表達。基于柵格的空間模型主要用來表達分布連續的空間對象, 把空間看作像元的劃分, 像元的大小表示空間對象的分辨率, 每個像元的值都與所包含的空間對象的一個屬性記錄有關, 如水深、重力場值等; 基于矢量的空間模型主要用來表示離散的空間要素個體, 由點、線和面來描述空間要素, 有一個或多個(x,y)坐標來表示, 可以較好地表達空間要素之間的拓撲關系。

2.4.2.1 矢量數據組織結構

海洋地球物理空間數據倉庫主要以層(Layer)的方式來管理地理數據。具有共同屬性項的一類要素可以放到同一層中, ArcSDE為數據庫中各層建立了格網(Grid)索引。格網索引是將層從邏輯上分成一個個小塊, 稱為單元(cell)。層中的要素則分解到各單元中加以描述, 并將此描述信息寫到索引表中。落到多個單元上的要素將在每個單元對應的索引記錄中加以描述, 沒有數據的單元不包括在索引表中。

ArcSDE將空間要素數據分別存儲在業務表、要素特征表和空間索引表中, 其中, 業務表主要存放空間要素的屬性信息, 對于屬性信息比較復雜的空間要素, 則通過 ID標識與外部關系屬性表關聯; 要素特征表以二進制形式存放要素的地理坐標、高程、拓撲關系等空間信息; 空間索引表主要存儲要素類的索引格網和封裝邊界, 為空間數據提供優化的索引機制, 從而有效地降低空間查詢所需的時間。業務表和要素特征表實現統一的關鍵就是要素的ID標識碼。矢量數據組織結構如圖3所示。

圖3 矢量數據組織結構Fig.3 Organization structure of vector data

2.4.2.2 柵格數據組織結構

海洋地球物理空間數據倉庫可存儲管理多種格式的柵格數據層, 主要有GRID、TIFF 6.0 GeoTIFF、ESRI ASCII GRID、MrSID等格式的數據, 這些數據主要通過空間數據引擎和數據庫管理系統(DBMS)按照統一格式進行存儲, 以便于管理與訪問。柵格數據的存儲過程如圖4所示, 具體的存儲方式有3種。

分塊存儲: 在將柵格數據加載到基于 ArcSDE的數據庫中時, SDE將整個柵格數據分割成N×M像素大小的柵格塊(Tile), 每個 Tile對應于 raster block表中的一條記錄, 而這N×M個像素的值則以二進制大對象(BLOB)格式存儲在該表的 Block_data字段中。

圖4 柵格數據的存儲過程Fig.4 The storing procedure of Raster Datasets

壓縮存儲: 在存儲柵格數據時, 針對不同的應用需求, 采用不同的壓縮算法對圖像進行壓縮。對于那些像素值很重要的數據, 如分類數據或用于分析的數據來說, 采用無損壓縮算法(如 LZSS)來進行壓縮存儲, 而對于像素值不是很重要的數據則可以采用有損壓縮算法(如JPEG)來進行壓縮存儲。

金字塔結構: 通過 ArcSDE將柵格數據生成金字塔結構進行存儲。金字塔是柵格數據的一組逐級降低分辨率的“拷貝”, 空間數據引擎(SDE)根據用戶的需求確定能夠在客戶端窗口上顯示柵格數據的最佳分辨率, 從而把相應的金字塔分塊傳輸給客戶端,從而提高柵格數據的顯示效率和速度。

3 系統實現

本文采用 ORACLE數據庫管理系統和ArcSDE空間數據引擎, 開發實現了基于C/S和B/S架構的海洋地球物理數據庫系統。C/S架構的海洋地球物理數據庫系統(圖5)重點針對海洋地球物理元數據和基礎數據, 提供了便捷、友好的數據錄入、編輯、自定制格式批量導入、數據查詢和下載等功能, 使用戶能夠方便、快捷地將數據錄入到數據庫, 并且對數據進行檢索和共享。B/S架構的海洋地球物理數據庫系統(圖6)重點基于海洋地球物理空間數據倉庫, 通過網絡瀏覽器(如Internet Explorer、360瀏覽器、FireFox、Chrome等)提供基于電子地圖的數據瀏覽、檢索和下載等服務[15], 使用戶不必安裝任何軟件即可實現直觀、便捷的海洋地球物理數據的瀏覽和共享。

該系統在“我國近海海洋綜合調查與評價”專項海洋地球物理調查過程中進行了應用實踐, 能夠對獲得到的海洋地球物理綜合信息進行統一管理, 并且可以向用戶提供便捷、直觀的數據瀏覽和共享服務, 提高了數據的使用效率。

圖5 C/S架構的海洋地球物理數據庫系統Fig.5 Marine geophysics database system in C/S architecture

圖6 B/S架構的海洋地球物理數據庫系統Fig.6 Marine geophysics database system in B/S architecture

4 結論

本文面向海洋地球物理調查和研究工作的應用需求, 在對海洋地球物理數據進行分類整理的基礎上, 對海洋地球物理數據庫進行設計, 并開發實現了C/S架構和B/S架構的海洋地球物理數據庫系統。應用實踐表明, 該系統能夠面向多源、異構、海量的海洋地球物理綜合數據提供統一管理、直觀瀏覽和便捷共享等服務, 提高了數據的使用效率, 滿足海洋調查、科研、管理等工作的需求。同時, 海洋地球物理數據庫系統的開發和實現, 也為其他海洋學科數據的管理和共享提供了借鑒, 為我國“數字海洋”數據管理平臺的建設進行了有益的嘗試。

[1]鄒逸江.空間數據倉庫研究綜述[J].測繪學院學報,2002, 19(4): 287-289.

[2]陳述彭, 魯學軍, 周成虎.地理信息系統導論[M].北京: 科學教育出版社, 2000.

[3]李振華, 胡光道, 王淑華.一個地學數據倉庫的初步設計與實現[J].地質與勘探, 2002, 38(5): 67-70.

[4]劉展, 李津, 楊作升, 等.適于“數字海底”的GIS數據倉模型初探[J].西安石油大學學報(自然科學版), 2004, 19(1):77-81.

[5]于煥菊, 謝傳節, 李云嶺, 等.中國華北地區地震空間數據倉庫的構建與分析[J].地球信息科學, 2006,8(3): 88-93.

[6]Pecar-Ilic J, Ruzic I.Application of GIS and Web technologies for Danube waterway data management in Croatia[J].Environmental Modelling & Software, 2006,21(11): 1562-1571.

[7]Nilakanta S, Scheibe K, Rai A.Dimensional issues in agricultural data warehouse designs [J].Computers and Electronics in Agriculture, 2008, 60(2): 263-278.

[8]Zhou W, Chen G, Li H, et al.GIS application in mineral resource analysis-A case study of offshore marine placer gold at Nome, Alaska[J].Computers &Geosciences, 2007, 33(6): 773-788.

[9]Rai A, Dubey V, Chaturvedi K K, et al.Design and development of data mart for animal resources[J].Computers and Electronics in Agriculture, 2008, 64(2): 111-119.

[10]蘇天贅, 崔愛菊, 梁瑞才, 等.海洋地球物理空間數據倉庫系統的設計與實現[J].地球物理學進展, 2011,26(4): 1478-1484.

[11]張明華, 黃冬梅, 熊中敏, 等.多源異構海量海洋數據綜合管理平臺構建研究[J].海洋科學, 2012, 36(2):110-115.

[12]FGDC-STD-001-1998, Content standard for digital geospatial metadata ( Revised June 1998 ) [ S ].

[13]周立柱, 張志強, 李超, 等譯.數據庫管理系統[M].北京: 清華大學出版社.2004.

[14]Robert W.Understanding ArcSDE[M].Redlands: ESRI Press, 2001: 5–6.

[15]周林, 劉海行, 宋轉玲, 等.基于 WebGIS技術的PANDA斷面海洋主題數據庫系統可視化查詢的設計與實現[J].海洋科學, 2009, 33(5): 86-91.