成玉良,蘇程,章孝燦
(浙江大學 空間信息技術研究所, 浙江 杭州 310027)
面向西南印度洋多源科考數據的可擴展管理系統
成玉良,蘇程,章孝燦
(浙江大學 空間信息技術研究所, 浙江 杭州 310027)
為了使科考數據的存儲和管理適應未來科學考察動態化、多樣化發展的需要,在全面分析多源科考數據特點的基礎上,結合成熟的數據庫管理系統SQL Server以及空間數據庫引擎ArcSDE,對多源科考數據的存儲組織結構和可視化管理進行了分析和研究,提出了一套多源科考數據管理方案.設計并實現了西南印度洋多金屬硫化物科學考察數據管理系統,該系統主要由多源科考數據的統一存儲管理和可視化空間操作等功能模塊組成,具有良好的適應性和擴展性,可滿足實際應用需求.
西南印度洋;多源科考數據;空間數據庫引擎;數據庫管理系統
海洋是世界上最大的水體地理單元,約占地球表面積的71%.海洋蘊藏著極為豐富的礦產資源,合理開發和利用這些資源,對世界各國的可持續發展有著重要意義[1].隨著科學技術的不斷發展以及海洋開發投入力度的加大,先進的科考設備及多樣化的科考手段被應用于大洋科學考察,科考過程中將產生新的具有不同數據格式的科考數據,同時隨著科考的不斷深入,數據量日益龐大,加之數據復雜、格式不同,對科考數據的動態、高效管理提出了挑戰.因此,如何通過計算機高效地管理科考數據,同時方便工作人員快捷使用,提高科考作業效率,是科考研究中十分重要且亟待解決的關鍵問題之一.
隨著“數字海洋”的發展,先進的空間信息技術已應用于海洋數據的存儲和管理,提高了科學考察數據的利用率,統一存儲和管理不同來源、不同格式的綜合科考數據,使其更好地為海洋科學研究和海洋資源開發服務.國內外不少學者針對海洋科考數據及空間數據的存儲和管理進行了深入研究,開發數據管理系統以存儲和管理已有的空間數據[2-10],但是這些數據管理系統只能存儲和管理一種或多種特定格式的科考數據,無法存儲和管理未來科考過程中新增的具有不同格式的科考數據,唯有修改現有系統源代碼,發布新系統,進而存儲和管理新增的科考數據.為此,不少學者對空間數據可視化管理進行了深入研究,通過將空間數據轉換成空間對象,采用GIS手段實現空間數據的可視化管理[11-19].但是,這些可視化管理系統均人為地將特定數據類型的空間數據轉換成相應的具有空間索引的空間對象,其轉換規則不適合系統中新增的不同類別的空間數據.因此,現有的空間數據管理系統尚難適應未來科學考察的需要,同時系統改造和擴展的空間有限,且成本高昂.
針對上述問題,筆者提出了一種多源科考數據可擴展管理及可視化管理方法,此方法可解決因科考數據的格式不確定所引起的系統適應性和擴展性差等問題.設計了西南印度洋多源科考數據管理系統,以實現對不同數據格式的多源科考數據統一高效的存儲和管理,以及便捷豐富的可視化空間操作,同時可減少系統的開發與維護成本,滿足實際應用需求.
大洋科學考察是一項長期、艱苦、高投入的工作,涉及不同學科、不同領域.隨著科考的不斷深入以及科學技術的不斷發展,科考數據量日趨增長,同時科考過程中將會融入新的具有不同數據格式的數據類別.具有如下特點:
(1)寶貴性.大洋科考是一項技術密集型科學考察研究,周期長、難度大,需要耗費大量的財力和物力.同時,科考數據及海底資料是科學考察的直接成果和階段產品,是未來科研活動的重要基礎,對于科學研究的可持續發展具有重要意義[20].
(2)多源性.大洋科考是一項多學科多研究手段的科學考察研究.學科方面,主要包括地質構造、地球物理、地球化學等;研究手段方面,主要包括地質地貌探測、構造地質探測、活動區熱液異常探測、定點采樣等[21].大洋科考數據的主要來源為不同設備的探測數據、工作人員的觀測數據以及實驗采樣的分析記錄數據等.
(3)海量性.大洋科考是一項持續、長久的科學考察研究.自2005年“大洋一號”科考船首次進行環球科考以來,我國大洋協會已組織了34航次的科學考察研究,并且大洋科考研究仍在不斷向前推進.隨著科學考察研究的進行,探測設備獲得的探測數據和工作人員的觀測數據是海量的,同時隨著采集樣本的不斷增多,實驗中積累的分析數據也是海量的.
(4)復雜性.大洋科考是一項涉及多種學科領域,集多種科考手段于一體的復雜的科學研究.不同學科、不同研究手段獲取的科考數據類別和數據格式差異較大,復雜度不一.
(5)動態性.隨著人們對海洋認知的不斷深入和科技水平的不斷提升,新的科考設備和科考手段將不斷加入到科學考察中,以更全面、深入地了解和研究海洋,然而這些新的科考設備和手段將不斷產生新的具有不同數據格式的科考數據.
2.1 多源科考數據可擴展管理方法
多源科考數據具有寶貴性、多源性、海量性、復雜性和動態性.因此,為了有效存儲和管理多源科考數據,須采用一種合理高效的方法解決多源科考數據存儲和管理難問題.
通過對科考過程的深入研究和對已有49種科考數據類別的充分分析知,盡管科考數據類別眾多,數據結構差異較大,但其包含的屬性數據主要為探測信息、時間信息、分析信息、描述信息,以及附件信息中的一種或多種.這些數據信息所對應的數據格式主要為數值型、時間型、文本型和二進制流型.不同類別的科考數據實質上其包含的數據項的個數、名稱、類型以及約束條件不同.當系統增加新的科考數據時,用戶只需設定該科考數據中每一數據項的名稱、類型以及約束條件(見圖1).當用戶進行科考數據錄入操作時,系統會自動檢測各數據項值的合法性(即是否滿足數據項的約束條件),并自動將各數據項的值一一對應地存儲于數據庫中(見圖2),完成從科考數據格式的自定義到數據錄入的新增科考數據操作過程.以“淺鉆采樣”為例,完整的數據格式包括數值型(長度、深度、重量等)、時間型(入水時間、著地時間等)、文本型(樣品描述等),如圖3所示.一個完整的科考數據就是將每一個特定數據格式的數據項動態可擴展式地組合在一起,以實現對多源科考數據的可擴展管理.

圖1 科考數據格式自定義流程圖Fig.1 Flow chart of expedition custom data formats

圖2 科考數據錄入流程圖Fig.2 Flow chart of expedition data input

圖3 “淺鉆采樣”科考數據記錄表Fig.3 “Shallow drilling”expedition data record table
基于數據自定義存儲的多源科考數據可擴展管理方法可以合理高效地存儲和管理多源科考數據.針對每種類型的科考數據,用戶無須事先手動創建科考數據屬性記錄表,在科考過程中可借助系統自動創建相應的滿足當前科考數據的屬性記錄表,同時可按需調整已有科考數據屬性記錄表的數據庫存儲結構,具有較好的擴展性和適應性,由此可降低系統開發和后續維護成本,提高系統的開發效率.
2.2 多源科考數據可視化管理方法
基于數據自定義存儲的多源科考數據可擴展管理方法有效解決了由于科考數據的格式不確定所引起的系統適應性和擴展性差等問題.然而,為了滿足工作人員豐富高效的空間操作需求,需要將具有空間屬性的原始科考數據的屬性數據顯示在地圖上.由于地圖只可顯示具有空間索引的空間對象信息,因此需借助空間數據地理抽象手段,將原始科考數據抽象成具有空間索引的空間對象,再進行地圖的顯示與空間操作.傳統的空間數據地理抽象方法是人為地將具有空間屬性的數據與空間對象逐一關聯.但是,科考數據具有多源性,采用傳統方法將消耗巨大的時間成本,嚴重影響系統的開發進度,如果借助于獨立的第3方工具,將增加系統使用的復雜度和耦合度.另一方面,科考數據具有動態性,系統中存儲的科考數據的數據庫結構由用戶自定義生成,無法事先確定相應的空間索引,亦無法統一有效地將具有空間屬性的科考數據抽象成相應的空間對象.
自動地理抽象是自動地將具有空間屬性的原始數據抽象成相應的點、線、面的空間對象.當工作人員自定義科考數據的數據庫表結構時,需要指定當前類別的科考數據是否具有空間屬性信息,如有,則在數據庫相應的數據表結構中插入對應的存儲空間屬性的數據庫表的字段.當工作人員進行自動地理抽象時,系統可自動提取科考數據屬性記錄表中對應的空間屬性信息,并抽象成具有空間索引的空間對象.
基于自動地理抽象的多源科考數據可視化管理方法,可以統一有效地將具有空間屬性信息的原始科考數據屬性記錄抽象成具有空間索引的空間對象.用戶可以通過空間索引對相應的地理抽象后生成的空間對象進行屬性查看、空間檢索等基于地圖的空間操作.多源科考數據可視化管理方法滿足了科考數據空間顯示、空間檢索等空間操作需求,為多源科考數據可視化子系統完成了數據上的準備工作.
3.1 系統實現
基于.Net平臺,采用B/S架構,設計與開發了西南印度洋多源科考數據管理系統,采用先進的數據庫管理系統SQL Server和空間數據庫引擎ArcSDE存儲和管理多源科考數據,同時利用ArcGIS Server可視化組件實現多源科考數據的可視化空間操作.
3.1.1 科考數據自定義存儲
本文的數據庫采用SQL Server提供的數據表空間管理模式,將各個類別的多源科考數據存儲在不同的數據表空間,對多源科考數據進行分類存儲和管理(見圖4).通過自定義不同屬性數據庫的數據表結構,實現科考數據自定義存儲,可有效存儲和管理不同類別的科考數據.

圖4 多源科考數據庫表空間分類Fig.4 The spatial classification of multi-source expedition data
3.1.2 科考數據自動地理抽象
結合先進的數據庫管理系統SQL Server和空間數據庫引擎ArcSDE完成多源科考數據的自動地理抽象,將保存科考數據的屬性數據庫抽象成對應的具有空間對象的空間數據庫(見圖5).空間對象具有點、線、面形式,并且科考數據可能包含點屬性、線屬性、面屬性中的一個或多個屬性信息.系統自動地理抽象時,需要事先獲取對應的點、線、面的自動地理抽象順序,并選擇需要地理抽象的科考數據屬性表.

圖5 屬性數據庫到空間數據庫的地理抽象Fig.5 Geographic abstraction of attribute database to spatial database
3.1.3 科考數據空間操作
ArcGIS Server是用于構建集中管理、支持多用戶的企業級GIS應用平臺.本文基于ArcGIS Server組件,將科考數據自動地理抽象生成的空間對象以圖層的形式疊加顯示在地圖上,以實現多源科考數據的可視化空間操作.
3.2 系統應用
系統已應用于西南印度洋多金屬硫化物科學考察數據管理項目,為該項目的科考數據存儲管理以及可視化空間操作提供服務(見圖6和7).實踐證明,西南印度洋多源科考數據管理系統能夠合理、高效、統一地存儲和管理多源科考數據,讓工作人員能更加方便、快捷地對多源科考數據進行可視化空間操作,從而很好地適應和滿足了未來科考發展的需求.

圖6 西南印度洋多源科考數據管理系統科考數據(沉積物)錄入/查看功能界面Fig.6 Scientific data(sediment) entry/view function interface of multi-source expedition data management system of southwest Indian Ocean

圖7 西南印度洋多源科考數據管理系統的空間操作主界面Fig.7 Space operation main interface of multi-source expedition data management system of southwest Indian Ocean
在全面深入地分析多源科考數據特點的基礎上,研究了多源科考數據的存儲和可視化方法,結合先進的數據庫存儲技術和空間信息管理技術,提出了一套多源科考數據管理方案,實現了對大洋科考多源數據的統一存儲和管理以及可視化空間操作.將本文研究的多源科考數據管理方案應用于西南印度洋多金屬硫化物科學考察數據管理系統中,統一組織和管理沉積物、硫化物等不同類別的科考數據,適應了不同數據格式的要求,同時采用自動地理抽象方法將屬性數據抽象成空間對象,實現了多源科考數據的可視化空間操作.結果表明,多源科考數據管理系統具有良好的適應性和擴展性,滿足了實際項目以及未來科學考察發展的需要,可為海洋資源的合理保護和開發提供服務.
[1] 蘇天赟,劉保華,翟世奎,等.“數字海底”數據庫:海底多源綜合數據的集成與管理方法研究[J].海洋科學進展,2005,23(4):504-505. SU T Y, LIU B H, ZHAI S K, et al. Digital seabed database: Study on integration and management method for multisource and comprehensive seabed datas[J]. Advance in Marin Science,2005,23(4):504-505.
[2] BOTHA I,VELICANU A,BARA A. Integrating spatial data with object relational-database[J]. Journal of Database Systems,2011(1):33-42.
[3] BASU A. Development of a marine information system for various data analysis and data integration in the Hawaiian exclusive economic zone[J]. IEEE Oceans,1995,18(1):146-153.
[4] 崔愛菊,王建村,蘇天赟.海洋地球物理數據庫設計與實現[J].海洋科學,2015,39(3):116-121. CUI A J,WANG J C,SU T Y. Design and realization of marine geophysical database [J]. Marin Science,2015,39(3):116-121.
[5] 吳明光,陳四清.一種基于RDBMS的面向對象空間數據模型[J].測繪科學,2006,31(5):137-139. WU M G, CHEN S Q. A new object-oriented spatial data model based on RDBMS [J]. Science of Surveying and Mapping,2006,31(5):137-139.
[6] 蘇天赟,劉保華,梁瑞才,等.基于ORACLE的渤海工程地質數據庫結構的分析和設計[J].海洋科學進展,2003,21(1):60-67. SU T Y, LIU B H, LIANG R C, et al. Analysis and design of ORACLE-Based engineering geology database structure for the Bohai sea [J]. Advances in Marine Science,2003,21(1):60-67.
[7] 沈敬偉,周延剛,溫永寧,等.基于面向對象數據庫的空間數據管理[J].西南大學學報:自然科學版,2013,35(4):132-137. SHEN J W, ZHOU Y G, WEN Y N, et al. On spatial data management based on object-oriented database [J]. Journal of Southwest University:Natural Science Edition,2013,35(4):132-137.
[8] 張勇,楊作升,劉展,等.渤海區域地質信息管理系統數據模型[J].海岸工程,2002,24(4):76-81. ZHANG Y, YANG Z S, LIU Z, et al. Data model for the Bohai Sea geologic information management system[J]. Coastal Engineering,2002,24(4):76-81.
[9] 薛惠芬,張義鈞.海洋資料基礎數據庫模式設計技術[J].海洋信息,2003(2):1-4. XUE H F, ZHANG Y J. Design techniques of marine information database model[J]. Marine Information,2003(2):1-4.
[10] 刁明光,薛濤,李建存,等.基于地址信息元數據標準的多源空間數據管理系統[J].國土資源遙感,2013,25(1):165-170. DIAO M G, XUE T, LI J C, et al. The multi-source spatial data management system based on geological information metadata standard [J]. Remote Sensing for Land & Resources,2013,25(1):165-170.
[11] 張政民,薛榮俊,蘇天赟,等.ArcSDE在數字海底系統中的應用[J].海洋技術,2004,23(2):64-67. ZHANG Z M, XUE R J, SU T Y, et al. Application of ArcSDE to the digital seabed system[J]. Ocean Technology, 2004,23(2):64-67.
[12] 韓富江,張濟博,田雙鳳,等.基于ArcSDE的浙江省海島信息管理系統設計與研究[J].測繪與空間地理信息,2014,37(12):90-92. HAN F J,ZHANG J B, TIAN S F, et al. Design and implementation of island management information system in Zhejiang Province based ArcSDE [J]. Geomatics & Spatial Information Technology, 2014,37(12):90-92.
[13] 陳昌生,許文波,趙健.基于ArcSDE的衛星遙感影像數據庫研究[J].計算機技術與發展,2010,20(7):80-88. CHEN C S, XU W B, ZHAO J. Research on remote sensing image database based on ArcSDE [J]. Computer Technology and Development,2010,20(7):80-88.
[14] 馮旭祥,李安,陳俊.基于ArcSDE與WebGIS的衛星數據管理與檢索系統研究與實現[J].遙感信息,2010(1):39-43. FENG X X, LI A, CHEN J. Research and implementation of satellite data management and query system using ArcSDE and WebGIS [J]. Remote Sensing Information,2010(1):39-43.
[15] 黃金權,李忠武,曾光民,等.基于SQLServer+SDE的綜合農業環境數據庫建設機制研究優化[J].中國農業科技導報,2010,12(2):86-92. HUANG J Q, LI Z W, ZENG G M, et al. Studies on optimization of constructing an integrated agro-environmental database mechanism based on SQL Server+SDE [J]. Journal of Agricultural Science and Technology, 2010,12(2):86-92.
[16] 尹芳,諸云強,張金區,等.科學考察空間數據WebGIS信息發布及可視化研究[J].計算機工程與設計,2011,32(7):2336-2339. YIN F, ZHU Y Q, ZHANG J Q, et al. WebGIS publishing and visualizing of spatial data in scientific expedition [J]. Computer Engineering and Design, 2011,32(7):2336-2339.
[17] 王翔,陳建平,范海明,等.基于3D WebGIS月球地質空間數據管理系統[J].地學前緣,2014,21(6):31-37. WANG X, CHEN J P, FAN H M, et al. Lunar geology spatial data management system based on 3D WebGIS [J]. Earth Science Frontiers, 2014,21(6):31-37.
[18] 蘇天赟,劉保華,劉海行,等.基于WebGIS技術的黃海大海洋生態系信息共享系統[J].海洋科學進展,2008,26(3):401-408. SU T Y, LIU B H, LIU H X, et al. A Yellow Sea large marine ecosystem data sharing system based on WebGIS technology [J]. Advances in Marine Science, 2008,26(3):401-408.
[19] 郭亮,龔建華,孫麇,等.基于ArcGIS Server與AJAX的WebGIS設計與實現[J].測繪科學,2011,36(3):210-212. GUO L, GONG J H, SUN J, et al. Design and implementation of WebGIS based on ArcGIS and AJAX [J]. Science of Surveying and Mapping, 2011,36(3):210-212.
[20] 吳愛娜,隋軍,姜秋,等.淺談加強我國極地科學考察數據質量管理的對策[J].海洋開發與管理,2009,26(11):36-37. WU A N,SUI J,JIANG Q,et al. On strengthening the management measures of the data quality for scientific polar exploration of China [J]. Ocean Development and Management, 2009,26(11):36-37.
[21] 陶春輝.中國大洋中脊多金屬硫化物資源調查現狀與前景[C]//中國地球物理學會第二十七屆年會論文集.長沙:中國地球物理學會,2011. TAO C H. Status and prospects of Chinese massive sulfide exploration on mid-ocean ridges [C]// Proceedings of the Chinese Geophysical Society 27th Annual Meeting. Changsha: China Geophysical Society,2011.
Extensible management system with the multi-source expedition data of southwest Indian Ocean.
CHENG Yuliang, SU Cheng, ZHANG Xiaocan
(InstituteofSpatialInformationTechnology,ZhejiangUniversity,Hangzhou310027,China)
To meet the demands of future development of dynamic and diversified scientific explorations, based on the comprehensive analysis on the characteristics of multi-source survey data, a scheme for managing multi-source survey data is proposed with the support of advanced SQL Server database management system and spatial database engine ArcSDE. We set up the Southwest Indian Ocean polymetallic sulfide scientific data management system, which facilitates the unified storage and management of multi-source survey data with visualized spatial operations. The system has good adaptability and extensibility, and satisfies the requirements of practical applications.
southwest Indian Ocean; multi-source expedition data; spatial database engine (ArcSDE); database management system (SQL Server)

2015-12-17.
成玉良(1989-),ORCID:http://orcid.org/0000-0001-9298-688X,男,碩士,主要從事地理信息系統設計與應用研究,E-mail: chengyuliang0821@126.com.
10.3785/j.issn.1008-9497.2017.04.016
TP 391
A
1008-9497(2017)04-493-06
Journal of Zhejiang University(Science Edition), 2017,44(4):493-498