江蘇海洋多源異構數據的整理與入庫方法＊

顧云娟，張 東，陶 旭，謝偉軍，朱 瑞

（1.江蘇省海洋與漁業信息中心 南京 210003；2.南京師范大學地理科學學院 南京 210046）

江蘇海洋多源異構數據的整理與入庫方法＊

顧云娟1，張 東2，陶 旭2，謝偉軍1，朱 瑞1

（1.江蘇省海洋與漁業信息中心 南京 210003；2.南京師范大學地理科學學院 南京 210046）

建立江蘇海洋基礎數據庫群，實現海洋復雜多源異構數據的集成管理，是保證江蘇省海洋數據具有可操作性、可維護性和可利用性的基礎，同時也為海洋綜合管理信息系統和“數字海洋”框架系統的業務化運行提供了重要的數據支撐。圍繞這一目標，文章對江蘇海洋多源數據的整理與入庫方法進行了深入探討：首先通過數據調研，分析海洋數據的現狀和應用需求，形成符合“數字海洋”規范要求的數據格式標準及數據模型；在此基礎上，通過數據規整、數據格式轉換和數據質量控制，獲取符合海洋業務需要的標準數據集；最終利用數據建庫和入庫工具，完成江蘇海洋基礎數據的規范化入庫。該工作可為海洋多源數據的整理與入庫、豐富和完善我國“數字海洋”數據體系提供參考。

數字海洋；數據庫；數據體系；多源；異構

“數字海洋”是“數字地球”理論和技術在海洋工作領域的體現和再創新，其目標是通過數字化手段統一處理和表現海洋問題，使人類最大限度地理解并有效利用海洋信息資源。利用“908專項”工作，我國提出“數字海洋”信息基礎框架，構建了以球體模型為基礎的“數字海洋”原型系統，系統運行的基礎是海洋基礎數據庫群，數據庫群中海洋多源數據的質量、規范化程度、滿足海洋業務應用需求程度等，決定了原型系統的運行效率以及海洋信息管理和應用的能力［1－3］。長期以來，我國學者對海洋數據的組織、管理、應用及數據庫構建方面進行了一系列的研究，取得了大量研究成果，主要集中在兩大方面：①針對海洋數據多樣復雜的特性，研究“數字海洋”的數據體系結構，實現“數字海洋”中分布、異構、海量數據的有效集成［4－5］；②結合各類計算機和信息系統技術，面向特定應用，構建海洋專題數據庫，實現海洋空間信息和屬性信息的一體化管理［6－8］。在這些過程中，海洋多源數據的調查、分析和整理是非常重要的基礎工作，其組織的好壞直接影響到數據的建庫、入庫以及后續的數據庫管理、應用和維護。

圍繞國家“數字海洋”數據體系構建目標，江蘇省結合本省海洋工作實際，開展了江蘇“數字海洋”信息基礎框架節點數據庫建設。通過對江蘇海洋歷史調查數據、“908專項”五大調查專題和七大評價專題中所提交的成果數據進行整理、歸納和分析，完成了江蘇海洋多源數據的整理與入庫工作。文章就江蘇海洋多源數據的整理與入庫方法進行了深入闡述和探討，以期為我國“數字海洋”數據體系的豐富和完善提供參考與借鑒。

1 江蘇海洋多源數據分析

江蘇海洋多源數據分析包括數據調研和數據分析兩個階段，具體流程如圖1所示。通過數據調研，可以全面掌握海洋數據情況，明確數據工作邊界和內容，理清數據需求，找出數據工作的重點和難點；通過數據分析，結合“908專項”相關技術標準和規范，可以對海洋數據現狀、數據應用需求、數據建庫需求有清晰的認識，達到指導項目數據模型、數據標準以及數據建庫方案制訂的目的。

圖1 江蘇省海洋多源數據分析流程

1.1 數據調研

海洋綜合管理信息系統建設的出發點和歸宿是解決實際的業務管理問題，數據是業務管理過程所需要和產生的信息。經過數據調研發現，江蘇“數字海洋”基礎海洋數據整理存在兩大難點：①數據內容多且分散。江蘇“數字海洋”信息基礎框架數據庫的數據，既包括海洋歷史調查基礎數據，又包括江蘇“908專項”綜合調查與評價數據，歷史調查基礎數據分散于各業務部門及沿海的南通、鹽城和連云港3個市，“908專項”綜合調查數據分散于“908專項”調查各承擔單位。②數據格式多種多樣。因數據由不同承擔單位提供，數據格式特別是歷史調查基礎數據格式不符合“908專項”數字海洋項目中的相關技術標準和規范要求，需要進行整合處理，才能入庫。

1.2 數據分析

數據分析工作是數據整理階段中極為重要的部分，因此，需針對數據現狀和數據應用需求進行分析。在此基礎上，通過對調研成果的分析研究、數據詳細分析和分析成果整理，得到最終的數據分析成果，作為數據建庫方案的參考。

1.2.1 數據現狀分析

江蘇省海洋資料與成果分為3個層面：一是數據內容層面；二是數據類型層面；三是數據存儲層面。數據內容層面規定了海洋資料與成果所涵蓋的數據范圍；數據類型層面對數據內容進行有目的的歸類，為確定合適的數據建庫方案提供數據基礎；數據存儲層面則對海洋數據的存儲方式進行分析。

從數據內容層面來看，江蘇省海洋多源數據有3類來源：①江蘇省海洋歷史調查數據資料，包括海洋基礎地理信息、海洋環境監測信息、海洋社會經濟信息以及海洋管理工作信息等。②江蘇“908專項”近海海洋綜合調查與評價資料，包括近岸海域基礎調查、海岸帶與海島調查、海域使用現狀調查、沿海地區社會經濟基本情況、南黃海輻射沙脊群調查等5個專題調查數據，綜合評價資料成果包括江蘇近岸重點海域環境質量評價、輻射狀沙脊群環境變化與開發利用評價、近岸重點海域漁業資源保護與開發利用評價、潛在海水增養殖區評價與選劃、海濱濕地保護與土地利用潛力評價、潛在濱海旅游區評價與選劃、海洋經濟可持續發展綜合評價等7個專題評價數據。③“數字海洋”綜合業務系統運行數據，包含江蘇省自建海洋特色系統的運行數據和國家系統整合的海洋環境基礎數據庫、海島專題庫、海洋經濟專題數據庫、海洋科技專題庫、海洋執法監察專題庫、海域使用專題庫數據。上述3類來源基本覆蓋了江蘇省海洋資料的歷史和最新數據成果，在空間上包含了多站位、多剖面、水深分層的三維立體調查數據，在時間上包含靜態的站位、航次觀測和動態的時間序列觀測類型，在內容上包含海洋環境、海洋資源評價等不同專題，因此江蘇省海洋數據是一種多時空尺度、多專題的復雜數據集，具備海洋數據的多源性、多態性和多樣性特征［8－9］。

從數據類型層面來看，通過對江蘇省海洋多源數據歸類可看出數據有3種類型：①矢量數據。包括點（站位等）、線（調查剖面線等）、面（海洋要素空間分布剖面等）、體（空間分層數據等）等數據，分別以圖層的方式存儲［9］。②柵格數據。包括數字柵格數據、數字正射影像、數字高程模型、遙感影像數據等。③文件數據。包括政策法規、檔案等。經綜合，數據類型總體分為空間數據和屬性數據兩大類型。

從數據存儲層面來看，目前江蘇海洋數據主要有兩類存儲：①電子數據存儲。包括存儲在已有的數據管理系統中、集中存儲在某服務器中以及分散存儲在個人計算機中3種方式。②紙質數據存儲。包括集中存儲在資料柜中和分散存儲兩種方式。

1.2.2 數據應用需求分析

數據使用現狀分析主要關注數據在海洋業務部門和科研服務中使用的“輸入－處理－輸出”過程，因為不同的數據使用需求有不同的數據使用方式，而數據使用方式的不同又決定了數據建庫時所選策略的差異，所以通過海洋數據類型分析、數據實用方式分析、數據在業務過程中的作用分析以及數據在業務中的流轉過程分析4個步驟，可解決數據使用者對數據的實際應用需求，得出數據需求分析報告［10］。

1.2.3 數據分析成果

為確保所整理的數據既能滿足“數字海洋”國家整體要求，又能體現江蘇本省特色，反映江蘇近海海洋有關的自然條件、資源狀況和社會要素，在應用需求分析工作的基礎上，首先完成數據需求分析報告，然后以江蘇“908專項”綜合調查與評價內容為主線，綜合考慮歷史調查數據的增加項和變化項，全面反映江蘇近海海洋綜合調查與評價成果，進行了數據總體設計和詳細分類，融合、同化所有數據資料，形成符合“數字海洋”規范要求的數據格式標準及數據模型，最后對數據建庫工藝和工作量進行分析，形成數據建庫工藝方案和數據建庫工作量評估報告。

2 數據整理方法

江蘇省海洋數據具有類型繁多、形式各異、海量的特點，給數據的管理和使用帶來很大的不便。因此，通過數據整理，實現數據資源的重新規范并使之標準化，是數據建庫工作的意義所在［11］。

數據整理包括數據規整、數據格式轉換和數據質量檢查。數據規整是通過對原始數據資料的整理，使之滿足系統對數據的使用需要，為數據庫建設提供符合標準要求的數據源，具體包括對需要建庫的各類數據資源進行相應的規整、數據資源分類、規范化存儲目錄的建立、文件名稱規范化整理、文件格式規范化整理、數據要素的圖形規范化整理、數據要素的屬性規范化結構整理等［12］。數據格式轉換是將需要轉換的成果文件通過相關轉換規則轉換為滿足ArcGIS平臺應用的、標準結構的Personal Geodatabase格式數據。包括：數據格式類型轉換、坐標轉換、代碼轉換、單位轉換等。數據質量檢查以數據的規范性、完整性、正確性為檢查原則，對數據的定義和組織、數據精度、圖形空間關系、屬性邏輯關系、圖屬一致性、圖幅接邊等方面進行全面檢查。為控制數據質量，有些過程需要不斷進行迭代，進行轉換后檢查，檢查如果有問題，則進行處理，如果不能處理的，則將問題提交專題調查單位進行修改；然后再轉換、檢查、處理，直到數據符合海洋業務需要，滿足入庫的要求為止。

為保證江蘇省海洋數據的有效整合以及各類數據順利匯交，在技術上采取一系列的數據質量控制方法和措施，具體包括以下幾方面。

（1）按“908專項”質量保證體系的要求和《“908”專項資料及成果管理辦法》制定的資料匯交、質量控制的原則和規定，設計各類專業數據匯交的工程管理框架和流程，每個操作步驟形成文檔記錄，最終形成資料匯交反饋意見。

（2）對匯交資料中采用非電子載體部分數據化處理，并按一定的格式存儲在電子載體上。

（3）按《海洋信息標準體系表》《海洋信息分類與編碼》和《海洋信息文件命名規則》等制定的基礎標準規范要求，設計數據輸入模塊、數據結構和文件類別。

（4）根據各專業規程要求的數據資料格式，按步驟對原始資料整理和成果資料整編后的匯交數據種類、格式進行檢驗。

（5）按照《海洋基礎地理數據庫》《海洋基礎資料數據庫》和《海洋信息元數據標準》等相關標準，實現資料匯交數據格式標準化轉換、屬性關聯和標準數據集制作。

3 數據建庫方法

整理后數據更加規范化，并符合“908專項”技術標準。根據數據現狀分析得到的數據類型信息可知，數據庫包括空間數據庫和屬性數據庫兩大類，在梳理后的、規范的數據模型基礎上，完成數據建庫工作［13］。

3.1 空間數據庫建庫方法

空間數據庫利用ESRI的桌面建庫工具Arc－Catalog進行構建，具體步驟如圖2所示。

圖2 空間數據庫建庫流程

需要注意的是，在構建空間數據庫時，要求空間對象數據集FD和空間對象圖層FC中采用的名稱與數據庫標準設計相一致，以保證后續空間數據的順利導入。

3.2 屬性數據庫建庫方法

專題屬性數據庫采用圖形化數據庫建模工具PowerDesigner進行設計與生成［14］，具體步驟如下。①設計不同專題的多源海洋數據概念模型（conceptual data model，CDM）。把多源海洋數據信息抽象成實體和聯系，產生實體聯系圖（E－R模型），通過實體與屬性以及實體與實體之間的關系，抽象出系統內部的數據結構，設計出概念模型CDM。②生成物理模型（physical data model，PDM）。PDM包括軟件和數據存儲結構，生成的對象主要有：表、表中的列、主鍵和外鍵、參照、索引和視圖等。PDM以圖形的形式表示數據的物理組織，并生成用于數據庫創建和修改的腳本，定義完整性觸發器和約束，生成擴展屬性，使得數據在數據庫中能夠保持完整性和一致性。③將多源海洋數據概念模型CDM轉換為PDM。將CDM中的實體轉換為PDM中的表，實體屬性轉換為表的列，主標示符轉換為關鍵字或外鍵，規則轉換為數據庫約束或觸發器。具體包括一對一、一對多和多對多關系的轉換、遞歸關系的轉換和繼承關系的轉換。④將PDM轉換為數據庫。運用PowerDesigner生成的SQL語句，直接在數據庫中建立數據表、觸發器和規則，將建好的數據結構導入到Oracle數據庫中，生成所需的屬性數據庫。

4 數據入庫方法

4.1 空間數據庫入庫方法

空間數據入庫利用ArcCatalog的數據加載功能直接進行數據的裝載導入。在加載對應的原始數據時，需要將原始數據的屬性字段與數據庫中對應空間圖層的目標字段進行配對，然后完成圖形對象及其攜帶的屬性信息的導入。如果因數據字段類型不匹配造成入庫失敗，可以采用在數據庫空間圖層中添加新字段，使原數據和目標數據字段一致后再導入的方法解決。

4.2 屬性數據庫入庫方法

屬性數據入庫采用兩種方式實現：①針對按照標準數據集格式規整好的專題屬性數據，采用“908專項”數據加載工具將其加載到數據庫中。數據加載工具采用模板定義的方式，需先定義模板、行規則、列規則、塊規則和組規則，然后再進行加載。②針對特殊的數據，首先把屬性數據調整為符合二維范式的關系型數據行列結構，然后采用自己定制程序的方式，將數據導入數據庫中，完成屬性數據的入庫工作。

5 數據維護方法

數據的維護、持續更新工作牽涉到“數字海洋”系統的使用生命力，是確保系統能提供持續支持和應用的基礎性工作。根據江蘇海洋基礎數據的特點，對于空間數據的更新，采用ArcMap軟件提供的Editor工具進行管理和維護；對于普通屬性表數據，利用PLSQL Developer工具進行日常維護工作。

6 數據整理建設特色成果

通過數據調研、分析、整理、建庫和入庫處理，完成了“數字海洋”信息基礎框架下的江蘇海洋多源數據整理和入庫，取得以下成果。

（1）利用GIS技術和大型數據庫技術，建成了江蘇省級海洋數據中心和海洋基礎數據庫群，通過對數據資源的規范化與標準化處理，實現了海洋復雜多源異構數據的集成。在數據整理、分析、建庫、入庫過程中，提出了完善的數據調研流程、數據分析流程和面向對象的數據建庫方法，將海洋數據按系統建設目標和數據標準規范要求重新整理成符合海洋業務需要、支撐系統有效使用的規范化數據，完成了江蘇基礎地理數據庫、江蘇基礎資料數據庫、海域使用管理數據庫、海洋經濟數據庫、海洋資源與環境數據庫的建設，為政府管理部門開發和利用海洋資源提供了科學合理的數據支持。

（2）采用“統一存儲、統一服務”的數據庫服務技術，提供標準化的數據接口和靈活的系統接口，完成了江蘇省海洋資料與成果的整合處理與統一管理。統一存儲是指所有的基礎數據、業務數據、專題數據全部集中在信息中心的服務器上存儲，統一服務是指所有的服務包括數據查詢服務、業務辦公服務等都由信息中心的應用服務器提供，各業務部門能夠通過“908專項”專網使用相關的服務。這種模式使數據能夠按照標準統一存儲，利于數據的整合，為江蘇省海洋信息的宏觀管理提供了有利的條件。

（3）構建了江蘇省級海洋數據中心，利用集中式與分布式相結合的模式，結合四級網絡傳輸平臺體系，實現了各級海洋行政主管部門間的信息連接與信息交換。省級海洋數據中心配置了大容量數據存儲與交換設備和安全系統，作為海洋信息主干網絡的樞紐，調度、指揮、協調海洋信息的傳輸、存儲，實現集中式與分布式相結合的國家級海洋數據倉庫和省市數據庫間、各級綜合管理信息系統間的有效連接和信息交換，涉海海洋數據交換，保證數據處理、管理、交換、產品制作，及在線分析、共享與服務滿足運行的需要。省內三級數據交換采用集中交換存儲方式，省級與國家間數據交換采用分布式方式。通過國家、省、市、縣四級網絡傳輸平臺，實現了海洋信息的互聯互通。

［1］ 李四海，姜曉軼，張峰.我國數字海洋建設進展與展望［J］.海洋開發與管理，2010，27（6）：39－43.

［2］ 劉金，朱吉才，姜曉軼，等.海洋信息組織與存儲模型研究及其在“數字海洋”中的應用［J］.海洋通報，2011，30（1）：73－80.

［3］ 劉賢三，池天河，王曉明，等.“數字海洋”原型系統設計與初步實現［J］.微計算機信息，2010，26（3）：9－11.

［4］ 王偉，程文芳，李四海，等.SOA理念在“數字海洋”數據體系構建中的應用［J］.海洋通報，2009，28（4）：121－125.

［5］ 黃博，趙廣濤，孟恩，等.“數字海洋”中多格式、多來源通用文檔數據管理模式探討［J］.海洋湖沼通報，2009（3）：105－111.

［6］ 張彥彥，楊暉.海域管理空間基礎數據庫系統建設研究［J］.海洋開發與管理，2009，26（11）：13－15.

［7］ 趙麗寧，李一凡，趙德鵬.數字海洋空間數據庫的構建［J］.大連海事大學學報，2002，28（1）：34－37.

［8］ 夏登文，石綏祥，于戈，等.海洋數據倉庫及數據挖掘技術方法研究［J］.海洋通報，2005，24（3）：60－65.

［9］ 謝偉軍，張東，張鷹，等.南黃海輻射沙脊群水下地形遙感反演及三維可視化［J］.海洋通報，2009，28（4）：164－167.

［10］王曉民，張新，池天河.“數字海洋”的數據處理與應用模式研究［J］.計算機應用，2008，28：358－359.

［11］張峰，石綏祥，殷汝廣，等.數字海洋中數據體系結構研究［J］.海洋通報，2009，28（4）：1－8.

［12］吳克勤.數字海洋與海洋數據立法［J］.海洋科學，1999（9）：23－24.

［13］何廣順，李四海.構建“數字海洋”空間信息數據庫［J］.海洋信息，2004（1）：1－11.

［14］劉紅玉，杜清運，蔡忠亮.基于PowerDesigner的空間數據庫建庫技術［J］.測繪信息與工程，2007，32（3）：24－26.

中國近海海洋綜合調查與評價專項（JS－908－03－12），江蘇高校優勢學科建設工程項目.