基于云環(huán)境下海洋環(huán)境監(jiān)測大數(shù)據(jù)處理平臺的研究

劉儒，石學(xué)濤，耿銘晨，鄭凱，姚抒均

（1.齊魯工業(yè)大學(xué)（山東省科學(xué)院），山東青島，266000；2.山東省科學(xué)院海洋儀器儀表研究所，山東青島，266000）

1 海洋環(huán)境監(jiān)測系統(tǒng)存在問題

相比以前所有資源來看，基于海洋檢測系統(tǒng)數(shù)據(jù)具有多樣化特性，可以表現(xiàn)為多樣、多態(tài)及多源的等。數(shù)據(jù)可以根據(jù)很多種數(shù)據(jù)來源和不同的監(jiān)視方法共同獲得。海洋遙感數(shù)據(jù)處理水平都比較高，通常經(jīng)過處理后能夠接近70TB，當(dāng)然其他經(jīng)過實驗的一系列數(shù)值也能夠達到一種較高的水平。通過對監(jiān)控系統(tǒng)的研究，其可能存在下面一些相應(yīng)問題。

系統(tǒng)管理和數(shù)據(jù)處理分析來研究，具有一些分散結(jié)構(gòu)化、或者半結(jié)構(gòu)化、或者一系列非結(jié)構(gòu)化監(jiān)視數(shù)據(jù)，上述數(shù)據(jù)都存在很多數(shù)據(jù)信息；（2）科學(xué)研究角度分析，現(xiàn)在數(shù)據(jù)都屬于一種大數(shù)據(jù)時代，大部分都會采用融合方式將不同來源數(shù)據(jù)進行整合，對其數(shù)據(jù)進行全面和宏觀的分析理解。無論研究什么系統(tǒng)，數(shù)據(jù)集成都是非常重要的一部分；（3）研究方法論角度分析。在現(xiàn)在大數(shù)據(jù)范圍中，研究員只要通過對數(shù)據(jù)驅(qū)動的整合協(xié)作來進行分析，才能真正達到研究的效果。

本文研究云環(huán)境下監(jiān)測系統(tǒng)基本上都是采用大數(shù)據(jù)特性來分析和研究，這樣能夠不實現(xiàn)對多源異構(gòu)數(shù)據(jù)的透明分析和運用，最后以統(tǒng)一方式運行和使用。

2 海洋監(jiān)測大數(shù)據(jù)平臺的設(shè)計構(gòu)想

2.1 大數(shù)據(jù)與海洋監(jiān)測數(shù)據(jù)管理流程

云計算是一種網(wǎng)絡(luò)資源共享模式，它在大量分布式計算機或遠(yuǎn)程服務(wù)器上分布計算，根據(jù)Internet操作模式將資源切換到所需的應(yīng)用程序，并根據(jù)需求訪問計算機和存儲系統(tǒng)。在此共享模型中，“云”是指各種虛擬化的計算資源池，其中包括用于構(gòu)造應(yīng)用程序的各種基礎(chǔ)結(jié)構(gòu)以及這些基礎(chǔ)結(jié)構(gòu)上的特定云計算應(yīng)用程序。云計算提供了一種新型的計算模式。在這種模式下，應(yīng)用程序，各種數(shù)據(jù)和IT（信息技術(shù)）資源通過網(wǎng)絡(luò)即服務(wù)提供給用戶。云計算也是基礎(chǔ)架構(gòu)管理的一種方法。大量計算資源形成一個IT資源池，以動態(tài)創(chuàng)建高度虛擬化的資源并為用戶提供這些資源。人們可以根據(jù)自己的需求確定所需的IT資源，并為使用的IT資源和服務(wù)付費。人們還可以根據(jù)需要通過云平臺遠(yuǎn)程部署自己的應(yīng)用程序。而且，無論身在何處，只要擁有可以連接到Internet的客戶端，就可以訪問云資源，大數(shù)據(jù)與海洋監(jiān)測數(shù)據(jù)管理流程如圖1所示。

圖1 大數(shù)據(jù)與海洋監(jiān)測數(shù)據(jù)管理流程

與其他數(shù)據(jù)資源相比，海洋監(jiān)測數(shù)據(jù)具有多源，多態(tài)和多樣性的特點。數(shù)據(jù)的多源性是由不同的數(shù)據(jù)監(jiān)視方法引起的，例如浮標(biāo)，觀察船，遙感和衛(wèi)星。觀測方法的差異導(dǎo)致數(shù)據(jù)準(zhǔn)確性和數(shù)據(jù)格式的多樣化，帶來了數(shù)據(jù)結(jié)構(gòu)的復(fù)雜性和靈活性。生成的數(shù)據(jù)量巨大，存儲和分析變得越來越困難；因此，數(shù)據(jù)中心面臨的壓力正在增加。此外，不同格式的數(shù)據(jù)分別存儲，獨立處理和分析，很容易形成信息孤島。

2.2 大數(shù)據(jù)技術(shù)Hadoop在海洋監(jiān)測數(shù)據(jù)處理平臺定位

近年來，大數(shù)據(jù)引起了行業(yè)，科技界和政府部門的極大關(guān)注。實際上，Hadoop已經(jīng)是大數(shù)據(jù)技術(shù)的標(biāo)準(zhǔn)。盡管Hadoop受到許多大數(shù)據(jù)技術(shù)的挑戰(zhàn)，但Hadoop仍在不斷發(fā)展并適應(yīng)新技術(shù)。需求。另外，這些技術(shù)在歸根結(jié)底都采用了Hadoop的主要思想，但是在某些方面進行了優(yōu)化和改進，實際上也應(yīng)該屬于Hadoop技術(shù)。這些大數(shù)據(jù)集成平臺基本上都是基于Hadoop大數(shù)據(jù)技術(shù)的，使用數(shù)據(jù)虛擬化技術(shù)來集成多源異構(gòu)海量數(shù)據(jù)，重點是不同的。此外，幾乎沒有集成的大數(shù)據(jù)模式，其中大多數(shù)只是MapReduce和Hive，沒有其他計算模式，例如流和迭代。“大數(shù)據(jù)集成的四個特征”部分提到的相關(guān)學(xué)術(shù)研究主要集中于數(shù)據(jù)集成技術(shù)或集成模型，而在大數(shù)據(jù)平臺上的集成研究相對較少。

圖2 Hadoop 在海洋監(jiān)測數(shù)據(jù)管理中的定位

3 基于云環(huán)境下的海洋環(huán)境大數(shù)據(jù)平臺分析

本文所涉及到海洋環(huán)境監(jiān)測系統(tǒng)主要包括監(jiān)測管理系統(tǒng)、遙感監(jiān)測系統(tǒng)以及衛(wèi)星遙感監(jiān)測等系統(tǒng)，通過對比傳統(tǒng)架構(gòu)系統(tǒng)，本文云環(huán)境海洋監(jiān)測系統(tǒng)有很大的不同，不僅僅體現(xiàn)在海洋環(huán)境監(jiān)控大數(shù)據(jù)平臺上面，還在使用的物理層、數(shù)據(jù)層及服務(wù)層都存在很多不同的地方。通過在云平臺上建立一系列監(jiān)控系統(tǒng)和模塊，能夠?qū)崟r監(jiān)控海洋環(huán)境下各種動態(tài)信息。大數(shù)據(jù)處理平臺包括以下模塊：基本軟件部分、高端中間連接模塊、數(shù)據(jù)訪問源部分、監(jiān)視數(shù)據(jù)中間部分及數(shù)據(jù)防篡改部分，正因為該平臺具有這些功能，開發(fā)和研究成本相比較低、安全性能較高，穩(wěn)定性較強。在現(xiàn)實生活中，往往存在一些自主開發(fā)網(wǎng)站，一味追求利益，降低成本，造成技術(shù)較為落后、安全性降低，無法對數(shù)據(jù)兼容性進行支撐，根本無法滿足當(dāng)前系統(tǒng)需求。

本文構(gòu)建使用平臺都會綜合考慮各種監(jiān)控模塊之間的集成兼容性，對點到點集成要求較為嚴(yán)格，通常會對SOA總線部分到很多主數(shù)據(jù)、從數(shù)據(jù)管理的每一個階段都會考慮，每一個階段都會要求較高。從虛擬架構(gòu)來對系統(tǒng)進行分析，每一個模塊都內(nèi)含有各自部分集成平臺，這些集成平臺都由內(nèi)部云平臺物理架構(gòu)支撐，以提供系統(tǒng)所需求的服務(wù)模式。

4 結(jié)論

云計算和大數(shù)據(jù)被廣泛應(yīng)用于各個領(lǐng)域。海洋環(huán)境監(jiān)測數(shù)據(jù)的特點適用于大數(shù)據(jù)處理技術(shù)。云數(shù)據(jù)主要利用Iaas平臺實現(xiàn)，該平臺獲得都是通過一系列商業(yè)模式購買或者采用一些開源平臺對其進行構(gòu)建。商業(yè)軟件使用較多的有Vmware esx+Vcenter/Vsphere及開源OpenStack，其中前者使用較為廣泛，方案也較為成熟和穩(wěn)定，后期開源模塊仍然處于研究之中，因為開源具有一系列相對優(yōu)勢，因此也吸引了較多開發(fā)者青睞。建立基于云計算和大數(shù)據(jù)技術(shù)的海洋環(huán)境監(jiān)測數(shù)據(jù)處理平臺符合IT發(fā)展趨勢。針對多源異構(gòu)海洋環(huán)境監(jiān)測數(shù)據(jù)面臨的大數(shù)據(jù)問題，本文提出構(gòu)建數(shù)據(jù)虛擬化平臺并整合大數(shù)據(jù)計算模式，并使用兩層元數(shù)據(jù)（在數(shù)據(jù)虛擬化平臺中，數(shù)據(jù)連接層元數(shù)據(jù)生成，數(shù)據(jù)消耗層的元數(shù)據(jù)建模和本體語義框架，以實現(xiàn)海量海洋環(huán)境監(jiān)測數(shù)據(jù)的集成，并提出基于這些技術(shù)的應(yīng)用架構(gòu)。利用云計算和大數(shù)據(jù)建立海洋環(huán)境監(jiān)測數(shù)據(jù)平臺，將給海洋環(huán)境監(jiān)測數(shù)據(jù)的業(yè)務(wù)管理和決策帶來巨大的變化，對海洋環(huán)境監(jiān)測的科學(xué)發(fā)展具有重要意義。