海量GNSS數據分布式存儲與計算方法

李林陽,張友陽,李 濱,倪祖斌,周海濤

(1.信息工程大學地理空間信息學院,鄭州 450052;2.鄭州輕工業學院機電工程學院,鄭州 450002; 3.廣州軍區測繪信息中心,廣州 510515;4.沈陽軍區測繪信息中心,沈陽 110000)

海量GNSS數據分布式存儲與計算方法

李林陽1,張友陽2,李 濱3,倪祖斌4,周海濤1

(1.信息工程大學地理空間信息學院,鄭州 450052;2.鄭州輕工業學院機電工程學院,鄭州 450002; 3.廣州軍區測繪信息中心,廣州 510515;4.沈陽軍區測繪信息中心,沈陽 110000)

大數據時代對GNSS提出了諸多挑戰,如海量、多源、異構數據的存儲與管理、處理與分析等,GNSS必須做出相應的調整和改變。針對大數據具有的“海量、快速、多樣、精確及價值”特性,分析了GNSS在數據管理和處理上面臨的主要挑戰,從分布式存儲、計算的角度給出了解決問題的有效策略和可行方案,提出了基于分布式存儲與計算技術的GNSS數據管理與處理平臺架構,突破了傳統集中式存儲與計算的限制,結果表明該方法能夠實現GNSS數據的高效管理和處理。

全球衛星導航系統;大數據;分布式存儲;分布式計算

0 引言

大數據(big data)是指大型復雜數據集的聚合,這些數據集的規模和復雜程度常超出目前數據庫管理軟件和傳統數據處理技術在可接受的時間下的獲取、管理、計算、分析和檢索能力[1]。大數據的重要組成部分是位置大數據(location big data, LBD),而全球衛星導航系統(global navigation satellite system,GNSS)數據又是位置大數據的主要組成部分。

隨著全球定位系統(global positioning system,GPS)現代化進程的加快、格洛納斯衛星導航系統(global navigation satellite system,GLONASS)的恢復使用、北斗衛星導航系統(BeiDou navigation satellite system,BDS)的投入運行、伽利略衛星導航系統(Galileo navigation satellite system,Galileo)的逐步建設,區域衛星導航系統日本準天頂衛星系統(Quasi-zenith satellite system,QZSS)和印度區域衛星導航系統(Indian regional navigation satellite system,IRNSS)的建成,以及連續運行參考站網(continuously operating reference station system,CORS)的不斷涌現及連續觀測,GNSS測量的觀測數據、中間成果、解算產品呈井噴態勢,急劇增長。

針對GNSS數據的“海量、快速、多樣、精確及價值(Volume、Velocity、Variety、Veracity、Valu,5V)”特性,本文分析了當前GNSS在海量、多源、異構數據的存儲與管理、處理與分析等方面面臨的主要挑戰,從分布式存儲、計算的角度給出了具體的解決方案,最后提出了基于分布式存儲與計算技術的GNSS數據管理與處理平臺架構。

1 GNSS數據的主要特征

大數據不僅僅是數據量大,對大數據特征的描述已經從3V[2]:Volume(海量)、Velocity(快速)、Variety(多樣),4V[3](Veracity(精確)),到5V[4](Value(價值))。對GNSS數據亦是如此。

1.1 海量(Volume)

海量的數據給管理帶來新的挑戰,大量TB級以上的數據等待處理。以GNSS觀測數據為例,如連續觀測1 d、采樣率為1 s、僅GPS的數據量就可達80 MB,全球有數千個觀測站,一天的數據量就達到TB級別。斯克里普斯軌道和永久陣列中心(Scripps Orbit and Permanent Array Center, SOPAC)自1996年存儲和傳輸的數據總量[5]如圖1所示,可以看出數據總量呈指數級遞增趨勢。

圖1 數據操作中心SOPAC的數據量增長趨勢圖

1.2 多樣(Variety)

GNSS數據種類和格式豐富多樣,結構化和非結構化數據并存,同構和異構資源面臨共享難題。以接收機無關交換格式(receiver independent exchange format,RINEX)[6]為例,隨GNSS的不斷發展,多頻多模的建設,RINEX格式也在不斷進行更新,如圖2所示,現更新到3.02版本,直接導致了不同結構類型數據的涌現。

圖2 RINEX版本更新過程

1.3 快速(Velocity)

GNSS數據處理對時效性的要求越來越高,需要響應以s甚至ms計的流數據不斷產生。如在地球參考框架的維持中,需要聯合GNSS、甚長基線干涉測量(very long baseline interferometry, VLBI)等數據實現周解、日解,甚至是實時解算;國際全球衛星導航系統服務協會(International GNSS Service,IGS)在2004年以"bigger,better and faster"策略為指導研究改進的精密衛星軌道確定的新方法[7];地震監測與預報對數據處理速度也提出了更高的要求[8]。

1.4 精確(Veracity)

GNSS數據都具有統一、嚴謹的數據結構,能反映觀測、存檔的時空信息,解算成果和產品時采用可靠的處理策略,具有真實和準確的特性。

1.5 價值(Value)

GNSS數據的價值已經毋庸置疑,數據源本身就蘊含了巨大的價值,終極目標在于通過數據處理挖掘更深的價值。在發生東日本大地震、福島核事故后,文獻[9]通過分析一年內160萬人的GPS移動路徑,對災民的避難行為進行了研究。

2 GNSS面臨的主要挑戰及處理策略

2.1 存儲管理

數據管理是GNSS應用的基礎,GNSS數據增長的速度遠遠超過存儲技術進步帶來的成本降低的速度,目前存儲和管理所有原始的GNSS數據還存在成本上的障礙[10]。

GNSS數據管理方式有文件傳輸協議(filetransfer protocol,FTP)和關系數據庫(relational database management system,RDBMS)兩種。國際GNSS服務(international GNSS service,IGS)較多采用前者,FTP管理方式雖成熟,但實時性較差,不能檢索數據,管理員控制和故障恢復的能力較差。北京CORS[11]采用后者,RDBMS檢索數據較為方便,但隨GNSS數據量的增加,檢索效率下降,不能滿足多用戶并發訪問,抗災容錯性能較差;數據轉移代價較大,并會影響實用性。

因此,GNSS數據存儲和管理面臨的主要挑戰為

1)存儲容量的問題,面對TB級、PB級甚至ZB級的數據,目前的文件系統和關系數據庫系統是難以承受的;

2)難以滿足對數據高并發讀寫和高并發訪問的需求;

3)難以滿足對存儲系統的高擴展性和高可用性的要求。

因此,隨GNSS數據的迅速增長,集中式存儲策略在管理海量數據方面存在諸多限制,已不能滿足大規模存儲應用的需要,尋求海量GNSS數據的高效管理已成為當前的研究熱點之一[12]。

2.2 數據處理

海量的觀測數據為高精度計算提供了豐富的數據資源,但同時也為數據處理帶來了新的挑戰。100個測站組成的網絡,觀測30顆GPS衛星的待估參數如表1所示,達到了8 000多個,如果再考慮其它衛星導航系統,待估參數的數量則會更多。

表1 100個測站觀測30顆衛星的網絡的待估參數數量

表1中,nsta是測站總數,nsat是衛星總數, nobs是單個歷元觀測到的平均衛星數。

雙差網解法和非差精密單點定位(precise point positioning,PPP)是GNSS數據處理兩種主要的解算方法。從時間復雜度上比較,對n個測站,雙差網解的時間復雜度為O(n3),隨GNSS網規模的擴大,如圖3所示,處理時間成幾何倍增加,無法同時處理大規模網絡,難以滿足大規模GNSS網實時快速處理的需求。大多數IGS分析中心的軟件同時解算的測站數小于100個,如最新的GAMIT 10.5最多只能解算99個測站、9 999個觀測歷元。的時間復雜度雖為O(n);然而一方面精度仍略低于雙差網解,東方向上的精度仍可通過恢復模糊度整周特性之后的搜索固定進一步提高[13],另一方面忽略了基線向量之間的相關性,不利于整網進行平差。

圖3 不同網絡規模下GAMIT計算時間

針對計算資源和能力的不足,許多學者都從減少計算開銷方面進行了研究,如壓縮數據存儲[14-15]、消除和恢復解算參數[16]、獨立基線的雙差網解約束解[17]等,并提出了分區平差快速解算方法、大規模高精度GPS網平差算法、GNSS大網非差解算方法以及Ambizap算法等。尋求海量GNSS數據的快速處理也成為當前研究的熱點之一[18-19]。

3 基于分布式存儲與計算技術的GNSS大數據服務

3.1 分布式存儲及計算簡介

隨著通訊技術、計算機技術、網絡技術的飛速發展,涌現出了并行計算、網格計算、云計算等新技術。分布式計算可以利用整個分布式系統同構或異構的軟件和硬件資源,將大規模計算問題分解成多個并行處理的子問題,以獲得更高的計算性能和擁有更大的存儲空間。表2對比了分布式與集中式存儲和計算的特點。

分布式存儲和計算技術具有較強的數據處理和存儲能力,資源利用率、自動化成都和容災性均有較大提升,已成功應用于GNSS數據存儲和處理中。美國衛星導航系統與地殼形變觀測研究聯合體(A Non-profit University-governed Consortium,UVAVCO)在2014年首次將云存儲納入到GNSS數據管理的體系[20];文獻[12]基于分布式文件系統提出了海量CORS數據云存儲模型架構;基于分布式計算技術,國際大地測量協會(International Association of Geodesy,IAG)的第1工作小組開展Dancer、Digger和Dart三個項目,高效、快速地解算了全球參考框架數據[21];文獻[22]采用分布式技術對80個CORS站的數據進行解算,達到了預期的精度。文獻[23]展望了CORS與分布式技術的融合,提出了一種基于網格計算的GNSS數據分布式處理新策略;Bernese5.0采用多線程技術,并支持在不同計算機之間的遠程調用和并行處理[24];文獻[25-26]開發了大規模密集線性計算的并行計算器,只需標準并行包Sca LAPACK和PLAPACK一半的內存消耗;文獻[27]利用任務并行庫(task parallel library, TPL)技術,在多核環境下進行了大網并行平差實驗。

表2 GNSS數據分布式與集中式存儲與計算的對比

3.2 GNSS數據分布式存儲

對GNSS數據的存儲與管理,以HBase、MongoDB、Neo4J等列數據庫、文檔數據庫和圖數據庫為代表的非關系型數據庫(Not only SQL, NoSQL)技術以及以Hadoop分布式文件系統(Hadoop distributed file system,HDFS)文件管理、Map Reduce文件檢索分析為代表的Hadoop[28]平臺,是目前研究和應用的熱點之一。

如圖4所示,基于HDFS,設計了GNSS數據分布式存儲的體系結構,該體系能夠實現海量GNSS數據的高效存儲與訪問,為上層應用提供透明的分布式存儲接口,并具有高擴展性和高并發性等特點。

在虛擬化與互操作平臺中,將存儲資源直接作為服務實現分布式存儲,分布式存儲能夠通過分布式文件系統,將網絡中大量的多種多樣的存儲設備虛擬為統一的存儲資源池,并協同使用,共同提供數據存儲和業務訪問功能[29]。基于獲取數據冗余產生的原理,智能壓縮方法提升了編碼層次,即從信號和特征編碼層,升級到語義編碼層。因此,分布式存儲結合智能壓縮算法可以初步解決GNSS數據最基本的存儲問題。

圖4 基于HDFS的GNSS數據分布式存儲體系架構

3.3 GNSS數據分布式計算

隨著計算機硬件平臺的高速發展,多核處理器的普及,提高硬件平臺的性能利用效率,對現有軟件代碼并行化或獨立開發分布式軟件系統成為數據處理的新方法。

GNSS數據分布式計算的主要方法為:分解與組合。根據集群中節點的數量和性以及計算任務的性質等,對計算任務進行分解,將分解后的數據發布到各個節點,各個節點上并行執行計算任務,最后主節點負責合并所有節點的計算結果。并行算法設計的5個層次和步驟如圖5所示。從頂層開始是應用層,它是并行計算需要解決的實際問題和實現的應用,主要工作包括明確計算任務,定義數據的輸入、輸出格式及路徑;第四層為算法開發層,主要的工作包括明確具體采用的算法、算法的描述和具體任務以及任務之間的關聯和依賴關系,通常以依賴圖或有向圖來表示;第三層為并行化層,即將上一層的算法和任務進行并行化設計,挖掘其潛在的并行性;第二層是代碼層,算法的高級語言編碼實現,即并行編程,確定高級語言(Java、C++、C#)取決于運行平臺;最底層是算法運行層,執行由平臺支持語言的目標程序,可分為硬件并發和軟件并發兩種實現,對應不同的并行環境。

圖5 并行算法設計的層次和步驟

并行編程的環境可分為基于消息傳遞的消息傳遞接口(message passing interface,MPI)和并行虛擬機(parallel virtual machine,PVM)、基于共享變量的Open MP、基于數據并行的Map Reduce以及基于任務并行的TPL等技術,實際應用中應根據不同的計算任務和需求,采取不同的編程模式。任何一種編程模式都是有局限性的,實際應用中可采用混合編程模式,如Open MP+MPI。

3.4 GNSS數據分布式管理與計算平臺

圖6 GNSS數據分布式管理與計算平臺

基于分布式存儲與計算技術,如圖6所示,本文建立了從基礎設施、數據、平臺到應用的一體化分布式管理與計算平臺,將海量GNSS數據、產品及服務進行有效管理,并按照實際需求進行存儲、管理和處理。

第1層為虛擬化與互操作平臺。采用虛擬化與互操作技術,整合各種異構資源,將網絡、計算、存儲等虛擬為一個資源池,以服務方式屏蔽底層差異,提供給上層統一的虛擬化與互操作接口。

第2層為GNSS數據管理平臺,由Hadoop開源云平臺中的HDFS、HBase、Map Reduce、Hama等模塊組成,其中HDFS和HBase組成具有彈性的分布式存儲系統;采用Map Reduce和Hama編程模型設計GNSS數據的分布式計算;Hive和Pig可為用戶提供海量GNSS數據管理和處理更高層次的抽象操作,Hive提供類結構化查詢語言(structured query language,SQL)的查詢語言HiveSQL,可執行查詢、變換數據等操作,Pig提供了在Map Reduce基礎之上的更高層次的數據處理能力;Hama提供矩陣的并行計算功能;Zoo-Keeper是分布式協調服務,提供配置管理及組件協調功能。利用以上系統組成GNSS分布式管理與計算的基礎平臺,大地測量工作者可將主要精力放在GNSS數據的組織和管理上面。GNSS數據包括多頻多模觀測數據、解算產品和成果、元數據以及少量的視頻、音頻和影像數據等,這些數據存儲在Hadoop的HDFS或HBase中,實現以減小成本管理海量數據的能力,并向上一層提供海量GNSS數據的快速讀寫功能。最終向服務管理平臺提供統一的GNSS存儲管理與并行計算接口。接口為用戶隱藏后臺分布式系統存儲、計算的復雜性,為應用平臺提供透明、統一的GNSS數據分布式存儲管理、計算接口,包括存儲與計算節點的加入和退出管理接口、HDFS和HBase的管理接口、GNSS數據的存儲和訪問接口、并行計算接口、元數據管理接口等。

第3層為GNSS服務管理平臺,提供給用戶多樣的服務,包括分布式應用服務和分布式基礎服務。分布式應用服務包括通用性較強的將基礎設施作為服務(infrastructure as a service,IaaS)、專用性較強的將軟件作為服務(software as a service,SaaS)和兼顧二者的將平臺作為服務(platform as a service,PaaS),結合GNSS本身特點,并提出將數據作為服務(data as a service,DaaS),服務架構層次如圖7所示;分布式基礎服務包括負載均衡、路由調度、并行計算、搜索服務等。服務注冊時通過服務總線,請求服務時通過訪問接口,根據實際GNSS處理需求,請求分配所需資源和計算空間。GNSS應用開發接口是對服務的封裝, 是GNSS應用層與服務管理層完全解耦,只要接口不變,應用層和平臺層就可以獨立演化,不會影響上層功能。

第4層為GNSS應用層,通過網絡服務和軟件應用的形式為用戶提供服務,對各種GNSS服務進行封裝,納入到面向服務的體系結構(serviceoriented architecture,SOA)進行管理和使用,具體應用包括導航、定位、授時等。

圖7 GNSS應用服務架構層次

4 結束語

隨著CORS的不斷建成及連續觀測,多模多頻導航系統的逐步發展,GNSS數據規模呈井噴態勢;面對海量的GNSS數據帶來的機遇和挑戰,需要有針對性地加快技術創新和重點攻關研究,才能推動GNSS服務的發展。本文分析了GNSS數據的5V特性,指出并歸納了當前GNSS在數據管理和處理上面臨的主要挑戰及處理策略,從分布式存儲和計算的角度給出了有效的解決方案,提出了基于分布式存儲與計算技術的GNSS數據管理與計算平臺架構。通過分布式存儲、計算技術與GNSS技術的結合,將會使GNSS進入另一個新的發展階段。

[1] 劉經南,方媛,郭遲.位置大數據的分析處理研究進展[J].武漢大學學報·信息科學版,2014,39(4):379-385.

[2] ZIKOPOULOS P,EATON C,DEROOS D,et al.Understanding big data:analytics for enterprise class Hadoop and streaming data[M].New York:McGraw-Hill Osborne Media,2011.

[3] 陳正生.大規模GNSS測量數據分布式計算關鍵技術研究[D].鄭州:解放軍信息工程大學,2014:29

[4] 李清泉,李德仁.大數據GIS[J].武漢大學學報·信息科學版,2014,39(6):641-644.

[5] SOPAC.Recent archive stats[EB/OL].[2014-9-30].http://sopac.uscd.edu/scripts/show ArchiveStats.cgi.

[6] GURTNER W.RINEX:The receiver independent exchange format version 2.10[EB/OL].(2006-01-29)[2014-07-19].http://vgn.dm.gov.ae/DMEGOV/DVRS/DVRS_docs/RINEX-FORMAT.pdf.

[7] BOOMKAMP H,K?NIG R.Bigger,better and faster POD[C]//International Association of Geodesy.Proceedings of IGS 10th Anniversary Workshop and Symposium.Berne,Switzerland:International Association of Geodesy,2004.

[8] 張小紅,郭斐,郭博峰.利用高頻GPS進行地表同震位移監測及震相識別[J].地球物理學報,2012,55(6):1912-1918.

[9] SONG X,ZHANG Q,SEKIMOTO Y,et al.Intelligent system for human behavior analysis and reasoning following largescale disasters[J].IEEE Intelligent System,2013,28(4):35-42.

[10]李德仁,姚遠,邵振峰.智慧城市中的大數據[J].武漢大學學報·信息科學版,2014,39(6):631-640.

[11]譚志彬,戴連君,過靜珺.GPS連續運行參考站網數據存儲[J].測繪通報,2003(11):8-10.

[12]李林陽,呂志平,陳正生.海量連續運行參考展望數據云存儲模型[J].導航定位學報,2014,2(3):64-70.

[13]GE M R,GENDT G,ROTHACHER M.Resolution of GPS Carrier-phase ambiguities in Precise Point Positioning(PPP) with daily observations[J].Journal of Geodesy,2008,82(7):389-399.

[14]施闖.大規模高精度GPS網平差與分析理論及其應用[M].北京:測繪出版社,2002:53.

[15]宋力杰,歐陽桂崇.超大規模大地網分區平差快速解算方法[J].測繪學報,2003,32(3):204-207.

[16]GE M R,GENDT G,DICK G.A new eata processing strategy for huge GNSS global networks[J].Journal of Geodesy, 2006,80(4):199-203.

[17]BLEWITT G.Fixed point theorems of GPS carrier phase ambiguity resolution and their application to massive network processing:Ambizap[EB/OL].(2008-12-25)[2014-07-19].http://geodesy.unr.edu/publications/blewitt08_ambizap.pdf.

[18]陳憲冬.Ambizap方法在大規模GPS網處理中的應用及結果分析[J].武漢大學學報·信息科學版,2011,36(1):10-13.

[19]CHEN Hua,JIANG Weiping,GE M R.An enhanced strategy for GNSS data processing of massive networks[J].Journal of Geodesy,2014,88(9):857-867.

[20]UNAVCO.GPS/GNSS data management overview[EB/OL].[2014-07-19].http://www.unavco.org/data/gps-gnss/data-management/data-management.html.

[21]BOOMKAMP H.Global GPS reference frame solutions of unlimited size[J].Advances in Space Research,2010(46):136-143.

[22]SERPELLONI E,CASULA G,GALVANI A,et al.Data analysis of permanent GPS networks in Italy and surrounding regions:application of a distributed processing approach[J].Annals of Geophysics,2006,49(5):897-928.

[23]SCHROCK G M.On-grid goal:seeking support for high-precision networks[J].GPS World,2006,17(10):34-40.

[24]DACH R,HUGENTOBLER U,FRIDEZ P,et al.User manual of the Bernese GPS software version 5.0[M].Bern: Stampfli Publications AG Press,2008:381.

[25]BABOULIN M,GIRAUD L,GRATTON S.A parallel distributed solver for large dense symmetric systems:applications to geodesy and electromagnetism problems[J].Int J of High Performance Computing Application,2005,19(4):353-363.

[26]BABOULIN M,GIRAUD L,GRATTON S,et al.Parallel tools for solving incremental dense least squares problems:application to space geodesy[J].Journal of Algorithms&Computational Technology,2009,3(1):117-133.

[27]崔陽,呂志平,陳正生.多核環境下的GNSS網平差數據并行處理研究[J].測繪學報,2013,42(5):661-667.

[28]DEAN J,GHEMAWAT S.Mapreduce:simplified data processing on large clusters[J].Communications of the ACM, 2008,51(1):107-113.

[29]劉琨,李愛菊,董龍江.基于Hadoop的云存儲的研究及實現[J].微計算機信息,2011,27(7), 220-222.

Distributed Storage and Computing Method of Massive GNSS Data

LI Linyang1,ZHANG Youyang1,LI Bin1,NI Zubin1,ZHOU Haitao1
(1.School of Surveying and Mapping,PLA Information Engineering University,Zhengzhou 450052,China; 2.Institute of Mechanical and Electrical Engineering,Zhengzhou University of Light Industry,Zhengzhou 450002,China; 3.Guangzhou Surveying and mapping Information Center,Guangzhou 510515,China; 4.Shenyang Surveying and mapping Information Center,Shenyang 110000,China)

GNSSis faced with many challenges in the age of big data,such as the storage,management,processing and analysis of GNSS data with the characteristic of volume,variety and heterogeneous.Thus,corresponding adjustments and changes have to be made.Based on the 5V properties of big data,main challenges at these aspects of data management and processing faced by GNSS are analyzed,effective strategies and feasible solutions are given from these aspects of distributed storage and computing.Finally the GNSS data management and processing platform architecture based on distributed storage and computing is advanced,the bottleneck of traditional centralized storage and computing is broken through simultaneously.The result shows that the method can achieve efficient management and processing of GNSS data.

GNSS;big data;distributed storage;distributed computing

P228

A

2095-4999(2015)-04-0062-07

2014-10-16

國家自然科學基金資助項目(41274015);國家863計劃資助項目(2013AA122501);地理信息工程國家重點實驗室開放基金(SKLGIE2014-M-1-5,SKLGIE2014-M-1-6);信息工程大學地理空間信息學院碩士學位論文創新與創優基金(XS201501)。

李林陽(1991—),男,河南駐馬店人,碩士生,主要研究方向為測量數據處理理論與應用。

李林陽,張友陽,李濱,等.海量GNSS數據分布式存儲與計算方法[J].導航定位學報,2015,3(4):62-68.LI Linyang,ZHANG Youyang,LI Bin,et al.Distributed Storage and Computing Method of Massive GNSS Data[J].Journal of Navigation and Positioning,2015,3 (4):62-68.

10.16547/j.cnki.10-1096.20150412