基于BPE的GNSS數(shù)據(jù)并行快速解算*

陳正生 呂志平 崔 陽 呂 浩

(信息工程大學(xué)地理空間信息學(xué)院，鄭州 450052)

基于BPE的GNSS數(shù)據(jù)并行快速解算*

陳正生 呂志平 崔 陽 呂 浩

(信息工程大學(xué)地理空間信息學(xué)院，鄭州 450052)

采用分布式計算技術(shù)，基于Bernese處理引擎，實現(xiàn)對Bernese 5.0 GPS數(shù)據(jù)處理軟件的并行化處理，突破了其在單機(jī)解算GNSS測量數(shù)據(jù)時的規(guī)模限制和時效性差的問題，并通過精密單點定位和雙差網(wǎng)解試驗驗證了該方法的可行性和優(yōu)越性。

Bernese處理引擎;分布式計算;并行計算;快速解算;全球衛(wèi)星導(dǎo)航系統(tǒng)

1 引言

Bernese GPS軟件是當(dāng)前國際上少有的高精度GNSS(Global Navigation Satellite System)數(shù)據(jù)解算軟件，具有用戶界面友好，模塊條理清晰，功能強(qiáng)大等特點，被廣泛應(yīng)用于GNSS衛(wèi)星定軌以及長基線、大面積的導(dǎo)航定位應(yīng)用中［1，2］。但該軟件存在數(shù)據(jù)準(zhǔn)備和配置比較麻煩和同時處理測站的數(shù)量有限等不足。據(jù)本文測試，按照單機(jī)版的Bernese 5.0默認(rèn)設(shè)置，其精密單點定位(PPP，Precise Point Positioning)解算測站數(shù)量限制在200個以內(nèi)，另外，使用全天采樣率為30 s的GPS觀測數(shù)據(jù)，當(dāng)測站數(shù)超過30個時，該軟件執(zhí)行雙差網(wǎng)解的速度將大大增長，甚至有可能出現(xiàn)卡死現(xiàn)象。通常，解決軟件計算時間過長和數(shù)量限制可以通過增加計算機(jī)硬件性能、修改軟件內(nèi)部設(shè)置來實現(xiàn)，但是前者花費代價大而效果低，單臺計算機(jī)硬件性能的增加難以滿足數(shù)據(jù)規(guī)模的擴(kuò)張，而后者需要修改軟件內(nèi)部代碼，對非軟件開發(fā)者而言，實現(xiàn)難度較大。為了解決以上不足，本文對Bernese進(jìn)行了分布式計算擴(kuò)展和封裝，在不改變其內(nèi)部結(jié)構(gòu)的條件下，實現(xiàn)分布式應(yīng)用，在易用性和執(zhí)行效率上都取得了較好的效果。

2 分布式計算與并行計算

分布式計算是一種把需要進(jìn)行大量計算的工程數(shù)據(jù)分隔成小塊，由多臺計算機(jī)分布計算的方法，其運行環(huán)境是分布式系統(tǒng)。分布式系統(tǒng)是能彼此通信的多個獨立計算裝置所組成的集合［3］，其中獨立計算裝置包括范圍很廣，從超大規(guī)模集成電路芯片，到緊密耦合共享存儲器的多處理器、本地工作站集群、局域網(wǎng)、因特網(wǎng)等。分布式計算具有高性能的計算能力的理論基礎(chǔ)是并行計算。本文主要采用空間上的并行計算。為了方便描述并行計算的性能，一般采用加速比指標(biāo)來進(jìn)行度量，其定義為［4，5］:

其中，n表示處理器個數(shù)，T1是改進(jìn)前整個任務(wù)的執(zhí)行時間，Tn是改進(jìn)后n個處理器并行執(zhí)行時間。

對GNSS數(shù)據(jù)處理而言，分布式計算實現(xiàn)的難點和關(guān)鍵是要對任務(wù)進(jìn)行合理的分解與組合，在計算節(jié)點有限的分布式系統(tǒng)中，保證計算精度的同時，使節(jié)點計算粒度最大化，以提高分布式系統(tǒng)的利用率和數(shù)據(jù)的計算效率。本文對Bernese軟件的分布式應(yīng)用是從數(shù)據(jù)層次進(jìn)行的。通過采用合理的數(shù)據(jù)分解和組合策略，數(shù)據(jù)層次的并行計算可以較大程度的突破單機(jī)計算瓶頸，獲得計算性能的提升。

3 Bernese GPS軟件結(jié)構(gòu)

Bernese 5.0 GPS 軟件［6］的程序語言是 FORTRAN77，個別程序由FORTRAN90編寫，源代碼有30多萬行，包括約1 200個子程序和函數(shù)模塊和100個左右的菜單程序組成，可以同時處理GPS和GLONASS數(shù)據(jù)。圖形界面采用QT庫，支持Windows、Unix/Linux等操作系統(tǒng)，既可以通過程序圖形界面進(jìn)行數(shù)據(jù)解算，也可以通過BPE進(jìn)行調(diào)用。BPE是在Bernese 4.0中引入的，目的是實現(xiàn)自動化的GNSS數(shù)據(jù)解算。BPE的執(zhí)行可以通過界面程序運行，也可以通過Perl腳本調(diào)用。

4 Bernese軟件的分布式設(shè)計

4.1 Bernese BPE 的調(diào)用

軟件的分布式應(yīng)用可以從數(shù)據(jù)、功能、模型等方面進(jìn)行。由于Bernese軟件自成體系，二次開發(fā)比較困難，我們采用數(shù)據(jù)共享的方式對其進(jìn)行分布式設(shè)計。Bernese是高可配置軟件，并且這些配置文件都是文本文件，因此不用運行Bernese界面程序，而用外部程序直接修改這些配置文件，再調(diào)用Bernese BPE實現(xiàn)軟件的自動調(diào)用。這些配置文件的內(nèi)容包含:工程、會話、解算步驟和類型等等。Bernese軟件的數(shù)據(jù)處理流程可分為數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)計算和成果輸出三個階段。我們的實現(xiàn)方法是:在數(shù)據(jù)準(zhǔn)備和成果匯總階段由我們自己編制軟件實現(xiàn)，而在數(shù)據(jù)解算階段調(diào)用Bernese實現(xiàn)，整個運行過程不需要人工干預(yù)，由程序自動實現(xiàn)。以Windows環(huán)境為例，通過DOS命令運行${C}MENUmenu.exe，并以進(jìn)程控制文件(PCF，Process Control File)的路徑作為其參數(shù)，實現(xiàn)對Bernese BPE的調(diào)用;通過修改或編寫PCF實現(xiàn)對Bernese執(zhí)行計算方法的控制;通過讀取PCF狀態(tài)文件獲取Bernese的當(dāng)前運行狀態(tài)，一旦Bernese運行完畢，就將計算結(jié)果傳輸給主程序。

4.2 分布式系統(tǒng)設(shè)計和實現(xiàn)

系統(tǒng)由控制端、執(zhí)行端、數(shù)據(jù)服務(wù)器三部分組成，采用C/S(Client/Server)結(jié)構(gòu)。控制端只有一個控制程序，負(fù)責(zé)任務(wù)生成、分配、發(fā)送命令、接收解算結(jié)果;執(zhí)行端(客戶端/計算節(jié)點)包含Bernese解算軟件和我們自己開發(fā)的任務(wù)解析執(zhí)行終端，負(fù)責(zé)解析任務(wù)、修改PCF、運行BPE、監(jiān)控運行狀態(tài)、發(fā)送解算結(jié)果等;數(shù)據(jù)服務(wù)器采用ftp存儲和傳輸原始數(shù)據(jù)及解算結(jié)果。控制端和執(zhí)行端采用C#語言編寫，運行環(huán)境為.Net Framework 4.0，系統(tǒng)采用 XML(eX-tensible Markup Language)技術(shù)傳遞命令，ftp傳輸數(shù)據(jù)。系統(tǒng)部署在廣域網(wǎng)或局域網(wǎng)上，為使系統(tǒng)發(fā)揮最大效能，視任務(wù)分解程度，需有多個計算節(jié)點并行執(zhí)行任務(wù)，并根據(jù)網(wǎng)絡(luò)結(jié)構(gòu)分配任務(wù)和傳輸數(shù)據(jù)。

圖1是分布式計算流程。首先主控制機(jī)讀取觀測網(wǎng)絡(luò)的元數(shù)據(jù)和分布式網(wǎng)絡(luò)信息，由觀測網(wǎng)絡(luò)元數(shù)據(jù)生成解算任務(wù)，并根據(jù)分布式計算網(wǎng)絡(luò)的信息，如節(jié)點數(shù)量、服務(wù)器數(shù)據(jù)位置、網(wǎng)絡(luò)帶寬等，決定任務(wù)分解的數(shù)量和策略，然后將分解后的任務(wù)與計算節(jié)點進(jìn)行綁定，之后將這些數(shù)據(jù)以命令的形式通知相關(guān)計算節(jié)點。各個計算節(jié)點在接收到任務(wù)命令后，解析命令，并執(zhí)行相應(yīng)的解算任務(wù)，最后將解算結(jié)果發(fā)回主控制機(jī)。

整個處理過程中，計算節(jié)點自動解析命令，修改Bernese配置文件，下載數(shù)據(jù)，執(zhí)行計算，并將解算后的結(jié)果發(fā)送到指定的ftp服務(wù)器或直接傳給主控制機(jī)。

5 算例分析

5.1 PPP的分布式處理

圖1 分布式解算流程圖Fig.1 Flow chart of distributed computing

精密單點定位技術(shù)是近年來GNSS數(shù)據(jù)處理領(lǐng)域的研究熱點之一［7，8］，由于測站采用非差處理手段，單臺接收機(jī)就可在全球?qū)崿F(xiàn)mm～cm級的靜態(tài)和cm～dm級的動態(tài)定位。Bernese是率先支持PPP的軟件之一，在軟件范例中直接提供了PPP的BPE標(biāo)準(zhǔn)處理流程，并且其雙差解也是建立在PPP解的基礎(chǔ)上的。由于Bernese默認(rèn)PPP腳本中加入了一些如合并結(jié)果的額外操作，使得計算時間和測站數(shù)量為非線性，隨著測站數(shù)量的增加解算時間劇增。對于此，對其PPP腳本進(jìn)行優(yōu)化，優(yōu)化后的解算時間與測站數(shù)量為線性關(guān)系。圖2是隨著測站的增加Bernese解算PPP的時耗對比，宿主計算機(jī)CPU 為四核3.1 GHz，內(nèi)存4 GB。

圖2 Bernese單機(jī)PPP解算時耗趨勢Fig.2 Time consumption trend of PPP in a single computer of Bernese

可以看到在Bernese默認(rèn)PPP的配置下，隨著測站數(shù)量的增加，Bernese軟件的時耗呈指數(shù)形式遞增。當(dāng)測站達(dá)到60個時，計算時間達(dá)到了10小時左右，而優(yōu)化后腳本的解算時間僅為21分鐘。

在分布式環(huán)境中，控制機(jī)將待解測站進(jìn)行分組，并異步發(fā)送解算命令到各計算節(jié)點，計算節(jié)點接收到命令后，修改本地Bernese配置文件，從指定ftp服務(wù)器下載觀測數(shù)據(jù)，然后調(diào)用BPE進(jìn)行解算，解算完成后將解算結(jié)果(Sinex)發(fā)往指定的ftp服務(wù)器。我們分別在5個和10個節(jié)點的分布式環(huán)境中進(jìn)行測試，參與解算的10個節(jié)點計算機(jī)配置相當(dāng)，得到的結(jié)果如表1。

表1 5個和10個節(jié)點計算時間的統(tǒng)計對比Tab.1 Statistics of time consuming in 5 and 10 nodes

由于在當(dāng)前版本Bernese的配置中，單機(jī)解算PPP的測站數(shù)不能超過200個，因此沒能統(tǒng)計出測站數(shù)在200以上的加速比。從表1可以看出，由于采用了多臺計算機(jī)并行的計算方法，執(zhí)行速度得到了較大的提高，5個節(jié)點的平均加速比為3.7，10個節(jié)點的平均加速比為6.05。

5.2 雙差網(wǎng)解試驗

相對PPP，采用同步觀測數(shù)據(jù)的載波相位差分算法具有更高的解算精度。Bernese 5.0采用雙差模型實現(xiàn)對GNSS觀測網(wǎng)的高精度解算，支持長達(dá)2 000 km的長基線的模糊度確定。但是由于雙差網(wǎng)解所涉及的參數(shù)眾多，其解算時間隨著網(wǎng)解規(guī)模迅速遞增，并且按照Bernese默認(rèn)的雙差網(wǎng)解BPE腳本(RNX2SNX.PCF)，在解算超過30個測站時，很容易提示參數(shù)過多的報錯而終止解算。為使解算結(jié)果具有可比性，我們選取IGS的29個站全天的觀測數(shù)據(jù)，選擇4個IGS核心站作為參考基準(zhǔn)站，將剩下的測站劃分3個區(qū)(表2)。

通過將29個站的觀測數(shù)據(jù)利用Bernese軟件整體網(wǎng)平差，獲得網(wǎng)平差計算結(jié)果和計算時間。三個分區(qū)采用分布式系統(tǒng)進(jìn)行并行計算，解算結(jié)果發(fā)回控制機(jī)，由控制機(jī)再組網(wǎng)平差得到結(jié)果。整體網(wǎng)解與子網(wǎng)劃分網(wǎng)解坐標(biāo)分量較差，統(tǒng)計如圖3。

表2 站點分區(qū)表Tab.2 Blocking of sites

圖3 坐標(biāo)分量差值統(tǒng)計Fig.3 Difference statistics of coordinate components

由圖3可知，兩個方案的點位較差都在3 mm內(nèi)，解算結(jié)果相差很小，符合解算要求。另外，整體網(wǎng)解與子網(wǎng)劃分并行解算的各方向中誤差最大不超過2 mm，解算精度相當(dāng)。對比整體網(wǎng)解與子網(wǎng)劃分并行解算的計算時間如表3。

表3 整體網(wǎng)解與分區(qū)并行網(wǎng)解的時間對比Tab.3 Time consuming comparison between entirety solving and block parallel computing

可以得出，利用3個節(jié)點并行子網(wǎng)劃分并行解算的計算時間相對于整體網(wǎng)解，在精度相當(dāng)?shù)那闆r下，加速比達(dá)到1.725，相當(dāng)于提高了1.725倍。另外，隨著GNSS網(wǎng)規(guī)模的增大，測站數(shù)超過30個時，Bernese單機(jī)的基線網(wǎng)解，容易因參數(shù)過多而解算失敗，而并行、分區(qū)的解算方法能突破這種的解算限制，在解算效率和規(guī)模上都優(yōu)于單機(jī)解算。

6 結(jié)語

通過修改Bernese軟件的配置文件和調(diào)用BPE，在沒有改變軟件內(nèi)部結(jié)構(gòu)的條件下，從數(shù)據(jù)層次實現(xiàn)了Bernese軟件的分布式應(yīng)用，使得GNSS解算過程簡單化和自動化，最后通過算例證明該方法可以較大程度的提高Bernese軟件處理GNSS數(shù)據(jù)的效率。GNSS的分布式計算可以從數(shù)據(jù)、功能、模型和服務(wù)等層次進(jìn)行實現(xiàn)，要完全發(fā)揮分布式計算的優(yōu)點，則需要從這幾方面同時進(jìn)行實現(xiàn)。介于Bernese軟件內(nèi)部實現(xiàn)比較復(fù)雜，從數(shù)據(jù)計算模型和功能層次實現(xiàn)代價太高，因而本文只是從數(shù)據(jù)層次進(jìn)行了實現(xiàn)。近年來，隨著分布式計算的發(fā)展，特別是云計算技術(shù)的出現(xiàn)，各種計算、存儲、傳輸?shù)刃枨蠖伎梢砸苑?wù)的形式得以實現(xiàn)。該技術(shù)能屏蔽數(shù)據(jù)處理中間過程，可以直接、快速、穩(wěn)定地提供服務(wù)，是GNSS數(shù)據(jù)處理的發(fā)展方向之一。

1 韓菲，等.基于Bernese GPS軟件的GPS數(shù)據(jù)自動解算系統(tǒng)的研究［J］.測繪通報，2011，(11):8 －10，56.(Han Fei，et al.A study of automatic GPS data processing system based on Bernese GPS software［J］.Bulletin of Surveying and Mapping，2011，(11):8 －10，56)

2 王偉，等.中國大陸現(xiàn)今地殼運動速度場［J］.大地測量與地球動力學(xué)，2012，(6):29 － 32.(Wang Wei，et al.Present-day crustal movement velocity field in Chinese mainland［J］.Journal of Geodesy and Geodynamics，2012，(6):29 －32)

3 Hagit Attiya and Jennifer Welch.Distributed computing fundamentals，simulations，and advanced topics(Second Edition)［M］.Wiley，2004.

4 王剛強(qiáng)，等.多核計算機(jī)上的快速傅里葉變換并行算法［J］.計算機(jī)工程，2011，37(16):57－59.(Wang Gangqiang，et al.Fast fourier transform parallel algorithm on multi-core computer［J］.Computer Engineering，2011，37(16):57－59)

5 余磊，等.LU分解在眾核結(jié)構(gòu)仿真器上的指令級調(diào)度研究［J］.系統(tǒng)仿真學(xué)報，2011，23(12):2 603 －2 610.(Yu Lei，et al.Study on instruction scheduling of LU decomposition on many-core architecture simulator［J］.Journal of System Simulation，2011，23(12):2 603 －2 610)

6 Dach R，et a1.Bernese GPS software version 5.0 ［S］.Bern:Astronomical Institute，University of Bern，2007.

7 Jan Kouba and Pierre Héroux.Precise point positioning using IGS orbit and clock products［J］.GPS Solutions，2001，5(2):12 －28.］

8 姜衛(wèi)平，等.基于CORS網(wǎng)絡(luò)的單頻GPS實時精密單點定位新方法［J］.地球物理學(xué)報，2012，55(5):1 549－1 556.(Jiang WeiPing，et al.A new kind of real-time PPP method for GPS single-frequency receiver using CORS network［J］.Chinese Journal of Geophysics，2012，55(5):1 549－1 556)

PARALLEL COMPUTING OF GNSS DATA BASED ON BERNESE PROCESSING ENGINE

Chen Zhengsheng，LZhiping，Cui Yang and Lǚ Hao
(Institute of Surveying and Mapping，Information Engineering University，Zhengzhou450052)

This paper uses distributed computing technology to achieve parallel processing of the Bernese 5.0 GPS software based on the Bernese processing engine，and we overcome the disadvantage of scale limits and poor timeliness of GNSS observations in a single computer.Then，the viability and superiority of this method are validated through precise point positioning and double-difference network solution.

Bernese processing engine;distributed computing;parallel computing;fast computing;GNSS

P228

A

1671-5942(2013)05-0079-04

2013-05-31

國家自然科學(xué)基金(41274015);國家863計劃項目(2013AA122501)

陳正生，男，1984年生，博士生，主要從事測量數(shù)據(jù)處理理論與方法研究.E－mail:czsgeo@126.com