一種面向GNSS應用的數據共享平臺實現方法

周幫,周維,黃文德,龐浩,金星，4劉偉，5

(1.湘潭大學信息工程學院,湖南 湘潭 411105;2.國防科技大學機電工程與自動化學院,湖南 長沙 410073;3.導航儀器湖南省工程研究中心,湖南 長沙 410073;4.湖南師范大學物理與信息科學學院,湖南 長沙 410006;5.中南大學物理與電子學院,湖南 長沙 410083)

0 引 言

IGS(International GNSS Service)是提供高質量的GPS、GLONASS數據和產品來支持地球科學相關研究、跨學科應用和教育事業等組織進行研究,其GPS跟蹤站點遍布全球,由200多個組織的400多個GPS、GLONASS跟蹤站組成,并在互聯網上無償面向全球用戶提供GPS、GLONASS信息:如高精度的衛星星歷、IGS站的觀測數據、對流層數據等,為大地測量、地球動力學、包括電離層研究、氣象、參考框架、電離層、精密時間傳遞、地球自轉速率、高分辨的地球自轉速率及其變化研究、地殼運動等研究提供了數據支持[1]。

國際上目前通用的全球衛星導航系統觀測數據文件格式是RINEX,該格式存儲數據采用文本文件形式[2]。IGS提供的各類數據產品均采用RINEX數據格式[3]。

隨著GNSS技術不斷發展,基于GNSS的應用和科學研究也不斷深入,人們對實時動態定位的需求更加廣泛。因此一個能夠提供動態數據面向GNSS應用的數據共享平臺將給GNSS用戶及研究者帶來極大的便利。平臺依靠其在長沙地區的三個基站、安裝有測量型接收機的移動站和U-blox低成本模塊,獨立向廣大用戶提供RINEX格式的包括北斗系統數據在內的靜態數據和動態數據。同時該平臺為那些愿意將自己數據分享出來的用戶提供數據質量分析和共享的功能并且用戶可以通過平臺鏈接對IGS上的數據進行下載。通過采集用戶和平臺自身數據最終將極大地豐富GNSS數據。

1 數據共享體系架構

面向GNSS應用的數據共享平臺邏輯結構分離出了數據存儲、業務邏輯、應用需求,分離后各部分結構清晰,極大地降低了模塊間的耦合度,有利于系統的擴展和維護[4]。平臺采用面向對象的編程思想,整個體系架構分為4層。分別為提供數據采集功能的采集層,對采集的數據進行存儲的存儲層,對數據質量進行分析和處理的數據分析與處理層和為用戶提供下載功能的數據分享層。以上各層又包含多個功能子模塊。下面將對各層進行詳細介紹。

聯系人: 周幫 E-mail:izhoubang@qq.com

1.1 數據采集層

數據采集層包括采集本地數據和采集用戶公開數據兩個部分。采集本地數據主要是通過導航儀器湖南省工程研究中心(參與單位)的三個基站、一個移動站和U-blox接收機獲取觀測數據,其中三個基站和一個移動站的數據是通過上海司南衛星導航技術有限公司自主研發的北斗衛星導航定位系統(BDS)+GPS三星八頻GNSS M300接收機和AT300天線進行采集,通過室外攜帶U-blox NEO-M8T接收機采集供用戶進行低成本實時動態(RTK)研究的數據。采集用戶公開數據是在用戶選擇共享上傳數據的條件下,平臺對用戶的公開數據分類整理后供其他用戶下載使用。采集的數據最終都以RINEX格式存儲在服務器中。通過數據的采集可以極大地提高用戶下載數據的多樣性進而提高用戶試驗用例的完整性。圖1為數據采集層設計示意圖。

圖1 數據采集層設計示意圖

1.2 數據存儲層

數據存儲層的主要功能包括兩方面: 一方面對采集層采集的數據進行存儲,另一方面是對用戶上傳數據的簡要信息諸如采樣時長、采樣間隔等信息和用戶的個人信息進行存儲。從數據庫的優化設計和數據的歸檔方式對數據的采集層進行詳細的分析。

1.2.1 數據庫的優化設計

平臺使用MySQL2005數據庫對各類信息進行存儲。為了給用戶提供安全可靠的數據服務,平臺主要從數據庫的設計和查詢優化對數據庫進行了優化。下面以用戶信息表為例。在描述優化之前先對用戶信息表進行簡單的描述。

用戶信息表(tb-user)存儲的是平臺用戶的個人簡要信息,方便用戶登錄網站、找回密碼。主鍵是userid自動遞增,作為用戶信息的唯一標記。為了提高用戶信息和數據的安全系數用戶密碼進行了MD5加密,MD5自身是不可逆的,但是目前網絡上有很多數據庫支持反查詢。鹽值就是在密碼hash過程中添加額外的隨機值從而增加了反查詢的復雜度。

不難看出以上表的在設計方面都具有如下特點:1) 所有的“對象”都在它自己的table中,沒有冗余。2) 簡潔,更新屬性通常只需要更新很少的記錄。根據標準化的設計規則創建表并在這些表間建立關系;通過取消冗余度與不一致相關性,該設計規則可以同時保護數據并提高數據的靈活性。

由于平臺是面向GNSS應用的所有用戶,有大量結構化的信息需要存儲。為了使用戶信息表在磁盤上占據的空間盡可能小,能在數據庫性能上帶來非常大的提升。本文采取了以下措施對數據庫進行改進:1) 使用正確合適的類型,可以使用數字存儲的方法避免使用字符串。2) 使用較小的整數類型使用戶信息表更小。將MEDIUMINT代替INT,因為MEDIUMINT列使用的空間要少25%.

因為在數據庫的CRUD操作(create 添加數據read讀取數據 update 修改數據delete刪除數據)經常會使用到數據的查詢(SELECT)。有效的使用索引是提高SELECT操作的性能并且實現了數據庫的物理分頁方式,有效提高了對數據庫各種操作的效率。在使用索引時我們避免了變化很小的列,比如:性別列、婚姻狀況列;對可以不建立索引的列避免建立;消除所有在已有索引的前綴上建立的索引。

1.2.2 數據歸檔方式

一種簡單而又清晰的歸檔方式將給用戶查找和編程實現帶來極大的方便。服務器上,具體的目錄組織結構如下所述,Data表示平臺用于存儲所有數據的文件夾,BaseStation表示存儲平臺接收機采集的數據,BaseStation-one表示第一臺接收機,yyyy表示年份的四位數,mm表示月份,dd表示一個月中的第幾天,擴展名.yyt中的yy表示兩位年號, 00～79表示2000～2079年。最后一位t表示文件類型,O表示觀測值,C表示北斗星歷,N表示GPS星歷, G表示GLONASS星歷,省略號表示省去了一些目錄[5-6].

1.3 數據分析與處理層

數據質量分析與處理層是通過JNI使Java調用C語言編寫的動態鏈接庫實現的。用有強大的服務器計算能力的服務器來完成數據分析與處理的過程,極大地提高了用戶體驗。各個檢測項的值輸出到對應文檔,一方面可以給用戶提供數據質量分析的參考,另一方面可以在網頁上以圖形的形式進行展示。

數據分析與處理的流程大致包括對觀測數據和星歷數據的讀取,計算衛星的位置,將觀測數據和衛星坐標以時間、衛星類型、衛星號進行匹配,獲取接收機的位置,對數據質量的各個指標進行測試。其中數據質量指標包括多路徑效應、顧及TGD雙頻觀測值求解的電離層延遲、衛星高度角和方位角等。最后將結果以文件形式輸出。

1.3.1 多路徑效應

地面接收機的接收到的信號中不僅包括直接信號,而且包含被建筑物、地面反射或散射形成的多路徑信號。由于多路徑引起的偽距誤差一般為1～5 m,載波相位的誤差為1～5 cm.為了檢測、抑制和消除多路徑,可以在衛星信號設計、接收天線的設計和選址、數字信號處理和定位導航計算著四個環節采取不同策略[7].該平臺實現了CMC模型在定位導航環節對多路徑進行估計生成報表。用戶可直觀地對數據質量進行評判。

1.3.2 顧及TGD的GNSS雙頻觀測值求解電離層延遲

當衛星信號穿過電離層時其傳播方向和速度會受到電離層的影響而發生改變,這種改變引起的誤差被稱為電離層延遲。本文通過實現了顧及TGD的GNSS雙頻觀測值求解電離層延遲模型[8],可以對被檢測數據進行電離層延遲分析,檢測結果以文件形式保存在服務器。用戶可以直觀了解數據的質量。

1.3.3 衛星方位角和高度角

通過測量衛星方位角及高度角的變化可以幫助用戶分析單顆衛星在觀測時段的情況也可以分析天線的可視衛星的情況,若某顆衛星在整個觀測時段中都處于較低的截止角,則可以考慮剔除該衛星的數據[9]。若天線的可視衛星少或者衛星的高度角過低則可以考慮更換天線的位置。事后數據處理可以避開該段數據,提高數據的有效性。

1.3.4 偽距單點定位

偽距單點定位是通過接收機收到的偽距觀測值,并結合從衛星星歷中得到的衛星瞬時位置及速度,根據空間后方交會原理,確定空間坐標系中單個點位絕對位置的定位方法[10],其定位速度快,解算方法簡便,精度也足以滿足部分用戶對米級精度的定位需求。

1.4 數據共享層

數據共享層的總體技術架構是基于SSM框架,即SpringMVC,Spring,MyBatis框架組合。在表示層(VIEW)采用了HTML5新特性對頁面進行展示;在效果以及渲染方面,采用大量的jQuery[11]插件和CSS技術;在數據質量分析的結果展示中,使用ECharts 豐富了可視化圖表,極大縮短了用戶與數據的距離;使用百度地圖的大數據可視化開源庫mapv對數據的動靜態定位結果進行展示;使用SpringMVC實現了視圖層的邏輯分離;用Spring對MyBatis的支持以及MyBatis的數據持久化功能;使用shiro安全框架簡化了身份驗證和授權并且實現了單點登錄功能;使用Ecache避免了從關系數據管理系統中取數據出來的高花費、高延遲;使用Maven工具對項目進行管理能夠很方便地管理項目報告、生成站點、管理JAR文件,版本管理;數據庫采用MySQL2005數據庫。

通過Eclipse開發平臺對以上功能和技術進行了實現,將代碼打成.war包部署在Tomcat服務器上。為了使平臺能承受更大并發用戶數取得更好的性能。我們從Tomcat啟動行參數和Tomcat容器內對Tomcat進行了優化。例如:

1) 在Tomcat啟動行參數配置中,因為tomcat默認配置下是以client(客戶端)的運行模式,但是如果選擇server(服務器)意味著tomcat是production模式運行,以該模式運行時tomcat將擁有更強的并發處理能力和更快的JVM垃圾回收機制,進而可以大幅度提高其負載與吞吐量。

2) 優化Tomcat容器內,在其安裝目錄:confserver.xml文件,定位到

3) 為了防止DDOS形式的攻擊,把在一個按鈕或者是一個請求在一秒內連續執行150次視為是攻擊。把這個請求相關聯的IP封鎖20分鐘防止DDOS攻擊。

把Tomcat優化的項目都加上,結合前面的數據庫優化、結構化查詢語言以及網站代碼的優化。我們使用預測系統行為和性能的負載測試工具loadrunner,通過模擬上千萬用戶實施并發負載及實時性能監測的方式來對系統性能進行評估。對比優化前后的各項指標如表1所示。

表1 優化前后結果對照表

通過分析上表的數據可以看出,參考目標值并且對比優化前和優化后的實際值可看出,經過Tomcat優化、數據庫優化、結構化查詢語言以及網站代碼的優化各方面的調優后測試在總體上可以達到預期的性能指標。優化后在業務的響應時間和成功率等各方面都有較大的提高。達到了優化預期效果。

2 共享平臺實現效果驗證

在平臺投入使用之前進行了多方面的測試工作,包括: 1) 不同類型接收機接收到的不同格式的轉化; 2) 相同接收機動態數據和靜態數據的質量檢測; 3) 數據共享平臺界面友好性和操作流暢性的檢測。靜態數據是CUTC站TRIMBLE NETR9接收機從2016年1月10日0時0分0.000 000 0秒起一天的數據;動態數據是用戶提供ComNav接收機的2015年9月28日2點31分54.000 000秒到2015年9月28日3點37分 12.000 000 0秒起點到終點折回起點的一個小時數據。下面將對各結果進行詳盡分析。

2.1 數據分析與處理結果

結果展示界面作為數據質量分析結果的一個直觀的展示工具,展示了高度角如圖2所示、多路徑如圖3所示、信噪比隨時間的變化如圖4所示。對于多GNSS數據的結果展示,用戶可以通過控件對系統進行選擇這樣就可以對單顆衛星的上述幾個指標進行查看。用戶可以點擊截圖按鈕、縮放按鈕、還原按鈕、下載按鈕對圖片進行操作。通過拉動時間軸下的時間選擇條可以查看某一時間段的放大圖片。

通過平臺的數據處理算法以經緯度的形式輸出接收機的位置數據。數據處理結果通過匹配百度地圖后可以直觀地查看靜態數據的定位位置和動態數據的運動軌跡如圖5所示。用戶通過查看數據的定位結果給甄別數據質量的優劣提供參考,也可以通過匹配的衛星地圖獲取周邊環境對接收機數據質量的影響。

圖2 高度角隨時間的變化圖 圖3 多路徑隨時間和衛星位置的變化

圖4 信噪比隨時間和衛星位置的變化圖 圖5 動態數據的處理結果

2.2 數據共享效果

用戶通過在線分析界面上傳相應的數據文件,當文件上傳完成后平臺軟件將自動調用數據分析與處理層算法進行數據分析,最后數據分析結果也將保存在源數據文件中。進入到基站源數據下載界面時,用戶可以通過樹狀圖快速找到自己要下載的數據,并且根據需求下載相關的文件或者文件夾。在右側文件下載選擇框中用戶可以方便看到所下載的文件名、文件歸屬、文件類型、文件大小等信息。進入數據共享界面后,如圖6所示,用戶可以通過填寫對應的篩選條件諸如采樣間隔、采樣時長、導航系統檢索自己需要的文件。同時用戶可以通過點擊檢索出來的表上的放大鏡按鈕就能方便地查看該組數據的質量信息。如果數據的各方面都比較理想,用戶就可以通過點擊下載按鈕下載對應的數據文件。

圖6 共享數據下載界面

系統為了削弱網絡帶寬對下載時長的影響,所有數據都以壓縮包的形式下載到用戶本地。通過數據壓縮處理下載時長縮短為下載源文件時長的1/4.事后處理的用戶有下載一天或者一個月的數據的需求,數據量往往以Gb為單位。下載時間根據帶寬的不同可能要數分鐘或者數十分鐘不等,期間可能出現網絡異常而終止下載。如果讓用戶重新下載既耗費時間又浪費金錢。考慮到可能出現的異常情況,平臺支持斷點續傳,允許用戶從上傳下載斷線的地方繼續傳送,極大地提高了用戶體驗。

3 結束語

本文基于SSM框架探討了一種面向GNSS應用數據共享平臺的實現方法并實現,解決了GNSS應用用戶數據共享的束縛;使用B/S模式實現了跨平臺數據的自由、便捷共享;提供了涵蓋動態和靜態數據檢索及下載服務,從不同角度滿足了用戶的檢索和下載需求;同時本文也對GNSS觀測數據質量分析的方法、內容進行研究,并實現能夠處理GPS/BDS雙系統數據質量分析的數學模型。數據處理結果以JSON文件格式保存。平臺實現數據預覽和在線制圖功能為用戶提供可視化服務。

數據共享平臺已經通過審核發布,歡迎用戶通過http://124.232.156.99:8081/datacenter/對數據中心資源進行下載和使用。實際驗證結果表明,基站數據自動更新過程、上傳數據自動質量分析過程便捷。數據質量分析使用Java調用動態鏈接庫的模式在處理24 h采樣間隔30 s的數據總時長小于24 s.高度角、可見時長、信噪比、多路徑、電離層變化可以準確反映數據的質量。該平臺操作簡單、處理速度快、圖形顯示清晰明了,功能齊全,能夠對數據進行有效分析。

致謝:感謝湖南省軍民融合項目支持;感謝北斗開放實驗室微小課題支持;感謝網站所有用戶提供的數據;感謝CUTC站提供的測試數據。

[1] 陳俊勇. 走向新世紀的GPS[J]. 中國航天,2000(10):3-7.

[2] GURTNER W.RINEX:The Receiver Independent Exchange Format Version 2.10[EB/OL]. [2011-05-24].ftp://igscb.jpl.nasa.gov/igscb/data/format/210.txt.

[3] 李洪濤,許國昌,薛鴻印.GPS應用程序設計[M].北京:科學出版社,1999.

[4] 謝有順,李盛樂,劉小利,等. 面向地震行業的地震數據共享服務平臺的設計與實現[J]. 大地測量與地球動力學,2017(5):546-550.

[5] NOLL C E. The help of page[EB/OL].[2008-06-04].ftp://cddis.gsfc.nasa.gov/.

[6] HERRING T A,KING R W.GAMIT reference manual releasel0.3[R].NASA Washington DC,2006.

[7] IRSIGLER M,EISSSFELLER B. Comparison of multipath mitigation techniques with consideration of future signal structures[C]//ION GPS/GNSS,Portland,OR,September 2003.

[8] 李征航,黃勁松.GPS測量與數據處理[M].武漢:武漢大學出版社,2007.

[9] 李俊毅,鄧啟林,李軍正. GNSS多頻數據質量分析軟件設計與實現[J]. 全球定位系統,2016,43(2):55-59.

[10]許國昌.GPS理論、算法與應用[M].北京:清華大學出版社,2011.

[11]ZENG S.MasterjQuery+javascript[M].Beijing:Posts&Telecommunications Press,2009:373-389.

[12]曾順.精通jQuery+javascript[M].北京:人民郵電出版社,2009:373-389.