測震儀器數據訪問中間件的設計與應用

孫貴成董一兵，楊 銳張環曦劉 麗

1）中國石家莊050021河北省地震局

2）中國合肥230026中國科學技術大學地球與空間科學學院

測震儀器數據訪問中間件的設計與應用

孫貴成1）董一兵1），2）楊 銳1）張環曦1）劉 麗1）

1）中國石家莊050021河北省地震局

2）中國合肥230026中國科學技術大學地球與空間科學學院

分析幾種地震數據采集器網絡協議和數據格式，設計一種儀器數據訪問中間件，為實現上位機應用程序與數采網絡通信、多種數據流接收和發布，提供方法和工具。利用中間件開發測震儀器數據自動同步軟件，實現地震臺站參數和儀器健康狀態的自動同步，在河北測震臺網的成功應用證明了中間件的實用性。

測震儀器；數據流；中間件；數據同步；應用軟件

0 引言

地震數據采集器是測震臺網技術系統關鍵設備，從地震計采集三分向地震動信號，經過濾波、采樣、量化、編碼等一系列處理得到數字信號，通過以太網接口以數據流形式實時輸出（中國地震局監測預報司，2003）。與關系型數據集不同，以太網數據流具有連續生產、實時到達、潛在無限的特點（Gehrke J，2003）。基于此，在上位機應用系統開發中，可以在系統底層設計一個數據接入單元，執行數據接收和發布操作，為系統上層提供數據訪問接口。這種設計實現了數據接入和數據應用進程的解耦和異步，有利于提高實時系統的健壯性和吞吐量，在測震臺網軟件系統已有應用，例如，JOPENS系統專門設計流服務模塊，用于地震波形數據的接收和分發（吳永權等，2013）；董一兵等（2013，2015）在測震臺站健康狀態數據交換系統中設計健康狀態的接收與發布模塊。已有應用系統均面向某一種數據流，在實際工作中，由于數采最大并發連接數限制（如：港震EDAS24-GN的最大并發連接數是4），為每一種數據設計獨立應用程序是對資源的浪費，理想的解決方案是，引進綜合數據訪問服務，為各種數據提供統一的訪問接口。為此，系統分析幾種數采的網絡協議和數據格式，開發一套測震儀器數據訪問中間件，為實現上位機與數采的網絡通信、多種數據流的統一接收和發布，提供方法和工具。

1 需求分析

中間件是一種獨立的系統軟件或服務程序，位于客戶機/服務器的操作系統，管理計算資源和網絡通信，分布式應用軟件通過它在不同技術之間共享資源（周園春等，2002）。測震儀器數據訪問中間件位于地震數據采集器和上位機系統之間，數采可視為服務器端，上位機系統是客戶端，中間件發揮的作用類似于代理服務器——為上位機系統屏蔽儀器和數據流差異，向上提供統一數據訪問接口。應用環境具有以下特點：①異構性：儀器的通信協議和數據格式因廠家而異，產生數據源的異構性；②并發性：中間件通常同時面向多個服務器端（數采）和多個客戶端（上位機）；③實時性：數據流的實時性和易逝性特征對系統的快速響應和處理能力提出較高要求；④異步性：服務器端（數采）和客戶端（上位機）通常在異步模式工作，通過中間件進行協同。

測震儀器數據訪問中間件的主要功能如下：①提供主流地震數據采集器的適配器程序，能夠與數采建立數據通信連接，支持的儀器類型包括港震機電技術有限公司EDAS-24GN、EDAS-24IP和Guralp的CMG-DM24；②提供各種數據流適配器程序，解析上述儀器各類型數據；③提供統一的數據訪問協議，包括數據請求、數據應答的語義、語法和時序。

根據功能和應用特點，對測震儀器數據訪問中間件提出以下基本性能要求：①通用性：支持多種儀器和數據流類型，并提供統一的訪問接口；②并發性：應用并發設計模式，支持與多服務器端（數采）、多客戶端（上位機）的并發操作；③健壯性：模塊間松散耦合，提供可靠的容錯機制；④兼容性：程序應與測震臺網目前的軟硬件系統及儀器良好兼容，并行不悖；⑤易用性：接口應方便用戶調用。

2 中間件設計與實現

2.1 總體設計

為了實現并發，引進生產者/消費者模式。生產者/消費者是一種經典的并發設計模式，將生產與消費過程分離，用緩沖區實現二者數據共享，實現生產者與消費者的解耦，簡化工作負載的管理（Goetz B et al，2012）。使用面向對象方法進行頂層設計，將中間件功能分解為儀器適配器、數據流緩沖區、數據流適配器、數據緩沖區、數據分發器等5個核心功能模塊（圖1）。

圖1 中間件業務流程Fig.1 Business fow of the middleware

儀器適配器是數據流對象的生產者，負責與儀器建立通信連接，發送查詢指令，獲得數據流，將數據流打包成數據流對象，寫入數據流緩沖區；數據流適配器既是數據流對象消費者又是數據對象生產者，負責從數據流緩沖區讀取數據流對象，解析、創建數據對象，并寫入數據緩沖區；數據分發器是數據對象的消費者，負責從數據緩沖區讀取數據對象并向用戶進行發布，提供兩種發布接口供用戶選擇：①直接進行持久化；②通過消息代理服務器，以JMS消息的方式對外發布。由于緩沖區的解耦合作用，儀器適配器、數據流適配器和數據分發器可以并行工作，保證系統的吞吐量，同時，模塊內的錯誤被抑制在內部而不會擴散至全局，增強系統健壯性。由于系統同時存在多個生產者和消費者，緩沖區必須選擇線程安全的數據結構，如：阻塞隊列，這種結構在JDK 1.6中已有實現，可以直接使用。中間件的業務流程見圖1。

2.2 儀器適配器

儀器適配器的主要功能是，與數采通信、生成數據流對象。與數采通信需了解數采的網絡協議與數據格式。TCP/IP是數采普遍采用的協議集合，由一系列分層組織的協議組成，自上而下依次為應用層、傳輸層、網絡層和接口層（Fall K R et al，2012）。應用層與傳輸層之間有一個抽象層——套接字層（Socket），為應用層提供使用傳輸層服務的接口。根據傳輸層協議的不同，套接字可分為流套接字（適用于TCP）和數據報套接字（適用于UDP）。TCP和UDP均為傳輸層協議，其中TCP是一種面向連接的、可靠協議，UDP則是一種無連接的、不可靠協議。TCP適用于可靠性要求高的應用，UDP則適用于可靠性要求低、傳輸經濟的應用。

EDAS-24系列數采（包括EDAS-24IP、EDAS-24GN）的傳輸層采用TCP協議，使用控制端口和數據端口進行通信，其中控制端口用于建立連接時實現用戶驗證和服務申請，采用字符串方式通信，數據端口用于數據服務和系統配置，采用二進制方式通信。與EDAS-24建立通信連接的過程見圖2（a）。CMG-DM24的傳輸層采用UDP協議。盡管UDP可靠性不高，但在主流測震儀器中依然應用廣泛，主要原因是：①網絡環境好。測震臺網普遍使用專用通信鏈路（如光纖），數據通信質量高，即使無流量控制、差錯控制機制，正常情況下數據包不易丟失；②數據容量小。儀器單次輸出的數據量小，如：1個實時地震波形數據包的容量通常是1 s的三分向數據；③通信效率高。在較好的網絡環境和較少數據量前提下，由于缺少建立和維護連接的過程，UDP開銷小、速度快。可見，UDP與測震臺網業務系統需求比較相匹配。與DM24建立通信連接過程見圖2（b）。

圖2 建立通信連接流程Fig.2 Process of building sockets with digitizer

讀入數據流后，儀器適配器并不進行解析，而是將其封裝進一個數據流對象，同時增加一個“儀器類型”屬性作為該數據流的標識，放入數據流緩沖區。“儀器類型”的取值范圍是：EDAS-24IP、EDAS-24GN和CMG-DM24，是數據流適配器選擇解析方法的依據。為了實現多臺并發，采用一儀器一連接一線程的方式，即為每一個儀器創建一個Socket，每一個Socket在一個單獨線程中執行。

2.3 數據流適配器

數據流本質是經過編碼的字節序列，每個序列由一個標識符和若干數據字段組成，具體內容和含義由儀器廠家定義。北京港震機電技術有限公司定義了4種類型的幀，包括查詢幀、應答幀、設置幀、廣播幀，每種幀由同步碼、幀標志、幀長度、數據項、檢查和等字段組成，其中幀標志字段用于指示該幀類型（北京港震機電技術有限公司，2006）。CMG-DM24數采使用流標識字段區別不同類型的數據，例如：健康狀態數據流00（流標識），三分向地震波形數據流Z2、N2、E2，擺錘零位數據流M8、M9、MA等（Guralp Systems，2009）。DM24的UDP數據報通常由以下字段組成：GCF塊、版本號、字節序、序列號、字符串長度和數據源。GCF是Guralp定義的數據壓縮格式，每個GCF塊由一個固定長度的首部和一組數據記錄組成，首部中的流ID字段用于標識報文類型。

數據流適配器從流緩沖區讀取數據流對象，根據該對象的儀器類型屬性值選擇對應方法，對數據流進行解析，將解析后的數據組裝成數據對象，放入數據緩沖區。每一種數據流類型對應一種數據對象。以EDAS-24IP實時波形數據幀為例，介紹數據對象的創建過程：①測試儀器類型屬性值，結果是EDAS-24IP；②調用EDAS-24IP數據幀的通用解析方法，測試幀標志屬性值，結果是0x55dd；③調用EDAS-24IP實時波形數據幀的專用解析方法，得到其屬性值，包括：幀同步碼、地震計號、幀標志、幀長度、保留、時間碼、標定標志、采樣率標志、壓縮標志、分向、壓縮數據段、檢查和等；④創建數據對象，增加儀器類型。流標識屬性作為該對象的標識，在本例中是EDAS-24IP.0x55dd，該屬性將作為數據分發器區別不同數據類型的依據。

3 中間件應用

利用中間件，設計開發一套測震儀器數據自動同步軟件。該軟件采用B/S架構，分為服務器端和客戶端。服務器端包括數據訪問中間件、數據庫和Web服務器等組件，數據訪問中間件定時更新數據庫數據，與臺站數據保持同步，Web服務器使用Tomcat。客戶端使用JSP技術開發，提供基于Web瀏覽器的交互式圖形用戶界面。系統框架結構見圖3。

圖3 測震儀器數據自動同步軟件框架結構Fig.3 Framework of seismic-station data auto sync system

同步數據包括臺站基礎數據和健康狀態數據，見表1。同步周期可由用戶配置，缺省設置是3 600 s。這些參數可以通過儀器廠家提供的客戶端軟件查詢得到（朱小毅等，2006）。

表1 同步數據Table 1 Synchronizing data

用戶通過瀏覽器進行操作，以管理員身份登錄打開客戶端主頁，見圖4（原圖為彩圖）。頁面右側是測震臺站專題地圖，三角形表示臺站，綠色底紋標識“狀態正常”，即實時狀態參數值均在正常閾值范圍內。頁面左側是臺站信息列表，可以瀏覽臺站基礎數據，包括臺網代碼、臺站代碼、行標代碼、中文臺名、英文臺名、臺站類型、通道數量等字段，列表下方提供操作列表的控件。頁面右上角顯示當前操作員為“管理員”。

圖4 客戶端主頁Fig.4 Main page of the client

單擊列表上臺站記錄或者地圖上臺站圖標可進入臺站狀態頁，見圖5。頁面上部是實時狀態值列表，下部是模擬儀表盤。該頁面采用自動刷新技術，列表和儀表數據與儀器自動同步更新，無需用戶手動刷新頁面，便于用戶對單臺監控。

圖5 臺站狀態頁Fig.5 Page of station status

4 結束語

測震儀器數據訪問中間件，為實現上位機應用程序與數采的網絡通信、多種數據流的接收和發布提供統一接口。利用中間件開發測震儀器數據自動同步軟件，實現臺站參數和儀器健康狀態的自動同步。測震儀器數據自動同步軟件在河北測震臺網進行應用，功能和性能均達到設計預期，對提高地震臺站運維效率、保障臺站數據質量發揮了積極作用，具有良好的推廣應用前景。

北京港震機電技術有限公司.地震數據采集器EDAS-24IP用戶指南［R］.2006.

董一兵，高景春，劉勝國，等.測震儀器健康狀態數據交換平臺的設計與實現［J］.地震研究，2013，35（3）：429-433.

董一兵，何永波，劉強，等.一種測震儀器數據流接入框架的設計與應用［J］.地震研究，2015，38（2）：326-331.

吳永權，黃文輝.數據處理系統軟件JOPENS的架構設計與實現［J］.地震地磁觀測與研究，2013，31（6）：59-63.

周園春，李淼，張建，等.中間件技術綜述［J］.計算機工程與應用，2002，38（15）：80-82.

中國地震局監測預報司.數字地震觀測技術［M］.北京：地震出版社，2003.

朱小毅，張妍，婁文宇，等.地震計遠程監控功能接口的實現［J］.地震地磁觀測與研究，2006，27（4）：77-82.

Fall K R，Stevens W R.TCP/IP Illustrated Volume 1 （Second Edition） ［M］.New Jersey: Addison-Wesley Educational Publishers Inc，2012.

Gehrke J.Data Stream Processing［J］.IEEE Computer of Technical Comm on Data Engg，2003，26（1）：111-122.

Guralp Systems Inc.CMG-DM24 Operator’s Guide［R］.2009.

Goetz B，Peierls T，Bloch J et al.Java Concurrency in Practice ［M］.Texas: Pearson Education Inc，2012.

Design and application of the data-access-middleware for seismometric instruments

Sun Guicheng1），Dong Yibing1），2），Yang Rui1），Zhang Huanxi1）and Liu Li1）
1） Earthquake Administration of Hebei Province，Shijiazhuang 050021，China
2） School of Earth and Space Science of USTC，Hefei 230026，China

In this paper，the TCP/IP stack embedded in digitizers is frstly analyzed，and then the design and implementation of a data-access-middleware is introduced，which provides methods and tools to build communication with the seismometric instruments，and implements tasks such as data receiving，decoding and publishing of all kinds of streams.At last，the middleware is applied in a distributed application software system which is designed to synchronize data with the instruments automatically.It was proved a successful example for the application of the system in the seismometric network of Hebei Province.

seismometric instrument，data stream，middleware，data synchronizing，application software

10.3969/j.issn.1003-3246.2015.05.022

孫貴成（1975—），男，本科，工程師，主要從事地震監測工作。E-mail：sgch0818@163.com

董一兵（1983—），男，博士生，工程師，主要從事區域測震臺網工作。E-mail：yuehun06@163.com

地震科技星火計劃項目（XH14006Y）、測震臺網青年骨干培養專項（20140303）、河北省科技支撐計劃項目（13275407D）和河北省科技支撐計劃項目（15275402D）聯合資助

本文收到日期：2015-05-12