異構環境下基于Rsync同步的前兆數據自動傳輸方案研究

田　野，史繼平，楊興悅

(1.甘肅省地震局，甘肅　蘭州　73000；2.甘肅省地震局平涼地震臺，甘肅　平涼　744000)

?

異構環境下基于Rsync同步的前兆數據自動傳輸方案研究

田野1，史繼平2，楊興悅1

(1.甘肅省地震局，甘肅蘭州73000；2.甘肅省地震局平涼地震臺，甘肅平涼744000)

針對甘肅地震前兆臺網的部分數據無法自動匯集至"十五前兆管理系統"的問題，提出了一種基于Rsync同步的數據自動傳輸方案。本文詳細介紹了該方案的原理及特點，結合前兆數據管理環境異構的現狀設計了相應的操作流程。該方案的實施使不同系統環境下的前兆數據能夠快速、完整、安全地實現自動傳輸且不需要人工參與，進一步提高數據文件的傳輸效率、降低資源占用率。

Rsync；文件同步；前兆數據；地震前兆數據管理系統

0　引言

甘肅省地震前兆監測臺網經過“十五”前兆數字地震觀測網絡工程項目后，將全省各臺站的前兆觀測數據通過地震行業專網匯集到省區域中心，并利用“中國地震前兆數據管理系統”(以下簡稱“管理系統”)實現采集、交換和入庫[1]。目前仍存在一部分前兆觀測數據無法實現到區域中心自動采集管理。這些數據的主要來源有兩種，一是觀測儀器所產出的數據格式不符合“十五”標準，其傳輸協議與“管理系統”不兼容；二是部分觀測儀器的通信環境差，達不到數據自動傳輸的信道條件。此類數據以往都是通過人工手動處理的方式采集管理。臺網值班人員每天先利用格式轉換軟件將前一天的原始數據轉換成“十五”標準的數據格式，然后將這些“十五”格式的數據通過手動復制、拷貝的方法，以遠程登錄的方式保存到“管理系統”服務器上的指定目錄下，等待統一入庫。

前兆數據文件及時傳輸至管理系統服務器上是確保數據自動入庫的前提，而部分前兆數據依靠人工傳輸，則使其入庫時效性大打折扣，安全性無法保證。為能高效、快捷地將無法自動傳輸的前兆數據匯集到省區域中心，實現前兆觀測數據的規范管理及共享，結合甘肅前兆臺網的現狀，利用文件同步的方法實現數據的自動傳輸。

目前存在多種文件同步的方法，但大多數都具有一定的局限性。FTP備份方法，通過運行腳本文件將數據自動復制到FTP服務器的指定目錄[2]，該方法能完成數據自動同步但不能實現增量備份，當需要傳輸的數據量較大時，就會增加網絡的壓力，降低傳輸效率；Wget也是一種常用有效的數據同步方法[3]，但存在同樣的缺點。此外，FTP在傳輸機制上缺乏良好的安全機制[4]，無法保障數據在傳輸過程中的安全性；MiniSync作為常用的數據同步工具，能夠實現定時自動同步傳輸，但它只適用于Windows系統；還有一種數據同步方案是采用基于API的方法獲取文件更新信息，再借助sock編程來實現數據傳輸[5]。這種方案的實施較為復雜，而且需要訪問和操作數據庫，必須充分考慮安全性，對軟、硬件環境有一定要求，實施成本較高。

上述的無法自動傳輸的前兆數據來源分散、操作平臺各異，且涉及的儀器數量不多，需要一個易操作、好實現且低成本的數據傳輸方案。鑒于實際情況，本文提出一種基于Rsync同步技術的數據傳輸方案，實現異構環境下前兆數據的自動傳輸，將全部前兆數據完整、快速地匯集至“管理系統”。

1　數據自動傳輸方案的設計

“管理系統”目前只針對“十五”儀器有數據采集自動入庫的功能。甘肅省前兆臺網目前有4個臺站共計15套儀器(見第30頁表1)不是標準的“十五”儀器，因此無法直接通過“管理系統”實現觀測數據的自動采集入庫。這些數據如果要匯集到“管理系統”，必須先把儀器以“非在線儀器”類型逐個添加到“管理系統”中，再通過人工采集、轉換、拷貝等步驟實現其日常數據管理，具體流程如下：

(1) 通過儀器專用的數采軟件，人工將前一天的原始數據從儀器上采集到原數據服務器。

(2) 利用數據格式轉換軟件[6]將原數據轉換成“十五”數據格式。

(3) 將轉換后的標準格式數據復制并拷貝至“管理系統”服務器的指定目錄下，“管理系統”會將這些數據作為“十五”數據統一入庫。

整個數據采集傳輸過程在不同的操作系統平臺之間完成，如圖1所示。其中數據采集與格式轉換軟件布設在Windows平臺，而“管理系統”則部署在Linux操作系統。在這種異構的操作系統環境下，人工傳輸數據的方法效率低下、安全性較差，因此利用一種高效、安全的數據同步方法來實現前兆數據自動傳輸是十分必要的。

表1　甘肅省非“十五”標準儀器統計表

圖1　異構環境下前兆數據人工傳輸流程Fig.1　Manual transmission flow of precursor data in heterogeneous environment

1.1Rsync概況

Rsync是一種開源的遠程數據鏡像備份工具，支持跨平臺運行，在Windows和Linux等多種操作系統下都能穩定使用[7]。Rsync可通過LAN/WAN實現多臺主機之間的文件鏡像同步備份，并能保持原文件的權限、時間、組、軟硬鏈接等全部屬性[8]。

Rsync的算法核心是將文件分割成一系列不重疊的、固定大小的塊，然后對每個塊計算兩個校驗和：一個弱滾動32位校驗和一個強128位MD4校驗。之后對比原文件和備份文件的差別，當原文件有改變時，可迅速判斷出被改變的文件內容。該算法只將有更新的數據塊進行傳輸，對備份文件作出修改或補充，而不是傳輸整份文件。這種文件傳輸的算法效率高、資源占用少。

1.2數據自動傳輸的方案與流程

異構環境下的前兆數據傳輸一般涉及2臺服務器之間的數據通訊，即基于Windows操作系統的原數據服務器和基于Suse Linux系統的“管理系統”服務器之間的文件同步。其中原數據服務器負責采集和存儲那些無法自動傳輸的前兆數據，并在本地進行相關處理后生成待傳輸的數據，通過Rsync同步機制將所需數據傳輸至“管理系統”服務器上，完成數據自動傳輸。數據傳輸流程如圖2所示。

圖2　數據自動傳輸流程Fig.2　Automatic transmission flow of data

要實現Rsync同步，必須在 Rsync 服務器端和Rsync客戶端上分別安裝相應版本的Rsync軟件，其中Rsync 服務器端運行Rsync守護進程，而Rsync客戶端根據需求定時或周期運行客戶程序來同步所需文件。數據開始同步時，Rsync服務器端打開相應的服務通道允許客戶端進行連接、口令核查和傳輸文件。首次時需將整個文件傳輸，以后則每次只傳輸文件發生改變的部分。Rsync同步算法使服務器之間的傳輸數據量降到最低，大大提升其速度，而Rsync的校驗機制使數據的完整性和安全性都有所保障。

利用Rsync同步實現前兆數據自動傳輸的主要工作流程如圖3所示，其中原數據服務器作為Rsync服務器端，“管理系統”服務器則是Rsync客戶端。首先由Rsync客戶端的Rsync控制模塊去制定同步條件，例如同步的模式、時間等規則。通過地震行業網，經由兩端的Rsync同步模塊將同步條件存儲于Rsync服務器端的控制模塊中，該控制模塊嚴格按照接收到的同步條件去制定同步內容并觸發同步，將所需數據傳輸至Rsync客戶端。傳輸完成后，Rsync客戶端的同步模塊將傳輸結果反饋給本端的Rsync控制模塊。反饋結果將被記錄保存，用于后續的數據完整性校驗，當確保兩端數據無差別時，本次數據傳輸完成。

圖3　Rsync同步工作過程Fig.3　Working process of Rsync synchronization

2　數據自動傳輸的實現

以橫梁地震臺(以下簡稱橫梁臺)的水位儀為例，對利用Rsync同步實現前兆數據自動傳輸的具體實施步驟進行詳細說明。

2.1前期準備

原數據服務器基于Windows平臺，是Rsync同步的服務器端。首先安裝適用于Windows系統的服務器端軟件cwRsyncServer，系統會自動生成一個管理員級別的用戶SvcCWRSYNC，然后增加一個RsyncServer服務并設置為自動啟動，如圖4所示。最后，將系統防火墻設置開放RsyncSerer的默認服務端口873，如圖5所示。

圖4　設置RsyncServer服務自啟動Fig.4　Set RsyncServer service self-starting

“管理系統”服務器基于Suse Linux操作系統，是Rsync同步的客戶端。可直接利用Linux操作系統中集成的Rsync實現數據的同步接收。如果系統沒有自帶Rsync，下載安裝相應版本的軟件包即可。

2.2Rsync同步配置

Rsync服務器端(原數據服務器)的IP地址為10.62.12.112，待傳輸的橫梁臺水位原數據存儲在本地D:RXDATA文件夾內。Rsync客戶端(“管理系統”服務器)的IP地址為10.62.12.113，橫梁臺的水位“十五”數據應放在“管理系統”服務器的/opt/instruments/目錄下。設定同步連接名為“hlzkgd1”，利用Rsync同步將原數據服務器端D:RXDATA內的數據文件自動傳輸到“管理系統”服務器端/opt/instruments/目錄下。

圖5　設置開放873服務端口Fig.5　Set 873 service ports opening

首先對基于Windows操作系統的Rsync服務器端進行配置，在cwRsyncServer的安裝目錄下找到配置文件rsyncd.conf，根據數據傳輸的需求將相關配置信息寫進rsyncd.conf中并保存。rsyncd.conf具體內容如下：

use chroot = false

uid = 0

gid = 0

strict modes = false

log file = rsyncd.log

port = 873

[hlzkgd1]

path = /cygdrive/d/rxdata

read only = false

transfer logging = yes

hosts allow = 10.62.12.113

auth users = SvcCWRSYNC

配置文件主要控制Rsync服務的各種屬性，如用戶名密碼、端口號等。其中，“[hlzkgd1]”部分是對文件同步的各類指標參數的具體設置：“path”指定Rsync服務器端的文件路徑；“hosts allow”規定哪些主機可以訪問Rsync服務器；“auth users”是客戶端的用戶名等。除以上用到的基本設置外，Rsync還為配置文件提供其他指令，做更嚴格的控制，如最大可連接客戶端數量、禁連的主機等。

當Rsync服務器端的配置完成并保存后，相關設置就會生效。在基于Linux操作系統的Rsync客戶端執行以下命令，即可將所需數據文件從Rsync服務器端傳輸至本地。執行的命令為：

rsync-vzrtopg—progress SvcCWRSYNC@10.62.12. 112::hlzkgd1 /opt/instruments。

上述指令中設置了Rsync同步傳輸文件時的各種參數，其中，“-vzrtopg”指文件在傳輸時進行壓縮處理、對子目錄以遞歸模式傳輸、保持文件的權限及屬性等；“—progress”是要求顯示文件傳輸過程；“SvcCWRSYNC@10.62.12.112”是數據來源的用戶名和IP地址；“::”是Rsync的一種工作模式，即從遠程服務器中拷貝文件到本地機；“hlzkgd1”是連接名；“/opt/instruments”指數據文件在“管理系統”服務器上的存儲目錄。

2.3同步計劃任務

實際工作中，要求每天的觀測數據必須在指定的時間自動傳輸，這需要為Rsync客戶端制定同步計劃任務[9-10]，規定數據傳輸的時間、頻率。具體實施步驟如下：

(1) 啟動cron服務，并將其設為開機自啟動(啟動cron服務有多種方法，此處介紹的方法適用于SUSE系統)：

/etc/init.d/cron stop

/etc/init.d/cron start

chkconfig cron on

(2) 編輯/etc/crontab 文件，配置cron：

SHELL=/bin/bash

PATH=/sbin:/bin:/usr/sbin:/usr/bin

MAILTO=“ ”

……

#保持默認設置

00 09-11 * * * root rsync-vzrtopg—progress SvcCWRSYNC @10.62.12.112::hlzkgd1/opt/instruments

上述指令為Rsync客戶端制定了一個文件同步的計劃任務，規定在每天上午9時至11時之間每小時執行一次文件同步命令。在每次執行同步時，Rsync的自動校驗機制會檢查判斷要傳輸的原文件和備份文件是否有差別，若有，則將有變化的部分重新同步。通過這種基于Rsync同步的自動傳輸，能保證將原數據服務器中采集到的橫梁水位觀測數據全部傳到“管理系統”服務器中。

3　結論

“十五”地震系統建設項目完成后，地震觀測儀器基本實現數字化。隨著大量地震觀測數據的產出，對數據的存儲及備份的需求越來越多。實現數據文件的自動傳輸，對解決觀測數據管理問題具有重要意義。張佑龍等[11]利用Visual C++開發的“數字地震臺網數據自動備份軟件”能夠將合肥數字遙測臺網的地震波形數據自動備份到后臺機，節省人工成本；陳向軍等[12]利用Delphi開發的“前兆數據收取軟件”、劉其壽[13]利用Visual Basic開發的“前兆數據傳輸軟件”均基于FTP協議，可實現前兆數據的自動傳輸、下載。但上述軟件僅支持Windows系統，無法在Linux系統使用，而且在定時傳輸或下載時，需人工啟動。胡玉良等[14]開發的“地震前兆數據共享軟件”有效地將山西各市縣的前兆數據匯集到統一的數據庫服務器，提供數據共享服務。該軟件主要通過對數據庫的操作來實現各種功能，其技術要求較高、開發成本也較大，并不適合解決本文面對的問題。

在分析Rsync原理及特點后，針對甘肅省部分前兆數據無法自動傳輸的問題，以Rsync同步機制為基礎，結合目前地震前兆數據管理環境異構的現狀，提出了一種前兆數據自動傳輸的方案，并詳細介紹了具體技術原理及實現步驟。該方案部署應用后，替代以往每日必須人工上傳的工作，實現前兆數據自動、定時傳輸，節省人力且提高了數據傳輸的效率，為地震系統內部類似問題的解決提供了可靠的參考方案。

Rsync同步除了能將文件從Windows端自動傳至Linux端外，還能實現Windows平臺之間、Linux平臺間的相互傳輸。服務器及客戶端可選擇一對一或一對多等多種模式。在數據傳輸過程中，還能根據實際需要設置密碼以限制訪問權限，進一步提高安全性能。Rsync同步具備的這些特點使其有良好的可擴展性，能解決異構環境下文件傳輸的常見問題，對地震數據的傳輸、備份具有重要的應用價值。

[1]王軍，趙剛，何案華，等.“九五”前兆臺站與”十五”前兆臺網的整合研究[J].大地測量與地球動力學,2008,28(4):125-130.

[2]趙云，陳阿林.基于rsync的備份方案研究與實現[J].電腦知識與技術，2012,8(5):984-987.

[3]孫東奇，王秀梅.用Rsync實現Linux文件系統備份[J].教育信息化,2006(2):35-36.

[4]張小林.基于ssh和rsync的郵件系統自動備份實現[J].黃石理工學院學報,2009,25(2):22-24.

[5]董立巖，毛銳，余宜誠，等.基于分布式多服務系統的數據同步方法[J].吉林大學學報(理學版),2011,49(4)：745-749.

[6]田野，郝臻，王小娟，等.非“十五”前兆數據轉換方案的研究與應用[J].地震研究,2013,36(3):390-394.

[7]張海峰，張耀南，張寶山，等.異構環境下數據文件Rsync同步機制研究[J].計算機與現代化,2009(10):78-85.

[8]林玉成，趙瑞，羅兵.基于Rsync的中央氣象臺數據備份機制及優化設計[J].高原山地氣象研究,2014,34(1):81-85.

[9]曾紹庚，徐鵬，冉全，等.Linux與Windows間文件定時自動同步的實現[J].軟件導刊,2009,8(5):9-12.

[10]李卓桓，瞿華.LINUX網絡編程[M].北京:機械工業出版社,2000.

[11]張佑龍，戚浩，崔衛兵，等.合肥數字遙測臺網數據自動備份軟件[J].地震地磁觀測與研究,2007,28(2):97-99.

[12]陳向軍，馬學軍，張文來，等.基于FTP協議的地震前兆數據收取軟件[J].地震地磁觀測與研究,2012,33(5/6):331-334.

[13]劉其壽.地震臺站前兆數據轉輸的智能化[J].福建地震,2005,21(2/3):18-20.

[14]胡玉良，閆民正，程冬焱，等.山西市縣地震前兆數據共享軟件設計[J].地震地磁觀測與研究,2015,36(1):140-144.

Automatic Transmission Scheme of Precursor Data Based on Rsync Synchronization in Heterogeneous Environment

TIAN Ye1, SHI Ji-ping2, YANG Xing-yue1

(1.Earthquake Administration of Gansu Province, Lanzhou, Gansu 730000, China;2.Pingliang Seismic Station of Earthquake Administration of Gansu Province, Pingliang, Gansu 744000, China)

Part of the data in Gansu seismic precursor network can not be collected automatically to the 10th Five-Year Precursor Management System. An automatic data transmission scheme based on Rsync is proposed to solve the above problem. The principle and characteristics of the scheme are introduced in detail. And a corresponding operation flow is designed according to the status of the management environment of precursor data. The implementation of the scheme makes transmission of precursor data in different system environment fast, complete and safe. Manual participation is not required in the process. It improves the transmission efficiency of data and reduces the resource occupancy rate.

Rsync; File synchronization; precursor data; Seismic precursor data management system

1000-6265(2016)03-0029-04

2016-05-07

田野(1984—)，女，甘肅省隴南人。2009年畢業于西北師范大學，碩士研究生，助理研究員。

P315-39

A