基于數據同步技術的5T系統架構優化方案研究

趙 穎，蔣 薈

（中國鐵道科學研究院 電子計算技術研究所，北京 100081）

基于數據同步技術的5T系統架構優化方案研究

趙 穎，蔣 薈

（中國鐵道科學研究院 電子計算技術研究所，北京 100081）

論文分析5T系統的現狀及存在的問題，對比現有的數據同步技術，提出一種基于數據庫日志分析的數據同步方法，介紹該方法的數據同步流程和原理。基于此方法對5T系統架構進行優化，提出對主備庫數據同步、讀寫分離、消息推送等方面的解決方案，論述了此方案的優勢以及可提升的空間。

數據同步；日志；架構

鐵路車輛運行安全監控系統（簡稱：5T系統）已投入使用多年，系統通過多種探測設備實時監控客、貨車輛運行狀態，并提供告警，為保障客、貨車輛運行安全發揮了顯著的作用。

現有的5T系統架構如圖1所示，探測站、鐵路局服務器、鐵路總公司服務器之間的數據交互主要通過中間件傳輸數據文件。探測站采集的監測數據形成文件后逐級上傳至鐵路局服務器和鐵路總公司服務器，經過數據庫的讀取和解析寫入監測表中；同時，鐵路總公司服務器將處理匯總后的數據導出成數據文件，再分發至鐵路局服務器；鐵路局服務器將匯總信息解析后，同監測數據一起進行綜合評判，得到報警評判結果，實現基于多點監測信息的聯網綜合報警評判。

隨著5T系統監測設備覆蓋范圍的不斷擴大，需要傳輸和存儲的數據量越來越大。Oracle數據庫要存儲大量的數據，完成解析、評判、統計和導出等工作，還要為應用系統提供數據查詢服務，因此數據庫的資源越發緊張，由此帶來幾個問題：

（1）上傳的監測數據入庫可能出現延遲，數據入庫延時會使監測信息推送滯后，影響現場作業人員依據監測報警信息進行列車檢查作業。（2）自上而下的數據同步的實時性若無法保證，將會影響綜合評判的準確性，極易造成系統誤判或漏判。（3）數據同步的延時或失敗如果不能及時告警，將不利于提醒系統技術人員在第一時間發現系統運行故障。（4）查詢分析的響應速度慢，不利于開展更加深入的數據挖掘分析，影響用戶體驗。

因此，從改進數據同步方法、分離讀寫數據庫、增加敏感業務消息等幾方面，對5T系統架構進行優化，提高系統整體性能，保證5T系統的準確性和高效性，已成為當前的一項重要工作。

1 數據同步方案對比

Oracle提供了DataGuard、Streams、GoldenGate等數據同步工具，它們的用途和要求各不相同。

圖1 系統現有架構與流程圖

1.1 DataGuard

DataGuard是Oracle數據庫自帶的一款免費數據同步工具，基本原理是將日志文件從源數據庫傳輸到目標數據庫，在目標數據庫上應用這些日志文件，從而使目標數據庫與源數據庫保持同步。它對網絡帶寬要求高，主備庫環境與結構須完全一致，因此適用于數據庫災備、故障恢復，不適合讀庫與寫庫、異構數據庫之間的數據同步。

1.2 Streams

Streams利用高級隊列技術，通過用Log Miner挖掘日志文件生成變更的邏輯記錄，將這些變更應用到目標數據庫上，從而實現數據庫之間或一個數據庫內部的數據同步。盡管Streams支持異構的、部分對象的復制，但它配置維護復雜、對源數據庫壓力大、穩定性較差。

1.3 GoldenGate

GoldenGate可以用于多種不同操作系統平臺和多種不同數據庫系統之間的數據同步，它支持一對多、多對一，雙向復制等，也可以選擇部分對象進行復制，可滿足數據分發和數據集成的需要，減輕源數據庫壓力，但是需要支付昂貴的費用。

基于項目成本和系統長遠發展多方面綜合考慮，決定自行研發一款基于數據庫日志的同步工具，通過捕獲Oracle數據庫的日志變化，將源數據庫的變化邏輯復制到目標數據庫中，實現數據的同步。

2 基于日志的數據同步原理

在Oracle中，每執行一次更新操作（創建、插入、刪除、更改），系統都將該操作以固定格式記錄到日志文件（Redo Log File）中，以便在數據庫出現例程失敗或設備故障時，可以恢復數據庫[2]。因此，若需了解數據庫的操作變化，將變化的數據從一個數據庫同步到另一個數據庫，可以通過分析Oracle數據庫的日志變化來實現。

2.1 數據同步流程

數據同步的流程如圖2所示，數據同步邏輯上分為源端和目標端。源端的任務主要是負責捕獲Redo Log的變化，分析日志，合成交易，最后輸出程序可識別的數據變更項；目標端的任務主要是將數據變更項根據需要應用到目標庫中。

2.2 源端同步原理

源端通過監控讀取、日志分析、事物緩存、發布等步驟，將二進制格式的日志信息翻譯成程序可讀操作記錄，過濾無需提交的操作記錄后，將有效的操作記錄合成為事務，發布到消息系統，供目標端進行按需訂閱。

2.3 目標端同步原理

目標端根據需要訂閱源端發布的消息，獲取操作記錄，將其過濾分發到不同的應用模塊,實現數據同步或其他功能，目標端的應用模塊可根據需要擴展。例如SQL Applier，主要將操作記錄翻譯成SQL語句，并在目標庫執行，也就是常見的表對表的數據同步；WarnMsgApplier,通過捕獲敏感數據的變化，當達到閾值時，向告警中心推送報警信息。

圖2 數據同步流程圖

這種方式不依賴任何數據庫的引擎便可獲取變更數據，因此不會影響源庫的性能；且由于獲取的是源庫操作記錄的變化，所以應用這些變化可以靈活多樣地開展同步工作。既可以按需要進行同步，也可以進行異構同步。

3 系統架構優化方案

針對上述5T系統架構存在的問題，提出基于日志的數據同步工具對5T系統架構進行改進優化的方案，優化后的系統架構如圖3所示。對系統架構優化的工作主要體現在以下幾個方面。

圖3 優化的系統架構與流程圖

3.1 采用數據同步工具取代傳輸中間件，實現鐵路總公司到鐵路局的數據同步

探測站形成的數據文件上傳至鐵路局服務器后，一方面進行解析入庫，另一方面直接通過消息中間件傳輸至鐵路總公司服務器，這是自底向上傳輸最快捷的方式。而自上而下從鐵路總公司同步到各鐵路局的數據，如果采用中間件傳輸，需要經過讀表、導出、傳輸、解析和入庫多個步驟，頻繁地讀寫數據庫和硬盤，容易造成資源緊張。因此，可采用數據同步工具取代傳輸中間件，通過捕獲鐵路總公司級數據庫日志的變化，實現鐵路總公司到鐵路局的數據同步。由于監控和讀取日志變化無需訪問數據庫，因此可以有效降低對數據庫資源占用，同時不需要向磁盤上寫任何文件，還可以降低系統對磁盤寫入的壓力。

此外，系統值班監控人員可以在鐵路總公司級服務器監控數據同步的進度和結果，隨時掌握數據同步記錄。一旦出現同步失敗，可及時通過人工進行補傳，最大限度保證數據的一致性。

3.2 鐵路總公司和鐵路局分別增加讀數據庫，實現業務數據的讀寫分離

原有5T系統架構中，數據存儲與分析都在一個數據庫中實現，資源緊張時，復雜的數據分析會影響數據入庫存儲，且統計分析的效率較低、用戶查詢的響應速度慢。

新的系統架構中，利用數據同步工具實現讀寫庫分離，將主要業務數據從寫庫實時同步到讀庫中，可以將復雜的數據統計和分析放在讀庫上實現，面向用戶的信息查詢也直接訪問讀庫。通過這樣讀寫拆分，既實現了對關鍵業務數據的備份，還可以避免數據入庫與統計分析之間相互影響，大大提高了用戶查詢的響應速度。此外，數據同步工具支持一對多、異構的復制，所以讀庫可以根據業務需求進行橫向擴展及按需復制。

3.3 新增敏感業務消息提醒服務

原有系統中，用戶主要通過監控頁面查看告警信息。而在新系統中，可利用數據同步工具捕獲敏感數據的變化，并提供推送告警信息的功能，將危及行車安全的車輛報警信息，實時推送給用戶，使他們可以及時獲取告警信息，及時進行故障處置。且該功能可以根據用戶需求，進行個性化定制，使得用戶及時獲取滿足自己需求的告警信息，從而避免因濫報導致故障處置響應不及時的現象發生。

4 結束語

基于日志的數據同步技術可將數據同步延時控制在秒級，完全滿足5T系統業務的需求。采用此方法對5T系統架構進行優化，可以在很大程度上解決資源緊張、數據不一致、響應速度慢等問題。同時，將讀寫數據庫分離，為更深入的數據分析與挖掘奠定了基礎。此外，利用數據同步工具的實時告警服務，可以讓用戶更方便及時地獲取報警信息，提高用戶體驗。

改進后的系統，數據的查詢和分析還是在關系型數據庫里實現。隨著數據的不斷增多，關系型數據庫在處理海量數據方面將是一個瓶頸，今后可以通過數據同步工具將數據同步到Hadoop，這樣系統的日常分析可以在Hadoop里進行，同樣有利于系統性能的提升。

[1]李偉明.ORACLE REDO LOG文件分析及C語言描述[J].小型微型計算機系統，2003（7）：1243-1246.

[2]林樹澤，盧 芬.Oracle 11g R2 DBA操作指南[M].北京：清華大學出版社，2013.

[3]弗里曼，哈 特.Oracle Database 11g RMAN備份與恢復[M].王念濱，陳子陽，譯.北京：清華大學出版社，2011.

責任編輯 王 浩

Optimization architecture of 5T System based on data synchronization technology

ZHAO Ying,JIANG Hui
( Institute of Computing Technologies,China Academy of Railway Sciences,Beijing 100081,China)

This article analyzed the present situation and problems of 5T System,compared with existing data synchronization techniques,put forward a method of data synchronization based on database log analysis,introduced the process and principle of data synchronization in detail.Based on this method,the architecture of 5T System was optimized,and the solution of the main data synchronization,read and write separation,message push was proposed.Finally,the advantages of this data synchronization scheme were discussed.

data synchronous;log;architecture

U260.42∶TP39

A

1005-8451（2016）06-0009-04

2015-11-20

中國鐵路總公司白皮書項目（2015X009-A）。

趙 穎，助理研究員；蔣 薈，研究員 。