Oracle GoldenGate+DXP 技術實現關鍵業務系統容災的解決方案*

宰旭昕，康 凱，許廣文

（公安部戶政管理研究中心，北京 100070）

0 引言

為保證關鍵業務系統的安全平穩運行，確保各類一線業務正常辦理及相關信息準確、安全，在北京兩個數據中心建立安全有效的關鍵業務系統和相應的容災備份系統。當部署關鍵業務的主機房發生重大故障導致業務無法辦理、數據安全受到影響的情況下，備份環境可立即啟用，保障業務的正常辦理和數據的完整、準確與鮮活。

1 設計思路

1.1 備份環境

考慮到該關鍵業務系統的技術路線和應用的繼承性，災備系統采用同等架構的設計，數據結構相同，搭建為物理獨立的災備系統環境，保持原有數據抓取、傳輸、入庫以及對賬的數據維護機制，通過數據同步工具保證主備系統之間的數據同步，業務應用模式和新增需求開發模式不變。

1.2 數據初始化及同步

1.2.1 Oracle GoldenGate 技術

Oracle GoldenGate 簡稱OGG。OGG 是一款實時訪問、捕捉日志變化數據且在異構平臺之間進行數據傳輸的產品，主要用于同構、異構數據平臺之間的數據同步[1]。

（1）Oracle GoldenGate 主要特點。第一，高性能。實時讀取數據庫日志，由特定程序在占用源數據庫極少資源的情況下，實現大量數據快速實時復制，以實現多并發執行。第二，高可靠性。數據的同步以交易為單位，使數據同步保證一致性。第三，靈活性。支持一對一、一對多、多對一、多對多和雙向復制等。如圖1 所示，通過在跟蹤文件（trail文件）中臨時存儲數據，OGG 將數據源和目標分離開來以提供異構支持。這種分離的架構支持每個模塊（捕獲、路由、轉換和交付4 個模塊）獨立執行自己的任務，實現了高性能、高可靠和靈活性。第四，安全性。具有數據壓縮和加密功能，減少對數據傳輸帶寬的壓力，同時大大提高了數據傳輸的安全性[2]。第五，斷點傳輸。OGG 生成了一種新的文件格式trail 文件，而trail 文件能夠防止產生單點故障，將事務信息持續化，具有checkpoint 機制來記錄當前讀寫位置，當出現故障時，通過checkpoint記錄的位置能夠重新準確傳輸數據[3]。第六，OGG支持在異構操作系統下、異構數據庫中進行同步，支持主流的操作系統和數據庫平臺[4]，主要支持的異構環境如圖2 所示。

圖1 OGG 分離架構

圖2 OGG 支持的異構環境

（2）Oracle GoldenGate 工作原理。OGG 工作原理如圖3 所示。首先由捕獲進程（Capture Process）對源數據庫的在線日志或歸檔日志進行讀取并解析[5]，對涉及SQL 變更表操作的語句或者相關變化信息轉換為OGG 自定義的中間格式存放于隊列文件。傳送進程將隊列文件通過網絡傳送到目標數據，然后由捕獲進程進行checkpoint，記錄當前完成捕捉的log 位置。檢查點的存在可使出現問題時從檢查點位置繼續復制[6]。投遞進程從接收到的隊列中讀取數據變化情況，創建相關的數據庫語句，通過數據庫的本地接口執行。成功執行后更新檢查點，記錄完成復制的信息[6]。

圖3 OGG 工作原理

（3）Oracle GoldenGate 應用。綜上所述，OGG是一種能夠支持異構環境的數據庫復制技術，源端與目標端可以是不同的硬件平臺、操作系統、數據庫平臺以及數據庫版本。OGG 執行數據庫復制過程中，目標端數據庫可以是打開運行的狀態，可以支持任何數據庫的讀寫操作。OGG 具有高性能、高可靠、安全性以及斷點續傳等特性。OGG 能夠支持Oracle 數據庫中的數據復制容災，可以滿足關鍵業務災備系統業務數據備份的需求。

1.2.2 數據初始化

應用服務器搭建Cloud Foundy 的PaaS 云平臺環境，數據庫服務器搭建Oracle 庫，實現主系統至備庫的歷史數據初始化功能，并使用ETL 工具（Informatica）完成數據初始化。通過批量數據入庫的方式加載數據。按照目前網絡環境條件下每天800 萬行（含照片類數據）計算，需要人工干預，且需要分批次進行，無法一次性完成所有類型數據的加載。

1.2.3 數據增量同步

在完成初始化后，使用實時增量數據同步工具Oracle GoldenGate 完成日常增量數據的同步。通過判斷新增數據增量方式，主要按照日志方式，按照實時提取主庫增量信息維護至備庫。增量維護支持周期調整、數據變化調整、增量維護監控以及故障診斷等功能。數據同步架構，如圖4 所示。

圖4 數據同步架構

1.2.4 數據同步監控

在災備庫中實現新增數據同步監控和對賬管理功能。按照周期維護至備庫，需要對每個批次維護信息進行數據同步監控，包括數據維護監控、數據維護增量統計、同步故障報警以及故障分析解決等功能。

1.3 數據安全

為保證確保數據傳輸的安全與可靠，主要實現如下功能。

（1）數據獲取安全。利用防火墻等技術對Oracle 訪問的IP、端口進行保護，防止源數據維護視圖被非法訪問。

（2）數據傳輸安全。使用SSL 加密傳輸通道進行數據傳輸，保證數據傳輸安全性。

（3）數據傳輸可靠：確保傳輸過程不丟包以及傳輸驗證等可靠性保護功能；

（4）斷點續傳，即支持斷點續傳。

（5）大文件傳輸，即支持大文件傳輸。

（6）智能路由，即對網絡上的傳輸節點實現智能路由。

1.4 災備系統切換要求

單節點出現問題時，業務切換至另一節點，必要時可做服務降級，保證關鍵業務系統中的主要業務正常服務。所有業務應用在能夠在4 h 內切換至災備系統，數據維護管理應用在48 h內切換至災備系統。

2 備庫的搭建

2.1 基礎環境準備

OGG 可實現異構庫之間的數據同步，在此選用HPE 的服務器，數據庫依舊使用Oracle 數據庫，版本略有不同，使用版本略有新特性的Oracle 12C。GoldenGate 安裝運行需要調用Oracle 的數據庫產品的類庫文件，所以安裝GoldenGate 的系統用戶在系統的Oracle:dba 用戶組中也可以直接使用系統Oracle 用戶進行安裝。為數據安全，隱藏數據庫相關配置信息，硬件配置參照主環境進行配置，支撐環境基本信息如表1 所示。

表1 環境配置信息

2.2 數據庫準備

2.2.1 源 端

在主環境AIX7.1 操作系統上為Oracle 用戶環境增加參數“LIBPATH”：

LIBPATH=/goldengate:$ORACLE_HOME/lib:/usr/libOGG 要求源數據庫必須處于歸檔以及強制日志模式，且需要開啟數據庫表的附加日志（開啟數據庫表的附加日志會導致數據庫日志大大增加）。

2.2.2 目標端

在HP-UNIX 操作系統為Oracle 用戶環境增加參數“SHLIB_PATH”：

SHLIB_PATH=/goldengate:$ORACLE_HOME/lib:/usr/lib

2.3 Oracle GoldenGate 安裝注意事項

2.3.1 Oracle Goldengate 用戶權限

兩端數據庫建立OGG 數據庫用戶GoldenGate，如果對用戶權限要求不嚴格，可以直接授予DBA權限，否則需要賦予GoldenGate 用戶CONNECT、ALTER ANY TABLE、ALTER SESSION、CREATE SESSION、FLASHBACK ANY TABLE、SELECT ANY DICTIONARY、SELECT ANY TABLE、RESOURCE以及DROP ANY TABLE 等權限。

2.3.2 數據庫歸檔日志要求

OGG 要求源數據庫必須處于歸檔以及強制日志模式，且需要開啟數據庫表的附加日志（開啟數據庫表的附加日志會導致數據庫日志大大增加，用戶級別的附加日志和表級別的附加日志可以在最后配置，即啟動同步服務前一步進行配置）。

2.3.3 配置存儲空間

為OGG 創建文件系統，也可在現有文件系統中建立一個目錄。OGG 對于安裝目錄沒有任何限制，OGG 軟件本身占用不到200 MB 空間。

2.3.4 數據隊列存儲空間

需要在共享陣列上為OGG 軟件劃分一定的存儲空間來存儲OGG 隊列。

OGG 存儲空間的計算方法大致如下：

3 災備數據庫中的問題及解決方案

3.1 關鍵問題

3.1.1 OGG 進程時間延遲

關鍵業務系統主備庫的OGG 正常運行后，只需要進入/oracle/ogg 目錄，運行./ggsci 進入OGG管理控制臺，在控制臺輸入info all，即可查看當前查看配置在服務器上的所有進程的信息，包括Program（所屬進程）、Status（運行狀態）、Group（進程名稱）、lag at Chkpt（延遲時間）以及Time Since Chkpt（檢查點信息）。

在數據同步過程中發現，OGG 進程的檢查點總是存在延遲時間較長的問題。使用info all 命令發現EXT2 抽取進程的延遲過高，持續居高不下，最高超過1 000 h，詳細信息如下：

3.1.2 數據差異

對主庫與備庫中的數據進行數據對賬工作，發現存在大量的差異數據。目前，備庫和主庫存在約7 500 萬數據差異，其中主要包括A 信息1 000 萬、B 信息約5 400 萬、C 信息1 100 萬和D 信息1.6 萬。數據差異情況如表2 所示。

3.2 關鍵問題分析

經綜合分析認為，在關鍵業務數據中存在BLOB 字段類型數據。因業務原因，時常會有大批量數據上報，而當日增量超過400 萬時，OGG 延時明顯持續增高。延遲不斷增長會造成以下問題：一是數據抽取過程中，影響抽取的速度和質量，而在修復這個延遲的過程中，切換到下一個文件又將導致兩邊數據量不一致；二是隨著延遲增高，待同步數據累計增多，OGG 中的trail 文件會越來越大，給主庫的歸檔造成了大量的存儲資源占用，同時trail文件的增大和延遲修復所做的切換將造成備庫與主庫的差異數據增多，因此在備庫進行數據分析業務時，數據無法達到完整、準確和鮮活的要求。

綜上所述，在大型災備系統進行數據同步的過程中，OGG 在進行大規模BLOB 字段類型數據同步時性能存在問題。一是數據同步效率降低，增量數據過大時存在很高的延遲；二是數據質量下降，BLOB 字段類型數據會出現缺失，如照片存在半張臉問題，OGG 在數據同步時保證了數據表的行數一致，卻丟失了某些字段信息；三是維護難度較大，沒有可操作的圖形化界面；四是OGG 數據同步對DDL 語句進行同步，當主庫的表結構發生變化時，備庫相應的表的同步會停止，當需要進行字段修改時需要先停止進程。

3.3 數據對賬

在缺少數據對賬方式的情況下，發現數據維護存在問題會比較麻煩。只能通過人工定時對各類數據進行統計來發現問題，或是等上層應用反饋錯誤時才倒查出數據維護中的問題，導致工作十分被動。使用OGG進行數據對賬補償操作非常煩瑣且復雜，為減少關鍵業務系統備庫與主庫數據差異，需在原有數據維護機制基礎上增加數據對賬和差異數據補償機制，開展數據對賬及差異數據補償工作，保障數據的完整性、一致性和鮮活性。

3.3.1 DXP 數據傳輸運行平臺

DXP 數據傳輸運行平臺通過Web 瀏覽器客戶端監控、管理以及維護系統，快速全面掌握數據差異情況，可在備份系統、主備數據庫和其他類型的冗余數據系統中實現數據一致性。在數據不同步時，它能夠快速、自動發現差異數據，且不會中斷數據庫可用性，不再需要運行復雜的查詢并投入大量的人力資源，在某些情況下可節省數周的時間，可根據需要設置檢查頻率在主備數據庫之間執行定期檢查，無需使任一系統、數據庫脫機，且對正常運行的業務無影響。

（1）DXP 數據傳輸運行平臺特點。第一，高效。超速多線程融合，提升數據處理速度；多緩存容器，減少鎖開銷，提升采集效率；多協同輔助線程，縮短整體數據處理時間；根據CPU 數量計算線程池，CPU 利用率達到最大化，提高對計算機硬件的利用率。第二，靈活。支持數據不斷變化的實時數據庫，支持跨網絡跨機房的比對，對硬件和網絡資源的影響低。第三，易操作。自動分批比對數據，實現總量、條目以及數據項的差異數據落地；系統由于斷網導致運行中斷、斷電出現服務宕機等，系統恢復后可自動完成恢復操作，減少人工干預。

（2）DXP 數據傳輸運行平臺工作原理。DXP數據傳輸運行平臺在初始對賬（或行散列）步驟中，利用查詢從源表和目標表檢索行。如果源數據庫與目標數據庫屬于不同的類型，列將轉換為標準化的數據類型格式，以進行準確比較。默認情況下，在比較行時，會以值一一對應的方式比較主鍵的所有列，而對所有非鍵列使用散列值，用于計算散列值獨特的數字簽名縮小通過網絡傳輸以進行比較的數據，保持高效和準確，但是并不能絕對確定兩行列值是否相同。為完全確保發現不同步的行，DXP 數據傳輸運行平臺可配置為以列一一對應的方式比較非鍵行而不使用散列，在不斷變化的環境中確認行狀態，從而確保結果準確，執行確認處理的線程與初始比較步驟并行執行，但每行的確認直到超出指定的復制延遲閾值后才執行。這一步的最后會給出對隊列中的行的評估結果。DXP 數據傳輸運行平臺通過表結構比對識別結構化差異、數據量比對識別數量差異以及數據項比對識別信息內容差異，支持表、視圖以及自定義SQL 等方式。

（3）DXP 數據傳輸運行平臺應用。DXP 數據傳輸運行平臺是對OGG 在數據對賬和補償方面的補充，支持多種數據源和多種比對方式，適用于各種網絡。多樣化完全基于Web 方式實現配置、管理和監控，可高效處理大量數據，支持數據不斷變化的實時數據庫，支持跨網絡跨機房的比對，對硬件和網絡資源的影響低，可用來對關系型數據庫和列存儲數據庫中的數據進行比對和同步，實現其備份系統、主從數據庫和其他類型的冗余數據系統中實現數據一致性，能夠實現關鍵業務數據對賬及差異補償，確保數據的安全、可靠，滿足業務方面的需求調度方式。

3.3.2 數據對賬

使用DXP 數據傳輸運行平臺在識別出差異數據后，實現差異數據修復、查看差異數據報告以及基于個性化配置的數據補齊過程，確保兩端數據的一致性。在進行數據對賬前，要對數據建立哈希索引和主鍵，通過哈希驗證主鍵是否重復，確認在數據對賬補償過程中唯一性是否破壞。哈希值能夠在邏輯上確保數據的唯一性，選擇差異數據表中的某個字段作為主鍵，通過主鍵的功能索引和唯一性特點加快數據庫的運行速度，對大規模數據和多個數據庫比對開展數據對賬工作，驗證數據一致性。

3.3.3 環境搭建

關鍵業務系統的主備庫部署于不同的數據中心，需要進行兩個中心的防火墻安全策略的開通。在備份環境的支撐平臺上新建兩臺虛擬機（系統版本為Windows2012 R2，CPU8C，內存32 GB，存儲300 GB）作為DXP 數據傳輸運行平臺的基礎支撐環境。使用主庫和備庫上已經存在的數據庫賬號作為數據對賬基礎賬號，權限為CONNECT、RESOURCE 和CREATE VIEW。在備庫中，新建數據庫賬戶SJDZ_DXP 及默認表空間384 GB，作為對賬差異數據中間存儲池。部署環境如圖5 所示。

圖5 主備庫環境部署

3.3.4 數據對賬補償步驟

在原有數據同步機制基礎上增加數據對賬和差異數據補償機制，根據數據差異情況定期進行數據對賬補償，能夠保障備庫與主庫數據的一致性。

（1）通過Web 瀏覽器，用戶可以連接到數據對賬服務器，并配置備庫與主庫數據對賬任務及其關聯對象。在配置相應的數據對賬任務后，即可等待任務執行。

（2）使用Web 瀏覽器手動執行數據對賬任務或用周期調度自動執行數據對賬任務，根據數據差異數量和資源使用情況，按批次進行數據補償工作。數據對賬補償過程如圖6 所示。

圖6 數據對賬補償過程

（3）完成任務后，可以通過使用Web 界面或直接查看文件來分析對賬報告和不同步報告，然后根據日常數據維護情況分析數據差異，制定關鍵業務數據對賬補償周期。數據差異分析合并，如圖7所示。

3.3.5 數據對賬補償結果

本次以存在差異數據最多的一類數據對賬補償工作為例，按數據上報單位分別制定數據對賬補償計劃，將某一數據字段作為主鍵。數據對賬計劃執行時間受數據量、字段數量和字段屬性不同的影響，所消耗的時間不同。其中，差異數據最少為11 586 559 條，對賬耗時5 分59 秒，差異數量1 458 392 條，差異存儲耗時3 分46 秒，差異補償耗時29 分25 秒；差異數據最多為46 797 874條，對賬耗時23分31秒，差異數量44 26 995 條，差異存儲耗時18 分35 秒，差異補償耗時10 小時35 分19 秒。

圖7 數據差異分析合并

關鍵業務主備系統中比對的總數據量大約625 016 662 條，對賬總耗時8 小時零9 分，差異總數量111 827 873 條，差異存儲總耗時7 小時，差異補償總耗時506 小時43 分。綜上所述，DXP 數據傳輸運行平臺一共運行25 天4 小時完成此次對比任務。經測試無對賬差錯，補償完整率為100%。

3.4 保障機制

經前期驗證，通過數據對賬補償方式已將備庫差異數據對賬補償，制定保障機制如圖8 所示。

圖8 數據對賬補償保障機制

（1）在DXP 數據傳輸平臺創建定時數據對賬任務，將關鍵業務主備系統的A 信息、B 信息、C信息以及D 信息4 類關鍵業務數據按數據上報單位分批進行對賬；

（2）根據數據對賬結果，形成差異數據；

（3）創建數據補償任務，將A 信息、B 信息、C 信息以及D 信息4 類關鍵業務數據按數據上報單位分批進行補償；（4）根據數據差異情況，設置定時數據對賬補償周期為30 天。

3.5 解決方案優點

3.5.1 OGG+DXP 技術行業案例

Oracle GoldenGate+DXP 技術保證了對業務系統持續性的訪問，提供了對業務持續性的高度支持，滿足跨地域、跨網絡的各種復雜復制需求。無論從網絡資源占用、執行效率和對系統性能影響等方面考慮，它都具有獨特的優勢，可以滿足實時切換的備份需求和在業務發展過程中對數據安全的需求，以最短的時間縮小數據差異率直到數據統一，更好地完善了數據維護的工作內容，提高了數據維護方面的完整性、準確性以及鮮活性。

3.5.2 RPO、RTO 均達到最優化

OGG+DXP 技術實現了主備數據庫中數據的一致性，當主環境出現問題時，業務即刻切換至備份環境，保證主要業務系統正常運行。本次案例中，業務應用可在4 小時內切換至災備系統，數據維護管理應用可在48 小時內切換至災備系統，實現了最短時間內恢復業務辦理，在實現業務連續性和準確性具有重要意義。需要說明的是，該關鍵業務容災系統建設達到了RTO 和RPO 最優化。

4 結語

當前關鍵業務系統運行穩定、日漸成熟，業務數據維護形成了相對穩定、可靠的工作機制并對外提供查詢服務。在北京建立關鍵業務主備庫及數據對賬補償機制，一旦主數據庫宕機，備數據庫將能立即接管主數據庫工作，繼續提供服務，保證業務系統不間斷，數據維護、數據服務等工作正常運行，保障業務的連續性、高可用性以及數據的完整、準確、鮮活。本次案例中的Oracle GoldenGate+DXP 技術符合該行業對數據和業務的高要求，對相關行業在實現關鍵業務系統容災方面有一定的借鑒價值。