三峽梯級水庫調度自動化系統異地災備設計實現

劉 帥，周 保 紅，張 玉 松

(1.三峽水利樞紐梯級調度通信中心，湖北 宜昌 443002； 2.智慧長江與水電科學湖北省重點實驗室，湖北 宜昌 443002)

0 引 言

美國2002年7月發布了Sarbanes-Oxley法案，該法案對在美國注冊并在美國上市的所有公司提出了業務連續性要求。隨著全球范圍的分工和供應鏈的形成，是否具有災難恢復和業務連續性規劃已成為許多國家政府機構和企業對其下屬機構或供應商提出的必要條件。建立災備系統是保證國家安全、人民利益、社會穩定和經濟發展的需要。習近平總書記在考察三峽工程時指出大國重器必須掌握在我們自己手里，核心技術與設備受制于人是最大的隱患。隨著近些年國產信息技術的崛起與進步，以華為、曙光、浪潮為代表的設備硬件公司以及以達夢為代表的數據庫軟件公司已研發出可以同國外先進公司同臺競爭的產品，采用自主可控技術搭建異地災備系統的條件已越發成熟。

文獻[1]給出了災難備份系統的解釋，即當災難發生導致生產系統不可用時用于接替生產運行的信息系統，以滿足機構業務運營的連續性要求，并指出確立RTO(Recovery Time Objective，復原時間目標)、RPO(Recovery Point Objective，復原點目標)的恢復指標是關鍵。文獻[2]給出了基于RPO與RTO的6種災難恢復能力等級，見表1。

表1 恢復指標與容災能力等級的關系Tab.1 The relationship between recovery index and disaster tolerance level

三峽梯級水調自動化系統作為調度國內裝機容量前五的梯級水庫調度自動化系統，所負責的水電站為三峽、白鶴灘、溪洛渡、烏東德、向家壩，其總裝機容量為126 560 MW。在上述背景下，該水庫調度自動化系統參考相關標準按照6級的災難恢復能力等級去考慮其災備設計，即該系統在不可用的情況下，具備在數分鐘內完成恢復且不丟失數據的能力[3]。水庫調度自動化系統功能復雜、數據業務環節多、數據實時性要求高，為實現三峽(宜昌)、成都、昆明三地系統互備功能，需要從遙測采集系統互備、應用功能互備、數據庫互備著手考慮。三峽、成都、昆明三地兩兩間隔平均距離近1 000 km，水庫調度自動化系統要求的6級災難恢復能力(RTO與RPO幾近于0)的目標無論從技術還是設計上都存在挑戰，需要重點考慮數據庫的異地災備的實現，解決數據遠距離切換的連續性和及時性問題。

本文對水庫調度自動化系統的異地災備現狀進行了分析，結合RPO、RTO關鍵指標選取了適應梯級水庫調度自動化系統的災備恢復標準等級，研究了災備技術的類型特點與自主可控的災備技術原理，結合業務實際進行了梯級水庫調度自動化系統三地互備功能的要求和具體設計。通過梳理國外搭建異地災備的技術經驗，總結了系統異地災備現狀，收集了現有的自主可控的異地災備技術，完成了產品選型確認和性能驗證。從系統災備功能完備性出發給出了災備的需求分析并開展了補充功能需求設計。

1 異地災備技術研究分析

1.1 災備技術分析

文獻[4]針對容災備份系統進行了可用性、性能和評估效能等方面的研究。災備的分類形式多樣，技術路線豐富，普遍接受的異地災備分類形式為離線災備和在線災備兩大類。

離線災備的本質是通過物理運輸備份介質、軟件拷貝的形式實現文件的異地存放并提供對應的數據技術進行數據恢復。該技術特點是備份與恢復時間長，RTO與RPO指標差，數據幾乎不能保證連續性和完整性，通常用于本地的災備，離線備份的經典專業軟件如Symantec Veritas NetBackup、IBM TiVOli Storage Manager等。隨著云技術的發展，虛擬網絡、虛擬主機、虛擬存儲已能更好地實現本地的災備，傳統離線災備的應用場景逐漸變小。

在線實時災備要求主中心和災備中心同時在線7×24 h運行。主中心數據將實時通過傳輸鏈路復制到災備中心。當主中心不可用時，災備中心立即接管并繼續提供服務，且RTO與RPO指標較好。實現異地災備需要重點考慮數據的遠距離復制問題，解決數據的連續性和及時性。在線數據復制技術基本可以按照存儲系統層數據復制、操作系統數據復制和數據庫數據復制進行分類，其主要特點歸納見表2。

1.2 自主可控的在線數據復制技術

數據復制需要面對構成數據多副本的數據一致性、沖突檢測、事務鎖、高性能等問題[5-9]。系統三地災備的技術選擇主要從在線實時災備的角度去考慮，通過對經濟性、RPO/RTO、成熟自主可控性、雙活保護的角度考慮，采用基于應用程序層的數據復制技術。從數據一致性和連續性的角度出發，中國達夢公司的DataWatch、 DMHS產品具有數據庫遠程復制的技術條件。

1.2.1DataWatch技術特點

DM數據守護(Data Watch)是一種集成化的高可用、高性能數據庫解決方案[10]。其包括實時主備、MPP主備或讀寫分離集群3種模式，對數據規模變化不敏感，數據切換時間短。其實現原理為將主庫產生的數據庫重做(Redo)日志傳輸到備庫，備庫接收并重新應用 Redo 日志，從而實現備庫與主庫的數據同步。其主要由主庫、備庫、Redo日志、Redo日志傳輸、Redo日志重演、守護進程、監視器組成，其工作原理如圖1所示。

1.2.2DMHS技術特點

DMHS是一種基于挖掘數據庫日志并通過投遞及重新應用日志實現數據庫同步的技術[11]。通過變化日志捕捉可以有效降低傳統ETL工具因創建觸發器、影子表等對業務系統帶來的性能影響，該技術與美國Oracle公司的Goldengate技術原理和功能高度相似[8-10]，能較好地作為替代產品。該技術具有結構高可擴展、業務高可用、數據秒級同步、傳輸高可靠、可實現雙活、同步內容可過濾、支持平臺異構、部署迅速等特點。該技術能夠靈活地配置出一對一、一對多、多對一、多對多以及級聯等多種形式的復制拓撲結構。DMHS的技術原理如圖2所示。

表2 在線數據復制技術對比Tab.2 Comparison of online data replication technologies

2 三地互備功能設計

三峽梯級水庫調度自動化系統由三峽(宜昌)、成都和昆明三地水調自動化系統共同組成，其中三峽水調自動化系統作為主調系統，成都水調自動化系統作為備調系統，昆明中心主要作為金沙江上游區域的集控中心。為滿足流域梯級水庫統一調度要求，需要對現有三峽(宜昌)、成都和昆明水調自動化系統進行整合，以構建一套統一管理、功能完整的流域梯級水調自動化系統。系統的升級改造從數據采集層、數據庫層、應用層來進行，完成改造后的三峽梯級水調自動化系統將形成“統一平臺、分區應用”的流域梯級水調自動化系統統一應用平臺。

宜昌與成都及昆明業務中心共同構成梯級流域水調自動化系統統一應用平臺。統一應用平臺功能如下：① 宜昌和成都、昆明業務中心所有應用數據應保持同步。對所有站點定義、靜態曲線等基礎數據的增加、刪除與修改應在3個業務中心同步完成。對所有經數據采集、數據處理、人機交互等功能生成的水位、流量、雨量、有功、預報及計劃等運行數據應在3個系統間實現自動同步。當其中一個系統出現問題導致無法同步數據時，系統應提供數據記錄緩存功能，當系統恢復后能夠實現數據的自動同步。② 宜昌和成都業務中心的所有應用程序和功能應保持一致。宜昌和成都業務中心的信息查詢監視與展示、水文預報、水庫調度等應用功能均應滿足梯級所有水庫聯合調度的要求，實現完整的梯級水庫統一調度功能。昆明集控業務中心以滿足烏東德、白鶴灘電站調度業務為建設目標。③ 宜昌、成都、昆明業務中心應采用統一的用戶及權限管理。對系統用戶及其權限的增加、刪除及修改應在3個業務中心間同步配置實施，用戶無論在哪個系統中登錄，其能力、權限和所面對的人機界面均保持一致，從而實現地理位置對用戶的透明性。

2.1 數據庫互備設計

(1) 方案一為采用達夢Data Watch技術來實現。其優點為：① 通過該方式能實現三地的數據完全一致；② 管理方便，無需對數據正確性進行驗證。其缺點為：① 資源利用不充分，日常有數據交互需求的業務應用只能連接主數據庫使用，其余備用數據庫只能進行查詢操作；② 靈活性不足，不能制定傳輸對象，只能全庫同步。具體實現為宜昌、成都、昆明三地的數據庫系統均采用國產達夢數據庫，并采用達夢數據庫的數據守護(DM Datawatch)實現水調自動化系統數據庫主備架構。采用一主多備的數據庫配置，即在三峽水調主系統中的主數據庫服務器運行一個主庫，在三峽備用數據庫服務器運行一個備庫，同時在成都備調的數據庫服務器上運行一個備庫，實現一主二備。將昆明現有的數據庫作為三峽水庫調度自動化系統主庫的擴展備庫使用，整個三峽梯級水調自動化系統數據庫形成了以三峽為主的一主三備的結構，如圖3所示。

(2) 方案二為采用達夢DMHS技術來實現。該方式與以前三峽-成都水調自動化系統數據庫雙向復制應用所采用的美國Oracle公司的Golden-gate技術原理基本一致[12-14]。其優點為：① 可以構建雙活中心(所有節點均在線運行并可讀寫)；② 能實現選擇性的單向或者雙向數據復制，靈活性更好。其缺點為：① 維護技術要求高；② 需要專門的數據質量管理檢查，以確保三地數據的一致性和完整性。

以三峽至成都采用DMHS技術為例進行具體設計。成都、三峽梯調水調自化系統部署達夢DM 7.0數據庫，在三峽側水調自動化主系統數據庫服務器上安裝運行DMHS軟件并啟用數據捕獲進程，在成都備調系統數據庫服務器上安裝運行DMHS軟件并啟用數據裝載進程。數據捕獲進程默認捕獲水調主系統數據庫全庫事件，當主系統數據庫出現任何變化，均被數據捕獲進程捕獲形成記錄文件，通過三峽至成都的網絡傳輸到成都側，再由備調數據庫服務器運行的數據裝載進程進行解析入庫。借助于DMHS軟件，常規的數據同步復制可以在秒級完成。由于達夢數據公司對具體業務進行了針對性優化，其數據性能在某些方面還略勝于國外產品，其數據性能測試結果見表3。

表3 達夢DMHS數據性能測試結果Tab.3 Data performance test results for DMHS product

2.2 系統應用互備設計

正常情況下，宜昌、成都、昆明業務中心按區域分工協作，分區應用。具體要求如下：① 宜昌業務中心負責全部區域內的數據采集、數據處理和數據通信功能，為三峽-金沙江下游梯級聯合調度提供統一業務平臺。② 宜昌、成都、昆明業務中心采用統一的用戶及權限管理，分別為各自區域登錄的用戶提供系統服務。在統一平臺基礎上，通過全局的用戶權限和個性化設置，可以實現不同區域用戶的個性化和安全要求。③ 宜昌、成都、昆明業務中心均配置相應的計算機、網絡和數據庫管理系統等支持環境。正常情況下，宜昌業務中心處于在線運行狀態、成都業務中心處于在線備用狀態，形成“統一平臺、分區應用”的雙活業務中心體系結構。當一個業務中心異常時，通過自動或集中的功能切換，另一個業務中心能夠完全取代異常系統，實現其所承擔的分區應用功能，從而有效地保證整個梯級水調自動化系統功能的完整性和連續性。④ 昆明集控中心是三峽梯級水調自動化系統的組成部分，主要完成烏東德、白鶴灘水庫調度及壩區及兩壩間水情、壓差等信息的采集、監視及基本數據處理功能。昆明集控中心建設有面向烏東德、白鶴灘水庫的水調自動化系統業務功能(包括數據庫服務器、應用服務器等主要設備)。正常情況下，昆明區域用戶通過遠程客戶端或虛擬化云桌面、云應用等方式接入三峽主調/成都備調系統，遠程使用包括烏東德、白鶴灘水庫在內的梯級水調自動化功能。只有在三峽主調/成都備調都無法從昆明集控側使用的情況下，啟用昆明集控中心的本地系統，完成烏東德、白鶴灘水庫的基本調度功能。三地系統互備關系如圖4所示。

2.3 遙測采集系統互備

遙測中心站設置在宜昌市，其通過多信道(如VHF、PSTN、GPRS、GSM、北斗衛星和北斗地面專線信道)接收從遙測站發來的各種數據，以提高數據通信的暢通率水平，其通信組網示意如圖5所示。該方式帶來的問題為三峽中心站作為原始數據收集的初步匯聚中心缺乏災備保護，為此對三峽中心站數據接收考慮如下災備設計。

(1) 通過北斗衛星、GSM、GPRS信道接收的數據。北斗信道可以實現一發多收，通過在宜昌、成都、昆明三地部署北斗指揮機，三地可接收到全部北斗報文[15]。短信、GPRS信道可以設置雙發，同時發給三峽主調及成都或昆明。以上信道報文均在本地PortServer上接收，由本地遙測采集服務端處理。處理后的水情數據先穿越反向隔離進入安全Ⅱ區水調主系統[16-17]，再根據水調主系統中數據庫的主備級別優先寫入主數據庫，并隨主備數據庫切換而切換目標庫。

(2) 通過VHF信道接收的數據[18-19]。由于VHF信道只能在電站本地接收，遙測采集服務端需要連接電站端PortServer采集報文，因此VHF信道的互備關系較為復雜。設計有如下場景：① 正常情況，三峽遙測服務端連接三峽PortServer接收三峽區域數據，同時連接成都(昆明)PortServer接收成都區域數據。此時成都(昆明)遙測服務端停用，三峽遙測服務端接收的數據通過反向隔離寫入水調主庫并同步成都備庫。② 三峽-成都(昆明)遙測區網絡中斷。三峽遙測服務端無法連接成都(昆明)PortServer，此時成都(昆明)遙測服務端運行接收成都(昆明)區域遙測數據庫，通過成都(昆明)反向隔離寫入水調主庫。③ 三峽-成都(昆明)水調主系統網絡中斷。此時主庫無法同步備庫，備庫獨立運行。三峽遙測服務端接收的數據通過反向隔離寫入水調主庫，還應將三峽遙測服務端隔離文件復制一套送入成都(昆明)反向隔離，確保成都(昆明)備庫數據不中斷。④ 三峽遙測采集服務器功能失效。此時成都(昆明)遙測采集服務器連接成都(昆明)PortServer和三峽PortServer，接收全部遙測數據，再通過成都(昆明)反向隔離寫入水調主庫。⑤ 三峽-成都(昆明)遙測區和安全Ⅱ區網絡同時中斷。兩套系統獨立運行，各自采集，各自入庫。由于主備數據庫失效，待網絡恢復后，合并數據，重構數據庫主備。

3 結 語

本文對三峽梯級水庫調度自動化系統災備的關鍵指標進行了總結歸納，結合制度與業務實際探討了水庫調度自動化系統的災難恢復能力等級，重點對存儲數據復制、操作系統層復制、應用程序層數據復制3類異地數據復制技術進行了分析總結。對適用于水調自動化系統的自主可控復制技術進行了分析歸納，從應用互備、數據庫互備、遙測采集互備的角度完成了水調自動化系統三地互備的針對性設計。該功能正緊密建設完善中，后續將就三地系統的數據質量以及功能的連續一致性做進一步的驗證。