雙活系統負載均衡設計研究

上官斌

摘要：為保障重要業務系統7*24持續運行，同時保障不同地點的用戶都無差別的快速訪問體驗。包括金融、電信等大型政企單位，大都逐步推進系統異地雙活建設。如何通過有效手段實現雙活業務中心間有效的安全冗余和負載均衡是系統設計最關注的問題之一。

筆者在實際生產中通過主持千萬用戶級業務網關、radius等電信級系統雙活建設實踐，成功實現了連續3年業務零中斷，異地用戶接入訪問速度提升30%。現總結了其中一些實踐性經驗，供從業者參考。

關鍵詞：電信級;雙活;負載均衡;RTO

中圖分類號：TP393.08? ? ? 文獻標識碼：A

文章編號：1009-3044（2021）30-0138-03

開放科學（資源服務）標識碼（OSID）：

Research on Load Balancing Design of Double Live System

SHANGGUAN Bin

（China Mobile IOT Company Limited， Chongqing 401121， China）

Abstract： To ensure important business system 7 * 24 continuous operation， while ensuring fast access experience of users in different locations. Including financial， telecommunications and other large government and enterprise units， most of them gradually promote the construction of remote dual live system. How to achieve effective security redundancy and load balancing between dual active business centers by effective means is one of the most concerned problems in system design.

In the actual production， the author presided over the construction practice of ten million user level service gateway， radius and other telecom level systems， and successfully achieved zero business interruption for three consecutive years， and the access speed of remote users increased by 30% %。This paper summarizes some of the practical experience for reference.

Key words： Carrier grade; Double live; Load balancing; RTO

1 雙活系統的流量均衡困境

為保障7*24不斷網、不斷電持續運行，包括金融、電信、政府等越來越多的大型政企單位的核心業務，大都逐步開始推進系統雙活建設。同時，為了不同地域的接入訪問用戶具備同樣快速訪問感知，物理位置單一的業務服務中心無法實現。因此，大型政企單位通過在不同構建異地系統雙活，兩地三中心，甚至多地多中心的系統建設方式成為必然。

在構建雙活業務中心時，如何實現不同接入地的用戶統一接入方式，引導用戶流量就近訪問最優服務節點，獲得無差別用戶體驗;同時如何進行系統容災，成為系統設計時最重要的問題之一。

2 雙活負載均衡總體設計

2.1 總體設計目標及關鍵環節

電信級業務系統是保障基礎通信業務正常運行的基本載體。系統的總體設計目標：必須全時段的穩定運行，同時優化用戶側訪問體驗，提升訪問流暢度。

為達到這一設計目標，以及對實際需求的分析，考慮采用智能DNS+全局負載均衡器+本地負載均衡器的總體網絡及應用負載方案。本文重點分析負載均衡方案設計中，應考慮如下關鍵環節：

統一用戶入口：提供唯一的IP地址或域名作為所有用戶訪問的統一的業務服務接入點。

流量分配算法：選擇與業務特性匹配的流量分配算法，使用戶獲得最快速的服務響應。

系統容災設計：在單一IDC發生業務故障時，快速把用戶流量切換到其他IDC業務系統去。

會話保持機制：對于TCP會話保持業務，提供避免相同會話分配到不同IDC造成訪問失敗的會話保持機制。

性能指標考核：應結合業務最大容忍中斷時長，用戶體驗要求等方面，設計RTO和異地用戶訪問時延等指標進行項目驗收考評。

2.2 負載均衡的選擇

負載均衡通常有硬負載和軟負載兩種實現方式。硬件負載均衡解決方案通過專用的負載均衡設備來實現多樣化的負載均衡能力，這種設備通常稱之為負載均衡器或硬負載。軟件負載是通過在通用服務器上安裝軟件來實現負載均衡能力。對比而言，硬負載比軟負載的性能更加強大，負載均衡策略更加多樣，可支持多種不同的設計方案。在大型電信級系統業務負載均衡設計中，通常采用硬負載的方案。

3 南向接口的負載均衡部署及工作方式

這里我們把向用戶側服務的系統接口稱為南向接口，在雙中心進行GSLB全局負載均衡設備部署及工作方式：

lIDC1和IDC2機房的全局負載設備之間會通過公網互聯互通，自動進行相關域名信息的同步和更新。

l正常情況下，IDC2業務中心的全局負載設備處理全部客戶端的LDNS域名請求，并負責返回IDC2業務中心的A記錄（IP3地址）給客戶。

l當IDC2業務中心的2臺全局負載均衡設備故障或者到后臺服務器連接全部異常后，此時IDC1業務中心的備設備會自動處理客戶的域名請求，不需要人工干預。

l當IDC2業務中心的全局負載均衡設備正常后，此時可以從IDC1切換回IDC2業務中心。

l當其中一個域名故障后，可以全局負載均衡設備上進行手工方式修改即可，勿需域名服務商進行配置修改。

以申請的域名為www.xxx.com為例，域名提供商配置，將A記錄分別IDC1和IDC2的全局負載均衡設備：

全局負載均衡設備配置，將A記錄指向對應的IDC2和IDC1出口IP：

4 北向接口的負載均衡部署及工作方式

兩個站點的業務系統向更上級服務系統進行服務請求的系統接口稱為北向接口，如短信網關需要向更上一級BOSS、HLR、運管系統等對接的時候，負載均衡工作在負荷分擔模式。

lIDC1和IDC2機房的專網負載設備之間會通過拉專線進行心跳監測

l正常情況下，IDC1業務中心的負載設備處理業務系統與上級服務系統之間的請求，并負責返回響應給業務系統。

l當IDC1業務中心的負載均衡設備故障或者到業務及應用服務器連接異常后，此時自動切換到IDC2業務中心的負載均衡設備處理業務請求。

l當IDC1業務中心的負載均衡設備正常后，此時可以從IDC2切換回IDC1業務中心。

5 狀態監控及切換

業務系統容災兩個中心會融合成一套異地雙活部署的業務系統，業務通過GSLB全局負載均衡，因此需在兩個中心部署業務檢測和切換系統。每個站點部署一套監控服務器監控所有接口機，處理機與數據庫等的工作狀態。

當數據庫發生異常的時候，由監控服務器通知所有的接口機和處理機進行數據庫切換和業務恢復。

當監控服務器監控到某個模塊的業務成功率低，可以根據預定策略對該模塊進行重啟或者下線處理。

監控服務器部署業務檢測和切換系統。

檢測系統和切換系統間，通過消息接口進行數據交換。檢測服務器定期將檢測結果發送給切換服務器，由切換服務器進行切換邏輯判定和出來。發送周期可配，通常可配置為10秒。

檢測服務器反饋的各項檢測結果，是切換服務器進行切換判定的數據依據。

切換系統主要工作：

1）接受檢測結果;

2）根據檢測結果，做出是否要切換的邏輯判定;

3）將檢測結果展示到結果查詢界面;

4）根據配置確定是自動或人工切換;

5）如自動切換，進行切換操作;

6）切換結果上報。

業務檢測主要通過部署在業務系統接口機和處理機上的駐留程序檢測：

1）CPU：空閑率（平均值和瞬時值）;

2）內存：最大值，占用率;

3）數據庫訪問成功率;

4）業務進程狀態;

5）磁盤：最大值，占用率。

作為切換處理的相關判定，為后續實際切換提供切換判定邏輯和處理數據支持。

切換的兩種模式定義：

自動切換：切換服務器根據檢測服務器檢測結果，綜合判斷需要進行哪種場景的切換，然后自動進行容災切換控制。

半自動切換：部署方式及切換業務流同自動切換方案，人工根據告警判斷是哪種故障場景，然后點擊“一鍵切換服務器”上相應的切換場景，由切換服務器進行切換控制。

6 質量指標評估

可從RTO和異地用戶訪問時延兩個方面評估建設目標：

（1）RTO （Recovery Time Objective，復原時間目標）：是指災難發生后，從IT系統當機導致業務停頓之時開始，到IT系統恢復至可以支持各部門運作、恢復運營之時，此兩點之間的時間段稱為RTO。比如說災難發生后需要半天時間恢復，RTO值就是12小時。

在實際案例中，筆者通過雙活系統建設，成功實現系統穩定運行三年0中斷，應急演練RTO<10分鐘。

（2）異地用戶訪問時延是指用戶請求報文從用戶側系統發起，傳送到服務側系統處理，并反饋響應報文，最后到達用戶側系統實現業務請求的全流程所需要的時間。它包括了發送時延，傳播時延，處理時延，排隊時延，回傳時延，接收時延。

在實際案例中，筆者通過異地用戶就近接入，極大壓縮了報文傳播時延和回傳時延;通過負載均衡器的合理配置，極大壓縮了報文處理時延，排隊時延。最終異地用戶訪問時延從平均520ms壓縮到350ms，訪問速度提升約30%。

7 結束語

雙活系統架構設計應遵循必要的基本原則。應充分考慮網絡雙活、應用雙活、數據雙活三個層次。其中構建了雙活業務中心系統設計最關注的問題之一，是如何通過有效手段實現雙活業務中心間的協調工作，引導用戶訪問最優的站點，以及當某個站點出現災難性故障后使用戶仍然可以無感知快速訪問其他站點上的關鍵業務。通過全局負載+本地負載的合理設計，最終實現系統長時間可靠的0中斷運行， 異地用戶就近接入獲得訪問速度極大提升。以上是筆者在實踐基礎上的一些總結，對電信級兩地三中心系統建設中特別是大型業務系統全局及業務負載均衡架構設計及實施工作的有效開展，具有積極的借鑒意義。

參考文獻：

[1] 《物聯網業務網關設備規范》[S]（QB-D-176-2011）

[2] 《中國移動蜂窩物聯網技術體制》[S]（QB-A-048-2019）

[3] 《電信設備安裝抗震設計規范》[S]（YD 5059-2005）

[4] Radware全局負載均衡解決方案[N] 比特網

【通聯編輯：梁書】