基于路由交換技術的靜態專線冗余備份方法

董 錚，唐海軍

（1.中國電信股份有限公司南京分公司政企客戶支撐中心 南京210008；2.西南石油大學經濟管理學院 成都610500）

1 引言

隨著互聯網的快速發展，以網絡通信方式為主要對外數據傳輸手段的政企客戶，如企業、政府和金融單位等，對寬帶服務的穩定性、可靠性等因素都有極高要求。南京城市發展日新月異，愈加頻繁的市政施工開挖導致光纜中斷故障頻發，政企客戶網絡中斷造成政企客戶的投訴時有發生。客戶對靜態專線寬帶穩定性和可靠性的需求，要求必須綜合考慮客戶接入設備層次、網絡管理水平和客戶網絡應用場景等因素，以公司大力推進的維護服務產品化工作為契機，探索基于路由交換技術的靜態寬帶冗余備份方案。

2 創新方法形成背景

2.1 傳統政企客戶靜態專線寬帶保障方法

傳統運維部門對于大客戶服務所提供的保障手段比較有限。在日常維護中，遇到大客戶障礙通常的處理流程是：10000號客服人員接到用戶電話申告，客服人員在綜合調度系統形成障礙單，網管人員收到障礙單判斷障礙原因派單到相關部門處理，相關部門處理障礙，障礙恢復，回訪客戶。流程如圖1所示。

如果按照傳統政企客戶靜態專線寬帶保障方法，故障發現時間、故障原因查找、故障搶修時間、運維人員技術水平等諸多因素都制約著大客戶服務水平的提升，極大地影響了政企客戶專線障礙的修復歷時，降低了政企客戶的服務滿意度。

2.2 維護服務產品化工作的要求

“維護服務產品化”是中國電信充分發揮網絡及服務優勢、整合后端能力、通過顧問式銷售彰顯維護服務價值、提高客戶感知的一項重要工作，目前重點推廣網絡安全、客戶網絡監控、IT維護服務以及會議服務4類維護服務產品。深化營建維護一體化，推動維護服務手段互聯網化，并大力發展維護服務產品，凸顯差異化市場優勢；不斷拓展產品化項目，擴大維護產品服務范圍，面向公眾客戶推進裝維服務產品化，促進客戶滿意度與運維價值雙提升；發揮運維差異化優勢，整合內外部資源，積極發展和運營政企維護服務產品；在智能管道運營方面，推動網絡由“業務被動適應網絡”向“網絡主動適應互聯網應用”轉變，前后端協同開發運營智能管道產品，挖掘網絡數據價值支撐大數據業務運營。

2.3 政企客戶靜態專線寬帶障礙對南京電信政企客戶維系的影響

政企客戶作為運營商重要的收入來源，長期穩定忠實的客戶關系是所有運營商都盡最大努力加以發展和維系的對象。而在這些政企客戶關系中，作為最大收入來源的行業大客戶又是競爭的焦點。由此可見，行業大客戶對運營商提供的電信服務是否滿意在很大程度上決定了運營商未來的業務收入能否得到保障。確保行業大客戶靜態專線寬帶的穩定性和可靠性，對于提升大客戶服務滿意度、體現電信高端服務差異化、維系大客戶關系有著舉足輕重的作用。

圖1 傳統政企客戶靜態專線寬帶保障方法流程

3 靜態寬帶接入冗余備份方案

3.1 基于LACP的方案

采用基于LACP（link aggregation control protocol，鏈路匯聚控制協議）鏈路聚合的光路保護方案，通過對兩條光路的邏輯捆綁，實現電信匯聚交換機和用戶出口設備間的二層鏈路保護，即雙光路捆綁LACP聚合。捆綁的兩條鏈路雙向流量負載均衡。兩條光路接入端口組成1個匯聚組，出/入流量在兩條光路和匯聚組兩個端口中實現分擔，當一條鏈路的兩端端口有問題或光路有問題時，則出/入流量將自動切換至另一條鏈路。具體實現拓撲如圖2所示。

圖2 基于鏈路匯聚控制協議的網絡拓撲

本方案要求現有的主用寬帶必須為裸光纖直聯的光纖寬帶，因此如果是PON寬帶必須改造為直連匯聚交換機的光纖寬帶且撤除光纖收發器。在現有主用寬帶基礎上，正常新開一條備用光纖寬帶，主備光路采用兩條裸光纖直聯且分別走完全不同的光路由，接中國電信匯聚交換機的不同板卡端口，實現光路保護及上聯板卡保護。由于中國電信匯聚交換機為雙主控板卡、雙電源和雙上行業務控制層路由器，保證從客戶端出來后全程無單點故障。

在中國電信匯聚交換機對主備兩條寬帶進行端口LACP捆綁配置，注意按照主用寬帶IP地址配置備用端口封裝的VLAN數據。客戶端可以利舊或新增一臺支持LACP的客戶端交換機，設備至少具備兩個單模光口用于寬帶接入，客戶端設備進行LACP端口捆綁配置。

3.2 基于靜態路由協議和BFD保護機制的方案

（1）BFD協議

為了提升網絡性能，相鄰系統之間必須能快速檢測到通信故障，從而更快地建立起備用通道恢復通信。可以通過BFD（bidirectional forwarding detection，雙向流檢測）協議來快速檢測到相鄰系統之間的通信故障。BFD協議為鏈路提供雙向的檢測功能：在雙向鏈路兩端同時發生檢測報文，檢測兩個方向上的鏈路狀態，實現毫秒級別的鏈路缺陷檢測；提供異步和查詢兩種檢測模式：異步模式是指各系統間相互以協商的周期發送BFD控制報文，如果某個系統在檢測時間內沒有收到對端發來的報文，置會話為down狀態；查詢模式是指假定每個系統都有一個獨立的方法，確認自己連接到其他系統。提供對BFD控制報文參數的動態改變功能：會話建立后，動態地改變BFD的相關參數（例如最小發送間隔、最小接收間隔、使能或禁止查詢模式、回聲報文、報文認證等），兩端系統通過發送相應的協商報文后采用新的參數，不影響會話的當前狀態；提供對單跳和多跳的雙向流檢測；提供BFD檢測結果，通告給注冊到BFD的模塊使用，以便支持對其他模塊的相關處理操作。

（2）方案總體情況

采用基于靜態路由協議和BFD保護機制的方案，通過雙寬帶裸光纖接入、寬帶服務地址與互聯地址分開并發布、中國電信城域網SR、客戶端交換機設備BFD機制，實現向客戶側的流量主備或負荷分擔、向電信網的流量主備或負荷分擔。網絡拓撲如圖3所示。

圖3 基于靜態路由協議和BFD保護機制的網絡拓撲

兩條寬帶通過匯聚設備接入SR/BRAS設備，可以采用直連匯聚交換機的方式或者EPON FTTB/FTTH的接入方式。兩條寬帶光纜分別走完全不同的光路，接不同局向的SR/BRAS設備，即需保證兩條寬帶的雙光路、雙局向接入（接入不同局向的匯聚設備和SR），在物理鏈路上保證可靠性。

與普通靜態寬帶只有一個地址段不同，本方案要求兩條寬帶在各自的互聯地址外，再使用一段服務IP地址，通過在局端SR/BRAS配置指向客戶側的靜態路由并配置IBGP向中國電信網發布服務IP地址網段，實現從中國電信網至客戶網絡的數據分組路由負荷分擔或主備。客戶端現有設備的組網架構不變。客戶自備一臺出口路由器，提供2個以太口用于兩條寬帶接入。新增的出口路由器的兩個出口配置互聯IP地址，互聯接口IP地址與服務IP地址分開。

兩臺SR/BRAS設備分別配置靜態路由，指向相應的客戶網絡互聯接口。兩臺SR/BRAS設備通過IBGP向電信城域網發布服務IP地址網段，通過metric(MED)值或local preference值優先級設置實現電信網至客戶網絡流量的負荷分擔或主備，并分別配置向客戶網絡的BFD。電信網配置實現至客戶網絡兩條寬帶的流量負荷分擔或主備。當SR/BRAS設備的BFD機制檢測一條寬帶至客戶網絡不通時，電信網至客戶側的靜態路由將自動失效，用戶路由（服務IP地址段）將無法通過IBGP向電信網發布，電信城域網核心出口路由器CRS設備則將該條寬帶的流量自動切換至另一條寬帶，實現用戶寬帶雙路由保護。客戶出口路由器配置向電信網的靜態路由，通過優先級設置實現向電信側的負荷分擔或主備。

3.3 基于EBGP動態路由協議和VRRP保護的方案

（1）VRRP

通常內部網絡中的所有主機都設置一條相同的缺省路由。所有內部主機到網絡外部的報文將通過缺省路由發往網關（即圖4所示的路由器），從而實現主機與外部網絡的通信。缺省路由的配置比較方便。但是這樣的配置需要缺省網關設備具有很高的穩定性，因為在這種配置下，一旦網關設備發生故障，內部網絡中所有主機與外部通信將全部中斷。VRRP（virtual router redundancy protocol，虛擬路由冗余協議）是由RFC2338定義的一種容錯協議，通過物理設備和邏輯設備的分離，很好地解決了上述網絡問題。VRRP將局域網的一組路由器組織成一個備份組，功能上相當于一臺虛擬路由器。

局域網內的主機只知道這個虛擬路由器的IP地址，并不知道備份組內某臺設備的IP地址，它們將自己的缺省路由下一跳地址設置為該虛擬路由器的IP地址。局域網內的主機通過這個虛擬路由器與其他網絡進行通信。VRRP機制將該虛擬路由器動態關聯到某承擔傳輸業務的物理路由器上，當該物理路由器出現故障時能再次選擇新路由器來接替業務傳輸工作，整個過程對用戶來說是完全透明的。在具有多播或廣播能力的局域網（如以太網）中，通過VRRP能提高缺省鏈路的利用率，而無需修改動態路由協議，路由發現協議的配置信息。VRRP路由器可以工作在主備模式，主備備份方式需要一個備份組，該備份組包括一個主用路由器和若干個備份路由器。VRRP還可以工作在負載分擔方式，負載分擔方式是指多臺路由器同時承擔業務。

（2）總體路由策略

總體路由策略使用EBGP+直連路由策略。城域網SR/BRAS路由器和客戶端路由器設備通過互聯地址建立EBGP鄰居關系。城域網SR/BRAS路由器設備使用EBGP發布默認路由給客戶端路由器設備，只允許客戶業務網段路由通過BGP進入。客戶端專線接入路由器使用EBGP發布客戶端業務網段路由，通過metric(MED)值或local preference值優先級設置實現電信網至客戶網絡流量的負荷分擔或主備，接收城域網SR/BRAS路由器設備發布的默認路由信息。客戶端專線接入路由器的BGP自治域系統AS號使用私網AS號，與城域網SR/BRAS路由器設備建立EBGP鄰居關系。總體網絡路由策略設計如圖4所示。

圖4 總體網絡路由策略設計

為防止用戶內網二層交換機故障，使用兩臺二層交換機互為主備，兩臺交換機啟用STP，兩臺交換機之間以兩對網線互聯（防止網線單點故障）。

（3）客戶端設備VRRP規劃

為按預定計劃實現數據流向，并實現客戶端設備及線路冗余需求，客戶內網出口路由器采取VRRP功能實現。客戶端兩臺路由器對內啟用VRRP，并將其中一臺專線接入路由器A，優先級設置較高，另一臺專線接入路由器B，優先級設置較低。專線接入路由器A為VRRP主設備，接入路由器B為VRRP備設備。同時開啟VRRP的搶占功能、對上聯線路的監測功能，實現兩臺設備根據上聯廣域網線路通斷情況進行自動主備切換。VRRP功能具體實現時，可以使用兩臺接入路由器的交換端口互聯（下聯至交換機）作為L2心跳線，并設置端口類型為access方式，使用三層接口VLAN1用于VRRP協商。協商VRRP虛擬地址作為終端用戶網關地址。客戶內網VRRP規劃如圖5所示。

（4）數據流向分析

圖5 客戶內網VRRP規劃

網絡各設備運行穩定正常時，業務數據流向為：互聯網圮SR/BRAS設備A圮靜態專線圮專線接入路由器A圮交換機圮客戶PC終端。數據流向分析如圖6所示。

圖6 數據流向分析

當網絡設備或線路出現故障時，網絡可以通過冗余設備或冗余線路恢復，并繼續通信，減小網絡故障帶來的損失。主要表現為：如果客戶內網交換機宕機或互聯線中斷，由于客戶內網交換機運行STP且客戶內網交換機通過兩條網線做線路聚合，客戶內網到專線接入路由器A之間的互聯不會受到影響；如果專線接入路由器A宕機，專線接入路由器A與城域網SR/BRAS設備A之間的EBGP中斷，路由協議失效；VRRP檢測到專線接入路由器A宕機，專線接入路由器B通過VRRP自動協商成主設備，所有終端設備數據通過專線接入路由器B進行轉發通信；如果主用專線故障，專線接入路由器A與數據中心匯聚路由器EBGP中斷，路由協議失效，VRRP檢測到專線接入路由器A的接入專線故障，專線接入路由器B通過VRRP自動協商成主設備，數據通過接入路由器B進行轉發通信。

3.4 3種保障方案的橫向比較

基于LACP鏈路聚合的光路保護方案由于只是在客戶端到匯聚設備使用雙路由，實施部署簡單快速，維護難度較低，成本也較低，但采用此方案存在匯聚交換機及客戶接入交換機的單點故障，可靠性相對較低。

基于靜態路由協議和BFD保護機制的方案在客戶端到電信SR/BRAS業務控制層設備全程使用雙路由，成本相對LACP方案較高，實施部署和維護的難度也相對較高。采用此方案在電信側全程沒有單點故障，只在客戶端存在客戶出口路由器單點故障，可靠性相對于LACP方案較高。

基于EBGP和VRRP保護的方案在客戶端到電信SR/BRAS業務控制層設備全程使用雙路由，且客戶端采用雙出口路由器、雙核心交換機的配置，成本在3種方案中最高，實施部署和維護的難度也最高。若采用此方案，在電信側和客戶端全程都沒有單點故障，可靠性在3種方案中最高。3種保障方案的橫向對比見表1。

表1 3種保障方案的橫向比較

4 方法應用和成果體現

4.1 保障方法應用流程

應用流程：前端提取潛在的省市級大客戶的靜態專線寬帶冗余備份的目標清單，由政企客戶支撐中心牽頭后端網絡操作維護中心、接入維護中心，提取此部分用戶的網絡設備、線路情況，分析提取用戶局向、接入光路由和網絡設備等因素，制定可行的靜態專線寬帶冗余備份改造方案，并由政企客戶支撐中心工程師和客戶經理一起向客戶提出改造的建議方案，客戶同意改造后簽署合同，在前臺BSS受理相應的寬帶備份銷售品，之后由電信負責實施方案，客戶工程師配合。流程示意如圖7所示。

圖7 保障方法應用流程

4.2 保障成果及后評估

截至2015年5月底，已經完成了54家省級大客戶和118家市級重點保障客戶的靜態專線寬帶冗余備份工作，提前發現主用寬帶故障44起（均已經及時通過派發網絡層工單修復），由于寬帶保護的作用，主用寬帶故障均未導致客戶網絡中斷。從最近一次客戶經理上門拜訪反饋的情況看，客戶滿意度良好。查詢綜合調度系統中未做靜態專線寬帶冗余備份的政企客戶，2015年5月份故障率為2.4%，遠遠高于做靜態專線寬帶冗余備份的政企客戶的故障率（幾乎為0），進一步證實了此創新方法的科學性和實踐性。

5 結束語

隨著寬帶互聯網的快速發展，以網絡通信方式為主要對外數據傳輸手段的用戶（如企業、政府和金融單位等），對于寬帶服務的穩定性、可靠性等因素都有極高要求，且城市發展日新月異，市政施工工程量越來越多，導致光纜中斷故障頻發，引起政企客戶網絡中斷而造成大客戶投訴時有發生。政企客戶支撐中心以公司對維護服務產品化工作的推進為契機，創新性地提出基于路由交換技術的靜態寬帶冗余備份方法，并及時在省市級重點保障大客戶中推廣使用。經過半年以上的實踐，政企客戶靜態寬帶可靠性和穩定性大大提高，客戶滿意度不斷提升，申告數量下降明顯，充分論證了該方法的科學性和實踐性。該方法尤其適用于對寬帶穩定性要求高的政府、金融和證券單位。新方法降低了客戶互聯網業務的故障率，體現了電信運維服務的差異化優勢，提升了客戶滿意度，加強了對客戶的維系程度，提升了政企客戶收入，同時也符合公司維護服務產品化的要求，體現了電信后端的維護價值。

1 Wright G R.Stevens W R.TCP/IP詳解.范建華,胥光輝,張濤等譯.北京:機械工業出版社,2001 Wright G R.Stevens W R.TCP/IP Comments.Translated by Fan J H,Xu G L,Zhang T,et al.Beijing:Publishing House of Machinery Industry,2011

2 Ji Y F,Zhang J,Zhao Y L,et al.Dreamscape:dual routing engine architecture in multi-layer/multi-domain scalable constraint-aware policy-enabled optical networks.Proceedings of the 14th Optoelectronics and Communications Conference(OECC),HongKong,China,2009

3 Aslam F,Uzmi Z A,Farrel A.Inter-domain path computation using improved crank back signaling in label switched networks.Proceedings of IEEE International Conference on Communications(ICC2007),Glasgow,Scotland,2007

4 Buzzi L,Bardellini M C,Siracusa D,et al.Hierarchical border gateway protocol for pce-based multi-domain traffic engineering.Proceedings of IEEE International Conference on Communications(ICC2010),Cape Town,South Africa,2010