大型行車指揮調度中心分區組網結構設計與實現

周學兵，陳小柱，張成成，陳賢火

(卡斯柯信號有限公司，上海 200071)

1 概述

鐵路局調度指揮中心是列車調度員指揮現場行車調度的控制中心，是行車指揮控制系統神經中樞。列車調度員在行車調度指揮臺通過通信網絡對分布在車站的調度集中車站子系統進行調度命令下發、階段計劃下達、站場圖控制及限速命令下發等功能來指揮行車。調度指揮中心在行車指揮體系中確保行車安全、降低勞動強度、提高行車效率等方面已愈發重要。

原TDCS/CTC 調度中心建設時依照[2009] 676號文《列車調度指揮系統（TDCS）、調度集中系統（CTC）組網方案和硬件配置標準》[1]執行，調度中心核心網絡采用核心層和接入層兩層架構。所有應用服務器、通信服務器、數據庫、查詢代理系統等設備均接入核心交換機。核心層交換機與樓層交換機之間采用以太通道連接，樓層交換機通過2 根獨立路徑單模光纜雙上連核心交換機，整個交換網絡啟用生成樹協議進行防環[2]。核心路由器則通過E1接口通過同軸電纜與通信傳輸系統MSTP 通信平臺相連提供車站業務數據接入。

既有普速調度中心網絡結構存在的主要問題如下。

1）核心交換機與樓層交換機之間采用二層生成樹協議，在主用上行通道故障時會產生生成樹切換，導致部分業務數據丟失。

2）核心交換機的重要性突出，核心網絡設備故障時影響面廣；核心交換機之間通信干道鏈路出現故障后影響全局數據交換。

3）多個調度臺接入同一個交換機上，后期電務運維、施工改造、新線接入需要協調全局調度臺，要點較為困難。

4）既有核心路由器使用協議轉換器與通信專業同軸電纜連接，信道集成度不高，通信質量得不到保證。

5）車站基層網EIGRP 自治域過大，域內鏈路出現來回翻滾情況下，會導致本域內數據轉發故障。

2 大型調度中心網絡結構

2.1 總體網絡結構

TDCS/CTC 行車調度指揮中心由普速中心和客專中心組成。普速調度中心按分層結構設計，由核心層、區域核心層和車站接入層構成，區域核心層可根據TDCS/CTC 網絡規模及特點又分成普速區域1、普速區域2、普速區域3。本案例以3 個分區進行說明，具體分區數量可根據普速中心管轄具體車站數量及調度臺數量而定。

普速中心核心網絡結構如圖1 所示。

圖1 普速TDCS/CTC中心核心網絡結構圖Fig.1 Core network structure diagram of TDCS/CTC center for normal speed railway

普速TDCS/CTC 核心交換機同時承擔與各個區域核心交換機、與客專CTC 核心交換機、與樓層交換機、與全局服務器組、與接口服務器組、GPS 授時儀等設備互聯通信任務。與查詢子系統通過通信隔離接口機進行通信，實現生產系統與查詢子系統之間安全隔離。

采用按3 個獨立區域進行組網設計后，每個分區內設置應用服務器、通信服務器和網絡設備,全局共用設備設置在全局區域。3 個區域業務能力相互獨立，即使在核心交換機故障或其他區域故障時，不影響本區域獨立行車指揮。分區提升了系統整體可靠性、可維護性，同時也簡化了后期運維難度。

2.2 區域網絡結構

每個分區區域核心組網結構遵循鐵總運[2013]141 號文《鐵路列車調度指揮系統（3.0）技術條件》[3]，下面以區域1 組網結構為例，如圖2 所示。

圖2 普速TDCS/CTC中心區域1網絡結構圖Fig.2 Area 1 network structure diagram of TDCS/CTC center for normal speed railway

區域核心交換機負責與區域內部服務器組、區域調度臺、區域內基層車站互聯通信任務。每個區域通過設置雙套冗余基層網接入交換機和基層網接入路由器實現FE(O)和G.703(E1)通道模式TDCS/CTC 車站接入。區域核心交換機之間通過以太通道綁定實現多鏈路通道通信。

客專調度中心網絡結構類似普速中心區域結構，客專調度中心區域核心交換機與普速中心核心交換機進行3 層以太通道綁定，增加網絡冗余性和獨立性。區域內系統業務獨立，總區域開發COMMTRANS 實現與各個區域之間Commlink 透明通信，總區域可獲取全部實體信息。

2.3 查詢子系統網絡結構

查詢子系統網絡結構符合[2013]141 號文要求，查詢終端和鐵路局TDCS/CTC 中心主用系統之間不允許存在任何路徑的網絡協議連通，普速核心業務網與查詢系統之間的數據傳輸通過USB 線纜互聯。生產子系統和查詢子系統兩側設置通信隔離機，使用USB 線纜專用安全協議實現單向數據傳輸。

查詢子系統獨立設置交換機、路由器（含CPOS 接口）網絡設備，實現調度中心查詢終端和基層查詢終端網絡的接入。

普速與查詢子系統網絡接口圖，如圖3 所示。

圖3 查詢子系統網絡接口圖Fig.3 Network interface diagram of query subsystem

設置查詢系統后將原來在生產網中通信的查詢數據剝離到獨立的查詢網絡中，盡可能不影響生產業務系統的正常運行、占用生產系統帶寬，提高了網絡安全性、獨立性、隔離型。同時，查詢系統的故障、也不會影響到普速核心業務系統的正常工作。

運維子系統交換機則與生產網核心交換機互聯，在此不再贅述。

2.4 與其他系統網絡接口

調度中心與其他系統接口主要包括與TSRS 系統接口、與CIPS 系統接口、與RBC 系統接口、與GSM-R 系統接口、與ATO 通信服務器（CCS）接口、與SAM 系統接口、與監測時鐘接口、與TD 系統接口、與防災系統接口、與供電系統接口等，均采用網絡結構模型如圖4 所示。

此模型簡潔明了，系統路由器接口間采用專用網絡，服務器采用4 塊網卡隔離兩個系統,符合網絡安全隔離原則。

3 關鍵技術

為提高普速中心TDCS/CTC 核心網絡系統可用性、可靠性、可維護性,本方案采用CPOS 技術、EIGRP 路由協議、路由重分布技術、VPC 虛擬化技術、雙網卡綁定、雙路傳輸技術等。

3.1 CPOS技術

圖4 與其他系統網絡接口圖Fig.4 Diagram of network interface with other system

以區域1 組網結構為例。TDCS/CTC 車站路由器通過2 M 口接入傳輸網終端復用器TM 或分插復用器ADM，通過SDH 傳輸平臺匯聚連接到沈陽局中心STM-1 模塊出口與基層網路由器進行交叉互聯。基層網接入路由器配置4 個CPOS 板卡引入基層車站信息數據。路由器CPOS 開局使用AU4 復用路徑，采用373 復用結構模式，支持63 個E1 時隙通道。相比原SDH 傳輸平臺通過同軸電纜接入路由器接口模式，提高通道容量，簡化運營維護管理方式，降低施工成本，通信質量得到有效提升。

需要注意的是，華為傳輸系統和中興傳輸系統在CPOS 時隙劃分上是不同的。

3.2 EIGRP路由協議

EIGRP 是一種無類、高級距離矢量協議，兼備鏈路狀態和距離矢量路由協議，具有收斂速度快和無環路等特點。EIGRP 使用觸發式路由更新方法，占用帶寬少，只有在發生路由變化時才會產生路由更新；支持非等價路由負載均衡，能充分利用雙網冗余網絡。

EIGRP/OSPF 路由協議均使用Hello 機制維護鄰居關系。EIGRP 默認每5 s 發一個Hello 數據包，Hold time 時間是3 倍的Hello time 即15 s；OSPF默認每10 s 發一個數據包，Hold time 時間是4 倍Hello time。路由器對端鏈路沒有響應時，超過鄰居hold-time 時間，EIGPR 協議在有備用鏈路進入拓撲表情況下,如果對端給出明確斷開信號，則最快需要1 s 可完成路由切換，當對端鏈路無響應情況下，最快需要16 s（1+3×5）完成路由切換；如果沒有備用鏈路進入拓撲表情況下最長則需要21 s（1+3×5+5）完成路由切換。OSPF 協議當對端鏈路沒有響應時則需要46 s(1+4×10+5)，如果對端鏈路有明確斷開時間時，則至少需要6 s（1 s+5 s）完成路由切換。其中1 s 為路由轉發切換時間估算，5 s為協議重新計算時間。

借鑒OSPF 路由區域概念，大型調度中心車站基層網通過劃分多個EIGRP 自治區域，通過不同的EIGRP 自治域限制路由區域范圍，避免在出現路由震蕩時在整個區域內發生SIA 狀態[4]，實現較快路由收斂。劃分不同EIGRP 域，可在不同區域之間實現策略路由控制，從而到達每個區域內部交互路由條目數量最少。

本組網方案既利用了EIGRP 域內收斂速度快的優點，又兼用了OSPF 區域劃分理念，將平面型路由結構改造為層次型路由結構。域內鏈路出現翻滾將只限制在域內，不會將故障擴散。

3.3 路由重分布

路由重分布技術可以實現不同自治系統或不同路由協議之間的特定路由條目引入與路由控制、負載均衡、網絡隱藏等功能。普速TDCS/CTC 中心通過在每個區域在基層網接入路由器及基層網接入交換機上通過路由重分布特定核心地址，實現普速調度中心核心網絡的隱藏，間接保證業務網絡安全；通過路由參數設置實現中心與車站之間主備路由條目控制。

不同路由協議之間雙點雙向重分發會產生次優路由情況發生[5]，需要通過前綴列表、路由圖、管理距離、路由標簽等方法進行路由調整。而EIGRP與EIGRP 之間進行雙向重分發時，不會存在次優路徑情況，使得各個自治區域之間路由重分布更為簡單。同時路由交互模型建立后，后期新建線路或改造線路接入較為簡單，只需要更改路由協議下的前綴列表或ACL 即可。

3.4 VPC技術

二層鏈路冗余技術主要包括：STP、MSTP、RSTP 等，但都不能避免存在二層鏈路有端口阻塞情況發生，影響端口帶寬和生成樹收斂問題。隨后出現的FlexLink 技術（思科）、Smartlink（華為)、交換機堆疊等技術也旨在消滅二層生產樹對網絡帶來的影響，但幾個技術都未能徹底消除網絡中二層生成樹。

廣州局普速TDCS 中心為避免網絡環路風險，控制廣播域及充分利用帶寬部署IRF 技術進行了網絡結構優化。與IRF 技術相同，VPC 通過跨設備鏈路聚合，實現網絡設備N：1 橫向虛擬化，增加鏈路帶寬、避免環路風險。與IRF 不同的是，VPC 在控制層面是完全獨立的兩個主機，而IRF 則是在統一控制界面下管理兩臺核心交換機[6]。

橫向虛擬化后，主要有以下優點：

1）接入層交換機上行單鏈路出現故障時，不存在鏈路切換時間，不會影響業務數據轉發；

2）可更好實現服務器雙網卡跨設備綁定。

即雙網卡可以工作在聚合捆綁模式，連接VPC不同交換機成員接入端口。基于不同交換機端口綁定后，服務器雙網卡具有相同MAC 和IP 地址，聚合端口下不會存在地址漂移。網卡地址在LACP 模式下作為分布式設備的虛擬聚合鏈路下的一個地址，優化了雙網卡組網方式。

通過實際試驗，服務器操作系統雙網卡之間切換或接入層交換機上聯鏈路切換時只會丟一個包，這樣就盡可能將網絡故障影響減小到最小程度。

同時，VPC 技術也為虛擬機技術應用和應急備用方案奠定了網絡架構基礎[7]。

3.5 雙路傳輸技術

雙路傳輸技術通過車站物理層次的通道獨立冗余機制和軟件層次的雙份數據冗余傳輸機制，構建一個魯棒性更強的系統[8]。

在網絡雙路獨立的基礎上CTC 系統各子系統均開發雙路冗余傳輸軟件，實現同時在A、B 兩個網絡通路上并行傳輸兩份冗余數據。車站層進行雙份業務數據包獨立傳輸至通信前置服務器，再由通信前置服務器將本網的數據發往應用服務器。雙路傳輸技術屏蔽了基層通信鏈路不穩定的情況，當單路網絡通道防雷、協議轉換器、同軸電纜等出現問題時，TDCS/CTC 系統依舊可正常通信[9]。

同時，通過結構小環組網控制網絡域徑度和網絡深度，限制基層網與中心之間路由尋址迭代次數，間接為雙路傳輸建立良好網絡環境。

4 結束語

隨著調度集中系統的大面積推廣使用，運輸部門對TDCS/CTC 的依賴程度越來越高。確保調度集中系統穩定運行，對調度中心網絡系統的穩定性、可靠性、可用性提出了更高的要求。大型調度中心分區組網方式有效降低了運維風險，降低了核心網絡設備故障對全局行車指揮的影響，是對大型調度中心網絡結構改進的一次積極嘗試。劃分區域后，各個區域的業務獨立，不存在因為某個核心設備故障后導致全局調度集中系統故障，業務邏輯更加獨立,運維單位要點維護更簡單。核心設備維護時或線路接入時，不需要協調全局線路要點，提高了運維效率和簡化了施工難度。本方案已在沈陽局普速調度中心得到運用并已穩定運營2 年多。