基于CBTC的DCS通信系統介紹與網絡風暴成因及其處理方式

龔仁樹

（上海地鐵維護保障有限公司通號分公司，上海 200235）

基于CBTC的DCS通信系統介紹與網絡風暴成因及其處理方式

龔仁樹

（上海地鐵維護保障有限公司通號分公司，上海 200235）

隨著計算機技術、控制技術和現代通信技術的飛速發展，地鐵信號系統的發展突飛猛進，從基于軌道電路的列車控制系統（TBTC），到基于通信的列車控制系統（CBTC），其突出的特點之一就是車—地之間數據傳輸通道的變革，即從軌道電路變為無線信道。介紹上海地鐵11號線CBTC信號DCS系統設備及其構成的原理，并對網絡風暴的成因與排故進行分析和探討。

CBTC；DCS；網絡風暴

1 系統簡介

地鐵信號系統作為一個列車控制系統，是涉及到乘客安全的系統。系統中的硬件、軟件都必須具有高度的可靠性、可用性、可維護性、安全性。因此，這個系統的發展往往比較緩慢。

基于 CBTC（Communication Based Train Control）的地鐵信號系統使用開放的通信協議，在隧道、高架中構建整個無線通信局域網絡，通過無線信號傳輸控制中心發布的各種控制命令，確保持續跟蹤列車位置、速度和運行方向等信息，實現車—地之間的數據雙向通信。該系統通過加密允許與其他系統互聯互通，確保在高無線流量和電磁噪音的不利環境下仍提供強勁的系統性能，保證列車安全高效的運營。這種先進的信號系統與以往的信號系統不同。以往基于軌道電路的信號系統中，車—地通信采用的是軌道電路和通信環線，以FSK、PSK調制方式的通信為主，列車和軌旁傳輸的數據量比較小，軌旁對列車的控制能力比較低。而基于CBTC的信號系統中，車—地通信采用無線局域網（WLAN），協議是IEEE 802.11，列車和軌旁傳輸的數據量比較大，軌旁對列車的控制能力明顯加強。

DCS（Data Communication System）即數據通信系統。DCS網絡通過使用IEEE802.3標準協議和擴展的無線IEEE802.11標準協議為列車自動控制（ATC）應用提供通信手段。ATC子系統的各個實體之間可以通過IEEE802.3標準信息格式的路由進行直接通信。它的主要作用是在各個子系統之間傳輸ATC報文，而這些子系統大部分都是移動的。DCS是一個單獨的網絡，對于ATC系統的報文傳送來說是完全透明的。ATC系統的應用程序不需要知道任何DCS的工作情況。反之，DCS也不需要知道ATC系統應用程序的工作情況。雖然DCS系統所傳輸的是安全型的列車控制信息，但其本身并不是一個安全型系統，只是一個可靠的數據傳輸系統。

上海軌道交通11號線采用的是法國泰雷茲的CBTC系統，該系統正是基于無線通信的移動閉塞制式對列車實現自動控制。本文將以11號線為例，介紹基于CBTC的DCS系統。

2 系統網絡

2.1 網絡架構

上海地鐵11號線DCS系統由骨干網和站間環網支持，由多重車地無線鏈接所組成的無線網絡組成，有線和無線設備共同構成一個無縫網絡，其網絡架構如圖1所示。

圖1 基于CBTC系統的DCS通信網絡架構

2.1.1 骨干網

骨干網主要是由高速交換機和單模光纖構成的環形結構。這是基于IEEE 802.3以太網標準的有線通信網絡。在控制中心、各個設備集中站、聯鎖車站、試車線、停車場和車輛段設置兩個冗余的骨干網交換機，考慮到線路長度過長，在部分非集中站也設置了兩個冗余的骨干網交換機。

2.1.2 站間環網

站間環網是由高速交換機和多模光纖構成的網絡結構，由軌旁無線單元、倒計時發車表示器和其他連在這個冗余的骨干網絡上的設備構成。

2.1.3 無線局域網

車載無線單元（OBRU）、車載控制器（VOBC）與軌旁無線單元（WRU）通過車地無線局域網相互通信，它是基于IEEE 802.11標準的無線網絡。

DCS網絡鏈接了信號系統的所有關鍵設備，如區域控制器（ZC）、列車自動監控（ATS）、接入點（AP）、保密器件（SD）、軌旁無線單元（WRU）、車載無線接入點（SA）等，軌旁端數據與車載端數據的傳輸鏈路如圖2所示。

圖2 ZC和VOBC之間的端到端數據傳輸鏈路

2.2 網絡冗余和可用性分析

基于CBTC信號的DCS系統采用冗余的機制保證網絡的高可用性。

2.2.1 網絡拓撲冗余

DCS的骨干網采用雙向自愈的環形拓撲結構，當單個設備故障時，不會導致與任何網絡設備的通信丟失。系統采用自愈協議，即在一個交換機失效后的很短時間內（在多達50個節點的環網中，小于500 ms）將重新配置網絡。在如此短時間內的通信丟失，不會導致ATC的服務中斷。實際上，任何原因造成的列車和控制中心之間小于3 s的通信丟失，都不會影響ATC運行。圖3是一個完全冗余的無線覆蓋。

2.2.2 設備冗余

控制中心交換機設備是冗余的，為了防止控制中心通信中斷，安裝兩個交換機。每個交換機可以連接到骨干環網的不同側。冗余的設備和到交換機的冗余連接，改善了系統的可用性。通過分/插交換機把本地交換機和遠端交換機連接起來，保證所有到交換機的連接都是冗余的。

車載無線中的冗余體現在列車的兩端都安裝有車載無線單元OBRU，在任何一端的無線失效或是到AP的無線信號丟失，都可以保持通信。

冗余的AP覆蓋，AP沿線路以一定的間距布置，并確保即便是在每隔一處AP有一個AP失效的情況下，仍然可以保證信號的完整覆蓋。

圖3 冗余無線覆蓋

3 DCS關鍵設備介紹

3.1 網絡管理系統NMS

對于DCS系統而言，必要的監控手段是必不可少的，11號線采用的是運行于網絡管理工作站上的NMS（Network Management System）軟件來監督、配置和維護所有網絡設備，該軟件也用于DCS的故障檢測。NMS利用SNMP協議與DCS網絡上的所有管理節點進行通信，并且維護數據庫和網絡拓撲圖顯示節點和鏈接狀況。鏈接狀況監視的是SD相連的第一個裝置，即網絡交換機。

NMS使用標準的SNMP協議。由含有SNMP MIB（管理信息庫）的SNMP代理組成。DCS網絡支持SNMP控制（裝有MIB）的網絡節點，包括：DCS骨干交換機；軌旁無線單元；車載無線單元。

網絡管理工作站安裝SNMPc網絡管理軟件，該軟件通過屏幕顯示網絡界面上設備的不同顏色來區分網絡設備的狀態。顏色分為紅、黃、綠、紫、藍、灰色，分別表示設備故障、設備輪詢、設備正常、設備發生過的事件（如AP和列車上的SA（車載無線接入點）發生過通信等）、設備重啟過、設備未啟用。該軟件還可以查閱歷史告警或事件信息。

3.2 保密器件SD

SD PC位于中央和集中站信號機房和車載。SD（Security Device）是保密器件，它的作用有兩個：一是加密、解密的作用，二是實現路由。在整個網絡中起到一個邊緣網關的作用，決定網絡的“內部”和“外部”。內部總是被保護的部分，即客戶端子系統（可能是VOBC，ZC或另外所有需要通過DCS進行通信的設備）。外部是要防備的部分，即DCS。這不是安全相關的部分：安全相關的數據核對仍然由被保護設備來完成。SD同時是個過濾器，對所有用戶數據包協議（UDP）包進行鑒權，留取所有支持相關協議（因特網組管理協議（IGMP），地址解析協議（ARP）等）的包，舍棄所有不符合這兩個選取標準的數據。影響軌旁與車載（SD）通信的兩個關鍵因素：證書加上證書吊銷列表（Crl）文件，其中證書更新頻率為3個月有效期加上1個月緩沖期，Crl更新頻率為5周有效期加上5周緩沖期。

SD PC的日常維護主要查看網卡狀態、主備機狀況、時間同步性、日志的下載、證書有效性、更換證書情況等。

3.3 軌旁無線單元WRU

WRU（Wayside Radio Unit）位于軌旁，包括AP、天線（包含安裝支架）、同軸電纜、放大器、功分器、電源和其他附件。其中AP的日常維護主要是測試AP天線的發射功率。維護時利用電腦和配置AP的串口編程電纜登錄疑似故障AP，進入診斷模式選擇任一固定頻點（2 410/2 420/2 430/ 2 440/2 450/2 460 MHz等），使AP連續發射射頻信號（注意時間不能太長，否則將破壞AP箱中的放大器），隨后將掃柄天線和頻譜分析儀正確連接，將掃柄天線的天線面緊貼AP天線，觀察頻譜分析儀測試出的天線輸出功率是否符合標準。安裝在不同位置的AP對輸出功率有不同標準，具體如下：

1個AP帶1個天線（高架）≥7.0 dBm

1個AP帶2個天線（高架）≥4.5 dBm

1個AP帶3個天線（高架）≥3.5 dBm

1個AP帶4個天線（高架站臺附近）≥2.5 dBm

1個AP帶1個天線（隧道）≥7.0 dBm

1個AP帶2個天線（隧道）≥4.5 dBm

1個AP帶3個天線（隧道）≥3.5 dBm

1個AP帶4個天線（隧道站臺附近）≥2.5 dBm。

3.4 環間交換機

DCS交換機位于中央和集中站信號機房。以太網交換機使用私有協議耦合兩個環上的其他以太網交換機。正常情況下，一對環間交換機（Inter-Ring Switch）一起工作。其中一個處于激活狀態，另一個處于空閑狀態。一旦主用交換機發生故障，另一臺將在可允許的延遲內自動激活。

3.5 車載無線接入點（SA）

車載使用的設備，該設備通過無線通信鏈路和AP關聯起來。

4 DCS網絡風暴故障分析

網絡風暴可以說是11號線運營到現在對運營影響比較大的故障，雖然網絡風暴的發生對整個DCS系統包括ATS有很大的影響，但如果處理得當，可以在短時間內將故障排除。

4.1 網絡風暴概念

網絡風暴是網絡廣播風暴（Network Broadcast Storm）的簡稱。當主機系統響應一個在網上不斷循環的報文分組或者試圖響應一個沒有應答的系統時就會發生網絡廣播風暴。一般為了改變這種狀態，請求或者響應分組源源不斷地產生出來，常使情況變得更糕。隨著網絡上分組數目的增加，擁塞會隨之出現，從而降低網絡的性能以至于使之陷入癱瘓。

網絡中數據幀的傳輸方式一般分為3種：即單播幀（Unicast Frame）、多播幀（Multicast Frame）和廣播幀（Broadcast Frame）。

a、單播幀，也稱“點對點”通信。此時幀的接收和傳遞只在兩個節點之間進行，幀的目的MAC地址就是對方的MAC地址，網絡設備（指交換機和路由器）根據幀中的目的MAC地址，將幀轉發出去。

b、多播幀，可以理解為一個人向多個人（但不是在場的所有人）說話，這樣能夠提高通話的效率。多播占網絡的比重并不多，主要應用于網絡設備內部通信、網上視頻會議、網上視頻點播等。

c、廣播幀，可以理解為一個人對在場的所有人說話，這樣做的好處是通話效率高，信息一下子就可以傳遞到全體。在廣播幀中，幀頭中的目的MAC地址是“FF.FF.FF.FF.FF.FF”，代表網絡上所有主機網卡的MAC地址。廣播幀在網絡中是必不可少的，比如客戶機通過DHCP自動獲得IP地址的過程就是通過廣播幀來實現的。而且，由于設備之間也需要相互通信，因此在網絡中即使沒有用戶人為地發送廣播幀，網絡上也會出現一定數量的廣播幀。同單播和多播相比，廣播幾乎占用子網內網絡的所有帶寬。網絡中不能長時間出現大量的廣播幀，否則就會出現所謂的“網絡廣播風暴”（每秒的廣播幀數在1 000以上），也就是所說的網絡風暴。

網絡風暴就是網絡長時間被大量的廣播數據包所占用，使正常的點對點通信無法正常進行，其外在表現為網絡速度奇慢無比，甚至出現通信中斷。

4.2 網絡風暴成因

一般情況下，產生網絡風暴的原因，主要有以下幾種：

1）網絡設備原因：由于網絡設備如交換機故障導致數據不斷堆積形成網絡風暴。

2）網絡節點損壞或故障：如果網絡節點損壞或故障，會產生網絡風暴。損壞的網絡節點，會不停向交換機發送大量的數據包，產生大量無用的數據包，形成網絡風暴。此類故障比較難排除，由于損壞的網卡一般還能上網，可以借用網絡管理軟件，查看網絡數據流量，來判斷故障點的位置。

3）網絡環路：網絡環路的產生，一般是由于一條物理網絡線路的兩端同時接在一臺網絡設備中，導致網絡性能驟下降。現在的交換機一般都帶有環路檢測功能。

4）網絡病毒：網絡病毒如Funlove、震蕩波、RPC等病毒，一旦有機器中毒后，會立即通過網絡進行傳播。網絡病毒的傳播，會損耗大量的網絡帶寬，引起網絡堵塞，形成網絡風暴。地鐵的信號系統作為獨立的子網一般很難接觸到網絡上的病毒，此類狀態在地鐵系統中較難出現。

4.3 網絡風暴的判斷

隨著通信技術在信號系統中的應用不斷深入，尤其是隨著CBTC信號技術的不斷發展，各種各樣的網絡故障也隨之而來。這些網絡故障的表現形式多種多樣，如何對其進行合理的判斷，是迅速定位、排故的前提條件。這就要求信號維護人員在掌握傳統信號技術的基礎上，進一步拓展、學習現代通信技術與網絡技術，成為一名復合型的技術人才。

接下來就幾個案例進行簡單討論，看看哪些故障屬于網絡風暴。

1）2008年，上海地鐵8號線開通一年左右，故障發生時各集中站均無法與中央進行通信。通過對網絡設備的抓包分析，發現時鐘專業連接信號系統的一臺交換機存在故障，不停地進行重啟。該節點位于整個網絡的根部，其在線狀態的變化引起整個網絡樹型結構的改變，樹型結構的重新生成，會耗費交換機大量的運算資源，不斷地重新生成樹，使得交換機的運算資源被耗盡，從而導致網絡癱瘓。

該故障的表象與網絡風暴非常類似，但究其根本原因卻并非網絡風暴。

2）2009年，11號線在開通初期發生過一次全網癱瘓故障，在對故障排查中，發現故障是由于一起違規施工導致在運營時段試車線的骨干網光纖的尾纖插錯，兩端插在同一個交換機的不同端口上，導致骨干網網絡成環，整個骨干網中充斥著大量的廣播包，從而導致了骨干網的徹底癱瘓。

這起故障，是典型的網絡環路引起的網絡風暴。

3）2011年，6號線中央與車控室的ATS工作站均出現運行緩慢，命令下發需要較長時間才能生效的問題，初步懷疑可能是網絡風暴引起網絡堵塞。但通過排查，并未在網絡上檢測到大量的廣播包。最后通過日志分析，發現是庫內調試列車的一塊板卡發生故障，車載控制器不斷向ATS發送大量告警信息，導致ATS工作站處理不過來（CPU占用率過高），從而使其運行變緩。

這起故障也不是網絡風暴。

從以上幾起例子的分析，我們可以看到，類似網絡風暴的現象未必網絡風暴，真正是否網絡風暴，關鍵還是要看（子）網絡中是否存在大量的廣播包。

4.4網絡風暴的應對及處理方法

使用路由器或三層交換機能夠實現在不同子網間隔離廣播風暴的作用。當路由器或三層交換機收到廣播幀時并不處理它，使它無法再傳遞到其他子網中，從而達到隔離網絡風暴的目的。因此在由幾百臺甚至上千臺電腦構成的大中型局域網中，為了隔離網絡風暴，都要進行子網劃分。11號線的DCS子系統采用二層交換機，因此在這一層面無法隔離網絡風暴，不過可以通過VLAN的劃分來隔離廣播風暴，11號線的DCS系統也正是這么設計的。但是當重要的子網出現網絡風暴時，仍然會對信號系統的正常運行產生重大影響。

在信號系統中，由于網絡相對獨立，病毒導致的網絡風暴現象基本沒有發生過，因此系統發生網絡風暴時往往是由于其他3種原因引起的。

DCS系統作為一個CBTC信號系統中最重要的子系統，如果發生故障對地鐵安全運營帶來的影響極其巨大，因此為確保地鐵安全運營，如何快速找到網絡風暴的故障點相當重要。就此，筆者根據這幾年中的工作經驗提出幾點操作建議。當突發網絡風暴時，建議按照如下步驟操作。

1）迅速確認各集中站是否啟動緊急站控，確保運營不中斷，同時對網絡進行抓包分析，確認是否發生了網絡廣播風暴；

2）若DCS網絡突發網絡風暴，往往是網絡中存在突發的環路，有如下兩種可能：

a.單模骨干網絡形成環路，即RM（冗余管理）功能失效；

b.多模子環網絡形成環路，即RM（冗余管理）功能失效。

3）由于發生風暴時，已經無法及時判斷故障原因，所以首先需斷開單模骨干環網：可以將任意站內ATC Rack中的任意一對光纖尾纖斷開（一般選擇控制中心信號機房的機架），確保網絡不再構成環狀拓撲；

4）若網絡風暴仍未消失，則說明形成環網的地點不在單模骨干網內，所以針對b，需要將所有軌旁子環也斷開成線性拓撲，即針對一個子環，斷開一個MS20-0800交換機上的任意一對光纖尾纖；

5）依次做如上操作，直至網絡風暴現象消除，優先確保運營所受的影響最小；

6）當斷開某個環網后，網絡風暴消除，即說明網絡風暴形成的原因是該骨干環/子環內的RM交換機有故障（交換機故障或者RM功能失效），待運營結束后去現場做更換處理。

5 小結

本文主要描述了基于CBTC的上海地鐵11號線信號系統中DCS子系統的實現、組成以及該系統下網絡風暴發生后的處置方式。

基于CBTC的地鐵信號系統的通信網絡是一個極其龐大復雜的分布式網絡，隨著一條線路的延伸，對于其通信子系統的深入了解和掌握，更好地提高設施設備的使用水平與維護水平是不可或缺的，本文對此所進行的探討，仍可以進一步深入挖掘，如何提高DCS子系統的可靠性與可用性，是今后必須研究的目標。

［1］ IEEE IEEE 1474.1 IEEE Standard for Communication Based Train Control （CBTC） Performance and Functional Requirements［S］.New York，US：IEEE Vehicular Technology Society，2004.

［2］段綦，孫章，徐金祥，等.基于無線通信的列車控制技術與互聯互通［J］.城市軌道交通研究，2004（1）：10-12.

［3］朱翔.實現基于通信的列車控制互聯互通的若干思考［J］.城市軌道交通研究，2006（9）：6-8.

［4］魏京璇，王文松.淺談網絡廣播風暴及解決方法［J］.計算機與網絡， 2005 （16）：60-61.

With rapid development of computer technology， control technology and modern communication technology， metro signal systems are going ahead by leaps and bounds from track circuit based train control system （TBTC） to communication based train control system （CBTC）. One outstanding feature is the evolution of train-ground data transmission channels， namely， from track circuit to wireless channel. The paper introduces DCS system equipment and structure principles of CBTC system for Shanghai metro line 11，and gives the analysis and discussion on the causes of network storm and troubleshooting.

CBTC； DCS； network storm

10.3969/j.issn.1673-4440.2015.06.018

2015-10-27）