湖南省氣象廣域網(wǎng)應(yīng)用故障分析

朱亮，賀煒，鄭秋生，歐陽計(jì)躍

（湖南省氣象信息中心，長沙 410118）

0 引言

湖南省氣象廣域網(wǎng)連接我省氣象部門省、市、縣三級氣象機(jī)構(gòu)，承載了省內(nèi)業(yè)務(wù)、辦公等各種信息的傳輸，是我省重要的氣象基礎(chǔ)支撐系統(tǒng)之一。2015年省氣象局通過新建一套聯(lián)通MPLS VPN線路，實(shí)現(xiàn)與原電信MSTP雙網(wǎng)動態(tài)互為備份，拓展了帶寬，提高了氣象通信吞吐能力。截止到目前，全省MSTP線路與MPLS VPN線路混合組網(wǎng)，運(yùn)行穩(wěn)定。聯(lián)通運(yùn)營商MPLS VPN線路，省局接入速率總帶寬為1000M，各市州局接入速率總帶寬為100M；各區(qū)縣局接入速率帶寬為30M。電信運(yùn)營商MSTP線路，市局采用10-20Mb?ps的接入，各區(qū)縣局接入速率帶寬為4M，組網(wǎng)系統(tǒng)整體提高了數(shù)據(jù)傳輸?shù)乃俣群涂煽啃?，為?shù)據(jù)及時(shí)傳輸、集約化數(shù)據(jù)環(huán)境應(yīng)用和氣象業(yè)務(wù)扁平化提供了強(qiáng)有力的支撐。

1 廣域網(wǎng)結(jié)構(gòu)功能簡介

各地市、各區(qū)縣節(jié)點(diǎn)建設(shè)兩套路由器和交換機(jī)，分別接入不同廣域網(wǎng)鏈路，實(shí)現(xiàn)雙終端熱備，形成線路冗余。主路由器接入MSTP專線，備用路由器作為CE，接入運(yùn)營商PE設(shè)備完成MPLS VPN線路連接?？傮w網(wǎng)絡(luò)結(jié)構(gòu)圖設(shè)計(jì)如圖1所示，該系統(tǒng)主要實(shí)現(xiàn)以下功能：

圖1 總體網(wǎng)絡(luò)結(jié)構(gòu)圖

（1）省、市、縣節(jié)點(diǎn)互聯(lián)互通，任意節(jié)點(diǎn)間互訪不依賴其他節(jié)點(diǎn)

總體實(shí)現(xiàn)了省、市（州）、縣互聯(lián)互通，能滿足省、市（州）、縣各級氣象部門間點(diǎn)對點(diǎn)直接通信的要求；系統(tǒng)內(nèi)部任意兩點(diǎn)間實(shí)現(xiàn)點(diǎn)對點(diǎn)通信不需通過其他節(jié)點(diǎn)，網(wǎng)絡(luò)中任意節(jié)點(diǎn)的單個(gè)設(shè)備或單條線路故障均不影響其他節(jié)點(diǎn)信息的傳輸。

（2）兩套網(wǎng)絡(luò)無縫兼容，動態(tài)互為備份

MPLS VPN線路與MSTP線路互聯(lián)互通，無縫兼容，同時(shí)兩套網(wǎng)絡(luò)實(shí)現(xiàn)動態(tài)、實(shí)時(shí)、自動的互為備份。當(dāng)任意一套線路出現(xiàn)故障時(shí)能將本該從故障線路傳輸?shù)臄?shù)據(jù)快速自動的切換至另外一套線路傳輸，保障氣象業(yè)務(wù)數(shù)據(jù)傳輸?shù)倪B續(xù)性。

（3）業(yè)務(wù)分流

氣象廣域網(wǎng)中需要數(shù)據(jù)傳輸或交換業(yè)務(wù)種類較多，其中有視頻、各種觀測數(shù)據(jù)、辦公、網(wǎng)站等。在兩條線路都正常的前提下，根據(jù)不同業(yè)務(wù)傳輸對帶寬、時(shí)延等要求的高低，通過策略路由或者其方式使該項(xiàng)業(yè)務(wù)運(yùn)行在優(yōu)先運(yùn)行于某條線路上。如時(shí)延要求的視頻會商、時(shí)效被考核的上傳數(shù)據(jù)等，此類業(yè)務(wù)放在MSTP線路上運(yùn)行；而對于帶寬要求大，時(shí)延要求不是很高的下行數(shù)據(jù)傳輸業(yè)務(wù)，適合放在MPLS VPN線路上運(yùn)行。

2 故障問題情況分析

氣象廣域網(wǎng)在建設(shè)和運(yùn)維過程中，發(fā)現(xiàn)和解決了一些問題，著重介紹如下：為了解決靜態(tài)路由無法實(shí)現(xiàn)雙網(wǎng)動態(tài)互為備份，引入采用GRE隧道方法；CMACast接收數(shù)據(jù)從長沙市局備份站推送省級中心站失敗，采用修改服務(wù)器MTU值解決。

（1）實(shí)現(xiàn)線路動態(tài)切換

廣域網(wǎng)中，MSTP線路是主用網(wǎng)，采用OSPF三級網(wǎng)模式；MPLS VPN線路備份網(wǎng)，采用純靜態(tài)路由技術(shù)實(shí)現(xiàn)。由于純靜態(tài)路由技術(shù)只依托本設(shè)備的物理接口的物理狀態(tài)，不能監(jiān)測MPLS VPN線路中設(shè)備接口及設(shè)備狀態(tài)的通斷情況；在本地設(shè)備接口狀態(tài)正常下，而MPLS VPN中設(shè)備及接口狀態(tài)不正常時(shí)無法判斷路由是否可達(dá)，導(dǎo)致網(wǎng)絡(luò)數(shù)據(jù)包丟失。

解決方法：鑒于純靜態(tài)路由的這種弊端，經(jīng)過論證及測試?yán)猛ㄓ寐酚煞庋b協(xié)議GRE隧道的特性，將靜態(tài)路由依托的物理接口變?yōu)樘摂M接口，從而解決路由黑洞問題。因?yàn)樘摂M地址在設(shè)備中的狀態(tài)比物理接口穩(wěn)定，GRE通過具有隧道?；顧C(jī)制keeplive對Tunnel進(jìn)行檢查，能定時(shí)檢測遠(yuǎn)端隧道地址是否可達(dá)，發(fā)現(xiàn)承載網(wǎng)絡(luò)故障的時(shí)候關(guān)閉Tunnel隧道，從而達(dá)到實(shí)時(shí)監(jiān)控備份網(wǎng)的狀態(tài)，解決普通靜態(tài)路由不能實(shí)時(shí)檢查鏈路狀態(tài)的缺陷，也便于整個(gè)網(wǎng)絡(luò)系統(tǒng)檢查到任意一套線路出現(xiàn)故障時(shí)自行將業(yè)務(wù)切換到另一條線路。

（2）利用MPLS VPN線路傳輸CMACast備份數(shù)據(jù)

省級CMACast數(shù)據(jù)接收設(shè)置長沙市局作為備份站點(diǎn)，數(shù)據(jù)從市級往省級進(jìn)行推送。實(shí)際數(shù)據(jù)傳輸過程中，發(fā)現(xiàn)MPLS VPN線路傳輸失敗。通過實(shí)時(shí)抓包數(shù)據(jù)分析，從接收機(jī)進(jìn)行推送的過程中，從客戶端服務(wù)器發(fā)出的每個(gè)數(shù)據(jù)包均包含有DF=1的標(biāo)志位，此標(biāo)志位代表該數(shù)據(jù)包不允許重新分片。當(dāng)數(shù)據(jù)包到達(dá)NE05路由器時(shí)，由于采用GRE隧道，數(shù)據(jù)重新封裝一個(gè)24字節(jié)GRE頭部，NE05路由器有開啟強(qiáng)制分片命令，將數(shù)據(jù)包的DF位修改為0，DF位為0之后，在數(shù)據(jù)傳輸過程中將對MTU大于1500字節(jié)的數(shù)據(jù)包進(jìn)行分片處理，因此數(shù)據(jù)包從客戶端傳輸至省局服務(wù)器正常。由于CMACast業(yè)務(wù)服務(wù)器會對數(shù)據(jù)包狀態(tài)進(jìn)行檢測，防止數(shù)據(jù)被篡改，不接受分片數(shù)據(jù)包重組。所以在抓包數(shù)據(jù)上會顯示數(shù)據(jù)重組異常并中斷連接，最終導(dǎo)致業(yè)務(wù)數(shù)據(jù)上傳失敗。

解決方法：可以看出數(shù)據(jù)包能通過分片在網(wǎng)絡(luò)中傳輸并到達(dá)目的端，是在數(shù)據(jù)包重組過程中發(fā)生異常導(dǎo)致上傳失敗。在客戶端服務(wù)器上調(diào)整物理接口的MTU值大小，不使數(shù)據(jù)包分片，調(diào)整客戶端至接收到端的數(shù)據(jù)包大小，MTU值調(diào)整至1400恢復(fù)正常。

3 日常故障的排查

全省網(wǎng)絡(luò)建設(shè)涉及130多個(gè)點(diǎn)，日常運(yùn)行維護(hù)相對繁重，因此在省級部署軟件監(jiān)控，查詢線路狀態(tài)如圖2所示，主要通過ping包等方式進(jìn)行查看。網(wǎng)絡(luò)正常連接顯示綠色；如果發(fā)現(xiàn)網(wǎng)絡(luò)斷開，則會紅色標(biāo)識。省級監(jiān)控發(fā)現(xiàn)故障的情況下可以及時(shí)與系統(tǒng)運(yùn)維人員或市縣級業(yè)務(wù)人員進(jìn)行聯(lián)系解決。

圖2 全省MSTP線路監(jiān)控狀態(tài)圖

市縣級最常見故障現(xiàn)象就是內(nèi)網(wǎng)數(shù)據(jù)不通，可以參考下面（1）（2）（3）。正常情況兩條線路有一條正常都不會影響業(yè)務(wù)運(yùn)行；同時(shí)日常檢查還需要查看兩條線路是否均正常，可以參考下面（4）（5）。故障排查需按一定的步驟才能很快發(fā)現(xiàn)問題，發(fā)現(xiàn)問題后及時(shí)聯(lián)系系統(tǒng)運(yùn)維人員或電信聯(lián)通運(yùn)營商進(jìn)行線路維護(hù)。

（1）Ping命令排查故障

在業(yè)務(wù)PC上Ping本地局域網(wǎng)網(wǎng)關(guān)或目的地址，檢測地址是否能正常到達(dá)。

①網(wǎng)關(guān)能到達(dá)：可以排除掉局域網(wǎng)PC到主交換機(jī)這一段的問題；

②網(wǎng)關(guān)不能到達(dá)：則故障肯定出在局域網(wǎng)PC到主交換機(jī)這一段，需要檢查PC網(wǎng)關(guān)是否設(shè)置正確、接入交換機(jī)是否正常，PC至接入交換機(jī)與主交換機(jī)之間的網(wǎng)線是否連接完好，設(shè)備是否死機(jī)等。

（2）Tracert路由跟蹤命令排查故障

Tracert（路由跟蹤）用于確定IP數(shù)據(jù)包訪問目標(biāo)地址所采取的路徑，在內(nèi)網(wǎng)PC上進(jìn)行路由跟蹤（tracertd目的地址），就能檢查到路徑在哪個(gè)地址發(fā)生丟包，從而確定出故障點(diǎn)所在。由于數(shù)據(jù)共享服務(wù)器部署在MPLS VPN，數(shù)據(jù)上傳服務(wù)器部署在MSTP，兩個(gè)地址正好走的不同路徑，那么我們就可以用這兩個(gè)地址進(jìn)行Tracert命令測試判斷，如果兩個(gè)服務(wù)器Tracert路徑不一致則線路正常。

（3）分析路由條目cost值進(jìn)行排查故障

根據(jù)層次化劃分，將全網(wǎng)路由分成省級路由、市級路由和縣級路由，所有的業(yè)務(wù)網(wǎng)段路由都定義成外部引入路由，在所有節(jié)點(diǎn)的備路由器上將需要引入的路由條目加上開銷值cost成為備選路由，市級MPLS VPN線路的靜態(tài)路由引入加上cost80、縣級MPLS VPN線路的靜態(tài)路由引入加上cost70。在市級主路由器上使用display ip routing-table查看全網(wǎng)路由表，針對本市業(yè)務(wù)網(wǎng)段進(jìn)行篩查，如果發(fā)現(xiàn)cost為80，那么說明此網(wǎng)段所在的網(wǎng)絡(luò)節(jié)點(diǎn)的MSTP線路故障。

（4）設(shè)備冗余測試

①關(guān)掉MSTP主路由器等待路由重新收斂約40s時(shí)間（理論值），從PC Ping省局內(nèi)網(wǎng)地址。能Ping通說明數(shù)據(jù)從MPLS VPN備路由器出去通過MPLS VPN網(wǎng)絡(luò)到達(dá)省局。

②關(guān)掉主交換機(jī)，約5s時(shí)間Ping省局內(nèi)網(wǎng)地址，從PC能Ping通說明網(wǎng)關(guān)切換成功。

（5）線路冗余測試

①斷開MSTP線路，等待路由重新收斂，30-60s之間從PC Ping省局內(nèi)網(wǎng)地址，能Ping通說明MSTP線路發(fā)生故障后，通過MPLS VPN可以恢復(fù)業(yè)務(wù)訪問。

②斷開MPLS VPN線路后，30-60s之間如Ping包數(shù)據(jù)正常，說明MPLS VPN線路發(fā)生故障后，通過MSTP可以恢復(fù)業(yè)務(wù)訪問。

4 結(jié)語

目前，MPLS VPN線路與MSTP線路互聯(lián)互通，同時(shí)兩套網(wǎng)絡(luò)實(shí)現(xiàn)動態(tài)、實(shí)時(shí)、自動的互為備份。日常工作中應(yīng)要加強(qiáng)網(wǎng)絡(luò)管理,定期進(jìn)行故障排查;日常要建立技術(shù)檔案,為網(wǎng)絡(luò)故障查找與排除提供參考[5]，便于盡快解決故障以保障氣象業(yè)務(wù)數(shù)據(jù)傳輸?shù)倪B續(xù)性。