山西電力骨干數據通信網優化方案研究

段 敬，張淑娟

（山西省電力公司電力通信中心，江西 南昌 330200）

0 引言

2009年國家電網公司提出了建設堅強智能電網的目標，可以預見，電力信息化將會飛速發展，山西電力數據通信網承載業務種類和數據量將會不斷增加，業務數據敏感性、安全性也會不斷提高，這就對網絡提出了更高的要求。為了適應發展的要求，針對山西電力數據通信網的實際情況，提出了相應的優化建議。

1 網絡拓撲及網絡帶寬優化

針對山西電力數據通信網核心層網絡拓撲和骨干層網絡拓撲以及網絡帶寬進行了分析，并提出了優化建議。

1.1 核心層網絡拓撲優化

1.1.1 優化前核心層網絡拓撲

山西電力數據通信網優化前核心層拓撲見圖1。

1.1.2 核心層網絡拓撲分析

目前，山西電力數據通信網核心層由2臺思科12016和1臺思科7609路由器組成，其中2臺12016路由器既作為整個數據通信網核心路由器PR（Provider Router），又做為供應商邊緣路由器PE（Provider Edge Router）用于省調信息網業務接入。2臺12016路由器做為PE路由器有如下問題。

圖1 優化前核心層網絡拓撲

a）12016路由器既做為整個數據通信網的核心路由器又做業務接入路由器，運行壓力大，數據轉發效率低。

b）12016路由器是山西電力數據通信網全省骨干路由器的第一匯聚點，如果其同時作為PE路由器，配置的頻率增高，如果配置出現問題，會影響數據通信網的穩定。

c）12016路由器板卡集成度低且都是廣域網接口，如果用于本地業務接入，成本高。

1.1.3 核心層網絡拓撲優化建議

a）目前，山西省電力公司有1臺冷備份思科7609路由器，建議將省公司端冷備份7609路由器和目前在用的7609路由器作為省公司端的PE路由器，互為冗余。

b）將2臺12016路由器所接的數據通信網業務平移至2臺7609路由器上，將2臺12016做為P路由器。

c）省調7609路由器與省調12016路由器成口字型結構，兩兩之間采用端口綁定（Port-channel）技術綁定兩條線芯千兆以太網GE（Gigabit Ethernet）通道，提高鏈路冗余性。

d）將省調互為冗余的2臺7609路由器和2臺12016路由器分別部署至不同樓層的機房，提高設備的冗余性。

1.1.4 優化后核心層網絡拓撲

山西電力數據通信網優化后核心層拓撲見圖2。

圖2 優化后核心層網絡拓撲

1.1.5 優化后的優勢

a）優化后省調2臺12016路由器做為P路由器，2臺7609路由器做為省調PE路由器，層次清晰、分工明確、便于管理，加快了核心12016路由器的轉發效率。因為P路由器是不需要進行IP路由轉發的，它只需要根據邊界網關協議BGP（Border Gateway Protocol）路由的下一跳進行標簽轉發。

b）優化后省調2臺12016路由器和2臺7609路由器之間的鏈路冗余性和設備冗余性都有很大的提高。

1.2 骨干層網絡拓撲及網絡帶寬優化

1.2.1 優化前骨干層網絡拓撲

優化前骨干層網絡拓撲見圖3。

1.2.2 骨干層網絡拓撲及網絡帶寬分析

數據通信網的骨干路由器7609匯聚至核心層時，除了太原地區2臺7609路由器與省公司端核心層12016路由器組成口字形環網，其余地區都是兩兩串聯與省公司端核心層2臺12016路由器組成環網。

圖3 優化前骨干層網絡拓撲

這種連接拓撲的優勢是以最小的鏈路資源，將骨干層7609匯聚至核心層12016，并實現了鏈路冗余。但是從網絡發展的長遠角度看，環形雙歸結構有如下不足。

a）地區2臺7609無法做到流量負載均衡。根據OSPF路由算法，每個地區的所有網絡流量都只會通過7609-1與核心12016互聯的155 M通道上下行。地區間互聯的155 M通道不會有任何流量，除非7609-1與核心12016的155 M通道出現問題。也就是說每個地區的實際上聯帶寬是155 M，地區之間的155 M鏈路沒有被充分利用，7609-2的性能也沒有被充分發揮，轉發效率降低一半。

b）大大增加了在骨干層7609路由器上作服務質量保證QoS（Quality of Service） 的難度。隨著山西電力信息化建設步伐不斷加快，數據網不再只是承載數據業務，也需要為實時性要求高的業務（如網真、NGN）提供高質量的服務保障，只有這樣在網絡出現擁塞、鏈路異常等情況時仍能保證這類實時性業務的服務質量。在環形雙歸結構中部署QoS面臨兩個問題：首先QoS配置涉及環網上兩個地區的流量，需要在兩個地區的設備上相互做配置，配置相當復雜；第二，如果在一個地區做QoS配置時，一旦出現問題會同時影響環網上兩個地區的業務。

c）隨著國家電網公司建設堅強智能電網目標的提出，可以預見，山西電力數據通信網承載的數據流量將會快速增長，為了適應發展的需求山西電力數據通信網需要進行帶寬擴容。

1.2.3 骨干層網絡拓撲優化建議

a）利用已建成的密集波分系統DWDM（Dense Wavelength Division Multiplexing） 為每個地區至省公司提供兩條GE鏈路替換現有的155 M鏈路，用于地區的2臺7609骨干路由器和省公司兩臺12016核心路由器互聯；同時，將原骨干網中除太原地區外其他地區的環形雙歸結構改為雙歸口型結構。

b）2010年山西省電力公司在長治建立備用調度中心做為第二信息匯聚點，為了加強數據通信網的通道冗余性，利用原有的2.5 G傳輸網為每個地區骨干路由器至長治備調核心路由器提供155 M通道，作為備份電路。

c）分別用DWDM傳輸網和同步數字體系SDH（Synchronous Digital Hierarchy） 為長治備調至省公司2臺核心路由器提供622 M通道，保證通道的冗余性。

1.2.4 優化后骨干層網絡拓撲

優化后骨干層網絡拓撲見圖4。

圖4 優化后骨干層網絡拓撲

1.2.5 優化后的優勢

a）優化后各地調2臺骨干路由器與省調2臺核心路由器單獨成環，結構簡潔，各地調上下行流量可以充分利用兩條GE通道的帶寬做到流量負載均衡且地調間流量不會相互影響，便于部署QoS。

b）增加備調作為全省第二匯聚點，大大增加了網絡的冗余性。省調各系統將在備調建設災備中心，當省調不能正常運轉時，數據通信網路由可瞬間切換至備調核心路由器，不影響地調與備調以及地調間的通信。

c）優化后省到地主用通道帶寬由155 M升級為2 G，備用通道帶寬由2 M升級為155 M，為今后智能電網建設打下了良好的網絡承載平臺。

2 網絡路由優化

2.1 骨干網絡BGP路由分析

山西電力骨干數據通信網BGP路由設計為2臺核心12016路由器作為各地調骨干7609路由器的路由反射器RR（Route Reflector）。全省變電站、電廠路由器與地調骨干7609路由器建立內部邊界網關路由協議IBGP（Internal Border GatewayProtocol）會話。

這種設計是一種非標設計，因為IBGP具有一種水平分割的防環機制，即從一個IBGP鄰居學來的路由，默認情況下不能轉發給另外一個IBGP鄰居。這種機制在本網中體現為地調7609路由器不會將從省核心12016路由器學習到的路由轉發給地區變電站路由器，同理也不會將從地區變電站路由器學到的路由轉發給省核心12016路由器。造成了省核心路由器與變電站路由器路由轉發的斷裂。目前在骨干數據通信網中為了使省核心12016路由器和變電站路由器路由互通，在地調骨干7609路由器上，每個業務分別指兩條靜態匯總路由到null 0，并將靜態路由重分布進IBGP分別送給核心12016路由器和變電站路由器。核心12016路由器和變電站路由器靠靜態路由達到互通的目的。這樣做的缺點是每增加一個虛擬專用網業務VPN（Virtual Private Network），地調骨干7609路由器上就必須多指兩條靜態路由，一方面增加了配置量，另一方面降低了省骨干網的可管理性，更重要的是造成了標簽轉發路徑LSP（Label Switch Path） 的斷裂。

為了解釋LSP斷裂問題，以太原地區為例說明，見圖5、表1。

圖5 標簽轉發路徑示意圖

表1 假設圖5中設備地址分配

在理想情況下，省調7609和變電站路由器通過IBGP路由協議能夠學習到對方的明細路由。當省調7609-1向變電站遞送VPN A的數據包時，數據包會被壓入兩層標簽，底層標簽是變電站路由器為VPN A業務路由10.1.1.0/29分配的標簽，頂層標簽是省調7609-1的真實下一條省調12016-1為變電站路由器環回口1.1.3.1分配的標簽。當路由傳遞到省調12016路由器后，頂層標簽會被交換為BGP的下一條地調7609-1為變電站路由器環回口1.1.3.1分配的標簽，繼續傳遞。當數據包遞送到地調7609-1，會彈出頂層標簽，將數據包繼續遞送到變電站路由器，數據包到達變電站路由器后會彈出底層標簽，進行IP路由查找，進而遞送到VPN A業務交換機3。這是一條完整的標簽轉發路徑，見圖5，LSP1。

目前，骨干數據通信網的實際情況是由于IBGP RR設計問題，省調7609-1和變電站路由器互相學不到對方的明細業務路由。之所以業務能夠被正常路由，是因為在地調7609上指了兩條靜態路由，并將靜態路由重分布進BGP中，以圖5中VPN A業務為例兩條路由分別為

ip route vrfMIS10.0.0.0 255.0.0.0 null 0

ip route vrfMIS10.1.1.0 255.255.255.248 null 0

省調7609-1學到去往變電站VPN A交換機3的路由是靜態路由10.1.1.0/29 null 0，下一跳是地調7609。變電站學到去往VPN A交換機1的路由是靜態路由10.0.0.0/8 null 0，下一跳也是地調7609。當省調7609向A站遞送VPN A業務數據包時，只會壓入一層標簽即地調7609為10.1.1.0 255.255.255.248 null 0這條靜態路由分配的標簽，當數據包到達地調7609后，標簽會提前彈出并進行IP路由查找。由于地調7609和變電站路由器相互能學習到對方的明細業務路由，地調7609經過IP路由查找后，可知去往10.1.1.0/29的下一條是變電站路由器，數據包會再次被壓入一層標簽，即變電站路由器為業務路由10.1.1.0/29分配的標簽。數據包遞送到變電站路由器后，彈出標簽進行IP路由查找，進而將數據包遞送到VPNA業務交換機3上。

通過以上分析可以看出，一條完整的標簽轉發路徑被斷裂成兩條路徑，如圖5，LSP2、LSP3。造成的后果是業務數據包從省調遞送至變電站需多增加一次路由查找、多增加一次標簽壓入，大大降低了轉發效率。

2.2 網絡路由優化建議

將每個地調的2臺7609路由器做為二級RR。

2.3 優化后的優勢

優化后IBGP承載的業務路由全網互通，不必在每個地調的7609上指靜態匯總路由，以達到業務路由互通的目的。業務路由轉發過程中標簽轉發路徑完整，轉發效率高，真正體現了多協議標簽交換MPLS（Multiple Protocol Label Switch） 技術的優勢。網絡更加規范，便于管理。

3 網絡安全優化

目前，山西電力數據通信網在廣域網層面缺乏有效的安全監控手段，而所承載業務的信息量不斷增加，數據敏感性不斷提高，網絡安全顯得越來越重要，需要加強廣域網安全建設。

3.1 網絡安全問題分析

據統計，絕大部分網絡攻擊來自于網絡內部，攻擊者通常是通過探測攻擊發現網絡中的漏洞進而進行進一步攻擊。探測攻擊的攻擊手段有：抓包、端口掃描、Ping掃描等。另一種常見的攻擊方式是訪問攻擊，攻擊者通過攻擊獲得網絡系統的操作權限，進入網絡后可以對數據或配置任意修改，一旦攻擊者得逞后果不堪設想。

3.2 網絡安全優化建議

a）在網絡中部署入侵檢測系統IDS(Intrusion Detection System)，用于檢測端口掃描、Ping掃描等攻擊手段。

b）在省調增加1臺動態密碼服務器，配合原有訪問控制系統ACS（Access Control System） 進行身份認證。

c）禁止在數據通信網中使用Telnet協議，利用SSH等密文協議進行登錄。

3.3 優化后的優勢

a）部署IDS后，可以對數據通信網中的端口掃描、Ping掃描等探測攻擊進行監控，能夠及時發現一些內網的網絡病毒、系統漏洞、異常攻擊等高風險事件并進行有效預防和處置。

b）在網絡中部署動態密碼服務器后，每個網管人員同時會配備一個口令卡，口令卡的密碼與密碼服務器中RSA加密算法同步，每隔兩分鐘變換一次。網管人員登錄數據通信網中任何一臺路由器進行操作時，會被要求輸入ACS靜態認證用戶名和密碼以及口令卡密碼，如果多次輸入錯誤，改口令卡會被鎖定，提高了身份認證的安全性。

c）Telnet是明文協議，如果在網絡中使用Telnet協議，那么攻擊者可以利用抓包工具抓獲用戶名和密碼，使用SSH等密文登錄協議配合動態密碼訪問控制系統可以很好地抵御訪問攻擊，防止攻擊者或非授權人員對網絡數據進行篡改。

4 結束語

山西電力骨干數據通信網經過優化后，網絡拓撲簡潔、合理，骨干層網絡帶寬擴展了13倍，網絡路由更加規范，便于維護與管理，網絡安全防護能力大大提高。為省公司的生產、經營、管理及信息化和智能電網建設搭建了堅強的網絡承載平臺。

［1］ Randy Zhang Micah Bartell.BGP設計與實現［M］.人民郵電出版社，2008：196-205.

［2］ Luc De Ghein.MPLS技術架構［M］.人民郵電出版社，2008：151-152.