CERNET主干網流量優化探索

文/李鎖鋼 孫富

CERNOC主要負責CERNET主干網線路和設備的正常運行。主干網線路的流量擁堵情況通常使用帶寬利用率來衡量。CERNET主干網各條線路帶寬利用率不均衡，并且一些線路的帶寬利用率比較高。一般情況下，我們通過線路擴容改善線路的擁堵情況，但是線路擴容受限于經費等客觀條件，同時也不能充分利用線路資源，不夠綠色節約。因此我們需要通過流量優化的技術方式降低帶寬利用率，提高網絡性能質量。

我們的目標是探索低成本、高效率的流量優化方法，調整不同線路間的流量，使得線路的容量和實際的需求相符合。

CERNET是一個比較純的，基于IP的主干傳輸網絡。CERNET主干網路由策略如下：全網啟用了OSPF協議，同時啟用了BGP協議；骨干網與地區網的路由使用靜態路由協議，并將靜態路由重發布到BGP中；用戶路由需要遞歸路由查找；在接入用戶的所有設備上啟動NetFlow。

流量優化方法

主干網流量優化的難點有兩個，一是需要在主干線路上進行調整，二是要在運行著的網絡中進行操作。這意味著一些微小的調整都可能產生巨大影響，甚至稍有疏忽就會導致線路流量銳減或瞬間擁塞，以至于設備遠程訪問中斷。

我們首先通過網絡拓撲分析出相關流量的大小，或者根據每個地區IP地址分配準確測量出該地區的流量分布，然后根據主干線路的流量負載情況進行流量調整，如圖1所示。流量調整的方法依照客觀情況，包括修改OSPF鏈路成本、路由協議疊加和其他可行的方法。我們在以前的工作中總結了前兩種方法，本文著重介紹其他的思路。

流量優化實例

2012年上半年，我們對主干線路進行了一些擴容，總帶寬比上一年有了顯著增長，緩解了部分節點的擁堵情況。但是用戶訪問網絡需求在不斷增加，同時受限于經費和物理線路的客觀條件，我們需要通過流量優化來充分利用帶寬利用率低的線路資源，改善帶寬利用率高的線路問題。青島新開線路的流量調整

長期以來，青島節點上聯線路接到濟南節點，為1條2.5G線路，濟南上聯至北京有3條2.5G線路。濟南至青島的2.5G線路最近幾個月線路利用率一直在90%左右。

1. 新線路開通

為了解決青島節點流量擁堵情況，在2012年6月7日，開通一條北京至青島2.5G線路。按照一般的連接習慣，新開線路與北京至濟南的線路都接在北京1設備上，同時設置線路的OSPF，使得北京和青島之間的線路都為負載均衡，參見圖2左圖中線路旁邊標注的數字。

從圖3可以看出，新開通的北京至青島2.5G線路達到了400M，同時濟南至青島的流量降低了400M。

圖2 青島節點線路拓撲

圖3 青島節點流量變化情況

但是這個流量分擔得比我們期望的要少很多。由于OSPF在選路過程中是負載均衡的，從北京方面看，去青島方向有4條（3條經過濟南到青島，1條北京直接到青島），所以新開通的北京至青島2.5G只分擔了1/4北京到青島流量，而濟南至青島2.5G卻分擔了3/4的北京到青島流量。照此推算，當青島流量需求達到3.2G的時候，濟南至青島線路流量將達到2.4G。

2. 第一次優化

鑒于以上情況，我們需要摒棄傳統的接入方法，探索新的接入方式。首先，我們發現北京節點有兩個主干設備：北京1為主用，連接了大部分節點；北京2連接了少部分節點，如清華和石家莊等節點。

圖4 CERNET主干網拓撲

我們嘗試將北京至青島2.5G的北京端從北京1切換到北京2的路由器上，并設置OSPF成本，參見圖2右圖。這樣北京互聯、清華、石家莊等節點到青島的流量就會從北京至青島2.5G走。圖3的流量顯示，這次調整使得北京至青島線路的流量增加了接近200M。不過此時正值青島節點一個接入用戶擴容，濟南至青島線路流量不僅沒有降低，還增加了一些。

3. 第二次優化

第一次優化效果不明顯的根本原因在于北京至濟南3條2.5G和北京至青島2.5G線路的流量分配問題。于是我們從兩方面考慮，第一種方案是將北京至濟南3條2.5G做一個Bundle-POS，捆綁成一條線路；另一種方案是將北京至青島2.5G通過子接口變為3個接口。可是經過試驗，濟南的2.5G POS板卡不支持接口綁定，而北京1設備的POS接口也不支持劃分子接口。這些客觀的實際情況增加了我們流量優化工作的難度。

雖然第一優化效果不明顯，但是卻給后面的優化打下了基礎。因為我們可以充分利用北京2設備，等到6月23日北京至武漢2.5G×2線路開通時，將其也接在北京2設備上，使得武漢到達青島的流量跑在北京至青島線路上。從圖3可見，第二次優化使得濟南至青島流量明顯降低，降到1G，同時北京至青島的流量增加到1.2G。

經過以上調整，青島上聯兩個方向線路的流量得到合理分配，改善了青島地區用戶的訪問質量，提高了青島節點的接入能力。北京至武漢2.5G線路的使用

北京至武漢的主干線路是10G×2線路，隨著用戶訪問需求的增加，這兩條線路的帶寬利用率連續幾個月超過90%。但是我們短期沒有10G傳輸線路的資源，只有兩條2.5G線路的資源可供開通。如何利用好這兩條2.5G線路是一個難點。這2條2.5G線路與已有的10G線路在OSPF協議內不能做負載均衡，因為OSPF不支持非等價負載均衡。我們考慮過在OSPF協議之上啟用一個新的路由協議來控制流量，但這樣增加了全網協議的復雜度，先將該方案作為候選。

1. 結合青島新開線路優化流量

北京至武漢10G線路接在北京1路由器上，我們考慮把這兩條2.5G線路接到北京2路由器上，這樣可以分擔一部分北京互聯的流量（包括北京互聯部分去武漢和南京的流量），參見圖4所示。

我們需要設置線路的OSPF成本來控制流量。首先我們將這兩條2.5G的OSPF成本值設為7，這樣可以全部承擔北京互聯去往武漢、廣州、南京、上海的全部流量，測試發現兩條2.5G承載不了這些流量。然后我們將北京至武漢2.5G的OSPF成本值改為8，這樣可以分擔北京互聯去往武漢、南京和上海的1/3流量。測試發現這些流量將近2個G。進而，我們設想把北京1上的節點線路遷移一些到北京2上，這樣既可以降低北京1設備的CPU負載，同時也將北京至武漢的部分流量轉移到2.5G線路上。青島節點就是直接受益者，如前所述。

測試發現，挪動前濟南至青島2.5G的進出方向流量分別是450M和2G，而挪動之后的進出方向流量是300M和1.2G；北京至青島2.5G的進出方向流量分別是450M和500M，而挪動之后的進出方向流量是600M和1.3G。北京至武漢2.5G×2的出流量也從2G漲到2.4G左右，北京至武漢10G×2線路流量也得到了緩解。由原來的18.4G降到15.4G左右。見表1所示。

表1

圖5 杭州流量優化前后流量變化情況

2. 優化北京至廣州流量

為了進一步利用北京至武漢2.5G×2線路資源，緩解北京至廣州10G×2的流量壓力，我們將北京至廣州10G×2的OSPF成本值由17改為18，這樣北京至廣州的流量就可以和北京-武漢-廣州負載均衡，而且北京互聯到廣州的1/3流量也可以分到北京至武漢2.5G×2上。這樣修改后，北京至武漢2.5G×2線路的進、出方向流量由漲到進一步增加。相關線路流量變化參見表2。

表2

3. 優化杭州節點流量

改動了北京至廣州線路的OSPF成本后，也影響到了杭州節點。杭州到北京的流量原本是“杭州-上海-南京（武漢）-北京”和“杭州-廣州-北京”兩個路徑上負載均衡。為了恢復平衡，我們將廣州（gz2）至杭州（hzh1）的OSPF成本值改為39。

而杭州至武漢的流量原來為杭州-上海-南京-武漢，現在變為杭州-廣州-武漢。這樣的變化既減輕了上海至南京10G×2線路壓力，也增加了武漢至廣州10G和廣州至杭州2.5G線路的利用率。增加線路并經過調整之后，各個線路流量對比情況如圖5所示。

經過調整，我們充分利用新開的北京至武漢2.5G×2線路和北京至青島2.5G線路，降低了北京至武漢10G×2、北京至廣州10G×2、北京至南京2.5G×5線路的帶寬利用率，同時提高了武漢至廣州10G線路的帶寬利用率。青島和杭州的雙方向上聯流量都得到了均衡。

這個方法還便于擴展，如果北京至武漢10G×2線路的流量還比較擁堵的話，我們可以再將北京1上的一些節點線路挪到北京2上，來緩解北京1線路的壓力。