多系統協同的網絡負載均衡方法研究

吳家順，高 靜

（南京理工大學信息化建設與管理處，江蘇南京210094）

多系統協同的網絡負載均衡方法研究

吳家順，高 靜

（南京理工大學信息化建設與管理處，江蘇南京210094）

校園網有多個出口時，均衡使用各出口帶寬是高校網絡信息部門關注的問題，而由于網絡的互聯互通，高校在采用均衡線路方法的同時往往會降低用戶上網體驗。針對這種情況，作者提出多系統協同的網絡負載均衡方法，通過分析校園網體系結構、用戶群體分布以及網絡流量構成，調整核心設備配置、規劃策略路由實現目的地址選址和應用選址相結合的鏈路負載均衡，并設計基于用戶行為的DNS資源調度算法引導HTTP流量，解決負載均衡下帶來的網絡抖動問題，通過具體高校校園網環境測試，實驗結果表明，原流量低的出口線路得到了有效提升，整體線路得到均衡，并擁有良好的用戶體驗。

網絡負載均衡；應用協議識別；用戶行為分析；流量控制；DNS

隨著無線校園網的迅速普及，師生員工對網絡的依賴性越來越高，對高速、穩定的網絡需求越發迫切，為了解決校內外帶寬瓶頸問題，高校也逐漸將校園網主干線路升級到萬兆，并接入不同運營商的線路來實現網絡出口的擴容。

在實際應用中，多網絡出口高校的各條線路流量并不能達到預期中的效果，往往流量集中于一條線路，造成過載，而其余線路處于空閑狀態，使用網絡負載均衡設備雖然可以解決過載與空閑的問題［1-7］，讓線路看上去均衡，但很容易失去多出口線路帶來的最大優勢，發往歸屬于某運營商的數據包受負載均衡影響，需要從其他運營商的線路出去，經過繞行，才能到達目的地，用戶的上網體驗感會明顯下降。

本文提出了一種基于多系統協同的網絡負載均衡方法，在解決線路負載均衡的同時，保障網絡質量不受影響。

一、問題描述與分析

多出口是高校普遍采用的網絡策略，此策略具備優點的同時，集中性的問題也較多，在絕大多數高校校園網中比較普遍。現以某高校為例進行典型性分析。某高校目前校園網有電信（1G）、聯通（100M+200M）、教育網（1G）、移動（1G）以及長城寬帶（1G，只提供視頻鏡像服務）出口，總可用帶寬為4.3G，校園網采用扁平化三層架構部署［8-9］，有線用戶使用PPPOE撥號認證，無線用戶使用802.1x準入認證和Portal準出認證。

這是一個典型且復雜的多出口網絡，涵蓋了大多數的高校出口模型。從網管系統中獲取到各線路的負載情況，如表 1所示，優質帶寬的快速消耗導致校園網不僅在晚高峰期近乎無法使用，白天工作時間也不斷出現網頁打開緩慢的問題。

表1 線路負載表

顯而易見，電信、聯通線路已經滿負載在運行，而其他線路，在不同的時間段，流量都較小且變化小，做出的貢獻值也偏低。

為了緩解校園網目前所遇到的問題，高校會采用智能流控設備對流量進行控制，保障Web應用流量，限制單用戶并發數和帶寬，策略實施后，線路負載如表 2所示。

從數據上看，電信、聯通線路負載得到了明顯的降低，其他線路未見明顯變化，雖然在一定程度改善了網絡擁堵情況，在高峰期能保障網頁的正常瀏覽，但仍有大量線路資源處于空閑狀態。

對于校園網用戶，體驗網絡的質量可以從兩個角度分析：①上網、游戲、視頻流暢不卡，即帶寬有保障，鏈路穩定；②下載速度快，即能充分享受帶寬，當這兩個需求疊加在一起時，對帶寬有限的校園網而言，形成矛盾關系。分析并總結各個運營商提供的線路以及目前狀態，如表3所示。

表2 應用流控策略后線路負載表

表3 網絡出口分析表

從表3中可見，大量的帶寬并沒有被有效利用起來，進一步檢查校內權威DNS的配置信息，當前校內DNS配置為向教育網遞歸，這是高校一般的配置，而教育網返回的域名對應的地址以屬于聯通、電信居多，從而也得出降低擁塞線路需要解決DNS遞歸解析問題［11-13］。

表4 應用流量排名表

從流控設備中取得應用排名信息，如表 4所示，可以發現P2P流量在網絡流量中占比最大，結合表1數據，正是這部分流量消耗了優質線路的寶貴帶寬，造成用戶不僅上網不穩定，而且下載緩慢，互相爭搶有限的優質帶寬，惡性循環越發嚴重。

表 4也表明，穩妥的處理好P2P下載流量，才能恢復網絡的暢通，是負載均衡實現的先要條件，基于以上分析，本文提出了基于多系統協同的負載均衡方法。

二、多系統協同的負載均衡方法

通過上述分析研究，并考慮到現有核心架構，通過三種途徑共同作用來實現網絡負載均衡，并解決負載均衡中遇到的網絡抖動問題。

1.校園網核心重新部署

核心鏈路升級改造是為了給負載均衡的實現提供必要的硬件支撐。

改造后的核心拓撲如圖1所示，部署方案如下：

（1）部署2臺萬兆防火墻并作為出口路由設備，防火墻以主備模式部署，在最前端配置一臺交換機，劃分VLAN，將各出口線路一分為二，分別接到防火墻，解決網絡出口穩定性問題。

（2）核心設備之間的鏈路由千兆捆綁升級到萬兆互聯，解決物理層次的瓶頸以及因捆綁而造成的設備部分功能受限問題。

圖1 網絡核心拓撲圖

2.系統協同配置方法

在負載均衡方法上，整體思路為實時應用采用目的地址路由，數據包不跨運營商線路；p2p下載、p2p影音采用應用協議路由，指定具體出口線路；DNS劃分不同轉發區，引導網絡流量，并解決網絡抖動問題。具體配置方法如下所述:

（1）在出口防火墻上面寫入靜態路由，根據IP目的地址選擇合適的運營商線路；依據應用識別的結果，制定策略路由，將P2P下載、P2P影音的數據包按線路負載引流到教育網出口和移動出口。

策略路由配置命令如下：

配置命令生效后，查詢配置結果如圖2高亮行所示。

圖2 策略路由配置圖

（2）校內DNS服務器的遞歸請求默認通過移動線路發送到移動的DNS服務器進行解析；定義多個DNS轉發區，教育網域名以通配符識別方式發送到教育網DNS解析；視頻站點域名發送到長城寬帶DNS服務器解析；因DNS默認遞歸由教育網變更為移動造成網絡抖動的域名地址發送到電信DNS解析，出口線路選擇由防火墻配置的靜態路由進行支持，對應關系如表5所示。

表5 DNS轉發列表

（3）修改緩存設備配置參數，改進主動和被動緩存觸發因子，優化資源淘汰調度算法以及服務對象，并進行集群部署。

（4）流控設備透明接入到防火墻和核心設備之間，配置限制單用戶會話數總量和新建速率，預防DDOS攻擊等可能對網絡設備造成的性能影響，并根據需求在設備上做臨時性的保障限制策略。

3.DNS資源調度優化算法

當DNS返回的IP地址在移動地址段中，由于線路質量問題，訪問部分站點會不穩定，即上文所述的網絡抖動，可以通過用戶反饋手工搜集這些站點，寫入到電信轉發區，但工作量不僅大而且用戶評價不好。本文提出了基于用戶行為的DNS資源優化調度算法來解決這個問題。結合站點請求解析次數、在Alexa網站中的排名以及是否擁有運營商鏡像等因子進行分析計算，將滿足要求需要保障的域名解析寫入到電信轉發區中。

算法描述：

定義網站域名集合D，移動地址段M，被解析站點域名d，d∈D，域名被請求解析次數m，在移動DNS中解析出來的地址p。

當p∈M，則統計校園網到地址p的時延數據，并計算平均時延t。

定義Δ，表示每一個域名在當前線路需要被調整的系數，由網絡穩定性、時延性以及由歸一化后的請求次數α計算所得，Δ值越大，表明越需要進行調整，其中

在p∈M的條件下，將域名d發送到電信DNS進行解析，并計算Δ'，得到電信線路的調整系數。

定義λ=Δ-Δ'，λ為二者距離，定義調整闕值β，β＞0，當λ＞β時，參考Δ初始值并結合實際訪問感受，將對應域名遷移到電信保障轉發域中。

三、實驗分析

選取了某個時刻的域名請求排行，收集時延信息，并分別予以計算Δ和Δ'，如表6所示。

表6 站點訪問時延分析表

由實驗數據結合實際訪問網站感受進行分類，經驗數據表明，當網頁打開速度有明顯變化時，即可考慮將該域名解析進行遷移。

通過多系統間的協同調整，在沒有限速的情況下，目前各出口線路使用狀況與調整之前對比如圖3所示，各線路都在較高負荷中運行，視頻服務出口線路因提供有限服務，從而流量不會很高。通過對百度貼吧、學校BBS論壇等信息的觀測，校園網用戶普遍反應目前使用校園網進行頁面瀏覽、游戲的質量以及下載速度得到了很大的提升，達到了預期的網絡負載均衡效果。

圖3 線路負載圖

經過調整后，校園網下行帶寬利用率得到了明顯提升，如圖 4所示，非高峰期流量已經突破調整前的晚高峰流量。

圖4 調整前后校園網下行流量對比圖

在出口防火墻上面觀察，P2P應用已經從教育網、移動線路上分流；電信、聯通線路上以Http應用和其他TCP協議為主，如表7所示。

為了驗證每個用戶在電信、聯通線路中帶寬占用情況，在流控設備上進行單用戶帶寬限制測試，當非P2P應用的帶寬限制依次設置為10Mbps、6Mbps、4Mbps時，發現電信、聯通線路下行流量變化不明顯，即單個用戶在優質線路上的帶寬占用率不顯著，而3萬多校園網用戶決定此線路會在高負荷下運行。

表7 應用流量分布

在負載均衡方法中，將緩存設備也作為一個重要的因素予以考慮，策略調整后緩存設備也發揮了明顯的作用。在緩存磁盤全部格式化清空后，設備用了約7天左右的時間進行高速緩存，如圖 5所示；穩定后，為校園網用戶提供約300Mbps的流量服務，進一步降低了出口壓力，如圖6所示。圖5和圖6中實心區域為回源流量，線條為服務流量。

圖5 穩定工作期間回源/服務流量圖

圖6 設備緩存期間服務/回源流量圖

實現高校多出口網絡的負載均衡，首先需要知道各學校網絡的流量構成，比如總體而言，文科院校視頻流量會相對較高，而理工科院校點對點下載的流量會很高，一般負載均衡設備從線路的角度出發，前提也基于線路質量是等價，在高校特殊的網絡中直接應用可能帶來相反的效果。本文針對特定的網絡場景，不但平衡了線路流量，還提升了線路利用率，并提出一種解決網絡抖動的方法，經實驗驗證，達到了預期的效果。

［1］張煥杰，夏玉良.用戶自主選擇的校園網出口策略路由實現［J］.通信學報，2013（S2）：14-22.

［2］郭秉禮，黃善國，羅沛等.基于負載均衡的聯合路由策略［J］.北京郵電大學學報，2009，32（4）：1-5.

［3］王云嵐，李增智，薛軍等.基于DNS的負載均衡算法研究［J］.計算機工程與應用，2002（4）：11-13.

［4］吳璇，隋紅建.負載均衡技術在防火墻系統中的應用［J］.計算機應用，2003，23（S2）：22-24.

［5］常潘，沈富可.使用域名負載均衡技術實現校園網對外服務器的高速訪問［J］.計算機應用，2007，27（7）：1585-1586.

［6］申健.校園網路由策略分析及應用［J］.實驗技術與管理，2013，30（11）：122-125.

［7］Su Bing，Yu Haiyang，Lu Jieru.Traffic optim izationon the dynamic sw itching of ABR for OSPF networks ［C］.2009 International Conference on Information Technology and Computer Science，2009：429-432.

［8］謝勝軍.有線無線一體化的扁平校園網設計［J］.通信學報，2013，34（Z2）：79-83.

［9］張志成，鄒仁明，張曉.基于冗余架構的校園網多出口系統的設計與實現［J］.計算機科學，2012，39（10）：219-222.

［10］彭雋，勞鳳丹，鄒仁明.萬兆全冗余校園網出口升級改造方案［J］.武漢大學學報（理學版），2012，58（S1）：120-124.

［11］杜躍進，張兆心，王克等.基于用戶感知的DNS解析網絡性能測量技術［J］.南京航空航天大學學報，2013，45（1）：110-115.

［12］王艷歌.一種基于智能DNS解析及靜態地址映射的快速訪問策略［J］.科技通報，2012，28（12）：146-148.

［13］秦臻，周帆，李樂民.DNS對CDN流媒體服務質量的影響［J］.電子科技大學學報，2013，42（4）：577-580.

（編輯：魯利瑞）

TP393.1

A

1673-8454（2016）04-0085-05