一個用于數據中心TCP丟包行為分析模塊—TCPRA

張 健

(國家計算機網絡與信息安全管理中心 黑龍江分中心， 哈爾濱 150001)

引言

丟包對于虛擬機的運行來說是致命的，直接影響到用戶體驗。作為系統的管理者，應該找出丟包的真實原因。在數據中心，這類問題幾乎是不能通過傳統的監測工具(如SNMP)來進行監測的。管理者需要及時更換出問題的交換機，而這一類的干預手段必須付出“昂貴”的代價，代價一方面來源于用戶體驗、忠誠度，另一方面來源于時間、資源開銷。

在網絡故障探測方面有許多先前研究，Pingmes[1]通過周期性地發送探測包的方式來監測網絡 ，但是這種方法是一種典型的“帶外”探測，其不能探測只影響帶內數據的情景。在文獻[2]中，Roy et al. 通過對路由器進行修改來監測所有數據通路來探測包傳輸錯誤，但這種方式需要對交換機進行相應的修改，這種方式并沒有一種統一的對于所有交換設備的解決方式。Everflow方式被用來尋找丟包的位置，但是需要大規模地對數據通信進行采集，其代價高昂。在一個網絡中，通常存在1000 000級別的鏈路，可以認為0.000 1%的鏈路可能同時存在丟包，如果同時對這些鏈路進行丟包探測以及恢復，是不可能實現的。通常的做法是根據鏈路的重要性進行選擇性帶權探測修復。但是現有的技術并不存在用戶與鏈路的相關關系模型。這也就是說在現有的系統需要在應用和鏈接層面進行語義分析。

為了解決這一缺陷，本文提出了TCPRA(TCP Retransmission Analysis)，一個簡單、輕量化的網絡監測工具。TCPRA通過對TCP鏈路的監測，找出這樣的鏈路：TCP數據流遭受了大量的重傳。TCPRA對鏈路的相關參數進行采樣和賦權，最后通過機器學習方法得出TCP數據流丟包的可能原因。在這篇文章中，作者做出如下工作：

(1)本文設計了TCPRA，一個輕量化的用在數據中心網絡的網絡監測系統。

(2)展示了將TCPRA實現到具體的數據中心遇到的問題及解決方案。

(3)驗證了TCPRA是系統可承受的。

1 啟發

TCPRA的目標在于選擇重傳的主要原因。對于TCPRA有兩個主要目標：

(1)能夠適應數據中心網絡規模。

(2)能夠真實地運行在數據中心網絡中。

現有的工具中，有一系列的技術能夠監控網絡中的丟包行為：比如管理者可以通過對交換機進行監測從而找到TCP的丟包行為，但是這通常不容易實現，需要對不同廠家的交換機進行開發，并且TCP數據流的數量龐大。另外一種方式是通過網絡注入的方式，在TCP頭的擴展部分嵌入特定的標識符，標識TCP的丟棄行為，但是這種方法靶向性并不強，因為管理者一般不知道什么樣的數據包在網絡中會被丟棄。

本文采用軟件定義網絡方法，對交換機功能進行擴展，通過在軟件定義網絡框架下，設計網絡監控程序，實時監控數據流的重傳行為，并將這些重傳行為匯聚到數據收集器上。這些數據收集器連接到一個控制器上，運行在控制器上的控制程序通過數據收集器收集到的實時數據判斷TCP數據包丟棄的原因并對交換機的行為進行決策。這里交換機的行為包括更換、重啟、限制速率、限制TCP流接入數量等。

軟件定義網絡是一種新的網絡架構，其利用相應的協議將網絡的數據層和控制層解耦合，從而使得數據的傳輸獨立于網絡的控制邏輯。其優勢為：

(1)將設備從網絡控制邏輯的束縛中解放出來，規范了硬件設備的發展方向。

(2)以更加全局的視角重構網絡控制算法，更加豐富了控制算法的輸入信息，從而提升了網絡控制算法的性能。

一個典型的軟件定義網絡協議是OPENFLOW：是一種網絡通信協議，工作在數據鏈路層，控制網絡交換器和交換機的轉發邏輯，OPENFLOW協議制定了數據轉發的方式：通過流表進行轉發；制定了交換機和控制器通信的協議，交換機和控制器的指令交流以及數據傳送行為。OPENFLOW也有相應的網絡監控協議：sFlow和netFlow，sFlow是基于采樣的鏈路層網絡監控協議，netflow是由思科公司引入的網絡監控協議。這兩種協議用在數據中心網絡中代價較高，故在本文中不予考慮[3]。

對于數據包的丟棄行為，通常當數據包丟失的時候通過一定的標識通知網絡管理者。這種方式需要對所有數據包進行標識，并不適用于大規模的數據中心網絡。本文轉換思路，通過TCP的重傳行為來標識數據包的丟失。所以本文的設計思路是，在交換機上設計監測數據包重傳的監測模塊TCPRA，監測結果以及網絡狀態實時傳送連接到控制器的數據收集器上，控制器對數據的丟棄行為進行決策。

2 系統框架設計

在數據中心網絡中，外圍的用戶終端通過有線網絡連接到交換機上，服務器以及交換機之間通過有線網絡連接。TCP數據流通過交換機在有線網絡中傳輸，交換機的交換表決定TCP下一跳的地址。TCPRA工作在交換機上的傳輸層。傳輸層有兩個代表性的傳輸協議：TCP(Transmission Control Protocol)和UDP (User Diagram Protocol) 。其中UDP協議是面向數據包的傳輸協議，數據的傳送并不需要進行確認，數據發送端的發送行為與數據的接收成功無關，通常用在實時性較強的應用中，如游戲動作等。TCP協議是面向連接的，TCP發送端的發送行為必須配合接收端的接收行為。TCP協議是一種可靠傳輸協議，指的是數據包丟失將啟動數據重發，直到數據被正確接收為止。在數據中心中，考慮到數據的重要性，采用TCP作為傳輸層的默認控制協議。基于軟件定義網絡的丟包檢測模塊—TCPRA如圖1所示。

圖1 基于軟件定義網絡的丟包檢測模塊TCPRA

Fig.1PacketlossdetectionmoduleTCPRAbasedonSoftwareDefinedNetwork

在接收到數據之后，通過TCPhdr數據結構，TCPRA提取數據包的頭部信息，其頭部信息包括數據包的sequence、ack sequence、數據包的長度信息。TCPRA判斷數據的重傳的過程：TCPRA將T時間內的數據包存儲到內存中，當新數據包到來的時候，如果數據包的長度為0，那么確定該數據包為一個ack包并不含有數據。當數據包長度不為零時，判斷sequence是否在現有的數據包中出現過，如果出現過即為重傳。當發生重傳的時候，將重傳的數據包頭部信息、數據流速率、數據流數量信息、數據包速率、數據丟棄速率、隊列長度信息等通過TCP協議發送給數據收集器。控制器收到重傳信息以及網絡信息之后，通過決策樹算法判定重傳與網絡參數之間的權重關系。

3 實驗評估

本文在一個實際的數據中心對TCPRA進行實驗評估，評估的環境是6臺NETGEAR交換機、運行openwrt以及openvswitch虛擬交換機軟件，一個控制器(部分充當數據收集器)、10臺客戶端接入軟件?？蛻舳送ㄟ^scp復制數據模擬數據流行為。系統運行時間為24 h，收集數據23.35GB。數據包括隊列長度、數據丟包、重傳、重新入隊、數據速率?？刂破鲗@23GB數據進行決策樹分類，分類結果如圖2所示。從圖中可以看出數據丟失主要決定于接收速率，其次是重傳速率、第三是重新入隊。

圖2 數據丟失與網絡參數決策樹

根據決策樹輸出結果，當發生丟包時。根據交換機的接收速率、重傳速率、以及重入隊數量，判定該交換機是否需要限制速率。如果數據速率超過5 113 MB，則限制進入速率，如果重傳大于0.5個數據包/s，則限制速率。如果重新入隊數量大于683，可以調整隊列算法。

4 結束語

本文實現了一種在交換機上的丟包監測模塊TCPRA，該模塊監測數據丟包行為并且通過控制器決策樹算法發現數據包丟棄的原因。并且根據學習結果以及交換機狀態調整配置策略。實驗評估顯示TCPRA可以勝任數據中心的數據包丟棄和控制工作。