SD-WAN傳輸限速策略分析

趙純熙，童 博，劉錦波（.中訊郵電咨詢設計院有限公司，北京 00048；.中國聯合網絡通信集團有限公司，北京 00033）

1 概述

在工業互聯網場景下，網絡基礎設施的建設需要通盤考慮異構組網和敏捷運維的部署需求，靈活、低成本的SD-WAN 廣域網組網方式受到越來越多的關注。根據IDC 近期發布的調研數據顯示，2018 年度全球SD-WAN 市場收入達到413.7 億美元，同比增長了64.9%。IDC 進一步預測2019—2024 年，SD-WAN 的市場規模將突破500億美元。SD-WAN 廣域網技術進一步完成了網絡控制與數據轉發的雙平面分離，實現了網絡的虛擬化和網絡軟件自動化，有效地解決了企業網絡資源靈活配置的復雜性問題。SD-WAN 也成為可以有效地幫助互聯網企業快速構建高性價比、簡易運維、即需即用的智能企業網絡服務專線。

本文以一種SD-WAN 跨域組網模型為實例，通過試驗對比流量監管與流量整形、TCP 缺省擁塞控制與TCP BBR 技術在SD-WAN 跨域組網中對數據傳輸速率的影響，提出一種限速策略與TCP 傳輸技術相結合的優化應用方法，有效地提升了SD-WAN 跨域組網的帶寬利用效率，具有較大的推廣價值。

2 SD-WAN跨域組網模型

SD-WAN 跨域組網模型中客戶側路由及數據由終端盒子接入傳輸至SD-WAN 接入側網關、骨干網側網關后通過運營商骨干網到達對端骨干網PE設備。

a）終端盒子：客戶側SD-WAN 終端盒子為客戶提供SD-WAN 組網的最后一公里接入，SD-WAN 客戶終端設備支持通過MPLS、互聯網、4G 以及5G 多種網絡接入方式。終端盒子通過互聯網與SD-WAN 接入側網關建立IPSEC 隧道完成網絡流量的加密及轉發，同時SD-WAN 終端設備支持服務質量（QoS）以及多種路由協議配置。

b）SD-WAN 接入段網關：向下與客戶SD-WAN終端建立overlay的3層IPSec隧道形成數據平面，通過BGP 完成路由轉發。向上與運營商骨干網網關通過BGP 建立鄰居關系，通過VRF 劃分的方式實現基于VPN 的路由隔離。將用戶本地網絡連接到骨干網邊緣網關，向骨干網邊緣網關發布本地路由并學習遠端站點路由。

3 測試方法及基線測試

采用打流工具Iperf進行測試，保持相同的Iperf測試參數，在不同的配置策略下（包括無限速策略），分別測試PC 至接入段網關后VM 和PC 至骨干段網關后VM之間的性能帶寬。Iperf 測試參數如下。

a）客戶端不限帶寬測試如下。

（a）客戶端單線程上行：iperf3 -c 172.160.30.10 -M 1400。

（b）客戶端單線程下行：iperf3-c 172.160.30.10-M 1400-R。

b）客戶端指定20 Mbit∕s帶寬測速如下。

（a）客戶端單線程上行：iperf3-c 172.160.30.10 -M 1400-b 20M。

（b）客戶端單線程下行：iperf3-c 172.160.30.10-M 1400-b 20M-R。

（c）客戶端多線程下行：iperf3-c 172.160.30.10-M 1400-b 20M-t 20-R。

其中，通過-M 1400將TCP MSS設置為1400，避免報文在廣域網口被分片，從而使得性能降低。

如圖1 所示，SD-WAN 終端通過5G CPE 接入Internet，與北京POP 節點接入段網關1 建立IPSec 隧道。在北京POP 節點部署2 個虛擬機，分別位于接入段網關和骨干側網關之后，虛擬機安裝IPerf、FTP及文件共享工具。測試得到PC 到接入段網關后VM 虛機、骨干側網關后VM 虛機的時延分別為30.20 ms、27.86 ms，測試的IP地址分配如下：

圖1 SD-WAN分段測試拓撲

測試PC（Ubuntu 18.04，iperf 3.1.3）：192.168.30.236。

前置VM（Redhat 7.5，iperf 3.1.7）：172.160.30.10。

匯聚VM（Redhat 7.5，iperf 3.1.7）：172.160.31.10。

基于上述組網環境，首先進行了SD-WAN 終端設備無限速策略（骨干網PE 設備保留流量監管限速，20 Mbit∕s）下的基礎線路測試。采用缺省TCP 擁塞控制算法CUBIC，分別從SD-WAN 終端（192.168.30.236）到接入段網關后的虛機（172.160.30.10）以及骨干側網關的虛機（172.160.31.10）進行iperf 數據打流測試，得到結果如表1所示。

表1 盒子無限速下的傳輸性能測試

對比PC 到接入網關后虛機VM（結果A）和PC 到骨干網關后虛機VM（結果B），網絡性能吞吐基本保持一致，即網絡流量經過骨干側網關，其性能吞吐并沒有明顯降低。理論上，因為轉發路徑多一跳，時延增大，結果B 會小于等于結果A。但實際上，在測試中出現部分情況是結果A 大于結果B，或者結果B 大于結果A，這多半是屬于Internet 的帶寬和時延得不到保障導致不同時間點測試的偏差。整體測試并沒有發現結果B 顯著低于結果A 的情況。因此基本可以得出，在SD-WAN 終端設備未作帶寬限制的情況下，iperf 測試速率基本可達到最大帶寬值，網絡流量經過接入側及骨干側網關，其性能吞吐并沒有明顯降低。

4 流量監管與流量整形

目前廣泛使用的流量控制策略分別是流量監管（traffic policing）與流量整形（traffic shaping），兩者都是通過監督流量規格，以達到限制流量及資源使用的目的。

在骨干側網關啟用流量監管的情況下，首先在SD-WAN 終端VPN 隧道入方向啟用流量監管策略。流量監管通過審查數據報文，針對數據報文流量過大的網絡連接，采用自動丟棄數據報文或重新設置數據報文優先級的流量監管方式完成數據流量的限速。經過測試發現，在流量監管限制帶寬為20 Mbit∕s 的情況下，采用缺省TCP擁塞控制算法CUBIC，測試得到從SD-WAN 終端到接入段網關后虛機和骨干段網關后虛機的網絡傳輸速率過低，均無法達到期望帶寬速率。嘗試在SD-WAN 終端設備VPN 隧道出口方向啟用流量整形再次測速。流量整形與流量監管的本質區別在于，流量整形面對超過限速的流量報文及突發流量，會將這部分報文先行儲存在緩沖區，后續通過令牌桶的控制再勻速的發送出去，在完成流量限速控制的同時，可以更加有效地利用帶寬通道。經過測試發現，采用流量整形限制網絡傳輸帶寬為20 Mbit∕s 的情況下，實際網絡速率可以達到預期帶寬效果，采用缺省TCP 擁塞控制算法CUBIC，從SD-WAN 終端到接入段網關后虛機的平均上傳、下載速率分別為15.4 Mbit∕s、20.0 Mbit∕s；從SD-WAN 終端到骨干側網關后的虛擬機的平均上傳、下載速率分別為15.6 Mbit∕s、20.0 Mbit∕s，測試結果如表2所示。

表2 2種限速策略對傳輸質量的影響

跑滿RTT 時延50 ms、20 Mbit∕s 帶寬的鏈路，需要20 000 000×0.05∕8=125 000 B的窗口。如果傳輸過程丟包率很低，那么TCP的傳輸窗口可以達到125 000 B，性能就可以提高；如果丟包率較高，TCP 傳輸窗口會回退，傳輸速率就達不到鏈路帶寬。在SD-WAN 跨域組網模型中，普遍使用的SD-WAN 終端設備的WAN 接口是千兆接口，而實際帶寬限速為20 Mbit∕s，終端設備無從得知實際鏈路帶寬，會以千兆的速率向外發送報文至接入段網關，觸發Policing 策略，導致突發流量被丟棄。這些被丟棄的流量會導致TCP CUIC 的擁塞控制機制被觸發，發送窗口會被按照固定的乘法減小因子β 進行降低，而后進入基于一個立方函數的快速恢復階段。如圖2所示，iperf打流結果顯示有大量丟包，導致TCP傳輸速率無法上升，使用Wireshark抓包分別對流量監管與流量整形進行性能分析，可以看出TCP流量出現鋸齒現象。

圖2 流量監管下的鋸齒狀流量

在SD-WAN 終端設備WAN 口使用Shaping 限速后，同樣的測試，TCP 重傳的現象減少90%，性能提升2.5 倍以上。使用Wireshark 抓包進行性能分析，可以看出TCP流量趨于平滑接近實際帶寬（見圖3）。

圖3 流量整形下“去峰填谷”

通過以上對比不難發現，在SD-WAN 的應用場景中，Policing會產生流量鋸齒，TCP性能受影響；Shaping則具有典型的去峰填谷作用，使得流量均勻，TCP性能接近實際帶寬。受限制于試驗使用的SD-WAN 終端設備，Shaping 無法單獨作用于VPN 隧道，只能應用在物理WAN口上，這就會限制客戶互聯網訪問的上行帶寬，但是不影響下行帶寬。考慮到互聯網訪問主要以下行為主，該解決方案可滿足大部分應用場景。故建議在SD-WAN 終端使用流量整形技術進行限速，該技術可獲得接近實際帶寬的吞吐性能。

5 缺省TCP擁塞控制與BBR

通過上述流量監管與流量整形的測試對比，可以發現流量監管中出現鋸齒狀流量及較低網絡傳輸速率的根本原因在于TCP 擁塞控制機制。CUBIC 通過“加性增，乘性減”的機制，收到的每一個確認消息緩慢地增加發送窗口，而每當確認一個丟包出現的時候就迅速地減小發送窗口。CUBIC發送窗口的增長函數僅取決于連續2 次擁塞時間發生的時間間隔，窗口增長不受RTT 的影響。但是，CUBIC 依然需要基于是否出現丟包來判斷網絡是否處于擁塞狀態，而不去區分造成丟包的原因。可是在本次實驗的SD-WAN 跨域組網模型中，流量監管的限速策略本身會造成大量突發流量被丟棄，這使得TCP CUBIC“錯誤地”認為網絡出現擁塞影響TCP 傳輸速率。同時，廣域網傳輸中本身具有一定程度上的錯誤丟包，同樣的這些錯誤丟包也被CUBIC視為發生了網絡擁塞。

TCP BBR 機制最重要的變化，是將TCP 的擁塞控制與可控傳輸進行了解耦，TCP專注于傳輸的可靠性，而BBR 用來判斷可以發送多少、以什么速度發送TCP數據。TCP BBR 不再以丟包作為網絡擁塞的判斷依據，為了盡可能地獲得更大的發送窗口，BBR 將不斷測量最大帶寬值與最小延遲值，并將這兩者的乘積作為發送窗口的大小。需要注意的是，傳輸鏈路的帶寬最大值與延遲最小值無法同時測出。測量最大帶寬需要用數據包充滿整個TCP 傳輸通道，意味著傳輸緩沖區會有一定量的數據包存在，使鏈路延遲升高；測量最小延遲則需要排空整個緩沖區的數據包。所以TCP BBR 采取交替測量帶寬最大值與延遲最小值的方法，以此探測出鏈路的最大容量，獲得最大的發送窗口。這就意味著無論TCP 連接是處于默認開始狀態、亂序狀態還是重傳狀態，都不會影響BBR 的最大發送窗口，這使得在BBR 的作用下，輸出到網絡的流量總是靠近管道容量，這樣既能有效保證網絡帶寬的利用率，同時有效避免了傳統TCP 的數據緩沖區擁塞膨脹的問題。

在SD-WAN 終端盒子啟用流量監管策略，采用Linux 缺省的TCP擁塞控制CUBIC，可以看到丟包對性能影響較大，采用TCP BBR，雖然重傳次數上升30 倍以上，但是性能提升了1 倍以上。在SD-WAN 終端盒子啟用流量整形策略，丟包率較高時，TCP BBR 比TCP CUBIC 表現得更激進，可獲得更高吞吐率，因此，在同樣的鏈路質量下，采用TCP BBR 更容易測出鏈路最大容量（見表3）。

表3 TCP BBR對傳輸性能的影響

在SD-WAN 終端盒子側拋棄流量監管而使用出方向的流量整形，可以從根本上避免突發流量導致TCP 傳輸性能受限的問題。同時，TCP BBR 算法的引入最大程度優化了數據發送端的發送窗口。在本次實驗中通過客戶端SD-WAN 終端設備部署BBR 只能對上傳速率起到優化作用，如表4所示，客戶端部署的BBR 并不能優化下載速率，如果需要優化下載速率，需在服務器端啟用TCP BBR。

表4 3種終端限速條件下的數據對比

通過對比上述多組實驗數據可以得到以下結論：SD-WAN 終端盒子啟用流量整形限速策略并配合TCP BBR 優化算法可以最大程度上提升網絡傳輸質量，使其更加接近于理論最大帶寬。

6 端到端驗證及結論

將限速策略改為盒子出方向Shaping，開啟BBR TCP算法，PE側仍然采用流量監管策略，按照圖4所示的拓撲進行端到端的文件傳輸測試。

如圖4 所示，Ubuntu Server 接入SD-WAN 終端，經5G CPE 連接至Internet，同北京POP 節點建立IPSec VPN 隧道，接入運營商骨干網；Windows 10 PC 位于上海，接入SD-WAN終端，經防火墻接入Internet，同上海POP 節點建立IPSec VPN 隧道，接入運營商網。兩者之間的往返平均時延約為60 ms，分別對SD-WAN 終端設備啟用流量監管、流量整形及TCP BBR 優化，分別進行了FTP文件傳輸端到端下載、上傳測試，測試結果如表5所示。

表5 FTP端到端驗證

圖4 端到端驗證拓撲

測試結果驗證了修改限速策略并開啟BBR 優化后SD-WAN 廣域網組網的TCP 吞吐性能有明顯改善。在實際的應用場景中，流量監管一般用于普通音頻、視頻通話等更關注網絡時延抖動，對流量丟棄率不敏感的應用。流量整形則用于對傳輸速度要求較高，但對時延和抖動不敏感的網絡應用，如文件傳輸。在SD-WAN 廣域網數據傳輸中，最終將二者配合使用，在最后一公里接入部分的SD-WAN 終端盒子進行流量整形并開啟BBR 優化，在運營商骨干網邊緣PE 設備上使用流量監管，這樣既能最大效率地進行數據傳輸，又保障了對時延抖動較敏感的網絡應用質量。