基于深度強化學習的SDN校園網設計與實現

王玉婷 谷廣兵 孫雨霏 盧勇

摘? 要：隨著校園網技術的發展，網絡規模及復雜性不斷增加，對網絡架構及數據轉發策略都提出了新的要求。作為一種新的網絡架構，軟件定義網絡（SDN）將控制面和數據面分離，使其具有比傳統網絡結構更靈活的網絡調度能力和更好的發展應用前景。為了適應校園網絡發展的需要，文章提出了一種基于SDN架構的校園網絡設計。在新的網絡架構中引入SDN控制器，控制器中采用深度強化學習算法，全面考慮網絡狀態，選擇最佳數據傳輸路徑，從而最終實現校園網性能提升。

關鍵詞：校園網；軟件定義網絡；深度強化學習；網絡性能

中圖分類號：TP311? 文獻標識碼：A? ? 文章編號：2096-4706（2023）07-0098-04

Abstract： With the development of campus network technology， the scale and the complexity of the network are increasing， which propose new requirements of the network architecture and data transmission strategy. Software Defined Network （SDN）， as a new type of network architecture， separates the control plane from the data plane， and makes it have a more flexible network scheduling ability than the traditional network structure and better development and application prospects. In order to meet the needs of campus network development， this paper proposes a campus network design based on the SDN architecture， introduces SDN controller into the new network structure， and uses the Deep Reinforcement Learning algorithm in the controller. It comprehensively considers the network status and selects the best data transmission path to improve the network performance finally.

Keywords： campus network; SDN; Deep Reinforcement Learning; network performance

0? 引? 言

校園網是學校信息化的基礎，由于網絡技術的不斷發展及校園智能化建設的不斷推進，校園網承載著越來越多的設備數量、用戶規模和業務種類，必然帶來網絡結構的復雜化以及對網絡性能提出更高的要求，傳統技術已經難以適應新的網絡需求，同時也為校園網的維護帶來了新的挑戰。為了解決傳統校園網絡中存在的弊端以及無法適應新需求的問題，在校園網中引入將控制平面與數據轉發平面分離的新型網絡架構——軟件定義網絡（Software Defined Network， SDN）。網絡設備（如路由器、交換機等）在新的網絡架構中僅對數據包進行快速匹配轉發，而控制平面的設備能夠掌握網絡整體情況，并根據策略對網絡進行統一管理，實現網絡全局優化。

本文以SDN網絡作為校園網基本架構，通過控制平面集中獲取網絡狀態信息，并采取深度強化學習算法，綜合考慮網絡架構及各鏈路情況，優化數據包轉發路徑，滿足用戶多樣要求，提升網絡性能，實現校園網智能化部署。

1? 軟件定義網絡框架

軟件定義網絡是由美國斯坦福大學Clean-Slate課題研究組最先提出[1]，該網絡為一種新型網絡創新架構，實現網絡虛擬化。SDN網絡重新構建了網絡架構，在傳統的網絡架構中是通過分布式控制來實現數據調配，而新的網絡架構中則采用了集中式控制來實現網絡數據調配。

傳統校園網絡框架如圖1所示，該結構下采用的是分布式控制實現數據調配，每臺設備獨立收集網絡信息并根據運行的網絡協議（如OSPF、RIP協議等）進行獨立計算，選擇各自的路徑。傳統校園網絡架構需要在每個網元設備上布置策略來實現，每個網元設備需要收集當前網絡狀態再依據策略進行數據轉發，對大型網絡的流量策略進行調整時存在靈活度不足的問題，傳統網絡協議（如IGP、BGP等）在實現層面上較為復雜，且協議受限于設備廠家，造成網絡運維成本大，網絡升級速度慢，甚至可能會存在不同廠家設備無法兼容。

SDN網絡架構的出現使用可以很好地解決傳統校園網絡架構存在的問題，為校園網設備的策略管理和運維帶來便利?；赟DN的校園網架構如圖2所示，網絡分為應用、控制及數據平面，控制器通過南向接口收集網絡整體信息并制定數據策略，從而實現對網絡的集中管理控制。數據平面由只負責數據轉發的網絡設備構成，僅執行由控制器確定的數據轉發。在應用平面可以引入第三方應用，通過設置的開放接口將新應用運用在控制器中，以編程的方式來實現新的網絡功能，實現網絡能力開放化應用。通過控制器集中算法的優化更新實現靈活分配網絡資源，滿足業務的各項需求如QoS、時延等，從而達到最優化網絡配置的目的。該網絡架構有效解決傳統架構中不同廠家設備之間的兼容問題，并可以進一步引入云平臺等技術，更好地提升網絡性能。

2? 控制器算法——深度強化學習

在基于SDN的校園網絡中控制器實現網絡信息收集并確定網絡數據調度規則，控制器運行算法直接影響網絡數據調度性能，對校園網性能產生影響。本文使用深度強化學習作為控制器中使用算法，該算法根據網絡狀態及激勵來選擇合適的策略，從而達到最大化網絡性能的目標。

深度強化學習（Deep Reinforcement Learning， DRL）是將具有感知能力的深度學習（Deep Learning， DL）和具有決策能力的強化學習（Reinforcement Learning， RL）相結合[2]，目前已在眾多領域有著廣泛應用如游戲、機器人控制、機器視覺等。DRL是一種端到端的感知系統，能夠應用在多種環境中[3]，原理框架如圖3所示。工作原理為：

1）在時刻t智能體（agent）與環境（environment）進行交互，得到當前的狀態（state）。

2）動作（action）的價值函數（value）是基于預期回報來作為評價，并通過相應策略選擇該狀態下執行的動作。

3）執行動作后，環境產生相應變化，并進入下一觀察狀態。

重復以上過程直至達到目標的最優策略。

本文基于SDN校園網控制器算法使用的是深度強化學習中的值函數法，該算法是深度強化學習的一個重要分支，通過對執行策略進行賦值（即Q函數），Q函數為狀態-動作價值函數，即在某一狀態s采取某一動作a，假設一直使用同一個策略π，得到的累計激勵的期望值[4]。通過Q值對策略進行評估，每一個新的策略會相應得到一個Q值，當Q值越大，則標明該策略執行得到的效果越好，同時該策略被執行的可能性也越高，同時也可以以該函數來表示agent從初始到終止整個過程中所能獲取的獎勵值，并以獎勵值的期望函數來表示狀態值函數。

3? 系統設計

3.1? 基于SDN的校園網絡設計

校園網不同于一般的網絡，其具有數據流量大、時間周期性強的特點，如教學樓、辦公樓區域在白天工作時間網絡流量增長明顯，學生公寓一般在中午或晚上休息時間段網絡流量大幅度增長[5]。同時在某些特定時間段內網絡流量呈現爆發式增長，如開學選課或世界杯期間等時間段內公寓網絡流量突發性增加。為適應校園網個性化網絡特點，提出基于SDN的校園網絡如圖4所示，圖中實線表示網絡數據傳輸路線，虛線表示網絡控制路線。校園網根據使用場景分為教學、辦公、公寓及圖書館四個區域，每個場景對網絡的要求不同，網絡中控制平面與轉發平面分離。SDN控制器可以獲取全局網絡結構和鏈路情況，綜合考慮網絡狀態信息，并能根據校園網的不同特點及不同場景流量變化需求，統一進行計算和網絡資源調配，實現網絡資源最優化利用，從而在策略上最優化配置網絡完成對校園網中不同區域資源的調配。SDN交換機根據SDN控制器的轉發策略，更新轉發規則，依據確定的網絡策略進行數據鏈路轉發，數據轉發效率更高。

3.2? 算法設計

SDN校園網部署中SDN控制器采用深度強化學習算法優化網絡數據轉發策略，綜合考慮網絡中的數據指標，包括鏈路傳輸速率等，對獲取的網絡信息綜合考慮，在此基礎上形成適合該網絡狀態的數據策略。

本文中以SDN控制器為中心，動態捕捉網絡內性能變化，并考慮網絡處理能力，目標為實現網絡的集中控制，優化網絡整體性能。該優化算法的參數表達式為{A， S， R}，其中A為動作集，S為狀態集，R為獎勵函數。

動作集A表示在當前狀態情況下該網絡數據轉發路徑選擇，即當前的網絡狀態如何進行數據傳輸的路徑選擇，實現狀態到動作的映射。

A={ai}

其中ai是源交換機i到達目標的路徑及其反向路徑的集合[6]，比如交換機i根據當前的網絡狀態進行選擇，在可供選擇的3條路徑中匹配路徑進行數據轉發。

狀態集S集合了t時間段內Δt內的所有網絡信息，表征當前的網絡情況，為策略的選擇提供重要的參考依據。

St={rt （ei， j）}

其中rt （ei， j）表示在Δt時間段內交換機i經鏈路ei， j發送到交換機j的傳輸速率，傳輸速率為網絡內數據傳輸與信息處理速度的重要指標量，且單一的狀態信息可以減少獲取狀態的時間。

獎勵函數R為該算法的目標，控制器通過獎勵值判斷策略執行效果，從而進一步優化策略。如果該動作執行的結果即為目標則給予固定的正向獎勵值，若執行結果為非目標則給予負向獎勵值。

該算法的實現過程如下所示：

1）構建SDN網絡，并發現網絡信息；

2）初始化各項參數；

3）對于每一個回合；

4）每一個時間t；

5）對于給定的狀態st，基于Q（ε-貪心）算法得到動作at；

6）對于（st，at）獲得反饋rt，并由此得到新的狀態st+1；

7）將（st，at，rt，st+1）存儲到緩沖區域中；

8）以經驗驅動方式隨機從緩沖區中抽樣（sj，aj，rj，sj+1）；

9）非終止狀態計算目標Q值

10）更新目標Q值的所有參數，使得目標網絡參數等于當前網絡參數；

11）算法結束。

4? 實驗與結果

4.1? 實驗環境

本實驗使用Mininet作為網絡仿真平臺[7]搭建SDN校園網絡，控制器采用RYU，在控制器上實現基于深度強化算法的數據轉發策略，操作系統為Ubuntu 16.04。實驗網絡拓撲如圖5所示，其中c0為集中控制器采用深度強化學習，掌握網絡拓撲結構以及各鏈路數據傳輸速率等，集中管理整個網絡，實現數據傳輸路徑選擇，s1～s4為核心層交換機，s5～s10為接入交換機，h2是校園網的服務器，h1、h3～h12為接入主機，虛線為控制傳輸線路，實線為數據傳輸線路。網絡中傳輸的數據為UDP數據包，其中TTL=64。

4.2? 實驗結果

實驗主要測試在圖5所示的SDN網絡中h2到h1、h3～h12的數據傳輸情況，c0控制器上采用基于深度強化學習策略。Mininet中通過python語句生成網絡拓撲圖，SDN交換機鏈接至RYU控制器，從圖6所示結果可以看出可以按照實驗要求搭建所需網絡結構，并能在網絡節點間進行數據傳輸。

圖7是采用深度強化學習算法的SDN校園網主機h2到h1至h3～h12的傳輸時延，通過c0控制器部署的方案，根據網絡的需要進行數據轉發，從數據結果可以看出網絡節點之間互相連通，并可以通過集中控制算法實現對各節點的數據轉發，完成對整個校園網的連通。

5? 結? 論

本文在傳統校園網網絡框架中引入SDN技術，網絡中控制平面與數據平面分離，控制器中采用深度強化學習算法，針對網絡狀態進行有效建模，有效實現網絡部署的自動化。該方案克服了硬件的限制，更有利于校園網的維護和管理，同時控制器的算法開發，可以根據校園網情況進行精確分配，使得網絡數據管理更加精細，對于大型網絡有效節約管理成本，滿足校園網智能化管理的需求。

參考文獻：

[1] 萬昕.關于SDN如何解決傳統網絡問題的探究 [J].江西通信科技，2013（2）：11-13.

[2] 董瑤，葛瑩瑩，郭鴻湧，等.基于深度強化學習的移動機器人路徑規劃 [J].計算機工程與應用，2019，55（13）：15-19+157.

[3] 陳建平，周鑫，傅啟明，等.基于二階時序差分誤差的雙網絡DQN算法 [J].計算機工程，2020，46（5）：78-85+93.

[4] 周志華.機器學習 [M].北京：清華大學出版社，2016：371-390.

[5] 雷翔宇，王苓，張曉敏，等.高校校園網SDN部署研究與實現 [J].信息系統工程，2019（3）：130-132.

[6] 丁懷寶.一種基于深度強化學習的SDN路由算法 [J].上海師范大學學報：自然科學版，2021，50（1）：128-132.

[7] 楊俊東，尹強，張碩.基于Mininet的SDN仿真與性能分析 [J].信息通信，2017（3）：189-191.

作者簡介：王玉婷（1991—），女，漢族，安徽池州人，助教，碩士，研究方向：大數據技術、5G技術。