機器學習在SDN路由優化中的應用研究綜述

王桂芝 呂光宏 賈吾財 賈創輝 張建申

1(四川大學計算機學院 成都 610065) 2(7584部隊 廣西桂林 541001)

隨著網絡規模的增大和新型網絡應用的不斷出現，網絡流量呈指數級增長，給網絡帶來了負載不均衡、帶寬消耗嚴重等一系列問題.單純的擴容提速，不僅成本高，而且由于缺少系統性的流量管理機制，網絡資源利用率低.此外，許多應用程序不僅需要帶寬，還需要保證服務質量(quality of service, QoS),如端到端時延、抖動、丟包率等.因此根據網絡的狀態和需求找到一種實時的自適應的可定制路由是提高網絡資源和服務質量的關鍵性因素.

在傳統網絡中，控制和轉發緊耦合的網絡架構與“盡力而為”的服務模式，需要在每個節點上執行特定的路由協議和算法以此來找到源到目的地的最佳路徑.正是因為這個分布式體系，使得每個節點只有部分視圖，導致很多全局性策略難以實施[1]，所以很難進行智能路由.而軟件定義網絡作為一種新的網絡體系架構，通過將控制平面與數據平面分離，提供了靈活高效的網絡控制，簡化了網絡管理過程，使管理員可以通過網絡編程的方法定義和控制網絡，降低了為數據流提供路由優化服務的難度[2].

近年來，隨著人工智能的迅速發展，機器學習在數據處理、分類、智能決策等方面皆取得非常不錯的進展，受到了學術界的廣泛關注[3].許多研究者開始嘗試通過使用機器學習算法來解決路由優化問題.一方面，機器學習可以通過訓練快速地計算出接近最優解的路由解決方案；另一方面，機器學習算法不需要精確的底層網絡數學模型[4].目前用于解決路由優化問題的機器學習算法主要分為2類：監督學習和強化學習.

現如今，云計算大數據迅速發展，數據中心業務流量極速上升，具有規模大、種類多、速度快和價值密度低等特征的大數據推動了數據驅動的發展，同時也給網絡帶來巨大的傳輸壓力[5].數據是廣泛可用的，它不僅是需要分析和處理的內容，也是一種基礎資源.我們需要根據需求從數據中提取有用的知識，使網絡節點具有認知能力，可以感知當前環境，并對感知內容進行分析，自動化作出路由決策，實現數據驅動認知路由的功能.

就當前高中生傳統文化素養現狀來說，存在諸多問題，這些問題既包括教材、教學方面的客觀因素，也包括學生自身的很多主觀因素。

1 SDN相關介紹

軟件定義網絡(software defined networking, SDN)是由美國斯坦福大學Cleanslate研究組提出的一種新型網絡架構[6]，其基本思想就是將報文轉發所涉及到的復雜邏輯控制從交換機/路由器等設備中分離出來，用軟件編程的方式實現對網絡的控制管理，從而達到自由操控流量的目的.而OpenFlow技術實現了控制平面與轉發平面功能的解耦，由集中控制器向交換設備下發轉發規則，使得控制器與交換設備可以相互分離獨立發展[6].

典型的SDN架構從上到下包含3層，分別是應用層、控制層、基礎設施層，如圖1所示.應用層包含流量工程、網絡監測、故障恢復、網絡虛擬化等網絡應用程序，用戶可以通過北向接口從控制平面獲取全局網絡視圖，然后根據該信息編寫網絡策略對網絡事件進行處理；控制層指邏輯集中的控制器，負責維護全網視圖，通過南向接口對數據平面的設備進行集中控制，完成網絡流量的分配；基礎設施層由交換機等網絡設備組成，提供數據轉發的能力[7].

Fig. 1 SDN framework圖1 SDN架構

SDN的架構決定了SDN的三大特性:控制平面與數據平面分離、集中控制、可編程性.傳統的網絡體系結構不夠靈活，無法獲得網絡拓撲信息，且需要不同的協議來滿足不同的場景需求.隨著網絡的發展，網絡中的協議也越來越多，配置管理也變得越來越復雜[8].而SDN通過控制器就可以獲取到網絡拓撲的全局信息，實現了對網絡的集中控制，降低了網絡節點獲取相鄰網絡節點信息的通信開銷以及對網絡資源的占用率.同時SDN的可編程性，使得網絡通過軟件編程的方法，實現對網絡的靈活控制，確保資源的優化分配.可以說SDN的出現給傳統的網絡路由算法帶來了新的機遇和挑戰.

多路徑路由是根據網絡流量分布和業務流量需求，選擇滿足約束條件的多條候選路徑，并在這些路徑中均衡通信流量，從而提高網絡的可靠性和吞吐量，降低網絡擁塞，減少傳輸時延[9,11].QoS技術的出現旨在解決網絡擁塞問題，保證網絡可以根據業務的不同需求合理地分配和調度資源，為不同的數據流提供不同的服務質量.文獻[12]提出了一種基于SDN的多路徑路由系統HiQoS.通過修改Dijkstra算法，控制器計算出滿足QoS約束的多條路徑，并使用Hash表來保存，然后定時更新這些路徑的鏈路狀態.當需要為業務流選擇路徑時，控制器根據帶寬使用情況和隊列狀態等為其選擇一條最優路徑.孔祥彬等人[13]提出一種基于Dijkstra算法的QoS路由算法，為業務流選擇滿足帶寬約束的路由.這些研究大多是基于Dijkstra算法或對其進行改進，目的是計算出從源節點到目的節點的最短路徑，計算效率低，不適合大型網絡環境.文獻[14]提出了一種基于SDN負載均衡的多路徑路由算法.控制器收集每一條鏈路的流量負載信息，當新流到達時，控制器計算所有可以轉發該流的路徑，通過比較路徑的鏈路負載選出一條最小負載的路徑.該算法需要考慮該流的所有轉發路徑，在拓撲復雜的網絡中，計算量過于龐大.

2 SDN路由機制

傳統的路由技術可看作是一種P2P架構,通過建立一張路由表，在路由器與路由器之間運行路由協議，相互交換路由信息從而達到路由共享.而在SDN中，只需要在控制器與交換機之間直接運行南向協議，由控制器統一計算轉發規則再下發給交換機.下發有主動和被動2種模式，主動模式是指數據包到達交換機之前就進行流表設置，而被動模式指當新流到達時，發現沒有與之匹配的流表項，便將其送至控制器處理，可看作是一種C/S模式.根據是否是多路徑路由將SDN路由機制分為2類[9]：

（2）實驗劑量設置：參考《中藥藥理研究方法學》中劑量換算方法“體表面積比”換算動物臨床等效劑量，分別以復方α-酮酸片0.68 g/kg（臨床日用量為7.56 g）、培哚普利片6 mg/kg（參考《NKF- KDOQI慢性腎病診斷、分類與分層指南》[15]）、尿毒清2.25 g/kg（臨床日用量為25 g）、JYP工藝A組藥粉1.93 g/kg、JYP工藝B組藥粉1.50 g/kg、JYP工藝C組藥粉1.70 g/kg，作為大鼠藥效學實驗劑量。實驗時以蒸餾水按劑量配制成所需濃度。

1) 最短路徑路由

同時，2015年7月起，專責小組開始派遣一部分人員進入門診一線，一對一駐點觀察記錄門診醫師的診療習慣、叫號規律、勞動紀律行為、患者就診分布規律、患者看診需時等內容。他們另外從醫院信息系統提取所有門診醫生接診患者的時間點數據，個性化分析每位醫生的看診行為。

目前主流的SDN控制器如POX,Ryu等皆提供了完整的數據轉發模塊，采用的基本都是最短路徑Dijkstra算法.Dijkstra算法每次都會找出一條源到目的節點的最短路徑，然而所有數據包的轉發如果只依賴于最短路徑，雖然方法簡單，但是數據流很容易因為具有相同目的地址而選擇同一轉發路徑，這將會降低鏈路利用率，容易導致網絡擁塞，且不能很好地滿足帶寬、時延、抖動和可靠性等方面的要求[10].

2) 多路徑路由

因而，中央企業的黨建工作也應與央企履行社會責任的相關工作配套結合，促使央企更好地承擔社會責任，促進企業與社會、環境的全面協調可持續發展。首先，加強企業內各級黨組織對企業社會責任工作的領導，充分發揮出企業黨組織的政治核心作用。其次，央企黨建必須樹立并弘揚企業社會責任意識，將履行社會責任作為企業黨務活動的一個要點，創新企業價值觀念。最后，建立履行社會責任工作體系，黨組織與企業行政部門互相合作，完善企業社會責任的組織管理，推動企業承擔社會公益責任。

如果將SDN路由視為一項決策任務，那么在網絡中找到最理想的控制策略是最關鍵的問題.今天大多數采用白盒方法來解決這個問題[15].隨著網絡規模的擴大和網絡應用數量的快速增長，當前的網絡已經變得高度動態、復雜、分散和定制化.在應用這些傳統的白盒算法時，也面臨著一些挑戰.具體來說，白盒方法通常需要對底層網絡進行假設和簡化，然而，這種理想化的模型在處理真實復雜的網絡環境時往往會遇到困難.此外，白盒方法在不同的場景和應用程序下具有較差的可伸縮性[16].

Fig. 2 KDN framework圖2 知識定義網絡架構

低蛋白飲食通過減少飲食氮、酸、磷的攝入，減輕腎臟排泄代謝廢物的負荷，可以延緩CKD 3～ 5期患者的腎功能進展、改善并發癥，但易發生蛋白質營養不良。醫用低蛋白主食是以普通米/面為生產原料，通過蛋白酶解技術析出蛋白質，留下米/面的其他原有成分，可在不影響進食體驗的情況下，減少植物蛋白的攝入，同時保證CKD患者能量攝入和高生物效價蛋白的比例，既協助延緩腎功能進展又能避免營養不良的發生，在CKD 3～5期患者的治療中具有很好的應用前景。

3 基于監督學習的SDN路由優化

監督學習[20]是一種標簽學習技術，通過給定數據及標簽建立系統模型，找到輸入輸出的映射關系，訓練完成后，當輸入新的數據后，得到預期結果.監督學習通常被用來做分類和回歸任務，常見的算法有K-最近鄰算法、決策樹、隨機森林、神經網絡、支持向量機(support vector machine, SVM)等.

監督學習通過學習解決各種網絡應用問題，如資源分配、Web服務、路由選擇等.Valadarsky等人[21]提出了利用監督學習模型預測未來的流量需求，然后為該需求計算最佳路由策略.此外，也有利用監督學習模型直接學習路徑的研究[22].在文獻[22]中，作者提出了一種采用GPU驅動的軟件定義路由器(SDRs)來執行深度學習技術,通過使用監督的深度信念架構(DBA)[23]，以邊緣路由器的流量模式作為輸入，網絡中的每個節點都會針對其發送流量的每個可能目的地訓練不同的模型，以此來估計下一跳.研究表明：該架構在網絡吞吐量和平均時延方面都優于傳統的開放式最短路徑優先(open shortest path first, OSPF).

生姜蛋白酶（酶活力≥800 U/mg）和獼猴桃蛋白酶（酶活力≥500 U/mg），購自上海鼓臣生物技術有限公司。

啟發式算法，包括蟻群優化算法、模擬退火算法、遺傳算法等可以有效管理流量，是解決動態路由優化問題的常用方法.這些算法可以有效減少端對端時延，減輕網絡負載以及防止數據的丟失，但這是要建立在犧牲帶寬為前提下且計算復雜度較高、計算時間開銷大，導致其不能實時計算出最優路徑[24].目前很多研究將監督學習算法和啟發式算法相結合，以網絡狀態、流量矩陣作為輸入，通過啟發式算法計算出的相應路由策略作為輸出進行訓練神經網絡，得到一個訓練模型.當新流到達時，通過訓練模型輸出合適的路由路徑.

強化學習(reinforcement learning, RL)[30]是目前人工智能最流行的一種學習方法.在一定環境狀態下，通過代理與環境的交互，采取行動來獲得最大的累積獎勵，從而不斷強化自己的決策能力.圖4展示了常見的強化學習機制.首先環境給代理一個觀測值及狀態state，代理接收到狀態后做出一個動作action，環境接收到動作后給予代理一定獎勵并給出一個新的狀態.其目的是從自己的經驗中學習以使自己的獎勵最大化.典型的強化學習算法有Q-Learning[31]，它是通過對Q值的學習來更新存儲狀態、動作、獎勵的表.

Fig. 3 Dynamic routing framework based on machine learning圖3 基于機器學習的動態路由框架

Azzouni等人提出[25]基于深度神經網絡的軟件定義網絡的NeuRoute動態路由框架同樣也運用了啟發式算法.該框架主要由流量矩陣估計器(TME)、流量矩陣預測(TMP)、流量路由單元(TRU)組成.首先TME通過OpenMeasure框架[26]使用連續的在線學習技術自適應推理和測量流量矩陣，然后TMP使用長短期記憶遞歸神經網絡(LSTM-RNN)對TME產生的流量矩陣進行訓練來預測未來網絡流量矩陣，最后TRU將預測的流量矩陣和當前的網絡狀態作為輸入，通過啟發式計算出來的相應路徑作為輸出，訓練前饋神經網絡模型.在新流到達前，該訓練模型計算出最優路由路徑，然后TRU將選擇的路徑發送給控制器，控制器安裝流表項.當新流到達時，轉發規則已安裝，交換機直接轉發數據包，大大減少了網絡時延.

研究表明：將啟發式算法和監督學習算法結合對SDN路由優化具有一定優勢，其運行時間遠小于啟發式算法，而網絡時延、抖動等性能與利用啟發式路由的結果相似.可見，利用監督學習進行路由優化是一種有效的方案.但是啟發式算法被定義為NP問題，在利用啟發式算法獲取標簽的過程具有較高的復雜度，且在網絡管理過程中不能靈活地調整運維策略.文獻[23]提出了一種基于監督學習的路由框架，該框架允許使用深度學習模型替換啟發式方法，將流特征和當前的網絡狀態作為深度神經網絡的輸入，為每條鏈路輸出一個值，最后再將其轉換成路徑.實驗證明該方法實現了最大鏈路利用率.

在表2中，我們對基于強化學習的SDN路由優化方法進行了小結，可以看出強化學習作為一門自學習技術，特別是深度強化學習，在SDN路由決策方面發揮著巨大的作用.但在強化學習智能體訓練收斂之前，訓練開銷較大.隨著網絡規模的增大，網絡中的服務和應用將變得越來越多，每當出現新的服務時，需要重新訓練收斂，這將限制了智能體優化路由的靈活性和可擴展性[44].

2.3 黨參總皂苷納米乳粒徑 粒徑測定結果見圖3，黨參總皂苷納米乳粒徑為60.67 nm，多分散指數PDI為0.347，粒徑介于10～100 nm，達到納米乳要求。

表1對基于監督學習的SDN路由優化方法進行了總結，可以看出監督學習作為一種標簽學習技術，特別是神經網絡，在SDN路由優化方面發揮著巨大的作用.但它的缺點也是不容忽視的.無論是使用啟發式算法的輸入輸出作為訓練集還是對流量進行提前的感知預測分類，在訓練過程中都需要獲取大量的標簽數據進行訓練，這將導致一個很高的計算復雜度.所以，我們的研究重心應該是讓流量具有自我感知特性，盡量不使用標簽，讓網絡通過對歷史數據的自主學習實現智能路由.

安長英(1986-)，女，漢族，籍貫：山東臨沂，碩士研究生，注冊會計師、稅務師、會計師，主要從事國企財務工作等。

Table 1 SDN Routing Optimization Method Based on Supervised Learning表1 基于監督學習的SDN路由優化方法

4 基于強化學習的SDN路由優化

Fig. 4 Reinforcement learning mechanism圖4 強化學習機制

文獻[24]將啟發式算法融入到監督學習中，提出了一種基于監督學習的動態路由框架，目的是獲取滿足QoS要求的最優路徑.該框架如圖3主要包含啟發式算法層和機器學習層，將啟發式算法層的輸入(全局網絡狀態)和輸出(最優路徑)作為機器學習的數據集，然后在動態路由過程中，機器學習模型可以根據輸入的網絡狀態快速計算出最優路徑.實驗表明：該方法計算效率高，且具有更好的網絡性能.

將SDN路由優化看成一個決策問題，運用強化學習方法進行路由優化.網絡即為學習環境，將網絡拓撲、流量矩陣等視為狀態，改變鏈路權重視為動作，運維策略如QoS服務質量等作為獎勵，不斷訓練，得到一個模型.當新流到達時，可以快速計算出合適的路由路徑，使網絡性能最優.

教學從形態角度看，來自于人們的實踐活動——交往。所謂教育，即交往的雙方通過傳遞經驗，影響人身心發展，形成教育。教學是教育的核心，傳道授業離不開交往。教學中交往的主體離不開師生，缺失其中的一方將導致教學目的的落空，但雙方在教學中的地位并不平等。后現代主義課程論者多爾認為:“教師是內在情境的領導者，而不是外在的專制者。”教師因在學科領域的知識積累，成為課程教學的主導者，學生則是主動學習的參與者，教學即特殊的交往。

由于機器學習在機器人控制、自動駕駛汽車等相關應用的成功，Mestres等人[17]提出了一種基于機器學習(machine learning, ML)的網絡控制方法，這種新的范式被稱為知識定義網絡(knowledge defined networking, KDN).該范式將SDN、網絡分析(network analytics, NA)和人工智能(artificial intelligence, AI)結合起來，促進了人工智能在計算機網絡中的操作和管理[18].其框架如圖2所示，知識平面通過控制和管理平面收集豐富的網絡視圖，然后利用機器學習將其轉化成知識，并根據這些知識進行自動化決策.在路由優化決策中，我們的目標是利用這些知識賦予每個節點感知、詢問、學習、推理和反饋等認知行為，使他們可以實時、在線地做出自適應路由決策，以達到最優網絡性能[19].

Lin等人[32]在Kandoo[33]和Xbar[34]架構基礎上，提出了一種符合OpenFlow協議的多層分布式控制架構.如圖5所示，該架構主要由超控制器、主控制器、從控制器和OpenFlow交換機4個部分組成.交換機負責數據的收集和轉發，從控制器將交換機收集的網絡狀態發送給主控制器，主控制器負責對每個傳入的流進行路徑計算，唯一的超控制器控制全局網絡狀態.在此架構基礎上提出了基于強化學習的QoS動態路由算法(QoSaware adaptive routing, QAR)，該算法將softmax作為動作選擇策略，狀態-行動-回饋-狀態-行動(state-action-reward-state-action, SARSA)作為Q值更新函數：

Qt+1(st,at)Qt(st,at)+
α[Rt+γQt(st+1,at+1)-Qt(st,at)],

其中,α∈[0,1]表示學習效率，決定有多少誤差需要被學習；γ∈[0,1]表示對未來獎勵的衰減值；Rt表示在時刻t的QoS感知獎勵.根據采取行動的成本、傳輸時延、排隊時延和可用帶寬計算出一種實時的自適應QoS路由決策，實現了控制負載的共享，減少了信令時延.實驗表明QAR相比于Q-Learning方法，性能更優且具有較快的收斂性.

Fig. 5 Distributed hierarchy construction圖5 分布式層次結構

因為SDN網絡是一個復雜的連續時間系統，對數據流的細粒度進行管控，所以維護網絡狀態、動作、獎勵信息的Q表會占用大量的存儲空間，并隨著Q表的不斷增大，查表問題將是一個不容忽視的問題.為了解決這個問題，Sendra等人[35]提出了以神經網絡代替Q表的學習過程，采用深度Q網絡(deep Q network, DQN)的方法來進行智能路由，根據最佳網絡狀態和運維管理策略選擇最佳數據傳輸路徑.該方法降低了損失率和時延，提供了一個更好的QoS.然而DQN不能實時收斂，因為對SDN網絡的操控是一個連續控制的問題，而DQN只適用于低維離散空間的控制和優化[36].

B超引導下肝組織活檢術在臨床上越來越普遍開展，該術創傷小。安全性高，并發癥少，為肝病患者及早明確診斷和合理治療提供了科學依據，值得大力宣傳普及和推廣。但該術還是一有創術，還存在一定風險性，必須根據循證護理方法，對患者施以正確的術前術后護理干預、教育評估和指導，以提高穿刺術的安全性。

傳統的強化學習基于表的方法記錄狀態、動作的獎勵，對最優行為策略的收斂率低，且不能解決高維狀態和動作空間的問題.而深度強化學習(deep reinforcement learning, DRL)[37]將深度神經網絡和強化學習結合，利用深度神經網絡逼近值函數，使用強化學習的方法進行更新，自動從高維數據中提取低維特征，有效地壓縮網絡狀態空間，從而使RL能夠解決以前在處理高維度狀態和運動空間時難以解決的大規模網絡決策問題[16].

文獻[38]首次提出了用自動化DRL代理提供路由配置.該研究可以自適應網絡流量狀況，通過DRL代理在單個步驟中提出最優的路由決策，實現了對網絡的實時控制，克服了優化和啟發過程中迭代步驟的繁瑣.其中DRL代理是一種確定性策略梯度算法，通過狀態、動作和獎勵的更新與環境進行交互，狀態即為流量矩陣，動作為改變鏈路權重，獎勵為網絡時延，其目的就是通過狀態S到動作A的映射得到最優行為策略，從而最大化獎勵，即最小化時延.

我認認真真地分析了拋光市場的未來行情。一旦金融風暴來了，必定有許多的小拋光廠湮沒或轉向，景花廠只要頑強地撐下去，撐到金融危機這片烏云過去了，拋光市場就會出現粥多僧少的現狀，那時，景花廠便如魚得水，如龍得云了，訂單如雪花似的飛來，景花廠必將繁花似錦，一片輝煌。

Fig. 6 DROM framework圖6 DROM框架

和文獻[38]類似，Yu等人[39]提出了一種基于機器學習的SDN網絡框架，該框架主要用一種深度強化學習算法——深度確定性策略梯度(deep deterministic policy gradient, DDPG)[40]來優化SDN網絡路由，在此基礎上提出了一種路由優化機制DROM，其架構如圖6所示.DROM通過SDN控制器對網絡進行分析和測量來獲取全局網絡狀態，并確定一個最優行為，即一組鏈路權重，通過最大化獎勵，不斷更新鏈路權重集，SDN控制器也不斷生成新的規則來建立新的路徑.以此類推，不斷迭代優化，直到獲得最優解.其中獎勵可以是單個參數如時延、吞吐量，也可以是包含多個參數的綜合策略:

Ri→j=R(i→j|st,at)=
-h(at)+αdelayij+βBWij+γlossij+θTPij.

該式表示在狀態st、動作at下的獎勵，包含成本、時延、帶寬、損失率、吞吐量等性能，其中h表示執行操作的成本,α,β,γ,θ∈[0,1]為可調參數，由運維策略決定.實驗表明：DROM實現了在連續時間內對網絡進行全局、實時、自定義的智能控制和管理，具有良好的收斂性和有效性.

由于流量具有周期性和相關性等特征，文獻[41]提出將循環神經網絡(recurrent neural network, RNN)作為輸入神經網絡，將之前所學狀態描述聯系起來一起學習，以得到一種更準確的結論.在RNN的基礎上，結合DDPG，自動生成用于流量工程的策略.與最短路徑相比，減少了網絡的平均傳輸時延，但強化學習代理無法達到穩定，會引起流量的抖動，且不能迅速收斂.

此外，當前的研究大多使用模擬仿真的方法來評估網絡性能，并未部署到實際的SDN網絡中，未涉及如主機、交換機流表、SDN控制器等特定元素.近期，Witanto等研究者[42]從SDN本身的系統架構及流處理過程出發，提出了利用DDPG實現流量監控和路由的SDN應用方案.該方案主要由流量監控和路由2個模塊構成，流量監控模塊定期監控流量，統計并保存每個端口接收和發送的字節信息，用于訓練神經網絡生成流表項；路由模塊通過深度強化學習代理根據交換機的端口利用率，生成圖的邊緣區權值，最大化獎勵以使丟包率達到最小.然后控制器通過計算交換機之間最短路徑，生成流表項發送給相關交換機，更新流表項.該研究只提供了一個思路，目的是實現一個管理系統，既可以檢測設備之間的連接丟失情況，又可以路由網絡流量使數據包丟包數最少.

將深度學習和強化學習結合來解決SDN路由問題，是目前一種比較普遍的方式，具有3方面優勢：

1) DRL算法是一種黑盒方法.在設計動作空間和獎勵時，DRL代理只需要設置不同的網絡決策任務和優化目標，無需精確可解的數學模型.而傳統的白盒方法要求對基礎網絡進行假設和簡化來建立問題的數學模型并針對優化問題進行求解.

推薦理由:這是一套記錄家國變遷的紀實作品，本書透過400幅定格的經典瞬間，全景式展現了改革開放波瀾壯闊的輝煌歷程和中國人的生活百態和精神面貌。全書以十年為斷限，分為四卷，每卷100幅經典照片，并配有精煉的解讀文字。重溫改革開放走過的路，彷徨、迷惑、拼搏、創新，盡在這40年400個難忘的瞬間。

2) DRL可以處理復雜的狀態空間，如AlphaGo[43]，與傳統的強化學習相比具有一定優勢.

3) DRL可以實時處理高度動態的時變環境.當網絡狀態更改時，DRL代理不需要再次收斂.訓練好DRL代理后，通過矩陣乘法一步就可以計算出近似最優解；相反，啟發式算法需要采取許多步驟才能收斂得到新結果，這將導致較高的計算時間成本[44].

在SDN中，控制器對交換機進行集中控制并下發決策.通常來說，SDN也像傳統網絡一樣為一對源到目標節點分配路徑.但如果讓網絡具有應用感知和多路徑分組轉發，那么這2個特性可用于對不同輸入應用程序進行分類并根據其類別分配不同的路徑，這將增加用戶的體驗質量(quality of experi-ence, QoE).文獻[27]提出了一種融合機器學習和軟件定義網絡的基于應用識別和路徑狀態感知的多路徑包轉發機制，該機制首先利用SVM算法[28]對控制器捕獲的流特征進行優先級劃分，不同的應用流具有不同的優先級；同時利用YKSP算法[29]找到源到目的地的k條路徑；最后控制器通過可用帶寬和延遲等參數評估每個可能的路徑特征，并根據它們所屬類的優先級為流分配路徑.這個方法為具有QoS需求的數據中心網絡、電信數據網、校園網等大規模網絡環境帶來了一定好處.

Table 2 SDN Routing Optimization Methods Based on Reinforcement Learning表2 基于強化學習的SDN路由優化方法

5 總結與未來展望

5.1 總 結

本文通過從監督學習和強化學習2個方面論述了機器學習在路由優化中的應用研究進展，并對其算法優缺點進行小結，如表3所示.由表3得出結論：通過對強化學習相關算法的不斷改進，實時地、自適應地進行路由決策，在優化網絡運維管理過程中，強化學習是一種非常有效的方法.與傳統的算法相比，無論從SDN路由機制的有效性還是網絡運行時延吞吐量等相關性能方面都有不可替代的優勢；與監督學習相比，強化學習不僅不需要標簽訓練數據，同時還可以根據網絡管理需求，靈活地調整優化目標.后期我們應該將研究重點放在強化學習在路由優化方面的應用上.

5.2 未來展望

目前，尋找一種自適應的實時路由策略將成為互聯網的研究熱點之一，還有很多問題需要我們深入研究，下面對其未來研究重點和發展趨勢進行探討.

Table 3 Performance Analysis of ML Algorithm in SDN Routing Optimization表3 SDN路由優化中的ML算法的性能分析

1) 數據驅動認知路由

數據驅動網絡(data-driven networking, DDN)[45]集成了過去的知識，可以更快、更高效地計算網絡算法.它的主要作用是計算和處理大量可用的數據.

從絕對數值來看，長三角各地級市之間總體基本公共服務均等化水平較高。長三角總體基本公共服務的基尼系數在0.2上下波動，在2011年后接近于0.1。2011年后，各項基本公共服務的基尼系數逐漸下降，可見“十一五”期間長三角的基本公共服務均等化進程取得了成效。結合基本公共服務發展水平看，基本公共服務水平發展與均等化兩者間是并行不悖的，在基本公共服務投入水平上升的同時，城市間均等化水平也在提高（見圖1、圖8）。

在基于DDN的控制循環中，通過實時收集的數據自動調整驅動算法，進行自動化決策.數據驅動的方法促進了有趣且快速的啟發式，其性能可能優于現有的優化或近似算法.更重要的是，數據驅動的方法適應并優化了網絡的實際狀態，以網絡觀察數據為主要特征，而不是針對某些假設的最壞情況的網絡狀態[45-46].

隨著互聯網的飛速發展，網絡業務需求不斷增加，網絡規模不斷擴大，網絡結構、網絡管理、調度診斷等問題變得更加復雜，用戶對網絡的要求也越來越高，需要網絡具有自適應、自管理、自學習和推理等功能，即具備認知功能[47].文獻[48]在網絡中引入知識平面，使網絡可以通過認知技術，在復雜、不一致、動態和不斷發展的環境中有效執行并評估和改進自身的性能.與此同時，基于數據驅動的人工智能近年來取得一定進步，由于在網絡中積累了大量的數據，我們可以通過這些數據，再應用機器學習進行大量的訓練，將數據轉換成知識，在復雜不確定的環境中做出路由決策和優化.我們的目標是建立新一代網絡，這個網絡可以驅動自己的部署和配置，可以診斷自己的問題，并就如何解決問題做出合理的決定.如果成功，將大大簡化日常網絡管理任務.

2) 基于遷移學習的路由優化

遷移學習[49]的任務是從一個環境中學習知識和經驗，并應用到新的任務中.換言之，遷移學習的目的就是從一個或多個源任務中抽取知識、經驗，然后運用到目標領域中去.在大數據時代，每天都會產生大量的數據，如何合理地利用這些數據是遷移學習需要解決的問題.在SDN路由優化中，通過強化學習技術得到自適應路由路徑，在訓練收斂之前訓練開銷很大，且當新的應用服務出現時需要重新訓練，這無疑對計算機網絡性能帶來一定弊端.如果將之前訓練好的路由優化策略模型遷移到新的網絡環境中，然后利用少量的數據進行訓練即可快速收斂，這樣當出現新的服務時也不用重頭進行訓練收斂，減少了訓練開銷.

3) QoE感知路由

目前，QoS是最廣泛使用的服務度量標準，其評價指標主要包括丟包率、時延、抖動和吞吐量等.這些指標通常被網絡運營商用來評估網絡性能.根據1～4節對機器學習在SDN路由方面的研究調研，我們發現大多數研究都是以QoS為優化目標尋找一條合適的路由路徑，以達到最小時延、丟包率等性能.但是從整個生態平衡的角度來看，不管是運營商還是整個生產鏈，再到最后的互聯網公司都需要和用戶打交道，他們都有共同的目標，就是為了更好的用戶體驗以及用戶滿意度.QoE[50-51]是用戶對服務滿意度的主觀度量標準.典型的QoE度量有平均意見得分(mean opinion score, MOS)，可以由真實用戶根據主觀評分確定，也可以根據對交付的商品(例如音頻、視頻或文件)的屬性進行客觀測量來預測.MOS將QoE的主觀感受分為優、良、中、次、劣5個級別[52].由于QoE值一般以線性方式依賴于多個QoS指標[53]，網絡指標(如數據包丟失)會根據服務類型的不同影響此類服務的QoE，因此我們可以通過發現QoS參數和QoE值之間的相關定量性來實時獲取QoE值.

文獻[54]設計了一種基于蟻群優化的啟發式算法，以QoE為中心路由，根據流量和網絡需求為不同的多媒體服務類型及其流計算最佳可用路徑，以使用戶QoE最大化.受此啟發，我們可以根據歷史數據學習QoS參數和QoE值之間的關系，對QoE進行預測.利用機器學習對SDN路由進行優化，以QoE為目標，對網絡進行靈活的配置，實現QoE感知路由，最大化網絡性能和用戶滿意度.

6 結束語

對SDN路由功能的優化是時代發展的必然產物，也是用戶對網絡性能穩定性的一種要求.通過對網絡路由的不斷優化，提高對網絡資源的利用率，保證網絡信息的服務質量，不斷優化計算機網絡性能，從而為更多的網絡用戶帶來更好的體驗.