基于軟件定義車載網(wǎng)絡(luò)的QoS路由規(guī)劃研究

【摘要】為了提高在車載網(wǎng)絡(luò)中的數(shù)據(jù)傳輸速率和保障業(yè)務(wù)的QoS需求，結(jié)合軟件定義車載網(wǎng)絡(luò)（SDVN）技術(shù)，設(shè)計了一種基于SDVN的深度強化學習QoS路由算法。該算法可以實現(xiàn)智能化控制和優(yōu)化管理車載網(wǎng)絡(luò)中的數(shù)據(jù)傳輸，以保證車載網(wǎng)絡(luò)流量的控制、分配和監(jiān)控，提高車載數(shù)據(jù)傳輸質(zhì)量和效率。試驗結(jié)果表明，該路由算法能較好地降低車載網(wǎng)絡(luò)的時延，與傳統(tǒng)路由算法相比，該算法具有更好的優(yōu)化性能。

主題詞：軟件定義車載網(wǎng)絡(luò) 服務(wù)質(zhì)量 路由規(guī)劃 深度強化學習

中圖分類號：TP393， U462.2" "文獻標志碼：A" "DOI： 10.19620/j.cnki.1000-3703.20231160

Research on QoS Routing Planning Based on Software-Defined Vehicular Network

Cui Junwei1， Zhai Yahong2

（1. School of Computer and Artifical Intelligence， Lanzhou College of Information Science and Technology， Lanzhou 730700; 2. School of Electrical amp; Information Engineering， Hubei University of Automotive Technology， Shiyan 442002）

【Abstract】With the increasing applications of new technologies such as smart driving， autonomous driving and Internet connectivity， traditional in-vehicle networks are difficult to meet the quality of service （QoS） demands of diverse applications. In order to improve the data transmission rate and guarantee the QoS demand of services in the in-vehicle network， a deep reinforcement learning QoS routing algorithm based on SDVN is designed in combination with softwaredefined vehicular network （SDVN） technology. The algorithm can realize intelligent control and optimized management of data transmission in the in-vehicle network to ensure the control， distribution and monitoring of in-vehicle network traffic and improve the quality and efficiency of in-vehicle data transmission. The experimental results show that the routing algorithm can better reduce the delay of the in-vehicle network and has better optimization performance compared to the traditional routing algorithm.

Key words： Software-defined vehicular network， Quality of service， Route planning， Deep reinforcement learning

1 前言

目前大部分車輛網(wǎng)絡(luò)系統(tǒng)多采用CAN和LIN通信技術(shù)，但面臨信號負載高、延時增加等問題[1]。隨著車輛智能網(wǎng)聯(lián)化不斷發(fā)展，需采取硬件最大化設(shè)計、軟件迭代升級策略，但可導致零部件內(nèi)部數(shù)據(jù)量大，更新軟件包大，現(xiàn)有CAN總線速率低，售后軟件更新時間長等問題。因此，需要采用以太網(wǎng)等高速通信技術(shù)。軟件定義車載網(wǎng)絡(luò)（Software Defined Vehicle Network，SDVN）是一種基于軟件定義網(wǎng)絡(luò)（Software Defined Networking，SDN）技術(shù)在汽車領(lǐng)域的應(yīng)用[2]。SDVN旨在實現(xiàn)網(wǎng)絡(luò)虛擬化和集中管理，提高網(wǎng)絡(luò)通信效率和用戶體驗[3-4]。

目前，研究發(fā)現(xiàn)各類智能算法性能突出，車載網(wǎng)絡(luò)路由規(guī)劃結(jié)合智能算法是當前研究的一個熱點問題。郭榮梅等人[5]研究了使用K條最短路徑算法計算出最小時延和最大可用帶寬的K條路徑，但速度較慢；尹鳳杰等人[6]提出了改進的蟻群路由算法，可以保證網(wǎng)絡(luò)穩(wěn)定且高利用率，但存在收斂速度慢和時延問題；徐嘯等人[7]提出了基于強化學習的多路徑路由算法，能實時選擇最優(yōu)路徑，但時間復雜度高；Sun等人[8]提出了基于深度強化學習的可擴展路由算法，但面對復雜網(wǎng)絡(luò)時整體性能下降。多流量共存時的服務(wù)質(zhì)量（Quality of Service，QoS）感知路由問題復雜度高，深度強化學習可應(yīng)對此類問題。Pham等人[9]使用深度強化學習（Deep Reinforcement Learning，DRL）智能體和卷積神經(jīng)網(wǎng)絡(luò)，在SDN下提高QoS感知路由的性能。Jalil等人[10]提出了一種深度Q路由（Deep Q-Routing，DQR）算法，使用具有經(jīng)驗回放的深度Q網(wǎng)絡(luò)計算出滿足多個QoS指標的合理路徑。

綜上研究所述，當前傳統(tǒng)路由方法已無法為不同類型的網(wǎng)絡(luò)流量分配合適的路由資源以滿足其QoS需求。由于車載網(wǎng)絡(luò)路由問題具有馬爾可夫性[11-12]，提出了基于SDVN的深度強化學習路由（Deep Reinforcement Learning Routing，DRLR）算法[13-14]，能夠為車載網(wǎng)絡(luò)提供更加穩(wěn)定可靠的數(shù)據(jù)傳輸環(huán)境，同時保證車輛內(nèi)部各種應(yīng)用設(shè)備的良好運行效果。通過與其他算法進行對比試驗，驗證了該算法的有效性。

2 基于SDVN的DRLR模型

2.1 軟件定義車載網(wǎng)絡(luò)

傳統(tǒng)分布式網(wǎng)絡(luò)由于通信帶寬、計算能力不足和軟件升級不便等瓶頸，已不能滿足當前智能網(wǎng)聯(lián)技術(shù)的發(fā)展需求。傳統(tǒng)車載網(wǎng)絡(luò)骨干正由CAN/LIN總線向以太網(wǎng)方向發(fā)展，以太網(wǎng)能夠滿足高速傳輸、高通量、低延遲等性能需求，同時也可以減少安裝、測試成本。使用以太網(wǎng)作為主干網(wǎng)絡(luò)，通過中央控制器計算平臺可以實現(xiàn)多種信息的融合處理，實現(xiàn)整車協(xié)同功能，增強車載網(wǎng)絡(luò)的交互性，實現(xiàn)軟件的在線升級、操作系統(tǒng)可移植等功能。軟件定義車載網(wǎng)絡(luò)整體架構(gòu)如圖1所示。

2.2 車載以太網(wǎng)QoS

不同類型的車載以太網(wǎng)流量在時延、帶寬和丟包率等QoS需求各有差異。車載以太網(wǎng)流量的優(yōu)先級可以根據(jù)具體的應(yīng)用和需求而有所不同，劃分成4個QoS流量業(yè)務(wù)類別，如車輛診斷流量、車載通信流量、車載導航流量、車載多媒體流量。

a. 車輛診斷流量。這類流量用于將車輛診斷信息發(fā)送到網(wǎng)絡(luò)上的服務(wù)中心，以進行遠程診斷和維護。同時，服務(wù)中心也可以向車輛發(fā)送指令或更新，以改善車輛性能或解決問題，對快速診斷和故障排查具有重要作用，對時延、帶寬、丟包率有較高的要求。

b. 車載通信流量。這類流量包括車內(nèi)設(shè)備之間的通信和連接到互聯(lián)網(wǎng)的數(shù)據(jù)傳輸，對時延、帶寬、丟包率有一定要求，如車載通信實時語音、車載攝像頭捕捉到的圖像、互聯(lián)網(wǎng)瀏覽等，此流量對網(wǎng)絡(luò)傳輸?shù)臅r延有較高的要求，需要確保良好的用戶體驗。

c. 車載導航流量。這類流量用于傳輸導航和地圖數(shù)據(jù)，對于提供準確的導航指引和實時交通信息較為重要。車輛可以接收到來自網(wǎng)絡(luò)的實時交通信息，以便選擇最佳路線。同時，車輛的位置和速度等信息也可以上傳到網(wǎng)絡(luò)，從而為其他車輛提供實時交通狀態(tài)。對時延、帶寬、丟包率有一定要求。

d. 車載多媒體流量。這類流量包括音頻、視頻等娛樂內(nèi)容的傳輸，對丟包率有較高的要求，對時延和帶寬有一定要求，對于車輛的運行和安全性沒有直接影響。

本文根據(jù)不同的車載流量類別進行網(wǎng)絡(luò)QoS流量分類，如表1所示。

2.3 馬爾科夫決策過程

為了將深度強化學習引入網(wǎng)絡(luò)路由決策中，需要將路由問題表示為一個馬爾科夫決策過程（Markov Decision Process， MDP）[15]。一個狀態(tài)到另一個狀態(tài)是通過執(zhí)行動作策略來產(chǎn)生的，這個過程可以用一組五元組lt;S， A， P， R， γgt;表示。其中，S為狀態(tài)空間；A為動作空間；P為狀態(tài)轉(zhuǎn)移概率矩陣；R為獎勵函數(shù)；[γ∈（0，1）]為衰減因子，表示過去的獎勵值在當前時刻的比例；γ傾向于接近1，表示對未來的獎勵有更大的偏好。

在網(wǎng)絡(luò)中，當前的網(wǎng)絡(luò)狀態(tài)是過去路由狀態(tài)的聚合。當前時刻的路由決策只與當前時刻的網(wǎng)絡(luò)狀態(tài)和流量信息有關(guān)，不受歷史網(wǎng)絡(luò)狀態(tài)信息的影響。若當前的路由決策只依賴于當前的網(wǎng)絡(luò)狀態(tài)，而與之前的狀態(tài)無關(guān)，那么這個過程可以被視為具有馬爾可夫性質(zhì)。此外，路由決策問題可以表述為一個順序決策問題。路由決策智能體與網(wǎng)絡(luò)環(huán)境反復交互，在每個時間步驟的開始，它觀察當前的網(wǎng)絡(luò)狀態(tài)，并從有限的狀態(tài)集合中選擇一個；然后，智能體移動至下一個新的狀態(tài)并獲得相應(yīng)的獎勵；循環(huán)地進行狀態(tài)選擇，得到一組最大化的獎勵[16-17]。

2.4 深度強化學習路由模型

本文將路由問題建模為一個MDP，并引入深度強化學習技術(shù)。首先，在一個時間間隔內(nèi)，智能體需要觀察網(wǎng)絡(luò)拓撲中的環(huán)境St，并根據(jù)當前的策略做出路由決策；然后，在動作空間中選擇相應(yīng)的動作At執(zhí)行，網(wǎng)絡(luò)狀態(tài)轉(zhuǎn)為St+1并將獎勵值反饋給智能體；其次，不斷重復上述的步驟來反饋獎勵值，使累積獎勵值最大化；最后，通過不斷改進策略來實現(xiàn)獎勵值增大，從而獲得最大的累積獎勵，以輸出符合QoS需求的最優(yōu)路徑。

QoS路由的本質(zhì)是尋找滿足QoS需求的端到端最優(yōu)路徑。為了描述這一問題，首先將整個網(wǎng)絡(luò)建模為一個無向圖G=（V，E）。其中，V為圖中的節(jié)點集合，[V=v1，v2，…，vn]；n為節(jié)點數(shù)量，表示網(wǎng)絡(luò)中交換機或路由器；E為圖中的邊集，表示網(wǎng)絡(luò)中的節(jié)點間的鏈路。從節(jié)點vi出發(fā)的第j條邊，其中dij、bij、lij表示QoS特征值，分別為時延、帶寬和丟包率。智能體位于SDN控制平面，環(huán)境位于SDN數(shù)據(jù)平面。基于SDN的深度強化學習QoS路由模型如圖2所示。

此模型中包括的概念描述如下：

a. 路由策略。一個路由策略是單個請求的一個合理路徑。對于圖中存在的每一對節(jié)點，R（i， j）定義為流量請求從節(jié)點i傳輸?shù)焦?jié)點j所經(jīng)過的所有節(jié)點。例如，從節(jié)點1傳輸?shù)焦?jié)點4的流量，從節(jié)點1出發(fā)，途中經(jīng)過節(jié)點2和節(jié)點3，最終到達節(jié)點4，路由R（1， 4）生成的路徑信息即為[1， 2， 3， 4]。其中，路徑不能出現(xiàn)環(huán)路，意味著路徑信息中不包括重復的節(jié)點。

b. 流量矩陣。在此模型中有n個網(wǎng)絡(luò)節(jié)點，使用一個大小為[n×n]的矩陣D來表示網(wǎng)絡(luò)中所有節(jié)點之間傳輸?shù)臄?shù)據(jù)量。D（i， j）定義為從節(jié)點i傳輸?shù)焦?jié)點j的數(shù)據(jù)量，其中矩陣對角線的值被設(shè)置為-1。

c. 請求矩陣。在此模型中有n個網(wǎng)絡(luò)節(jié)點，使用一個大小為[n×n]的矩陣C來表示網(wǎng)絡(luò)中所有節(jié)點之間等待傳輸?shù)臄?shù)據(jù)量。C（i， j）定義為從節(jié)點i等待傳輸?shù)焦?jié)點j的數(shù)據(jù)量，其中矩陣對角線的值被設(shè)置為-1。

d. 深度神經(jīng)網(wǎng)絡(luò)。深度神經(jīng)網(wǎng)絡(luò)（Deep Q-Network， DQN）通過輸入的環(huán)境狀態(tài)信息來輸出當前狀態(tài)下所有動作的Q值，即深度神經(jīng)網(wǎng)絡(luò)中用來評估特定狀態(tài)下某個動作的預期回報，隨后選擇所有動作中Q值最大的動作執(zhí)行。DQN中隱藏層數(shù)和隱藏層中神經(jīng)元的個數(shù)等均與輸入和輸出的數(shù)據(jù)規(guī)模相關(guān)。通常，輸入數(shù)據(jù)的規(guī)模越大，維度越高，隱藏層的層數(shù)以及神經(jīng)元的個數(shù)就越多，如果輸入的數(shù)據(jù)為圖片或者時序數(shù)據(jù)，則可能需要使用具有卷積層的卷積神經(jīng)網(wǎng)絡(luò)或具有循環(huán)結(jié)構(gòu)的循環(huán)神經(jīng)網(wǎng)絡(luò)。在本文所設(shè)計的算法中，DQN中深度神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖3所示。

該方案中神經(jīng)網(wǎng)絡(luò)的輸入是網(wǎng)絡(luò)狀態(tài)信息經(jīng)過預處理后形成的一維數(shù)組，因此省去了卷積層而只使用全連接層作為隱藏層。圖3中神經(jīng)網(wǎng)絡(luò)中全連接層的層數(shù)和全連接層中神經(jīng)元的個數(shù)并不是固定的，需要根據(jù)網(wǎng)絡(luò)規(guī)模確定。根據(jù)大量試驗結(jié)果，具有2個全連接層，每個全連接層中神經(jīng)元個數(shù)為150個的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)在主機數(shù)量小于20、交換機數(shù)量小于30的小規(guī)模網(wǎng)絡(luò)中表現(xiàn)較好。對于規(guī)模更大的網(wǎng)絡(luò)，則需要適當增加全連接層或神經(jīng)元的個數(shù)。對于DQN最為直觀的輸入輸出方式是將網(wǎng)絡(luò)中的流量請求矩陣作為神經(jīng)網(wǎng)絡(luò)的輸入，將所有支流的轉(zhuǎn)發(fā)路徑選擇作為輸出。

將每步迭代的總時間分為幾個連續(xù)的時間段，定義為t。在時間區(qū)間t的開始，從請求矩陣C（i， j）讀取節(jié)點i和節(jié)點j之間的流量請求信息，以覆蓋流量矩陣D（i， j）的值。然后，神經(jīng)網(wǎng)絡(luò)根據(jù)流量矩陣信息和所有歷史時間區(qū)間（1，2，…，t）的路由策略來評估流量請求信息，得出從節(jié)點i到節(jié)點j的路由策略。路由策略R（i， j）選定后，路由表也相應(yīng)被確定。若請求矩陣C（i， j）中的所有值都被遍歷，本次迭代結(jié)束，下次迭代開始，重復上述步驟。

3 深度強化學習路由算法設(shè)計

深度強化學習任務(wù)需要通過馬爾可夫決策過程進行描述，對于用深度強化學習技術(shù)解決QoS路由分配問題，本文用5部分來模擬這個問題：智能體、環(huán)境、狀態(tài)空間、動作空間和獎勵函數(shù)。由于狀態(tài)和動作維度較大，嘗試使用深度強化學習算法來實現(xiàn)合理的路由策略。

a. 智能體。首先，智能體負責執(zhí)行動作并獲得環(huán)境的反饋，智能體計算路由表，與流量矩陣一起寫入Mininet環(huán)境中；然后，從Mininet環(huán)境中獲得時延、帶寬、丟包率等QoS指標作為反饋；最后，智能體將狀態(tài)推送到下一步。

b. 環(huán)境。本算法的環(huán)境主要建立在Mininet網(wǎng)絡(luò)仿真環(huán)境中，其中主要包括路由器、交換機和Ryu控制器。

c. 獎勵功能。本文中利用QoS指標來評估網(wǎng)絡(luò)的狀態(tài)。采用常見并重要的指標作為反饋，即時延dij、帶寬bij、丟包率lij。獎勵函數(shù)為：

[Rt=βdij+θbij+φlij] （1）

式中：[β]、[θ]、[φ]為QoS指標的權(quán)重值，不同的QoS需求通過設(shè)置權(quán)重來實現(xiàn)獎勵值。

d. 動作空間。深度強化學習算法需要一個固定的狀態(tài)空間，在每次迭代中都是一致的。因此，本文的狀態(tài)空間采用無環(huán)路路徑。由于狀態(tài)空間的維度過大，通過部分訓練方法來減少迭代次數(shù)。在每個時間間隔t開始，從請求矩陣C（i， j）中讀取節(jié)點對（i， j）。智能體需要為該節(jié)點分配一條路徑，所選的動作必須滿足源-目節(jié)點的要求，在Sn狀態(tài)下參考Q（Sn， Ai）執(zhí)行的動作為Ai。因此，每次智能體選擇動作時，控制程序只是選擇滿足要求的路徑，而不是遍歷整個路由表。這種機制使得每時刻可供選擇的動作空間范圍大大縮小。

例如，當智能體處于狀態(tài)S1，從請求矩陣C（i， j）中讀取的節(jié)點對是（2， 6），即需要從節(jié)點2到節(jié)點6尋找一條路徑。假設(shè)在整個動作空間中只有動作2到動作10是對應(yīng)的，這意味著有9個動作可選。在本次迭代中，只有Q（S1， A2）到Q（S1， A10）的值被更新，這個狀態(tài)下的其他Q值保持不變。因此，對于Q值表中的每個狀態(tài)，只有小部分的Q值會被訓練，如表2所示。

e. 狀態(tài)空間。與Q-Learning和狀態(tài)-動作-獎勵-狀態(tài)-動作（State-Action-Reward-State-Action，SARSA）算法相比，深度強化學習算法可以處理一個非常大的狀態(tài)空間。因此，該算法使用流量矩陣D（i， j）作為狀態(tài)空間。此狀態(tài)空間在每次迭代時只更新所有數(shù)值中的一個值。

基于上述描述的DRLR算法模型，設(shè)計了DRLR路由規(guī)劃算法，DRLR算法描述如表3所示。

首先，DRLR算法初始化后，控制平面讀取本次迭代的輸入，即節(jié)點對（vi，vj）和流量矩陣D，算法立即啟動。根據(jù)[ε-greedy]策略選擇一個動作，并由智能體在Mininet網(wǎng)絡(luò)仿真環(huán)境中執(zhí)行；其次，智能體從Mininet網(wǎng)絡(luò)仿真環(huán)境中獲得環(huán)境反饋QoS指標時延、帶寬和丟包率；然后，將當前狀態(tài)、下一狀態(tài)、所選動作和環(huán)境反饋存儲在內(nèi)存卡記憶池中，當步驟數(shù)超過200后，每5步進行一次迭代。迭代過程是從記憶池中隨機選擇樣本訓練集，根據(jù)深度強化學習算法得到目標網(wǎng)絡(luò)Y值，并通過梯度下降法進行優(yōu)化計算損失函數(shù)L值，反向傳送回神經(jīng)網(wǎng)絡(luò)。

4 試驗仿真與分析

4.1 試驗仿真環(huán)境

為了對DRLR算法的有效性進行驗證，本章在Ubuntu20.04系統(tǒng)上使用Ryu，Mininet，OpenvSwitch搭建SDN網(wǎng)絡(luò)仿真環(huán)境。試驗所用的網(wǎng)絡(luò)拓撲是經(jīng)典的NSFNet拓撲，拓撲的鏈路時延設(shè)置為20 ms，鏈路最大帶寬設(shè)置為10 M， 并模擬發(fā)送車輛診斷流量、車載通信流量、車載導航流量、車載多媒體流量4種類型流量，持續(xù)時間為10 min，時間間隔為5 s，輸出5條符合QoS需求的路徑，合理分配路徑給4種流量進行數(shù)據(jù)傳輸，保障其傳輸質(zhì)量。試驗拓撲如圖4所示。

算法參數(shù)設(shè)置如表4所示。

4.2 試驗對比與分析

以傳輸車載通信流量為例，因為車載通信流量對時延要求很高，設(shè)置獎勵值參數(shù)時延權(quán)重[β]為0.8、帶寬權(quán)重[θ]為0.1、丟包率權(quán)重[φ]為0.1。并采用Dijkstra算法、蟻群算法和DRLR算法在同等條件下進行了對比分析，設(shè)置每進行5個步驟對傳輸時延進行一次采樣。

Dijkstra算法在時延表現(xiàn)方面并不穩(wěn)定，有較為嚴重的時延抖動，因為此算法無法保障不同類型流量差異化的服務(wù)質(zhì)量。Dijkstra算法時延曲線如圖5所示。

蟻群算法相比傳統(tǒng)路由算法，時延表現(xiàn)上較為穩(wěn)定，抖動發(fā)生在8 ms以內(nèi)，可以較好地保障不同類型數(shù)據(jù)傳輸質(zhì)量，但存在一定的抖動。蟻群算法時延曲線如圖6所示。

DRLR算法與前2種算法進行對比，可以明顯看到時延收斂更為穩(wěn)定，抖動現(xiàn)象控制在4 ms以內(nèi)。DRLR算法時延曲線如圖7所示。

本文將車輛診斷流量、車載通信流量、車載導航流量、車載多媒體流量通過車載以太網(wǎng)進行流量傳輸，減輕CAN等總線的負載，使得CAN總線可以更好地傳輸車輛控制、狀態(tài)監(jiān)測等方面的信息，必須確保車輛可靠、無誤地為駕駛員提供實時指示，以便駕駛員做出快速反應(yīng)和決策，車輛CAN總線報文如圖8所示，車輛控制信息等報文傳輸更穩(wěn)定。

在整個訓練中，在大約300輪訓練后趨于穩(wěn)定，獎勵值有穩(wěn)定的上升趨勢，這表明DRLR算法有良好的收斂性。DRLR歸一化獎勵變化值曲線如圖9所示。

本節(jié)測試以傳輸車載通信流量為例，可以看到在訓練第300個循環(huán)左右時，可以趨于穩(wěn)定輸出路徑。按時延性能“由強到弱”生成5條最優(yōu)路徑，并且按照網(wǎng)絡(luò)流量優(yōu)先級，將第一條最優(yōu)路徑分配給車載通信流量進行轉(zhuǎn)發(fā)，從而對不同類型業(yè)務(wù)的QoS需求進行保障。測試結(jié)果充分證明，所提算法具備有效性和穩(wěn)定性。DRLR車載通信流量路由規(guī)劃如圖10所示。

5 結(jié)束語

本文提出了一種基于SDN的DRLR路由算法，旨在解決CAN總線負載過高、無法滿足車載通信流量等QoS需求的問題。該算法將時延、帶寬和丟包率QoS指標加入獎勵函數(shù)中，以保障不同類型網(wǎng)絡(luò)流量業(yè)務(wù)的QoS需求，并動態(tài)地實時分析網(wǎng)絡(luò)狀態(tài)進行路由規(guī)劃。試驗結(jié)果表明，本文所提的DRLR路由算法，相比其他傳統(tǒng)路由算法，傳輸時延降低至4 ms左右，具有更快更穩(wěn)定的傳輸速率，能夠有效針對不同類型的車載流量進行模塊之間的路由通信。本文還需進一步探索如何解決在車載網(wǎng)絡(luò)環(huán)境中網(wǎng)絡(luò)擁塞、時延等問題，并繼續(xù)提高網(wǎng)絡(luò)的性能和可靠性。

參 考 文 獻

[1] 谷曉會， 章國安. SDN在車載網(wǎng)中的應(yīng)用綜述[J]. 計算機科學， 2020， 47（1）： 237-244.

GU X H， ZHANG G A. A Review of SDN Applications in Vehicular Networks[J]. Computer Science， 2020， 47（1）：237-244.

[2] 翟亞紅， 崔峻瑋. 軟件定義網(wǎng)絡(luò)安全研究進展[J]. 科技導報， 2023， 41（13）： 76-88.

ZHAI Y H， CUI J W. Advances in Software-Defined Network Security Research[J]. Science and Technology Herald， 2023， 41（13）： 76-88.

[3] 崔峻瑋， 翟亞紅. 基于SDN的多媒體流QoS隊列調(diào)度機制研究[J]. 湖北大學學報（自然科學版）， 2023， 45（3）： 404-413.

CUI J W， ZHAI Y H. Research on QoS Queue Scheduling Mechanism for Multimedia Streams Based on SDN[J]. Journal of Hubei University （Natural Science Edition）， 2023， 45（3）： 404-413.

[4] 崔峻瑋， 翟亞紅. 基于自適應(yīng)遺傳蟻群算法的SDN路由規(guī)劃研究[J]. 天津理工大學學報， 2023， 39（3）： 39-48.

CUI J W， ZHAI Y H. Research on SDN Route Planning Based on Adaptive Genetic Ant Colony Algorithm[J]. Journal of Tianjin Polytechnic University， 2023， 39（3）： 39-48.

[5] 郭榮梅， 胡小兵. 求解時間窗口網(wǎng)絡(luò)中前k條最短路徑的方法[J]. 電子學報， 2020， 48（7）： 1387-1395.

GUO R M， HU X B. A Method for Solving the First k Shortest Paths in Time Window Networks[J]. Electronics Letters， 2020， 48（7）： 1387-1395.

[6] 尹鳳杰， 褚群森. 基于改進蟻群算法的QoS路由研究[J]. 遼寧大學學報（自然科學版）， 2020， 47（4）： 312-318.

YIN F J， CHU Q S. Research on QoS Routing Based on Improved ant Colony Algorithm[J]. Journal of Liaoning University （Natural Science Edition）， 2020， 47（4）： 312-318.

[7] 徐嘯， 顧玲麗， 陳建平. 一種智能多路徑路由及子流分配協(xié)同算法[J]. 計算機工程， 2021， 47（9）： 136-144+152.

XU X， GU L L， CHEN J P. An Intelligent Multipath Routing and Subflow Assignment Cooperative Algorithm[J]. Computer Engineering， 2021， 47（9）： 136-144+152.

[8] SUN P， GUO Z， LI J. Enabling Scalable Routing in Software-Defined Networks with Deep Reinforcement Learning on Critical Nodes[J]. IEEE/ACM Transactions on Networking， 2021， 30（2）： 629-640.

[9] PHAM T A Q， HADJADJ-AOUL Y， OUTTAGARTS A. Deep Reinforcement Learning Based QoS-aware Routing in Knowledge-Defined Networking[C]// 14th EAI International Conference. Ho Chi Minh City， Vietnam： Springer Publisher， 2019： 14-26.

[10] JALIL S Q， REHMANI M H， CHALUP S. DQR： Deep Q-Routing in Software Defined Networks[C]//2020 International Joint Conference on Neural Networks （IJCNN）. Padua， Italy：IEEE， 2020： 1-8.

[11] 廖岑卉珊， 陳俊彥， 梁觀平， 等. 基于深度強化學習的SDN服務(wù)質(zhì)量智能優(yōu)化算法[J]. 物聯(lián)網(wǎng)學報， 2023， 7（1）： 73-82.

LIAO C H S， CHEN J Y， LIANG G P， et al. Intelligent Optimization Algorithm for SDN Quality of Service Based on Deep Reinforcement Learning[J]. Journal of Internet of Things， 2023， 7（1）： 73-82.

[12] 黃萬偉， 鄭向雨， 張超欽. 基于深度強化學習的智能路由技術(shù)研究[J]. 鄭州大學學報（工學版）， 2023， 44（1）： 44-51.

HUANG W W， ZHEN X Y， ZHANG C Q. Research on Intelligent Routing Technology Based on Deep Reinforcement Learning[J]. Journal of Zhengzhou University （Engineering Edition）， 2023， 44（1）： 44-51.

[13] 曹景祥， 劉其成. 基于深度強化學習的路徑規(guī)劃算法研究[J]. 計算機應(yīng)用與軟件， 2022， 39（11）： 231-237.

CAO J X， LIU Q C. Research on Path Planning Algorithm Based on Deep Reinforcement Learning[J]. Computer Applications and Software， 2022， 39（11）： 231-237.

[14] 黃鑫陳， 陳光祖， 鄭敏. 基于Q-learning的飛行自組織網(wǎng)絡(luò)QoS路由方法[J]. 中國科學院大學學報， 2022， 39（1）： 134-143.

HUANG X C， CHEN G Z， ZHEN M. Q-learning Based QoS Routing Method for Flying Self-Organizing Networks[J]. Journal of Chinese Academy of Sciences University， 2022， 39（1）： 134-143.

[15] 龍浩， 張書奎， 張力. 基于馬爾科夫決策過程的高能效任務(wù)調(diào)度算法[J]. 計算機應(yīng)用與軟件， 2020， 37（1）： 242-246+291.

LONG H， ZHANG S K， ZHANG L. Energy Efficient Task Scheduling Algorithm Based on Markov Decision Process[J]. Computer Applications and Software， 2020， 37（1）： 242-246+291.

[16] TSAI K C， ZHUANG Z， LENT R. Tensor-Based Reinforcement Learning for Network Routing[J]. IEEE Journal of Selected Topics in Signal Processing， 2021， 15（3）： 617-629.

[17] CASAS-VELASCO D M， RENDON O M C， DA FONSECA N L S. Intelligent Routing Based on Reinforcement Learning for Software-Defined Networking[J]. IEEE Transactions on Network and Service Management， 2020， 18（1）： 870-881.

（責任編輯 王 一）

*基金項目：湖北省教育廳科研計劃重點項目（D20211802）；湖北省科技廳計劃項目（2022BEC008）。

通信作者：翟亞紅（1979—），女，教授，研究方向為智能網(wǎng)聯(lián)和人工智能技術(shù)，zhaiyh_dy@huat.edu.cn。