多模態網絡中時間敏感網絡模態的智能調度機制

楊思錦，莊雷，宋玉，王家興，陽鑫宇

（1.鄭州大學計算機與人工智能學院，河南 鄭州 450001；2.鄭州大學網絡空間安全學院，河南 鄭州 450002）

0 引言

隨著“互聯網+”“工業4.0”與“網絡5.0”的深度融合發展，現有互聯網基礎架構及技術體系存在網絡結構僵化、IP 單一承載、未知威脅難以抑制等基礎性問題，無法通過有限的資源動態化提供智慧、高效、多元的網絡差異化服務[1]。為打破上述網絡發展困境，加速推進新型網絡技術發展，我國鄔江興院士團隊[2]提出了一種網絡各層功能多模態呈現的網絡架構——全維可定義的多模態智慧網絡。其確定了新型網絡基線方式，具有底層資源可重構、多模態網絡并存、全業務承載、智慧化管理等特點[3]。作為未來通信網絡的發展范式，多模態網絡以開放式的網絡架構，通過可編程技術支撐泛在物聯網和工業網多業務形態的并存部署，成為學術界和工業界的關注點[4]。

目前，在新型多模態智慧網絡中，由于不同的網絡模態和差異化的業務需求等因素，導致指數增長的數據量對業務控制信息實時性與確定性之間的矛盾。此外，通信平臺網絡化、共享化和數字化導致各種網絡數據流急劇增多，同時也加劇了網絡風暴、時延、抖動及網絡丟包等問題。例如，智能電網作為多模態網絡最具代表性的行業應用場景之一，是典型的多業務共存環境專網，其生產控制區業務和智能變電站業務對控制信令和數據采集有嚴格的低時延、有界抖動、高可靠等多種需求[5]。針對此類確定性的差異化需求，多模態網絡需要為其提供包括時延、抖動、丟包率等關鍵指標在內的確定性業務保障。

當前能夠保障確定性傳輸的技術主要有時間敏感網絡（TSN,time-sensitive network）和確定性網絡（DetNet,deterministic networking）等，它們主要研究網絡確定性傳輸與低時延高可靠路徑問題。TSN 工作組開發了相關的IEEE 協議標準，以支持專業的局域網實時應用[6]。TSN 通過全網時鐘同步、時間感知整形（TAS,time-aware shaper）、流量調度等機制，實現了局域網范圍內的時間敏感流和非實時流的共網傳輸。為了實現大規模確定性傳輸需求，IETF DetNet 工作組正在開發確定性體系架構，其擴展了TSN 協議標準，致力于三層大規模確定性及可靠性傳輸[7]。TSN 和DetNet 兩者相互結合，通過協議擴展，來保證數據傳輸具有確定的低時延和低抖動，以滿足差異化的服務質量（QoS,quality of service）要求，現已廣泛應用于工業自動化、自動駕駛、智能電網等應用場景[8]。但隨著新型IP、工業互聯、空天地一體化等大規模時間敏感應用的興起，如何實現多樣化網絡模態共生共存環境下的TSN 模態的流量調度，充分發揮網絡特色模態的業務優勢，成為當前面臨的一個重要挑戰。

流量調度是實現確定性傳輸的核心機制，其通過特定的調度算法在選定的所有交換機出口確定每個數據幀的傳輸時隙，保證所有幀在出口鏈路上依次無沖突地傳輸，同時滿足流量各自的時延和帶寬等要求，使不同類別的業務需求在同一網絡上共存。調度與路由聯合規劃是實現大規模流量調度的主要發展趨勢之一，其被排除在IEEE 802.1 標準之外。聯合調度的一個關鍵難題是如何將動態時隙分配與產生的大量路徑相協調，在大規模場景下，該問題計算復雜度高，難以滿足時延調度需求。因此，本文引入深度強化學習（DRL,deep reinforcement learning）算法預測隊列的利用率，生成顯式路由方案，并與基于循環隊列與轉發機制相結合，設計了一種多模態網絡場景下面向時間敏感網絡模態的聯合路由與調度機制，從而使業務流在滿足差異化QoS 目標上實現快速調度。

本文主要研究工作如下。

1) 基于多模態體系架構和循環隊列與轉發機制，在時間敏感網絡模態下開展數據流的全局靜態隊列規劃與局部時隙動態分配聯合調度，實現大規模場景下的時間敏感流的自動化控制與調度。

2) 建立機器學習輔助的聯合調度優化模型，引入改進的DRL 算法建立流量狀態與網絡狀態及路由隊列狀態之間的關系，以預測下一時隙隊列利用率，實現在線智能的顯式路由決策。

3) 通過基于NeSTiNg 模型的仿真來驗證本文調度機制。仿真結果表明，本文調度機制可以很好地為時間敏感應用提供低時延、低抖動的服務，同時提高了流的可調度性和資源利用率；與經典調度機制對比，本文調度機制的有效性更好。

1 背景與相關工作

1.1 CSQF 調度機制

DetNet 工作組提出了適應大規模網絡標準的循環指定排隊和轉發（CSQF,cycle specified queuing and forwarding）機制。不同于TSN 中的時間緊迫觸發整形機制，如TAS、循環排隊與轉發（CQF,cycle queuing and forwarding），CSQF 放松了嚴格的同步約束，通過增加一個接收隊列、一個發送隊列和多個額外隊列來實現靈活的傳輸調度。其中，額外隊列可以增加數據包緩存，并具有一定的處理抖動和流量突發的能力。CSQF 允許使用段路由對數據包進行路由和調度，可同時動態協調每個端口的傳輸周期。

DetNet 草案[9]描述了在大規模確定性網絡中，所有網絡設備通過IEEE 1588v2 精確網絡時間協議（PTP,precise time protocol）實現了全局頻率同步。這使路由器能夠根據本地時間將時間域劃分為多個等長的周期，以便合理安排轉發行為進行周期映射。并且相鄰設備之間有穩定的周期映射關系，在通過自適應學習獲得映射關系后進行后續業務的轉發。在流量整形與轉發方面，草案規定時間敏感流的每個數據包都攜帶一個具有當前周期號的標識符，以便設備確定再次轉發的周期。在轉發周期內，只有發送隊列中緩存的數據包可以發送，而其余隊列只能接收或等待轉發。

1.2 相關工作

以前大多數的聯合調度相關研究都是基于嚴格的時間同步，利用TSN 機制實現局域網內的確定性業務。文獻[10]將時間觸發流和速率約束流分離，優化了幀到虛擬鏈路的分配和虛擬鏈路路由的靜態調度，采用禁忌搜索算法搜索路由與調度聯合方案。文獻[11]提出了一種基于遺傳算法的啟發式調度方法，以時間觸發流的路由和調度約束組合作為基因，生成了靜態全局調度。文獻[12]設計了一種解決路由和調度的整數線性規劃（ILP,integer linear programming），以最小化端到端時延為目標，通過刪減流與鏈路無關的映射條件來縮小問題的規模，并通過ILP 求解器獲得具有較低通信時延的調度方案。文獻[13]提出了一種音視頻橋接（AVB,audio video bridging）流和時間觸發（TT,time-triggered）流共存的聯合調度方法。在考慮AVB 流的同時解決了TT 流的聯合路由與調度問題，其結合K-最短路徑算法和基于貪婪隨機自適應搜索過程的元啟發式算法，提出了聯合路由與調度策略以決策TT流的路徑和門控列表（GCL,gate control list）。聯合路由與調度策略迭代執行集成的路由算法并搜索最優的GCL，最后在迭代過程中不斷更新最優路由與GCL 方案。文獻[14]提出了一種啟發式列表調度器用于TSN 的全局調度，將調度和路由約束合并為一組約束，并在單個步驟中利用該約束計算特定于端口的GCL；根據終端系統之間的最短路徑，采用啟發式列表調度算法依次遍歷可行的計算節點，并在每個節點下遍歷流的可選路徑，在滿足最小化流總傳輸時延的目標基礎上，選擇完成時間最小的路徑和傳輸時延。文獻[15]提出了一種基于配置沖突圖的方法，將路由和調度問題歸約為沖突圖，通過在沖突圖中搜索一個獨立的頂點集來解決原始的流量規劃問題；在導出配置沖突圖過程中，將路徑和傳輸開始時間作為節點，若同時采用2 個節點的配置，則會破壞約束，即2 個節點存在沖突，沖突圖中的所有無關點組合被認為是有效的路由和調度方案，但其同樣采用ILP 聯合啟發式算法進行求解。文獻[16]考慮大規模TSN 的無等待調度和多路徑路由問題，采用離線調度方法，以已知的TT流為節點，以流之間的相關程度為邊，通過基于迭代TLP 的可伸縮調度（IIS,iterated integer-linearprogramming based scheduling）技術將流分組，并以圖劃分算法將IIS 迭代之間的沖突程度降至最低；采用貪心隨機自適應搜索算法探索多路徑路由技術，經過多次迭代，最終找出沖突最小的分組和多路徑方案。其同樣采用ILP 求解每組的約束，最終所有分組的可行解組合為可行的調度方案。上述流量調度機制大多基于TAS 調度TT 流，基于CBS（credit-based shaper）調度AVB 流，且需要嚴格的全網時鐘同步及復雜的門控調度列表，因此，以上機制在大規模確定性網絡中效果不佳。

在最新的大規模確定性網絡研究中。Krolikowski等[17]采用CSQF 與分段路由提出了離線和在線2 種集中控制平面算法，以最大化流量接受率。其主要關注的是確定性網絡的有界時延和抖動，將聯合路由與調度問題描述為一個多商品流問題的擴展，通過列生成和動態規劃的方法進行問題的求解。但在線快速調度只適用于小部分流。文獻[18]在文獻[17]的基礎上，提出了一種負載均衡的解決方案，在產生候選路徑的過程中，考慮鏈路的負載，在解決單個調度路徑路由問題的情況下，生成可行的負載均衡策略。但其未討論多流競爭資源的問題。文獻[19]提出了一種基于軟件定義的時間敏感網絡跨域調度機制，基于3 種廣域時鐘同步技術保障了納秒級的域間同步；利用時隙無沖突約束條件限制了邊緣流量的到達時間，解決了域間鏈路時延的對齊問題；最后在線計算得到全局的門控調度列表。但其未考慮路由帶來的路徑瓶頸問題。

綜上所述，現有時間敏感網絡的流量調度大多基于給定的路由方案，路由算法通常采用最短路徑或生成樹協議來確定，未考慮多流聚合時的資源爭用問題，且主要適用于離線計算的場景。然而，在實際網絡中，流量可能實時動態變化，此外，在大規模多模態網絡調度場景下，在線智能化的路由與調度聯合機制是必要的。為此，本文針對多模態網絡中大規模時間敏感網絡模態的流量調度問題進行了研究，提出了基于CSQF整形機制的時間敏感網絡模態智能調度機制和算法，聯合調度路徑和隊列資源，保證了多業務場景下流量的有界時延及可調度性。

2 系統模型

本節針對時間敏感網絡模態的流量調度問題，在遵循CSQF的基本轉發準則下，設計了基于CSQF的網絡模型和數學模型。

2.1 基于CSQF 的網絡模型

針對基于CSQF 的確定性多模態基礎網絡，本文將時間敏感網絡模態的聯合路由與調度問題定義為在滿足調度模型的約束條件下，針對時間觸發的網絡基礎設施和流量模式F，尋找一個可行的網絡調度，以最大化可調度數據流數量。為不失一般性，本文將網絡拓撲建模為有向圖 G=(V ,E)，其中，V={v1,v2,…,vV}表示底層多模態路由節點集合，E={e1,e2,…,eE}表示相互連接的有向邊集合。每一個鏈路 e=(u ,v )∈E 包含一個從節點u到節點v的長距離鏈路時延和處理時延le。每條鏈路e的帶寬容量為Ce，在一個周期T內鏈路傳輸的最大流量定義為周期流量，用CeT 表示。時間敏感流定義為元組f=(src,dst,t,period,pnum,Df)∈F，每個流fi分別由源節點、目的節點、流傳輸時延、發送周期、數據包數量和最大端到端時延組成。系統參數如表1 所示。

表1 系統參數

為了統一時間敏感流的不同傳輸周期，設置超周期P等于所有時間敏感流的最小公倍數，如式(1)所示。

2.2 基于CSQF 的數學模型

本文調度機制的目的是最大化可調度時間敏感流的數量，其目標函數為

其中，Scheduled(fi)表示時間敏感流fi可成功調度。對于每個流f∈F，本文將可行路徑集表示為PATH，對應于流f的源和目的地之間的路徑，其端到端時延滿足路徑 p∈PATH 上的E2E（end to end）時延約束。在每個超周期內，若分配的時隙在每個邊不重疊，并且滿足每個流的調度約束，則網絡調度是可行的。本文提出的基于CSQF 的調度機制必須滿足以下核心約束條件。

1) 周期約束

為了限制周期T的上限和下限，本文在CSQF中設置了等長的時隙，如式(3)所示。

其中，MTU 為最大數據包長度。

2) 截止時間約束

對于每個確定性數據流，該約束是實現有界時延的確定性轉發關鍵。對于每一條輸入流，其發送時延、處理時延和鏈路時延組成了端到端時延，三者之和應該小于或等于端到端最大時延。該約束定義為

3) 分配配置約束

為了確保多個流不會被同時調度到同一條鏈路，在基于CSQF 實現的調度中，一次只能為一個時間敏感流fi保留一個時隙資源。該約束定義為

4) 時隙無重疊約束

在基于CSQF 的調度中，要確保每個流在每個輸出端口上的時隙必須比輸入鏈路上的時隙調度得晚，即在任何傳輸周期內，流fi在下一跳的傳輸時間應大于后續流fj的出端口時間。式(7)確保了流fi在出端口的傳輸時間和其他任何流fj的出端口時間都不重疊。該約束定義為

當網絡基礎設施的規模和復雜性增加，將多個業務的時間敏感流映射到某個網絡路徑上時，可能稍后才會發現該路徑上的單個鏈路過載，或者因時隙重疊阻塞了流的傳輸，從而使數據流無法滿足其時延約束。此外，如果選擇的下一跳不需要排隊就能轉發，那么就網絡節點而言，較長的可行路徑甚至會產生更低的時延。為了解決路由和調度之間的相互依賴，一種顯式路由策略是必要的。下面將介紹基于預測隊列緩存利用率的顯式路由策略，聯合動態資源調度，以確定最佳路由和調度選項。

3 時間敏感網絡模態的聯合調度機制

針對時間敏感網絡模態的聯合調度問題，本文設計了時間敏感網絡模態的智能調度機制和算法。首先，在基于CSQF 的多隊列轉發平面中，來自不同上游節點的數據包可以映射到相同的發送周期并共享相同的隊列，因此會產生聚合調度問題。此時，隊列緩存是產生數據包丟失的主要因素。為了解決該問題，本文設計了一個基于預測隊列利用率的顯式路由解決方案，以獲得端到端時延與網絡負載之間的均衡，同時解決靜態路由造成的資源爭用問題。該方案以DRL 為基礎，依據當前隊列緩存狀態和網絡指標，預測下一跳隊列利用率，并根據當前和預測的隊列利用率實現負載均衡的顯式路由。其次，時間敏感流與資源分配關系是NP 難問題，因此，基于顯式路由方案，本文設計了一種時間敏感網絡模態的在線多約束迭代調度算法，按流的固有到達順序逐流進行調度，從而減少了計算時間，獲得滿足約束的局部最優解，提高了可調度數據流的數量。

3.1 基于DRL 的顯式路由

本文提出的顯式路由方案考慮當前和預測的隊列緩存利用率，決定緩沖區中數據包的下一跳。當轉發節點接收到數據包時，它會根據多個指標（如隊列利用率和最大化時延）選擇下一跳候選集，以避免數據包丟失、降低排隊時延或達到無等待傳輸，減少抖動。

在基于DRL 預測整形緩存利用率的路由問題中，狀態、動作、獎勵的具體含義如下。

1) 狀態。在時間敏感網絡模態中，狀態指數據分析代理解析出的網絡中的流請求信息和網絡信息，狀態用st=[Ft,bwt,qut,pri]表示，其中，Ft為t時刻流請求集合，bwt為t時刻帶寬容量，qut為當前節點隊列整形緩存利用率，pri 為流的優先級。

2) 動作。動作指將描述的狀態信息st作為輸入，根據優化策略函數指定每個流的下一跳，并生成一個流量分配配置操作。強化學習智能體在獲得當前環境狀態st后，根據策略函數π 生成動作向量at，并將動作的獎勵rt反饋給智能體。動作向量at可表示為

其中，at=[a1,a2,…,an]，每個分量ai(0≤i≤ n)表示鄰居節點之間可用隊列緩存的比重。

3) 獎勵。獎勵是對選擇動作所獲收益的評價。本文模型的目標是讓數據包的時延降低到所需時間間隔內，同時最大限度地提高整形緩存隊列的利用率，因此，在節點i和時間t內，將屬于流fj緩存中的數據包轉發到下一節點，其獎勵為

其中，bwi,t表示剩余鏈路容量，qi,t表示剩余緩存資源，Bwi和Qi分別表示節點的總容量與總緩存資源，Pj表示流fj的長度。

本文采用三層DQN 神經網絡來解決多狀態和動作問題，將網絡狀態作為輸入層，通過與特征對應的計算，網絡模型得到下一時隙緩存隊列的預測值。為了取得較好的訓練效果，采用策略梯度的方法，即用神經網絡將策略參數化，尋找最優的參數使所有數據流的端到端時延最小。損失函數則是對參數化后的目標函數求梯度，使其以最快的速度向目標函數收斂。此時搜索空間相比于初始階段較小，故損失函數為

針對下一跳選擇機制，使用隊列利用率qu(k)和帶寬利用率來度量路由器，記為RANK，并基于該RANK 值從候選集中選擇下一跳。路由器k的RANK 為

其中，參數 α+β+γ=1。每個路由器根據式(12)定義的鄰居節點 N (k)確定下一跳候選集Hk，即

基于隊列緩存利用率的路徑選擇算法允許每個路由器選擇具有較低隊列利用率的下一跳。雖然所選路徑不一定是路由跳數最少的，但考慮緩存隊列的利用率及鏈路利用率，可以實現更低的排隊時延，有效利用底層網絡資源。隊列緩存的顯式路由算法如算法1 所示。在離散時間段內，對于每個路由器，采用鏈路容量、業務模式、當前隊列緩存利用和流優先級作為輸入，經過運行階段和中央控制器的信息分發，每個確定性路由節點可以根據神經網絡的輸出做出路由決策，實現負載均衡的路徑方案。

算法1基于隊列緩存的顯式路由算法

3.2 動態調度算法設計

時間敏感網絡模態的聯合路由與調度機制的整體流程如算法2 所示。

算法2時間敏感網絡模態的聯合路由與調度機制

算法2 的輸入為順序到達的流量模型F、網絡拓撲G，輸出為最終可調度的數據流集合Fsched。首先，算法初始化可調度流量集合（第1)行）；隨后，通過算法1 的顯式路由算法得到可行的調度路徑集（第2)行），并基于每個路由器的RANK 值進行鏈路的排序，得到一條顯式路由（第3)～5)行）。在進行迭代調度過程中，先根據預定義的路由和CSQF 多隊列機制，產生2.2 節定義的鏈路無重疊的約束條件式(3)～式(7)（第7)行）。在滿足約束條件下，求解目標函數得到一個可行的調度方案，將該調度結果更新到Fsched中，并迭代計算未成功調度的具有較高優先級的流（第8)～14)行）。最后得到可調度的全部數據流。

4 仿真實驗

4.1 實驗環境

本文在NeSTiNg[20]上實現了調度模型實例。NeSTiNg 是基于 OMNeT++離散事件模擬器和INET 框架的模擬器，可為網絡層的DetNet 服務和鏈路層的TSN 提供構建塊，能夠輕松地進行實驗。本文使用Python 和Tensorflow 搭建DRL 網絡并進行模型的訓練。

考慮多樣化的綜合網絡環境，本文設置了具有9 個核心節點和100 個邊緣節點的大規模多模態網絡場景。接入和核心鏈路的容量分別為10 Mbit/s和100 Mbit/s，鏈路時延為1～10 ms，設置每個多模態路由節點的帶寬為100 Mbit/s。底層多模態網元均采用3 個隊列的CSQF，用于確定性流量傳輸，隊列大小為1 MB，周期持續時間T=10 μs，超周期P=10 ms。依據實際場景業務需求和TSN 實驗臺定義的流量特征，生成具有隨機源和目的地的時間敏感流[21]，所有的流連續不斷地產生，均服從均值為λ 的泊松分布。本文在網絡中部署了2 000 條具有4 種不同周期的流，周期分別為1 ms、2 ms、5 ms、10 ms。所有應用程序的帶寬要求遵循泊松分布，持續時間服從指數分布，模擬時間設置為1 800 s。

4.2 結果和分析

為了證明時間敏感網絡模態的聯合調度機制的有效性，本文將其與基于CSQF 的最短路徑（SP-CSQF,short path CSQF-based）機制和隨機列生成（CG-RR-CSQF,column generation and randomized rounding-CSQF）機制[17]進行了結果對比。調度性能的評價指標是運行時間與調度成功率。

4.2.1 流量規模對調度性能的影響

調度成功率隨TS 流數量的變化如圖1 所示。隨著流數量的增加，3 種策略的調度成功率均有下降趨勢，但本文機制一直保持最高的調度成功率。當網絡中時間敏感流數量為200 時，本文機制與CGRR-CSQF 機制均能調度98%的流量，而SP-CSQF機制只能成功調度約80%的流量。當流數量大于200 時，會產生資源爭用問題，但本文機制采用的智能顯式路由策略會根據不同的流量特征選擇下一跳，相比于最短路徑，路由節點和鏈路不會成為流量瓶頸，而且采用的整形機制錯開了TS 流之間的傳輸時隙，因此，本文機制調度成功率相比于SP-CSQF和CG-RR-CSQF 分別提高了31%和7%。

圖1 調度成功率隨TS 流數量的變化

隨著流數量的增多，3 種調度機制的運行時間變化如圖2 所示。從圖2 中可以看出，本文機制可以在較短的時間內提供解決方案，在降低求解時間的同時保證了穩定的調度成功率。這對于在線調度來說是合理的。CG-RR-CSQF 和SP-CSQF 均采用離線調度方式，而且需要預知所有流的信息，計算時間長；而本文機制在線動態調度逐流進行計算，減少了計算時間。綜合來看，本文基于預測隊列的聯合調度機制是有效的。

圖2 運行時間隨TS 流數量的變化

4.2.2 不同網絡規模對調度性能的影響

為了探究網絡規模對調度性能的影響，本文隨機生成3 個不同規模的網絡，分別包含50 個、100 個和150 個路由節點，待處理流的數量為1 000 個。

網絡規模對丟包率的影響如圖3 所示。隨著網絡規模的增大，更多的下一跳候選節點可以帶來更好的性能，所以3 種調度機制的丟包率都略有下降，但本文機制具有較低的丟包率。3.1 節的理論描述可以很好地解釋這一結果，本文使用的神經網絡具有較強的學習能力，具有與非線性關系的關聯能力，與CG-RR-CSQF 和SP-CSQF 相比，避免了緩沖區資源較少的路由作為下一跳，因此降低了丟包率。

圖3 網絡規模對丟包率的影響

網絡規模對調度成功率的影響如圖4 所示。隨著網絡規模的增大，可選的下一跳及可用的鏈路資源也越來越多，因此3 種調度機制的調度成功率均有上升。通過與SP-CSQF 和CG-RR-CSQF 對比可以看出，本文機制采用的動態路由方案在處理大規模網絡時具有較高的調度成功率。

圖4 網絡規模對調度成功率的影響

4.2.3 調度機制對時延的影響

時延是確定性網絡需要解決的首要因素，因為確定性時延應用所需的時延是有界的，這為網絡調整數據傳輸提供了一定程度的靈活性。為了評估調度機制對時延的影響，本節以數據包在網絡中經歷的平均跳數為基準，對比了不同調度機制的性能，結果如圖5 所示。本文機制的平均跳數大于CG-RR-CSQF 和SP-CSQF。這說明根據網絡狀態調整傳輸時延的機制是有效的，即本文考慮隊列利用率的方案可以避免選擇隊列緩沖資源較少的路由器，并基于預測的隊列利用率選擇滿足有界時延的下一跳，雖然增加了跳數，但減少了排隊時延，降低了端到端時延。而CG-RR-CSQF和SP-CSQF 雖然經歷的平均跳數相對較少，但其不能根據網絡狀態調整傳輸時延，因此會增大排隊時延，造成較高的丟包率。此外，這也從側面證明了本文機制適合長距離傳輸，且隨著時間的推移趨于收斂且具有穩定性。

圖5 不同調度機制的性能

4.2.4 不同層數的DQN 對調度性能的影響

本節評估不同層數的DQN 對調度性能的影響。DQN-1、DQN-2、DQN-3 分別表示層數為1、2、3 的DQN，共有100 個訓練周期，每個周期迭代1 000 次。不同DQN 層數調度成功率隨訓練周期的變化如圖6 所示。通過對比可知，從宏觀來看，隨著DQN 層數的增加，調度機制的整體性能逐漸提高；且隨著訓練次數的增加，調度成功率也顯著增加。尤其當運行60 個訓練周期后，DQN-3 的性能明顯優于DQN-1 和DQN-2，這說明在運行時間隨訓練周期增加而增加的條件下，本文使用的DQN-3 具有明顯的實效，且收斂性良好。

圖6 不同DQN 層數調度成功率隨訓練周期的變化

5 結束語

本文依據TSN 相關理論基礎和標準，對多模態網絡中的時延敏感流調度機制進行了擴展和改進，提出了一種基于CSQF 的大規模時間敏感網絡模態聯合路由與調度機制，以適應多樣化網絡模態共生共存的環境。該機制利用DRL 預測轉發節點的隊列緩存利用率，將聯合路由與調度機制分解為全局靜態和局部動態的結合。在動態調度過程中，基于預測的隊列利用率生成不同的顯式路由，解決了由于流量聚合而造成的數據丟包率高的問題。同時，智能選擇下一跳機制可消除排隊時延，保證時延的有界性及確定性。另外，基于CSQF 的迭代調度機制解決了離線調度求解時間長的問題。實驗結果表明，在多網絡模態融合的多模態場景下，本文聯合路由與調度機制可以在較短的時間內得出調度結果且具有較高的資源利用率和調度成功率。