歐陽恩山,方云根,田經化
(中國聯通湖南省分公司,湖南 長沙 410014)
中國電信與中國聯通共同建設了一張全球規模最大的5G 獨立組網(Stand Alone,SA)共享網絡,實現了“一張物理網、兩張邏輯網”的共享模式,為雙方5G 業務發展提供了強有力的網絡保障。5G SA 網絡具有高速率、低時延、大連接的特點[1],可廣泛應用于VR/AR、遠程醫療、無人駕駛、工業控制等場景,賦能產業轉型升級。特別是5G R16 版本,更是增強了對低時延高可靠通信(Ultra-Reliable Low-Latency Communications,uRLLC)業務場景的支持能力,用戶面可達到10 ms 的端到端時延、1 ms 的空口時延,可靠性高達99.999%。
但在網絡的實際運營過程中,固定網絡段的傳輸路由問題、無線信號的覆蓋質量引起的丟包重傳、共享網絡的參數配置等,都會大幅增加用戶端到端的時延,進而影響到網絡性能和對時延敏感業務的感知。
本文針對5G SA 網絡共享方用戶的使用感知問題,深入分析影響用戶端到端時延的主要原因,提出一種端到端時延問題定位的方法;通過研究降低5G 無線空口調度時延、傳輸時延等關鍵技術[2],針對固定網絡段提出網絡結構優化策略和路由優化算法;針對無線網絡部分,研究提出一種無線網絡參數優化策略,減少丟包降低時延。經實際運行驗證,本文所提策略取得了明顯改善效果,大幅提升了共享方用戶在5G SA 網絡下的業務感知。
5G 應用對業務面數據包的傳輸時延有較高要求,只有達到一定基準值才不會影響業務感知,如網站頁面訪問、視頻直播、點播、游戲等業務均對時延敏感,因此在衡量網絡端到端體驗指標時,需要對這些業務都進行時延測評[3]。
端到端時延包含無線空口(用戶設備UE 與基站間)、固定傳輸段(基站至用戶面功能(User Plane Function,UPF))間的信號傳輸時延,需關聯無線小區、核心網、承載網監控常用關鍵指標(Key Performance Indicators,KPI),建立時延影響因子庫。可以通過建立如圖1 所示的基于用戶感知的端到端時延監控模型,快速定位問題。

圖1 基于感知的端到端時延監控模型
本文面向用戶感知,以打造低時延高可靠SA網絡為出發點,剖析優化5G 無線空口調度時延、傳輸時延、固定網絡端口傳輸時延及設備處理時延等關鍵技術,深入開展分段研究與問題定位。
光信號在光纖中傳輸所耗費的時間為傳播時延。傳播距離影響傳播時延,傳輸介質也影響傳播時延。通常單位長度光纜的時延約為5 μs/km,傳輸距離越長,時延越大。
設備轉發時延包括業務發送時延、處理時延及排隊時延,在網絡未發生擁塞時,設備轉發時延主要和經過的設備跳數有關。這里重點探討波分復用(Wavelength Division Multiplexing,WDM)和光傳送網(Optical Transport Network,OTN)設備的時延[4]。WDM 和OTN 設備主要由電路板OTU、合分波單元、光放大單元組成,設備部分的時延一般在100~400 μs,收、發兩端加起來,時延一般小于1 ms。一般來說,短距離(如<100 km)情況下設備的時延影響占比較大,長距離時(如>500 km),光纖時延影響較大,傳輸設備的時延可以忽略。
無線空口側時延主要受傳輸間隔、資源調度、混合重傳、終端和基站處理時延等因素影響。在第三代移動通信伙伴項目(the 3rd Generation Partner Project,3GPP)定義的5G NR 協議中,引入了基于時隙的調度方法、上行優先級處理方法、更加靈活的傳輸定時方案等[5]。影響無線空口的時延因子有ping 包調度方式模式、上行預調度、預調度次數、上行誤塊率(Block Error Rate,BLER)、下行BLER 等。
由于5G 共享網絡組網復雜,因此面臨端到端時延定位的問題。針對電信SA 共享基站至聯通UPF 網絡訪問路徑上所有節點路由,研究基于路由追蹤(tracer)的時延跟蹤方法,總結排查影響時延的各個因素并提出解決方案,實現無線網、承載網、核心網時延變化的根因定位。同步實施網絡結構優化、路由策略優化、無線網絡參數優化[6],降低各段時延,提升5G 用戶感知。
本文采取ping 測試分段隔離“透視”跟蹤每一跳網元路段時延,為時延問題定位提供了關鍵性方法,建立了端到端時延問題“三維四步法”診斷手段與優化策略,如圖2 所示。

圖2 端到端時延優化“三維四步法”
將SA 網絡時延路由分為兩段,即無線空口段(UE 與基站間)、固定網絡段(基站至UPF),通過T1、T2 時間戳解析空口時延、固定段時延,見圖3。

圖3 端口跟蹤(T1—T2)基站空口以上時延回環
基于tracer 測試跟蹤,進一步解析出基站至UPF 的各段路由時延,實現分段定位,如圖4。

圖4 基于tracer 跟蹤時延分段隔離
將聯通地市承載網N3 接口地址添加至電信地市邊緣路由器(Edge Router,ER),打通電信SA共享基站至聯通UPF 網絡訪問路徑上所有節點路由,實現利用ping 測試每一跳網元路段時延。測試的時延包括:
(1)共享基站空口時延;
(2)基站端至電信城域網ER 時延;
(3)電信城域網ER 至地市聯通智能城域網核心路由器(Metro Core Router,MCR)時延;
(4)地市聯通城域網MCR 至省會匯聚路由器(Multipul Custom Edge,MCE)時延;
(5)省會MCE 至省會MCR 時延;
(6)省會MCR 至省會核心網底層交換機(End of Row,EOR)時延;
(7)省會EOR 交換機至省會UPF 時延;
(8)省會UPF 至文件訪問服務器(File Transport Protol Server,FTP)時延。
承載網總時延=光纖時延+設備轉發時延,其中,設備轉發時延每跳為40~50 μs[7],光纖時延為5 μs/km。經對比測算,光纖距離是增加時延的主要原因。通過優化網絡拓撲結構,將地市智能城域網MCR 通過波分直連省會長沙MCR,可縮短兩跳路由節點轉發時延和兩段光纖鏈路時延,減少1~2 ms 時延。地市至省會MCR 路由直連改造如圖5、圖6 所示,經測試統計對比,可有效降低時延。

圖5 地市MCR 直連改造前
以衡陽為例,時延對比結果如表1 所示,采取MCR 直連后,基站ping 至省會UPF 的大小包時延平均縮短了1 ms 左右。目前,湖南聯通已完成了13 個共享區地市直連改造。

表1 地市MCR 直連前后ping 時延對比結果
地市到省中心的鏈路,由省干OTN 系統承載,省干OTN 的環網結構決定了信號在光纖傳輸所耗費的時延。
如圖7 所示,湘潭至省中心的兩條鏈路分別為湘潭—閱讀中心局點(短徑,由湘潭直達長沙)、湘潭—河西局點(長徑,經過衡陽、郴州、株洲最后到達長沙)。其短徑、長徑的時延分別為0.5 ms和4.0 ms。經過環網結構優化,在湘潭至株洲新增了一個直達路由,其長度僅為100 km,時延為0.5 ms。優化后湘潭至河西局點的長徑,以及株洲至閱讀中心局點的短徑經新路由開通業務,可減少587 km 的光纜長度,減少了3 ms 時延。

圖7 湘潭、株洲環路優化
通過對長沙和株洲進行環路改造,傳輸距離分別從779 km 下降到92 km 左右,傳輸時延下降約3 ms。環網改造前后時延對比詳見表2。

表2 環網改造前后時延對比
分段測試過程中,發現本地網基站至同一UPF的時延波動差異大,最終確定是受路由中波分環路長、短徑影響。以衡陽為例,長、短徑時延差異約4 ms,如圖8 所示。

圖8 波分長短徑影響
因為網絡協議(Internet Protocol,IP)默認轉發策略為動態負載均衡隨機算法,地市SA 流量長短徑負載流量各占50%,導致不同基站隨機選擇長徑或短徑,時延差異大。基于軟件定義網絡(Software Defined Network,SDN)[8],本文創新提出基于流量負荷的最短路由優化算法:
按照上述算法,通過分析傳輸網絡性能參數,可實現基于負荷的路由最短路徑性能優化,具體實現過程如下:
(1)SDN 控制器獲取網絡拓撲信息及網絡狀態信息。網絡接收用戶接入請求信息,將其發送至控制器,控制器判斷業務類型,并獲取網絡拓撲信息。
(2)控制器計算確定業務起止網絡節點之間所有可選路由。根據獲取的網絡拓撲信息和網絡狀態信息,計算出業務起止網絡節點之間所有可選路由。
(3)基于業務特性確定最佳路由。充分評估當前承載網核心出口為輕載,在不更改線路資源情況下,自動監控網絡負荷,并采用本文提出的算法策略,當鏈路負荷低于50%時,路由選擇最短路徑;當鏈路負荷高于50%時,根據業務特性,將非時延敏感業務分流至長徑波分,實現業務分流。
(4)業務快速重路由。在線路故障時通過承載網網絡協議(Internet Protocol,IP)的快速重路由(Fast Reroute,FRR)保護技術,業務毫秒級切換到長徑備份鏈路,對用戶實現無感知切換。
基于上述算法,針對衡陽智能城域網MCR 和長沙智能城域網MCR,配置外部邊界路由協議(External Border Gateway Protocol,EBGP)本地優先級(local-preference)屬性,并修改轉發策略為主備模式,經測試驗證,衡陽ping 時延減少了4 ms。
如圖9 所示,傳統的上行調度,需要等待終端發送調度請求(Scheduling Request,SR)[10],并獲得授權后才能進行調度。普通上行預調度,雖減少了SR 環節,但在終端沒有上行數據發送時,會造成上行資源的浪費,并引發上行干擾。

圖9 3 種調度方式對比
本文引入智能預調度方法,該功能由下行業務觸發,一旦基站給終端發送下行數據之后,考慮到終端有相應回復,會有上行數傳,此時基站將在一定時間內持續主動給終端上行授權,實現數據即到即傳,從而有效降低業務等待時延。
本文針對不同廠家智能預調度機制,總結出時延優化參數集,包括上行聰慧預調度次數、上行聰慧預調度間隔、上行聰慧預調度延遲觸發時間、上行聰慧預調度的緩沖區狀態報告(Buffer Status Reporting,BSR)計算門限等,詳見表3。

表3 預調度時延參數集
修改預調度參數前后時延對比如圖10 所示。開啟智能預調度后,ping 循環時間(PingLoop Time)從18 ms 下降到12 ms,平均改善了6 ms,時延優化效果明顯。

圖10 修改預調度參數前后時延對比
由于無線環境比較復雜,UE 終端接收基站信號強度偏弱、信噪比(Signal to Interference plus Noise Ratio,SINR)較差、干擾等因素均可導致UE的傳輸速率達不到低時延業務的傳輸速率要求,從而出現大量通信誤碼,引發檢錯、重傳等,會導致無線空口時延大幅增加。
5G 網絡基于時分雙工(Time Division Duplexing,TDD)下行時延處理的關鍵是混合自動重傳(Hybrid Automatic Repeat Request,HARQ)響應和重傳機制[11]。此外,無線網絡覆蓋及信號質量,都將不同程度影響到業務數據的傳送質量。在控制面表現為,在NR 基于競爭的隨機接入(即PRACH 接入)過程中,手機終端發送Msg1 到RRCSetupComplete 之間的時延大幅增加。
在UE 的PRACH 接入過程(從發送Msg1 到RRCSetupComplete 期間),若發生Msg2 或Msg4 失敗,則會觸發Msg1 重傳。Msg1 的最大重傳次數由參數preambleTransMax 定義,重傳時間由raResponseWindow定義。每次重傳功率以powerRampingSte 功率攀升步長增長,直到UE 達到最大發射功率或最大重傳次數,在此期間會導致空口時延的增加。
在用戶面時延主要是通過Ping 包來測試,通常情況下Ping 小包為32 Byte,中包為1 500 Byte,大包為2 000 Byte。Ping 包周期通常為1 s,Ping 不通時會間隔3 s 再次進行Ping 包。統計空閑態UE 對FTP 服務器發起Ping 業務,終端發出第一條RACH preamble 至終端發出RRC Connection Reconfiguration Complete 的時間差形成延時。Ping 包過程如圖11所示。

圖11 Ping 包過程
本文分別選取了無線基站覆蓋好點、差點、極差點,開展大量時延測試。統計結果顯示,當無線網絡參考信號接收功率(Reference Signal Receiving Power,RSRP)小于-105 dBm 時,隨著信號質量的變差,丟包率上升,因此需大量重傳數據包,經測算每重傳一次增加6 ms 時延。在RSRP 持續下降至-130 dBm 期間,ping 時延采樣點嚴重劣化,部分采樣點時延甚至達到100 ms 左右。如圖12 所示,對不同強度無線信號下開展大量ping 測試結果進行統計,結果表明,RSRP 信號強度越低,時延越大。

圖12 網絡覆蓋差異化下的空口時延采樣對比
測試結論:當RSRP 小于-105 dBm 時,ping平均時延將大幅增加。因此,在預調度參數一致的情況下,良好的無線網絡覆蓋及信號質量,可有效降低空口時延。
將本文研究成果應用于現有網絡,經大量測試,結果如表4 所示,共享區聯通5G SA 時延由優化前的20.48~24.41 ms,降低至13.68~14.02 ms,平均時延縮短了9~10 ms,與承建區電信用戶的時延基本一致,實現了雙方用戶時延敏感類業務體驗一致。

表4 共享區SA 時延優化前后對比
將本文策略應用于湖南聯通網絡,發現5G 用戶視頻、游戲類核心業務體驗良好,視頻卡頓率從1.58%降低至0.93%;游戲卡頓率從0.54%降低至0.29%;移動網絡工信部滿意度測評,由2021 年的82.28分穩步提升至2022 年的91.09 分。
針對共享區域5G 業務端到端時延過大、電聯時延感知不一致等問題,本文深入分析了影響時延的關鍵因素,研究了降低電聯5G SA 共享網絡端到端時延的關鍵技術,以及基于無線網、承載網、核心網的端到端時延優化策略,提出了網絡結構優化方案、短徑優先路由調度算法、無線空口參數優化方案。現網部署后取得了良好的改善效果,對提升共建共享5G 網絡品質,有較高的參考價值。