低時延網(wǎng)絡(luò)：架構(gòu)，關(guān)鍵場景與研究展望

左旭彤，王莫為，崔勇

（清華大學(xué)信息科學(xué)技術(shù)學(xué)院，北京 100084）

1 引言

新應(yīng)用和新場景的出現(xiàn)使網(wǎng)絡(luò)空間更加復(fù)雜，不同的應(yīng)用和場景對于網(wǎng)絡(luò)的性能要求不盡相同，時延是影響性能的重要評價指標(biāo)之一。對于游戲、直播等應(yīng)用，時延是影響其用戶體驗的決定性因素；而對于物聯(lián)網(wǎng)（IoT,Internet of things）、自動駕駛等場景，時延則決定其能否正常工作。

計算機網(wǎng)絡(luò)體系采用分層架構(gòu)，網(wǎng)絡(luò)功能被解耦并分配在不同層，每一層按照不同的協(xié)議實現(xiàn)各自的功能，共同完成數(shù)據(jù)傳輸過程。然而，每層協(xié)議或功能的完成可能會使應(yīng)用的時延增加，比如在TCP（transmission control protocol）中通過重傳機制來保證可靠傳輸，但是這可能會增加數(shù)據(jù)分組的傳輸時延，因此低時延的實現(xiàn)需要每一層的努力。同時，對于特定的低時延場景，如數(shù)據(jù)中心網(wǎng)絡(luò)、5G 網(wǎng)絡(luò)和邊緣計算，傳統(tǒng)的分層體系架構(gòu)針對一般網(wǎng)絡(luò)提出的低時延技術(shù)可能不再適用，需要結(jié)合場景不同特點進行時延優(yōu)化。

此前有綜述工作按照時延的來源對網(wǎng)絡(luò)中降低時延的技術(shù)進行詳盡的分類，提供了對時延產(chǎn)生原因的全面分析[1-2]，但是這些工作提出的技術(shù)可能無法適用于特定場景的超低時延需求或者新架構(gòu)。對于不同的低時延關(guān)鍵場景，也有分別針對數(shù)據(jù)中心網(wǎng)絡(luò)[3-4]、5G 網(wǎng)絡(luò)[5-6]及邊緣計算[7-8]的綜述，但是它們僅關(guān)注某一個具體的場景，無法提供對網(wǎng)絡(luò)體系結(jié)構(gòu)時延來源的整體分析與技術(shù)的泛化遷移。

本文在分析了應(yīng)用時延需求的基礎(chǔ)上，按照傳統(tǒng)的網(wǎng)絡(luò)層次架構(gòu)闡述了時延的來源及多種影響時延的因素，如網(wǎng)絡(luò)負(fù)載、路由決策等，并介紹了能夠減少協(xié)議機制與網(wǎng)絡(luò)功能引入時延的相關(guān)技術(shù)。

除了對傳統(tǒng)體系結(jié)構(gòu)中時延進行分析，本文還將低時延分析具體化至數(shù)據(jù)中心網(wǎng)絡(luò)、5G 網(wǎng)絡(luò)、邊緣計算等關(guān)鍵場景。它們分處“云、管、端”的不同位置，互相配合共同構(gòu)建整個低時延網(wǎng)絡(luò)架構(gòu)。與廣域網(wǎng)不同，數(shù)據(jù)中心具備更高帶寬更低時延的特性，并可以靈活部署。利用其特性設(shè)計傳輸協(xié)議和優(yōu)化網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)可以降低數(shù)據(jù)中心中任務(wù)處理的時延。隨著5G 的發(fā)展，超高數(shù)據(jù)率和超低時延成為可能，5G 為優(yōu)化時延在架構(gòu)調(diào)整和關(guān)鍵技術(shù)上做出努力。物聯(lián)網(wǎng)的興起使處在網(wǎng)絡(luò)邊緣的設(shè)備產(chǎn)生的數(shù)據(jù)量急劇增加，這加重了云端計算和網(wǎng)絡(luò)傳輸負(fù)載。邊緣計算通過將計算與存儲下移至網(wǎng)絡(luò)邊緣，降低傳輸及云端計算負(fù)載，避開網(wǎng)絡(luò)傳輸瓶頸并縮短傳輸距離，為用戶提供高帶寬低時延的服務(wù)。

2 應(yīng)用時延需求

時延敏感型應(yīng)用和超低時延場景的出現(xiàn)對時延提出了嚴(yán)格的要求。幾種典型應(yīng)用的時延需求及需要低時延的原因如表1 所示，本節(jié)對每一種應(yīng)用進行簡單介紹。最后以直播場景為例，分析該應(yīng)用時延的組成。低時延網(wǎng)絡(luò)的研究使這些應(yīng)用性能得到提升，進而優(yōu)化用戶體驗。

在直播、虛擬現(xiàn)實（VR,virtual reality）、增強現(xiàn)實（AR,augmented reality）等用戶參與度較高的場景下，時延需求主要來自人與人或者人與設(shè)備之間的流暢交互。在互動直播場景下，時延超過1 s會極大影響主播與觀眾的用戶體驗[9]。VR、AR 場景中要求設(shè)備能對人給出的信號做出及時的反應(yīng)，因此，人機交互體驗的優(yōu)化對時延提出了10 ms 的高要求[10]。

表1 幾種典型應(yīng)用的時延需求及其原因

在自動駕駛場景下，車輛要在復(fù)雜的交通環(huán)境中及時感受到環(huán)境的變化并做出反應(yīng)，這要求車輛與車輛、行人、道路設(shè)施之間進行低時延通信，其時延需求達到幾毫秒[11]。另外，自動駕駛設(shè)備需要進行人機交互，尤其是切換駕駛模式的情況下，要求設(shè)備模式切換在復(fù)雜的環(huán)境中不出差錯，這也需要超低時延。

在IoT 的場景下，人與設(shè)備或設(shè)備與設(shè)備在協(xié)調(diào)工作時需要通過網(wǎng)絡(luò)進行通信。在工業(yè)互聯(lián)網(wǎng)的場景下，工廠實現(xiàn)高效率的自動化生產(chǎn)需要完成實時的操作控制，如果生產(chǎn)的某些步驟因未及時接收到指令而出現(xiàn)滯后便會影響產(chǎn)品質(zhì)量甚至導(dǎo)致系統(tǒng)崩潰，因此工業(yè)互聯(lián)網(wǎng)對于時延也提出了較高的要求，達到1～10 ms[12]。

根據(jù)本節(jié)之前所述，不同的應(yīng)用和場景對網(wǎng)絡(luò)時延有不同的需求，低時延網(wǎng)絡(luò)的研究使這些應(yīng)用成為可能。為了滿足應(yīng)用的低時延需求，首先需要探究時延的可能來源及降低時延的技術(shù)，本節(jié)接下來會以流媒體直播應(yīng)用為例進行簡要闡述。

隨著視頻直播的興起，直播的質(zhì)量與用戶體驗受到學(xué)術(shù)界與工業(yè)界的廣泛關(guān)注，時延是其中一個重要的評價指標(biāo)。目前在比較流行的交互式直播中，觀眾會與主播進行互動并希望得到及時的回應(yīng)。為了實現(xiàn)更加流暢的交互體驗，在實際應(yīng)用中會采用時延較低的實時消息協(xié)議（RTMP,real-time messaging protocol），此時主播與觀眾之間的端到端時延可以劃分為3 個部分，分別是主播端視頻內(nèi)容上傳到服務(wù)器的時延、將視頻從服務(wù)器下載到客戶端的時延和下載內(nèi)容在客戶端緩沖的時延[13]。

對于直播來說，播放流暢和低時延都有助于獲得良好的用戶體驗。為防止因網(wǎng)絡(luò)抖動造成視頻卡頓，客戶端中往往會設(shè)置視頻緩沖區(qū)，但這會導(dǎo)致下載到客戶端的視頻幀不能被立即播放。視頻幀到達客戶端的時間與該幀被播放時間的差值就是在客戶端緩沖區(qū)的時延，測量和研究表明客戶端緩沖的時延在端到端時延中占有最大的比例[13]。有眾多研究關(guān)注客戶端緩沖時延優(yōu)化問題，調(diào)整客戶端播放邏輯、優(yōu)化傳輸?shù)确绞綇木W(wǎng)絡(luò)架構(gòu)的不同層次優(yōu)化了緩沖時延，同時不會導(dǎo)致視頻卡頓。

調(diào)整客戶端的播放邏輯以適應(yīng)網(wǎng)絡(luò)狀況的變化需在應(yīng)用層做出優(yōu)化。在客戶端，調(diào)整預(yù)緩沖的數(shù)據(jù)量[14]及在播放過程中根據(jù)網(wǎng)絡(luò)抖動情況進行緩沖區(qū)大小的調(diào)整可以降低客戶端緩沖時延[15]。緩沖區(qū)的歷史長度可以反映網(wǎng)絡(luò)抖動狀況，在網(wǎng)絡(luò)抖動小時，縮短緩沖區(qū)長度可以實現(xiàn)低的客戶端緩沖時延。對于下層的數(shù)據(jù)傳輸，也需要明確時延的來源并進行優(yōu)化。以傳輸協(xié)議選擇為例，在直播中應(yīng)選擇不需要切片的低時延的RTMP 協(xié)議而非HLS（HTTP live streaming）協(xié)議，但是上述2 種協(xié)議均基于TCP，為了進一步降低時延，可以設(shè)計基于UDP（user datagram protocol）的專用傳輸協(xié)議。

通過上述的分析可知，降低應(yīng)用感受到的時延需要網(wǎng)絡(luò)架構(gòu)從上層到下層的共同努力。在第3 節(jié)，會按照網(wǎng)絡(luò)的分層體系架構(gòu)，詳細(xì)地分析時延的來源并介紹相應(yīng)的降低時延的技術(shù)。

3 分層模型中的低時延

為使復(fù)雜的計算機網(wǎng)絡(luò)系統(tǒng)簡化，網(wǎng)絡(luò)體系結(jié)構(gòu)被設(shè)計為分層模型，每一層都有特定的功能，以完成數(shù)據(jù)通信的過程。網(wǎng)絡(luò)體系結(jié)構(gòu)中每一層通信協(xié)議和處理機制的設(shè)計極大地影響了數(shù)據(jù)傳輸?shù)男阅埽竟?jié)將按照網(wǎng)絡(luò)體系結(jié)構(gòu)的分層模型對網(wǎng)絡(luò)中的時延來源進行分類，介紹為了降低時延而設(shè)計的協(xié)議或技術(shù)并分析其優(yōu)缺點。

3.1 傳輸層時延及降低時延的技術(shù)

第2 節(jié)提到的RTMP、HLS 等協(xié)議在傳輸層都基于TCP，相比于非可靠傳輸?shù)腢DP 協(xié)議，保證端到端之間可靠且按序傳輸會引入較多的時延，包括連接建立的時延、慢啟動的時延、保證數(shù)據(jù)分組到達的丟失恢復(fù)時延、隊頭阻塞時延等。接下來將以TCP 為例，對上述時延以及優(yōu)化技術(shù)進行分析。

在使用TCP進行數(shù)據(jù)傳輸之前需要完成3 次握手以與接收端建立連接，若使用安全加密的Web 服務(wù)則還存在SSL/TLS 握手。降低握手（控制信息的交互）的次數(shù)，減少數(shù)據(jù)分組往返時間（RTT,round-trip time）個數(shù)，可以有效地降低傳輸層時延，這種方式對降低短流時延具有顯著效果。谷歌[16]于2011 年提出TFO（TCP fast open），目標(biāo)是在握手的同時進行數(shù)據(jù)傳輸，它通過使用cookie 實現(xiàn)，在確認(rèn)字符（ACK,acknowledge character）回到接收端之前發(fā)送數(shù)據(jù)，該方案在2014 年被IETF（The Internet Engineering Task Force）組織標(biāo)準(zhǔn)化，但由于兼容性等問題并未被廣泛使用。此后，谷歌公司提出的快速UDP 網(wǎng)絡(luò)連接（QUIC,quick UDP Internet connection）[17]中采用了類似TFO 的技術(shù)，將傳輸握手和加密同時完成，實現(xiàn)一個RTT 時間完成握手，如圖1(a)所示。在恢復(fù)會話時，客戶端緩存的cookie和已經(jīng)被加密的數(shù)據(jù)會直接發(fā)送到服務(wù)器端，服務(wù)器端利用此次的傳輸信息對客戶端進行驗證，如果驗證通過就接收數(shù)據(jù)，從而完成零RTT的握手，握手過程如圖1(b)所示。

圖1 QUIC 中握手時延優(yōu)化

對于新建立的TCP 連接，初始擁塞窗口的設(shè)置以及增長速度對于短流的流完成時間非常關(guān)鍵，有很多針對于此的研究。Allman 等[18]于2002 年提出可以將TCP 初始窗口從一個最大分組長度（MSS,maximum segment size）增加到4 個MSS 而不會導(dǎo)致?lián)砣罎ⅰukkipati[19]于2010 年提出將初始窗口數(shù)從4 提高到大于或者等于10，相較于Allman等提出的方法，此方案更加激進，在高RTT 和高帶寬時延積的網(wǎng)絡(luò)中，HTTP 請求的響應(yīng)平均時延降低了10%左右，在低帶寬的網(wǎng)絡(luò)中時延也有一定程度的提升。但是之前的方案對初始窗口的設(shè)置相對固定，靈活度低，Wang 等[20]提出在大帶寬高時延場景，對慢啟動階段做修改，自適應(yīng)地反復(fù)重置慢啟動閾值。通過在啟動階段適應(yīng)網(wǎng)絡(luò)條件，發(fā)送方能夠快速增長擁塞窗口，而不會引起緩沖區(qū)溢出和多次丟失分組的風(fēng)險。

在保證按序傳輸?shù)膮f(xié)議中，若在傳輸過程中因分組丟失或選路不同導(dǎo)致先發(fā)送的數(shù)據(jù)分組后到達接收端時，位于緩沖區(qū)的后續(xù)數(shù)據(jù)分組就被阻塞而不能提交到上層，隊頭阻塞現(xiàn)象發(fā)生進而增加應(yīng)用感受到的時延。

如果隊頭阻塞是由于分組丟失引起的，可以通過盡快通知發(fā)送端分組丟失來加快重傳，降低重傳時延，從而緩解了隊頭阻塞的情況。在TCP 的一些增強版本中加入快速重傳機制（fast retransmit）[21]，重復(fù)ACK 指示分組丟失，發(fā)送端可以在了解到網(wǎng)絡(luò)發(fā)生擁塞的同時加快此丟失分組的重傳過程。但是重復(fù)ACK 的接收在檢測分組丟失時仍有較長時延，可通過有效載荷方法（cutting payload）[22]在此方面進行優(yōu)化。在CP 方案中，如果數(shù)據(jù)分組到達交換機之后發(fā)現(xiàn)交換機上緩沖區(qū)不足，即會發(fā)生分組丟失，交換機可將此數(shù)據(jù)分組的有效載荷裁去，僅將數(shù)據(jù)分組頭部傳送到接收端，接收端收到數(shù)據(jù)分組頭部后會通知發(fā)送端分組丟失及發(fā)生擁塞，而不需要等待多次ACK 的到達甚至發(fā)生超時重傳。

隊頭阻塞也可能是由于數(shù)據(jù)分組無序到達引起的，在多徑TCP 中數(shù)據(jù)分組無序問題是一個重點關(guān)注的問題。為了解決多徑TCP 中數(shù)據(jù)分組的亂序到達引起的阻塞，可以在數(shù)據(jù)開始發(fā)送前或者傳輸過程中通過合理調(diào)度來緩解阻塞的情況。滑動多徑調(diào)度器（STMS,slide together multipath scheduler）[23]在數(shù)據(jù)發(fā)送前對數(shù)據(jù)分組進行調(diào)度，STMS 為RTT 小的快速路徑預(yù)分配數(shù)據(jù)分組并使序號大的數(shù)據(jù)分組在RTT 大的慢路徑上傳輸。設(shè)置通過走快速路徑和慢速路徑的數(shù)據(jù)分組的分界點，STMS 可以實現(xiàn)分組順序到達并緩解因無序到達而造成的隊頭阻塞。如果在傳輸中出現(xiàn)隊頭阻塞，可以使用機會重傳（opportunistic retransmission）[24]機制，將造成隊頭阻塞的數(shù)據(jù)分組在可能會有可用擁塞窗口的子流上重傳。

近幾年提出的新協(xié)議中也有解決隊頭阻塞的技術(shù)。比如，在Langley 等[25]提出的QUIC 中，一個連接支持多個流，每個QUIC 數(shù)據(jù)分組都是由屬于若干個流的數(shù)據(jù)幀組成的，在這種情況下，如果數(shù)據(jù)分組丟失或者先發(fā)送的數(shù)據(jù)分組晚到達，只會影響該分組中包含的數(shù)據(jù)流，其他數(shù)據(jù)流并不會發(fā)生隊頭阻塞。QUIC 以其眾多優(yōu)勢而被廣泛采納和使用，并被IETF 標(biāo)準(zhǔn)化為HTTP 3.0[26]。

擁塞控制是傳輸層的重要功能，一個設(shè)計良好的擁塞控制算法不僅要最大化吞吐量，還應(yīng)該實現(xiàn)低的排隊時延。擁塞控制可以防止隊列生成，進而直接減少排隊時延。擁塞控制算法中有一類是基于時延的算法，它們將時延作為信號來管理擁塞，時延信號會比分組丟失和顯示擁塞通知更及時地反映網(wǎng)絡(luò)的隊列狀況。

目前，很多基于時延的擁塞控制算法被提出[27-29]，比如Copa[28]方案，在該方案中，目標(biāo)發(fā)送速率被設(shè)置成所測量到的排隊時延的倒數(shù)，并且按此發(fā)送速率調(diào)整擁塞窗口，當(dāng)發(fā)送速率超過目標(biāo)速率就減少擁塞窗口，從而阻止了隊列的生成。谷歌擁塞控制算法（Google congestion control）[29]將（單向）排隊時延的梯度作為推斷擁塞的信號，排隊時延的梯度（導(dǎo)數(shù)）可以反應(yīng)緩沖區(qū)的變化情況，提供了對緩沖區(qū)大小預(yù)測的能力。同時，GCC 使用卡爾曼濾波來估計排隊時延梯度，設(shè)置該梯度的自適應(yīng)閾值以控制增加或減少的速率，從而實現(xiàn)最小化緩沖區(qū)及時延的目標(biāo)。

3.2 網(wǎng)絡(luò)層時延與降低時延的技術(shù)

網(wǎng)絡(luò)層的核心功能是選擇路徑，不同路徑的端到端時延可能會有較大差別。除了端到端時延，路由算法還有可靠性、通信開銷等性能指標(biāo)，路由算法完成性能指標(biāo)之間的權(quán)衡。例如，后壓路由算法[30]可以實現(xiàn)最優(yōu)的網(wǎng)絡(luò)吞吐量，但是被證明端到端時延隨路徑跳數(shù)呈平方式增長。在該算法中，每個節(jié)點需要為每個流維護一個隊列，而且一次只能服務(wù)一個隊列，時延性能有待提升。針對此問題，Bui等[31]提出減少每個節(jié)點維護的實際隊列的方法，提升了后壓式路由算法的端到端時延性能。

流量工程是優(yōu)化網(wǎng)絡(luò)流量分配方式的技術(shù)，其目標(biāo)是通過負(fù)載均衡降低網(wǎng)絡(luò)擁塞，不僅可以實現(xiàn)網(wǎng)絡(luò)帶寬利用率的提升，而且可以降低在擁塞節(jié)點的排隊時延，進而降低數(shù)據(jù)分組到達接收端的時延[32]。流量工程的概念最初是在多標(biāo)簽交換網(wǎng)絡(luò)中提出的[33]，在2000 年被引入IP 網(wǎng)絡(luò)中[34]。根據(jù)流量需求的可用性以及進行流量調(diào)整的操作時間尺度可以將流量工程分為在線和離線兩大類[32]。

對于IP 網(wǎng)絡(luò)中的離線流量工程算法，一般是修改內(nèi)部網(wǎng)關(guān)協(xié)議中的鏈路上的權(quán)重，然后根據(jù)最短路徑進行路由[35]，以期獲取端到端低時延。如果兩點之間有不止一條最短路徑，可以利用等價多路徑路由（ECMP,equal-cost multi-path routing）對流量進行平均分配。但是ECMP 方法無法考慮當(dāng)前鏈路負(fù)載、時延等因素，因此平均分配可能不是最優(yōu)策略。有研究提出非均等流量分配，可以在一個合理的最短路子集上進行流量均等分配[36]，或者設(shè)置指數(shù)級的代價函數(shù)以使對長路徑設(shè)置的懲罰更高[37]，最終實現(xiàn)端到端時延的優(yōu)化目標(biāo)。然而，離線的算法無法根據(jù)網(wǎng)絡(luò)負(fù)載的變化而進行動態(tài)變化，在線的流量工程彌補了這個缺點，但是動態(tài)地更新鏈路權(quán)重可能會導(dǎo)致路由振蕩的問題[32]。

路由和流量工程共同決定了網(wǎng)絡(luò)拓?fù)浼巴負(fù)鋬?nèi)流量的分配，進而影響網(wǎng)絡(luò)的擁塞情況與時延[38]，目前，關(guān)于拓?fù)浼捌渖系穆酚刹呗缘年P(guān)系的研究較少，而拓?fù)渑c路由未合理匹配同樣會導(dǎo)致?lián)砣蛘吒邥r延[39]。針對此問題，Gvozdiev 等[39]提出評估拓?fù)淇捎眯缘闹笜?biāo)、將流量路由到可用的低時延路徑的方案。該方案中的指標(biāo)是可選路徑可用性大于某個閾值的入網(wǎng)點對數(shù)與總?cè)刖W(wǎng)點對的比值，此指標(biāo)高表示可以在更多的鏈路周圍路由到更短的路徑而不引入過多的時延，所以此指標(biāo)高的拓?fù)渑c路由方案匹配更易實現(xiàn)低時延和少擁塞的選路。與此同時，為防止突發(fā)流量造成的鏈路擁塞，會在鏈路上剩余部分容量，但是剩余容量的增加會使路徑時延增加，所以剩余容量成為避免擁塞和降低路徑時延的關(guān)鍵點。該研究探究了拓?fù)渑c路由的匹配關(guān)系，設(shè)計剩余容量的大小，提出能應(yīng)對流量變化并可以利用拓?fù)渎窂蕉鄻有缘姆桨福瑢r變的流量低時延無擁塞的路由到接收端。

3.3 鏈路層時延與降低時延的技術(shù)

數(shù)據(jù)鏈路層可解決共享介質(zhì)的訪問問題，信道接入時延是數(shù)據(jù)鏈路層時延的重要組成部分。對于非爭用型的靜態(tài)信道分配，會存在信號發(fā)送前等待時間長、信道利用率低等問題。對于爭用型的信道分配方案，由于沒有控制器進行統(tǒng)一管理，所以控制和計算開銷低，但是會存在信道爭用產(chǎn)生的沖突和等待的時延，尤其是在信道負(fù)載較高時，競爭的時延開銷不能被忽略。

802.11n 中采用CSMA/CA，幀聚合是一種降低此方案中沖突的技術(shù)。幀聚合[40]通過將多個幀聚合之后再發(fā)送，可以降低爭用的概率，從而降低等待時延和沖突之后的重傳開銷，但是計算聚合也需要花費時間，需要做兩者的權(quán)衡。在最新確定的下一代Wi-Fi 標(biāo)準(zhǔn)802.11be 中，時延和抖動被定為與高吞吐并行的項目優(yōu)化目標(biāo)，在數(shù)據(jù)鏈路層需要設(shè)計新的分布式的CSMA/CA 機制，以優(yōu)化信道接入并保證與部署在其中的獨立接入點公平共存[41]。

對于需要超低時延通信的場景，如工業(yè)互聯(lián)網(wǎng)，時延要求是幾微秒到幾毫秒。IEEE 802.1 時間敏感網(wǎng)絡(luò)（TSN,time-sensitive networking）標(biāo)準(zhǔn)和相關(guān)研究已經(jīng)尋求為超低時延通信網(wǎng)絡(luò)提供鏈路層支持，以解決特定業(yè)務(wù)時延抖動大，時延范圍無法確定等問題。在TSN 數(shù)據(jù)鏈路層中引入幀搶占技術(shù)（802.3br[42]和802.1Qbu[43]），為幀分配優(yōu)先級。為了傳輸高優(yōu)先級的幀，低優(yōu)先級幀的傳輸可以被搶占，從而保證高優(yōu)先級的幀不會被阻塞。另外，在幀調(diào)度方面，增加基于時隙的調(diào)度（802.1Qbv[44]），遵循時分多址（TDMA,time division multiple access）規(guī)則。該方案將不同優(yōu)先級的幀分派到不同隊列，并利用開關(guān)門機制決定幀傳輸。首先在每一個時隙根據(jù)門控情況及隊列優(yōu)先級情況決定可以傳輸幀的隊列，之后在每一個隊列中采用各自隊列的幀調(diào)度策略，這樣可以確保時延敏感的隊列有確定的調(diào)度時間，使時延敏感的業(yè)務(wù)得到有保證的時延。

3.4 網(wǎng)絡(luò)時延測量

不同層的時延都是端到端時延的一部分，而對包含單向時延及RTT 的網(wǎng)絡(luò)時延的測量是研究者了解并分析網(wǎng)絡(luò)行為及性能的重要部分。對于單向時延的測量，需要解決的一個關(guān)鍵問題是收發(fā)兩端本地時鐘的同步問題，有很多針對于此的研究，如軟件時鐘同步法（如網(wǎng)絡(luò)時間協(xié)議NTP（network time protocol））與硬件時鐘同步法（如利用全球定位系統(tǒng)GPS 接收機），以及一些優(yōu)化的時鐘同步算法，如通過雙向測量檢測時鐘調(diào)整與估計時鐘偏差的Paxson 算法[45]及Moon 等[46]提出的線性規(guī)劃算法，也可通過測量RTT 繞過時鐘同步的問題。

網(wǎng)絡(luò)時延的測量方法眾多，主動與被動時延測量是常用的測量方法。相比于主動向網(wǎng)絡(luò)中發(fā)送測試數(shù)據(jù)來測量網(wǎng)絡(luò)時延，被動時延測量更加節(jié)省網(wǎng)絡(luò)帶寬資源。然而目前在被動時延測量RTT 方向時通常會利用傳輸層信息，如基于TCP 時間戳的被動RTT 測量[47]及利用擁塞控制或者流控特性的RTT測量方法[48]。但是如QUIC 等正在部署的傳輸協(xié)議隱藏了被動RTT 測量的信息。針對這個問題，De Vaere 等[49]于2018 年提出代替TCP 時間戳的輕量級時延信號，此信號使用傳輸協(xié)議頭部的三位，支持單流、單點及單向的RTT 被動測量，使被動網(wǎng)絡(luò)時延測量方法與傳輸獨立。不過主動時延測量也有高靈活性等優(yōu)勢，所以目前在實際應(yīng)用中也會采用主動與被動時延測量結(jié)合的方式。

4 低時延關(guān)鍵場景

第3 節(jié)按照網(wǎng)絡(luò)層次架構(gòu)分析了網(wǎng)絡(luò)中的時延及優(yōu)化技術(shù)，本節(jié)將時延分析具體到3 個關(guān)鍵的低時延場景：數(shù)據(jù)中心網(wǎng)絡(luò)、5G 網(wǎng)絡(luò)和邊緣計算。這些場景因具有不同的特性而采用了不同的低時延技術(shù)。

4.1 數(shù)據(jù)中心網(wǎng)絡(luò)

相比于廣域網(wǎng)，數(shù)據(jù)中心網(wǎng)絡(luò)具備更高帶寬和更低時延的特性，而且可以靈活部署，這些特性使數(shù)據(jù)中心網(wǎng)絡(luò)可以完成大量數(shù)據(jù)的快速存儲和處理，成為大數(shù)據(jù)和云計算重要的基礎(chǔ)設(shè)施。本節(jié)介紹數(shù)據(jù)中心網(wǎng)絡(luò)中實現(xiàn)低時延的技術(shù)，主要分為兩部分：一部分是傳輸層優(yōu)化，優(yōu)化擁塞控制與流調(diào)度以降低傳輸時延；另一部分是網(wǎng)絡(luò)層拓?fù)浣Y(jié)構(gòu)優(yōu)化，從而設(shè)計合理的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)來降低數(shù)據(jù)中心網(wǎng)絡(luò)的時延。

4.1.1 擁塞控制與流調(diào)度

數(shù)據(jù)中心網(wǎng)絡(luò)因為處理一些分布式的任務(wù)或者Web 請求而存在大量的短流，這些短流一般數(shù)據(jù)量較小但是希望可以獲得快速響應(yīng)。數(shù)據(jù)中心網(wǎng)絡(luò)也存在數(shù)量較少但是數(shù)據(jù)量較大的長流，這些長流對時延要求較低但是希望可以實現(xiàn)高吞吐量。關(guān)于滿足數(shù)據(jù)中心網(wǎng)絡(luò)中短流低時延與長流高吞吐需求的研究一直在進行。

DCTCP（datacenter TCP）[50]是專為數(shù)據(jù)中心設(shè)計的類似TCP 的傳輸層控制協(xié)議。DCTCP 利用顯式擁塞通知（ECN,explicit congestion notification）向終端提供多比特反饋。當(dāng)遇到擁塞時，中間交換機對數(shù)據(jù)分組進行ECN 標(biāo)記，經(jīng)由接收端通知發(fā)送端網(wǎng)絡(luò)擁塞。發(fā)送端根據(jù)被ECN 標(biāo)記的數(shù)據(jù)分組比例，即網(wǎng)絡(luò)的擁塞情況，來調(diào)節(jié)擁塞窗口，而不是直接將擁塞窗口減半，這樣可以提升窗口恢復(fù)速度，并使交換機的緩沖隊列維持在較低水平，大大降低短流時延的同時滿足了長流的高吞吐量需求。

在數(shù)據(jù)中心網(wǎng)絡(luò)中，為了防止時延敏感的短流被長流阻塞，可以使用優(yōu)先級隊列調(diào)度程序來提高它們的優(yōu)先級，從而降低短流的完成時間及平均流完成時間。pFabric[51]就是采用了上述思想的數(shù)據(jù)中心流調(diào)度算法，該算法將流調(diào)度和速率控制解耦、流簡化調(diào)度和速率控制，并最終提供了一個接近理論最優(yōu)值的流完成時間。流調(diào)度是基于優(yōu)先級的，交換機可以利用很小的緩沖區(qū)來實現(xiàn)，因此可以降低數(shù)據(jù)分組的排隊等待時間。在速率控制方面，pFabric 不需要進行慢啟動，開始時是線速發(fā)送，當(dāng)發(fā)生長時間大量的分組丟失時再利用速率控制來降低發(fā)送速率。

傳統(tǒng)的TCP/IP 協(xié)議棧越來越不能滿足新一代數(shù)據(jù)中心網(wǎng)絡(luò)工作負(fù)載的超高吞吐超低時延的需求，CPU 目前處理數(shù)據(jù)分組的開銷是不能被接受的[52-53]。第3 節(jié)的分析針對傳統(tǒng)的網(wǎng)絡(luò)體系結(jié)構(gòu)，無法從本質(zhì)上解決端側(cè)的處理時延開銷，該問題的解決需要利用新的技術(shù)如遠(yuǎn)程直接內(nèi)存訪問（RDMA,remote direct memory access）、數(shù)據(jù)平面開發(fā)套件（DPDK,data plane development kit）等方式，在不需要端側(cè)的操作系統(tǒng)參與的情況下，直接實現(xiàn)不同主機內(nèi)存數(shù)據(jù)的傳輸和訪問。

RDMA 是為解決網(wǎng)絡(luò)傳輸中服務(wù)器端數(shù)據(jù)處理的時延而產(chǎn)生的，因為網(wǎng)絡(luò)I/O(input/output)存在瓶頸，所以數(shù)據(jù)中心網(wǎng)絡(luò)的大帶寬無法被充分利用。RDMA 的零拷貝技術(shù)，繞過內(nèi)核處理，省去了中斷處理和各種拷貝的時間[52]。數(shù)據(jù)在發(fā)送端與接收端進行處理時，會完成硬件設(shè)備與應(yīng)用層的直接交互而不經(jīng)過內(nèi)核的處理，從而實現(xiàn)服務(wù)器端處理的低時延，具體如圖2 所示。

圖2 RDMA 低時延示意

RDMA 已經(jīng)被部署到數(shù)據(jù)中心，目前有基于無線寬帶（InfiniBand）的RDMA 網(wǎng)絡(luò)，還有基于以太網(wǎng)的 RDMA 網(wǎng)絡(luò)，即 RoCE（RDMA over converged ethernet）。基于InfiniBand 的RDMA 需要更換智能網(wǎng)卡和交換機，成本較高，而基于以太網(wǎng)的RDMA 網(wǎng)絡(luò)只需要更換網(wǎng)卡，成本較低。

在基于IP 路由的數(shù)據(jù)中心網(wǎng)絡(luò)上，RDMA 使用RoCEv2 協(xié)議部署[53]，為實現(xiàn)數(shù)據(jù)鏈路層的無損傳輸，RoCE 采用基于優(yōu)先級的流控（PFC,priority-based flow control），但是直接利用PFC 操作粒度太粗，可能會面臨隊頭阻塞問題，導(dǎo)致?lián)砣刂菩Ч蛔悖羰褂昧骷墑e的擁塞控制則可以解決此問題。量化擁塞通知（QCN,quantized congestion notification）被提出以解決上述問題，但是QCN 是一個兩層的協(xié)議，無法用于網(wǎng)絡(luò)層。在這種情況下，Zhu 等[53]提出DCQCN（data-center QCN）以解決PFC 引入的問題。DCQCN是一個為RoCEv2 協(xié)議設(shè)計的流級別的擁塞控制算法，而且有不需要慢啟動等優(yōu)勢，可以將隊列長度維持在較低的水平，降低了端到端時延。

數(shù)據(jù)中心網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)對時延的影響主要體現(xiàn)在2 個方面：網(wǎng)絡(luò)擁塞和路由路徑長度。一方面，數(shù)據(jù)中心網(wǎng)絡(luò)的流量具有高動態(tài)性，易產(chǎn)生擁塞熱點。當(dāng)持續(xù)時間較長的大流發(fā)生擁塞時，交換機的緩沖區(qū)被填充，從而導(dǎo)致短流的時延增大。加之每類業(yè)務(wù)發(fā)生擁塞時往往同時涉及多條鏈路，進一步加重了熱點擁塞對傳輸性能的影響。另一方面，端到端過長的路徑會增加傳輸過程中的傳播、處理和排隊時延，這就要求拓?fù)浣Y(jié)構(gòu)要具有較小的網(wǎng)絡(luò)直徑。因此，除了傳輸協(xié)議外，合理的拓?fù)浼軜?gòu)和路由方案同樣有助于通過消除熱點、實現(xiàn)負(fù)載均衡的方式降低數(shù)據(jù)中心網(wǎng)絡(luò)的時延。對數(shù)據(jù)中心網(wǎng)絡(luò)拓?fù)浼軜?gòu)的研究大體經(jīng)歷了3 個階段：有線數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)、光電交換混合架構(gòu)和無線數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)。

有線數(shù)據(jù)中心網(wǎng)絡(luò)往往采用固定的分層樹狀結(jié)構(gòu)，其傳輸性能受限于上層交換機的聚合效率，擴展性較差。在實際中，數(shù)據(jù)中心網(wǎng)絡(luò)通常采用高超額訂購比的結(jié)構(gòu)來緩解流量高峰期的擁塞情況。之后出現(xiàn)了以Fat-tree[54]和VL2[55]為代表的新型樹狀拓?fù)浣Y(jié)構(gòu)，以Dcell[56]和BCube[57]為代表的分層遞歸拓?fù)浣Y(jié)構(gòu)以及以SWDC (small-world datacenter)[58]和JellyFish[59]為代表的隨機小世界拓?fù)浣Y(jié)構(gòu)。其中，SWDC 通入增加隨機鏈路將小世界模型引入拓?fù)湓O(shè)計，有效降低了網(wǎng)絡(luò)直徑，然而其采用的基于最短路的貪心路由算法會導(dǎo)致最差情況下網(wǎng)絡(luò)極低的吞吐量和不佳的負(fù)載均衡。

上述網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的網(wǎng)絡(luò)容量和傳輸效率與傳統(tǒng)結(jié)構(gòu)相比已有較大提升，但并未解決靜態(tài)網(wǎng)絡(luò)拓?fù)渑c動態(tài)熱點流量之間的根本矛盾[60]。為了實現(xiàn)對熱點流量的動態(tài)適配，以C-through[61]、Helio[62]和XFabric[63]為代表的光電交換混合架構(gòu)提出引入光路交換（OCS,optical circuit switching）以實現(xiàn)可變拓?fù)洹Ｓ捎诠怆娋€路交換機往往有更大的網(wǎng)絡(luò)帶寬，當(dāng)電交換機部分出現(xiàn)擁塞時，可以將流量導(dǎo)入光交換網(wǎng)絡(luò)中，實現(xiàn)熱點消除。另一方面，通過調(diào)整鏈路可以動態(tài)調(diào)整端到端路徑長度，從而實現(xiàn)適應(yīng)性的時延優(yōu)化。然而，由于價格高昂，且切換開銷較大，進行大規(guī)模實際部署商用OCS 交換機將面臨巨大的成本和效率考驗。

除采用OCS 交換機外，無線設(shè)備也可作為可變拓?fù)浣Y(jié)構(gòu)的組成部分。無線數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)目前往往采用60 GHz 無線電模塊[64-65]或者空間激光收發(fā)器（FSO,free space optical）[66-67]作為基礎(chǔ)模塊進行搭建，從而實現(xiàn)高度靈活的鏈路調(diào)配。但當(dāng)前的無線數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)設(shè)計中，無線設(shè)備往往被部署在機架頂部，受到無線設(shè)備干擾和阻塞的限制，實際可使用的鏈路數(shù)量非常受限。雖然有工作提出在天花板安裝平面鏡或球狀反射鏡的方案來提高反射效率和精度，但這一方案對機架頂部的空間要求過于理想，很難部署。

為了解決這一問題，Wang 等[60]使用多反射環(huán)拓?fù)渲匦略O(shè)計了無線數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)，其俯視圖如圖3 所示。利用部署在服務(wù)器上的無線網(wǎng)卡，無線信號可以被多次反射，實現(xiàn)與目標(biāo)服務(wù)器的直連而不需要經(jīng)過多跳，有效降低了傳輸路徑長度，從而避免了中間設(shè)備中的排隊和處理時延。

圖3 Diamond 無線反射示意

可變拓?fù)鋽?shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)為消除熱點、降低時延提供了可能，但仍需高效的拓?fù)渥赃m應(yīng)算法才能充分發(fā)揮其潛力。拓?fù)渑渲脝栴}的離散性決定了基于整數(shù)線性規(guī)劃的方法缺乏擴展性，而啟發(fā)式算法往往性能不佳。為此，xWeaver[68]提出可以采用深度學(xué)習(xí)方法針對流量負(fù)載對拓?fù)溥M行動態(tài)配置。其將流量需求作為輸入，學(xué)習(xí)輸出近似最優(yōu)拓?fù)渑渲茫瑫r該方法可以靈活地支持流級別或應(yīng)用程序級別的多樣優(yōu)化目標(biāo)，包括流完成時間或Hadoop任務(wù)完成時間等。

4.2 5G 網(wǎng)絡(luò)

與前四代移動通信不同，5G 旨在提供更高數(shù)據(jù)率、高可靠低時延及更廣連接的服務(wù)。5G 的目標(biāo)空口時延要求達到1 ms[69]，其低時延特性使自動駕駛、設(shè)備到設(shè)備通信等應(yīng)用成為可能。在高可靠低時延場景下會存在時延與可靠性的權(quán)衡，比如在自動駕駛、工業(yè)自動化等應(yīng)用中，除了低時延外，高可靠性亦是上述應(yīng)用正常工作的重要前提。因此，在這些應(yīng)用中不應(yīng)采用分組丟失等非可靠方式實現(xiàn)低時延，而應(yīng)采取其他技術(shù)完成時延與可靠性的優(yōu)化。本節(jié)將從網(wǎng)絡(luò)架構(gòu)調(diào)整和低時延關(guān)鍵技術(shù)這2 個方面分析5G 網(wǎng)絡(luò)為實現(xiàn)超低時延的設(shè)計，這些設(shè)計在優(yōu)化時延的同時不會造成可靠性的降低。

3.青年價值觀教育的目標(biāo)、內(nèi)容、原則和方法。青年價值觀教育要把握思想政治教育的時代特點和青年的身心特點，以科學(xué)發(fā)展觀為指導(dǎo)思想。青年價值觀教育作為思想政治教育的題中之義，運用思想政治教育的分析研究方法，明確青年價值觀教育的目標(biāo)、內(nèi)容、原則和方法對我們開展教育工作具有重要意義。

4.2.1 網(wǎng)絡(luò)架構(gòu)調(diào)整

移動通信網(wǎng)絡(luò)架構(gòu)演進呈現(xiàn)分離的趨勢，功能的不斷分離使部分功能可以靈活部署并下沉至更靠近用戶的位置，這樣可縮短用戶與服務(wù)端的距離，進而降低網(wǎng)絡(luò)時延。對于核心網(wǎng)，在3G 網(wǎng)絡(luò)中引入直接隧道技術(shù)（DT,direct tunnel）[70]，將控制面與用戶面分離，數(shù)據(jù)傳輸時繞過服務(wù)GPRS（general packet radio service）支持節(jié)點（SGSN,serving gprs support node），利用DT 將基站與網(wǎng)關(guān)GPRS 支持節(jié)點（GGSN,gateway GPRS support node）直接相連，這是核心網(wǎng)分離的開始。DT 技術(shù)的采用避免了SGSN 對數(shù)據(jù)的處理與轉(zhuǎn)發(fā)過程，縮短了時延。

在5G 時代，基于4G 核心網(wǎng)，5G 核心網(wǎng)繼續(xù)進行更完全的分離，SGSN、服務(wù)網(wǎng)關(guān)（SGW,serving gateway）、PDN 網(wǎng)關(guān)（PGW,packet data network gateway）等網(wǎng)元被分為用戶面與控制面兩部分[71]。分離核心網(wǎng)用戶平面并將用戶面下沉到回傳網(wǎng)之前可以減輕回傳網(wǎng)傳輸壓力與核心網(wǎng)集中處理負(fù)擔(dān)。計算與存儲的下沉與分布式架構(gòu)可以使用戶數(shù)據(jù)無需到達遠(yuǎn)距的核心網(wǎng)，從而實現(xiàn)毫秒級的時延目標(biāo)。

對于接入網(wǎng)，5G 將基站分為集中單元（CU,centralized unit）、分布單元（DU,distributed unit）和有源天線單元（AAU,active antenna unit）3 個部分[71]，其中CU 對應(yīng)于4G 網(wǎng)絡(luò)中室內(nèi)基帶處理單元（BBU,building base band unit）的實時性低的部分，DU 對應(yīng)實時服務(wù)。將BBU 分離后，可以根據(jù)場景和需求靈活地對CU 和DU 進行部署，以滿足5G 中不同應(yīng)用的需求，對于時延需求高的應(yīng)用需求，可以將DU 部署于離用戶更近的地方。

為了提升數(shù)據(jù)傳輸速率并降低時延，提升帶寬是一個直接的選擇。目前的移動通信使用的是3 GHz以下的頻段[72]，若提升帶寬可以探索使用高頻毫米波頻段[73]。由于高頻信號傳播范圍小，原來移動通信中以基站為中心的架構(gòu)可以被調(diào)整為以用戶為中心[74]，具體如圖4 所示。此時，用戶不僅是網(wǎng)絡(luò)中的節(jié)點，而且將參與網(wǎng)絡(luò)中的中繼、傳輸?shù)热蝿?wù)。在這種情況下，基于5G 毫米波和之前的4G 組網(wǎng)方案，研究者們提出5G-LTE 混合組網(wǎng)方案及僅基于毫米波基站的獨立組網(wǎng)方案[75]。

圖4 從以基站為中心轉(zhuǎn)變?yōu)橐杂脩魹橹行?/p>

4.2.2 低時延關(guān)鍵技術(shù)

除了架構(gòu)上的調(diào)整外，5G 融合了多種關(guān)鍵技術(shù)來優(yōu)化時延，如利用波束賦形技術(shù)，大規(guī)模多輸入多輸出技術(shù)及新型正交多址接入技術(shù)提升頻譜利用效率，優(yōu)化用戶與基站之間的空口時延，實現(xiàn)高速數(shù)據(jù)傳輸。5G 架構(gòu)對于數(shù)據(jù)傳輸時延的優(yōu)化是眾多技術(shù)融合共同作用的結(jié)果。

在移動通信中多址接入是一個關(guān)鍵特征，其目標(biāo)是實現(xiàn)用戶隨時隨地接入信道，多址接入技術(shù)一直在研究當(dāng)中。第四代移動通信（4G）采用正交頻分多址（OFDMA,orthogonal frequency division multiple access），為保證信號正交而設(shè)置大信號傳輸時間間隔（TTI,transmission time interval），存在頻譜效率低、數(shù)據(jù)傳輸時延大等不足，無法滿足新興業(yè)務(wù)對時延的需求，新型的多址技術(shù)需要被提出。5G 中包含多種新型的多址接入技術(shù)，比如非正交多址（NOMA,non-orthogonal multiple access）、稀疏碼多址（SCMA,sparse code multiple access）等。這些新的多址技術(shù)可以提升頻譜利用率，減少競爭等待時間，從而降低時延。

NOMA[76]與傳統(tǒng)的正交多址方案有著本質(zhì)的區(qū)別，在NOMA 中，功率域被引入，多個用戶可以在同一時間、同一碼型、同一頻率、不同功率等條件進行傳輸。發(fā)送端非正交發(fā)送，接受端使用干擾消除進行解調(diào)，接收端的解調(diào)過程復(fù)雜性增加，但是避免了正交信號間隔時間，提升了頻譜利用率。同時，在NOMA 中不需要采用爭用型信道分配方式，競爭等待時間縮短。SCMA[77]是一種基于碼本與碼字映射的非正交多址接入技術(shù)，數(shù)據(jù)經(jīng)過信道編碼之后會按照碼本中的對應(yīng)碼字進行高維調(diào)制。SCMA 使用碼分多址，通過使用多個載波組，實現(xiàn)頻譜利用率的提高。

4.3 邊緣計算

在傳統(tǒng)的云計算架構(gòu)中，云端完成數(shù)據(jù)存儲與計算[78]并通過網(wǎng)絡(luò)將服務(wù)提供給用戶。但是隨著智能化普及，邊緣設(shè)備產(chǎn)生數(shù)據(jù)急劇增加，云端計算和網(wǎng)絡(luò)傳輸負(fù)載加重。同時由于云計算架構(gòu)中數(shù)據(jù)傳輸距離長，可能無法滿足時延敏感型應(yīng)用的需求。為了保證數(shù)據(jù)處理低時延，降低云計算與傳輸負(fù)載，研究者提出了邊緣計算架構(gòu)。本節(jié)介紹邊緣計算中的關(guān)鍵技術(shù)計算卸載以及利用邊緣計算的具體應(yīng)用。

隨著移動設(shè)備性能的提升，開發(fā)者正在開發(fā)愈加復(fù)雜的應(yīng)用程序，如自然語言處理或人臉識別等，需要大量的計算與存儲資源，同時，低時延也是這些應(yīng)用重要的評價標(biāo)準(zhǔn)之一。有研究發(fā)現(xiàn)這些應(yīng)用程序通常由許多可組合組件組成[78]，所以可以利用計算卸載技術(shù)，確定如何進行組件的分配，使這些應(yīng)用能在移動設(shè)備上運行，此問題被稱為代碼分割問題，有眾多針對于此的研究[79-82]。

CloneCloud[80]在代碼運行前計算分割情況，它通過對目標(biāo)手機和云上的進程二進制文件的不同運行條件進行離線靜態(tài)分析來確定這些卸載到云上的部分。但是，這種方法只考慮離線預(yù)處理中的有限輸入/環(huán)境條件，無法涵蓋真實的網(wǎng)絡(luò)狀況下的所有情況。MAUI（mobile assistance using infrastructure）[79]是在運行時進行分割決策的，它將此問題建模為一個整數(shù)線性規(guī)劃問題，但是解此線性規(guī)劃是一個NP-hard 問題，求解時間不能忽略。Hermes[82]提供一種多項式時間近似方法，以最小化卸載請求的時延，但是它只適用于一個卸載請求情況。

不過上述工作都是針對通用的計算工作負(fù)載，面向特定的應(yīng)用，可以根據(jù)應(yīng)用的特點進行計算卸載。VR 系統(tǒng)有嚴(yán)格時延要求，有研究提出VR 內(nèi)容呈現(xiàn)可以分為交互式的前景和可預(yù)測的后景兩部分，基于此提出一種基于計算卸載的渲染方案[10]，并證明了該方法的可行性。將可預(yù)測但渲染負(fù)載重的背景的預(yù)渲染和預(yù)取任務(wù)卸載到云端，而輕量級前景交互的渲染在移動端本地的GPU（graphics processing unit）上完成，以繞過網(wǎng)絡(luò)傳輸瓶頸，從而降低時延，優(yōu)化用戶體驗。

實時視頻分析是邊緣計算的另一個重要的應(yīng)用場景。視頻分析的結(jié)果需要用來與用戶進行交互或者啟動下一個系統(tǒng)，所以需要低時延的支持。同時，傳輸高清視頻需要高帶寬，此時將大量的視頻數(shù)據(jù)都傳輸?shù)皆贫颂幚硎遣豢尚械腫83]。利用邊緣設(shè)備的計算與存儲能力及地理上分布式的特點進行視頻分析成為一項新興并且必要的任務(wù)，進而為道路流量控制、安全監(jiān)控等提供便利。

有研究提出地理上分布的公有云、私有集群和邊緣的架構(gòu)是唯一能夠滿足大規(guī)模實時視頻分析的方法[83]，具體如圖5 所示，具體的視頻分析任務(wù)可以分配到公有云、私有云或者邊緣設(shè)備。

圖5 地理上分布的公有云、私有云與邊緣架構(gòu)

有許多研究工作關(guān)注實時視頻分析領(lǐng)域。VideoStorm[84]系統(tǒng)中視頻分析是在私有云上完成的。此系統(tǒng)由一個中央管理器和一組執(zhí)行視頻分析查詢?nèi)蝿?wù)的工作機組成，每一個查詢被連續(xù)輸入到集群中，其中包含多個對視頻進行處理的轉(zhuǎn)換。Lavea[85]是一個建立在邊緣計算平臺之上的系統(tǒng)，它可以卸載客戶端和邊緣服務(wù)器之間的計算。同時，邊緣服務(wù)器之間可以完成協(xié)作，以低傳輸時延或者低排隊時延為目標(biāo)。通過上述操作在靠近用戶的地方提供低時延的視頻分析。

5 機遇與挑戰(zhàn)

5.1 基于SDN 的網(wǎng)絡(luò)架構(gòu)革新

為了優(yōu)化數(shù)據(jù)傳輸時延，滿足應(yīng)用的實時性要求，網(wǎng)絡(luò)架構(gòu)的革新與演進一直是研究熱點之一。在保持傳統(tǒng)網(wǎng)絡(luò)基礎(chǔ)架構(gòu)不發(fā)生變化的前提下，可以利用基于SDN 的軟件化形式構(gòu)造更加靈活的網(wǎng)絡(luò)架構(gòu)，使網(wǎng)絡(luò)中策略的優(yōu)化與部署成為可能，為時延優(yōu)化提供機遇。下面將以基于SDN 架構(gòu)的數(shù)據(jù)中心廣域網(wǎng)中的時延優(yōu)化為例進行介紹。

連接數(shù)據(jù)中心的廣域網(wǎng)對在線服務(wù)提供商來說是重要的基礎(chǔ)設(shè)施，數(shù)據(jù)中心之間的低時延和高吞吐量數(shù)據(jù)傳輸可以提供良好的用戶體驗和高可靠的服務(wù)[86]。為了提供長距離的大容量鏈路，數(shù)據(jù)中心之間的廣域網(wǎng)資源花費很高成本，但是由于防止分組丟失而設(shè)置的冗余鏈路[87]及分布式資源分配模型[86]造成的次優(yōu)流量路由等原因使數(shù)據(jù)中心間廣域網(wǎng)鏈路利用率并不高，很多企業(yè)對于本公司的數(shù)據(jù)中心之間的廣域網(wǎng)連接進行改進以期望提升鏈路利用率進而優(yōu)化時延，使用SDN 進行改進是其中的一種方式。

以谷歌公司為例，谷歌公司提出B4 網(wǎng)絡(luò)實現(xiàn)其數(shù)據(jù)中心的互聯(lián)[87]。B4 架構(gòu)包含三層，從下到上依次是硬件設(shè)備、局部控制器和全局控制器。B4采用定制的交換機及機制，將現(xiàn)有的路由協(xié)議集成在一個SDN 的環(huán)境中，局部控制器控制物理層設(shè)備并將收集的鏈路拓?fù)湫畔l(fā)送到全局控制層的服務(wù)器。當(dāng)需要進行路徑選擇時，全局控制器會對所需帶寬進行預(yù)估并選擇一條最優(yōu)的路徑，從而提升鏈路利用率，使可用帶寬提升，阻塞減少，從而降低了時延。為實現(xiàn)基于SDN 的網(wǎng)絡(luò)架構(gòu)革新，除了提出的B4 之外，谷歌公司于2015 年提出通過SDN 實現(xiàn)的數(shù)據(jù)中心互聯(lián)架構(gòu)[88]，于2017 年提出基于SDN 的對等邊緣路由基礎(chǔ)架構(gòu)[89]，于2018 年提出網(wǎng)絡(luò)功能虛擬化堆棧[90]。

雖然SDN/NFV 技術(shù)提供了機遇，但是以虛擬化軟件實現(xiàn)硬件功能的方式也同樣使SDN/NFV 新型網(wǎng)絡(luò)架構(gòu)難以避免地增加核心網(wǎng)絡(luò)和數(shù)據(jù)中心網(wǎng)絡(luò)的處理時延。有研究指出服務(wù)鏈時間延遲可能隨著鏈的長度線性增長[91]，所以有研究提出網(wǎng)絡(luò)功能并行化加速的算法NFP（network function parallelism in NFV）[92]。該方法可智能識別NF 依賴關(guān)系，并自動將策略編譯成高性能服務(wù)圖。然后該框架內(nèi)的基礎(chǔ)設(shè)施執(zhí)行輕量級分組復(fù)制、分布式并行分組交付和分組副本的負(fù)載均衡合并，以支持NF并行性，最終實現(xiàn)在基本沒有資源浪費的情況下優(yōu)化時延。如何處理好軟件化與低時延的權(quán)衡仍處在研究當(dāng)中，這是推動SDN/NFV 技術(shù)進一步發(fā)展的關(guān)鍵所在。

5.2 數(shù)據(jù)驅(qū)動的低時延優(yōu)化算法

面對愈加復(fù)雜的需求和計算任務(wù)，以機器學(xué)習(xí)、尤其是深度學(xué)習(xí)為代表的數(shù)據(jù)驅(qū)動方法已經(jīng)在各領(lǐng)域展開了廣泛應(yīng)用，也成為了網(wǎng)絡(luò)領(lǐng)域工業(yè)界和學(xué)術(shù)界的關(guān)注熱點[93-94]。為了降低網(wǎng)絡(luò)時延，需要對大量復(fù)雜的優(yōu)化和調(diào)度問題進行求解。但傳統(tǒng)算法往往根據(jù)不真實的假設(shè)條件或者不準(zhǔn)確的建模，采用基于固定策略的啟發(fā)式算法，從而很難在動態(tài)多變的復(fù)雜網(wǎng)絡(luò)環(huán)境下保持穩(wěn)定的性能。機器學(xué)習(xí)算法則能夠直接從數(shù)據(jù)中學(xué)習(xí)問題特征或者直接通過與環(huán)境交互學(xué)習(xí)進行決策，從而為解決這一問題提供了新的方向。

網(wǎng)絡(luò)中大量的問題（如擁塞控制、流量調(diào)度等）可以建模為序列決策問題，擅長解決此類問題的強化學(xué)習(xí)技術(shù)也被應(yīng)用到網(wǎng)絡(luò)系統(tǒng)的多個方面。以Skype 為代表的互聯(lián)網(wǎng)電話（Internet telephony）發(fā)展迅猛，但卻面臨網(wǎng)絡(luò)抖動帶來的巨大性能挑戰(zhàn)，因此如何選擇合適的中繼節(jié)點來降低通話時延這一問題亟待解決。Jiang 等[95]將這一問題建模為多臂老虎機問題，采用上限置信區(qū)間算法（UCB,upper confidence bound）實時為每對通話選擇當(dāng)前最優(yōu)的中繼節(jié)點，從而有效降低了通話的時延。

擁塞控制對減少網(wǎng)絡(luò)擁塞、降低排隊時延至關(guān)重要。在動態(tài)變化的網(wǎng)絡(luò)環(huán)境下，基于規(guī)則的相對固定的窗口調(diào)節(jié)策略將不可避免的產(chǎn)生性能下降。Remy[96]首次將擁塞控制問題建模為馬爾可夫決策過程，采用強化學(xué)習(xí)思想學(xué)習(xí)網(wǎng)絡(luò)狀態(tài)到窗口調(diào)節(jié)方式的映射，從而實現(xiàn)細(xì)粒度的精確調(diào)節(jié)。另一方面，PCC（performance-oriented congestion control）[97]和PCC vivace[98]采用在線學(xué)習(xí)方法，對網(wǎng)絡(luò)環(huán)境進行在線適應(yīng)，一定程度上緩解了機器學(xué)習(xí)方法的泛化問題。

數(shù)據(jù)中心中的流量調(diào)度對應(yīng)用性能影響巨大。當(dāng)前算法往往依賴于手工參數(shù)調(diào)節(jié)，從而導(dǎo)致網(wǎng)絡(luò)環(huán)境與算法參數(shù)不匹配。Chen 等[99]提出利用深度強化學(xué)習(xí)根據(jù)當(dāng)前的流量負(fù)載情況動態(tài)決策算法閾值，在保障處理效率的條件下，大幅降低了應(yīng)用的流完成時間。

機器學(xué)習(xí)算法雖然優(yōu)化了網(wǎng)絡(luò)的時延，但也對網(wǎng)絡(luò)系統(tǒng)提出了新的挑戰(zhàn)，尤其是深度學(xué)習(xí)算法往往需要利用梯度下降算法進行模型更新。而對大規(guī)模機器學(xué)習(xí)任務(wù)，訓(xùn)練和計算往往以分布式的方式分發(fā)到多臺計算機共同完成。這時，機器間的通信開銷巨大，嚴(yán)重時會影響模型的訓(xùn)練速度。因此，未來如何進行架構(gòu)和同步算法設(shè)計，如何利用RDMA 和DPDK 等技術(shù)進行傳輸優(yōu)化都是亟待解決的問題。

5.3 低時延新興協(xié)議設(shè)計

網(wǎng)絡(luò)協(xié)議作為網(wǎng)絡(luò)中通信的標(biāo)準(zhǔn)，是低時延網(wǎng)絡(luò)構(gòu)建中的重要一部分。然而，互聯(lián)網(wǎng)在最初設(shè)計時提供的是盡力而為的服務(wù)，并未對網(wǎng)絡(luò)時延等指標(biāo)提供保證或作出優(yōu)化，為了優(yōu)化時延，針對不同的應(yīng)用，學(xué)術(shù)界和工業(yè)界的研究者們提出了多種新興協(xié)議，在協(xié)議層面為低時延通信做出努力。

為提升網(wǎng)頁訪問的速度，HTTP 2.0[100]與QUIC[25]協(xié)議被提出，在數(shù)據(jù)傳輸?shù)奈帐帧⑦B接、復(fù)用等方面進行改進。為加速數(shù)據(jù)中心數(shù)據(jù)傳輸，使服務(wù)器端系統(tǒng)處理速度匹配數(shù)據(jù)中心網(wǎng)絡(luò)帶寬，RDMA 技術(shù)及相匹配的RoCE 等協(xié)議被提出。為使瀏覽器支持實時音視頻傳輸，傳輸層采用RTP 協(xié)議的WebRTC[101]被提出。

與此同時，各企業(yè)為優(yōu)化自身傳輸系統(tǒng)，根據(jù)自身的業(yè)務(wù)提出了特定的協(xié)議，提供了更低的數(shù)據(jù)傳輸時延。如IBM 旗下的Aspera 公司提出的廣域網(wǎng)上海量數(shù)據(jù)傳輸?shù)腇ASP 傳輸技術(shù)，它避免了TCP 在分組丟失率高時延高的鏈路上無法充分利用網(wǎng)絡(luò)帶寬的問題，優(yōu)化了鏈路吞吐量提升了文件傳輸速度。快手研究者提出的基于UDP 的KTP（Kuaishou transport protocol）[102]傳輸協(xié)議，將碼率和幀率自適應(yīng)加入，并融合了網(wǎng)絡(luò)性能估計與擁塞控制等，優(yōu)化了傳輸時延及分組丟失等其他指標(biāo)。為滿足不同的應(yīng)用需求，未來可能會有更多的專用協(xié)議出現(xiàn)，這可能成為一個不可或缺的研究點。

6 結(jié)束語

低時延網(wǎng)絡(luò)對新興應(yīng)用的性能提升有重要意義，低時延技術(shù)是目前的研究熱點。本文分析了TCP/IP網(wǎng)絡(luò)架構(gòu)各層時延的來源，并總結(jié)了實現(xiàn)低時延的各層技術(shù)。同時，對數(shù)據(jù)中心、5G 和邊緣計算這3個關(guān)鍵場景時延優(yōu)化進行了分析，希望本文的分析可以對該方向的研究提供一些啟發(fā)。此外，低時延網(wǎng)絡(luò)可以促進新型協(xié)議設(shè)計和數(shù)據(jù)驅(qū)動新方法的產(chǎn)生與發(fā)展。然而，機遇與挑戰(zhàn)并存，所以希望仍有針對這一問題的持續(xù)和深入的研究，這需要學(xué)術(shù)界和工業(yè)界的共同努力。