基于移動邊緣計算的車聯網資源分配方案研究

歐陽中輝,馮韶華,凌云峰，陳青華

(海軍航空大學， 山東 煙臺 264001)

1 引言

隨著近年來，智能化各軍種聯合作戰體系的建設已成為各國軍隊的發展趨勢。為實現對多兵種多編隊的作戰資源進行輔助指揮及決策，實時觀測戰場態勢，軍用通信系統的發展至關重要。未來戰爭對軍用5G、軍用物聯網等戰場通信有更高要求，作戰系統必須具備快速的信息交互能力和強大的計算能力，能低時延地完成各作戰單元的海量數據處理和分析。

智能化戰場通信的問題主要體現在通信傳播、通信時延以及能耗3個方面。軍隊由于數據傳輸穩定性差，保密要求高等特點，加上數據集中式的指揮中心并不能適應復雜多變的戰場環境，現階段以云計算應用為核心的指揮信息系統大大受限，無法滿足海量數據的處理。使用邊緣計算在靠近數據源的位置進行處理，可以很好地解決這一問題，也與現階段改革使作戰單位要有獨立行動能力的目標相符。

得益于現代通信事業的不斷發展，邊緣計算近年來得到了迅速發展。在國外，美國國防部高級研究計劃局(DARPA)2017年資助了DCOMP重點項目，探究邊緣計算在軍事領域應用；2019年，亞馬遜以AWS Greengrass進軍邊緣計算設備，走在行業前面。同期微軟、谷歌也聚焦于邊緣的人工智能應用和邊緣物聯網設備開發兩大領域。在國內，除了騰訊、阿里、百度等公司開始研究邊緣計算外，我國還從國家層面對邊緣計算展開了政策規劃和科研布局。其實自從疫情以來，遠程辦公室進行大量的數據處理和存儲，而運用邊緣服務端能減少網絡寬帶承受的巨大壓力，即靠近源的數據處理的方法，就是邊緣計算一種體現。

車聯網領域是邊緣計算重要的研究熱點，本文以現代民用物聯網發展作為背景，為提供低時延的移動服務，對資源分配、任務卸載優化，提出了一種基于分層MEC(mobile edge computing)的車聯網方案，致力于戰場環境智能特種車輛的指揮決策提供有效方法，也希望為其他軍事裝備類似功能的升級改造貢獻思路。

2 邊緣計算車聯網系統

2.1 邊緣計算網絡構架

車聯網(internet of vehicles)是由車輛位置、速度和路線等信息構成的巨大網絡，是互聯網的一種擴展范式。隨著第五代移動通信技術的突飛猛進，依托軍用5G、WIFI等無線通信技術建造穩定的軍事車聯網已成為可能。

傳統特種車輛網絡中，車輛上的基礎裝備設施都配備了智能設備，特種車輛通過智能設備從周圍收集信息，再通過無線通信設備統一上傳到指揮中樞的云端進行處理，但由于計算能力受限、傳輸時延過大等問題，作戰單位得不到及時反饋，嚴重影響戰時行動。移動邊緣計算(mobile edge computing，MEC)使計算任務能夠在網絡邊緣執行，已經成為云計算的有效補充。在MEC技術的推動下，智能設備上的計算任務被卸載到邊緣計算設備(edge computing device，ECD)上，這些設備比云平臺更接近智能設備，由于每個ECD中都有一臺服務器通過將工作負載卸載到ECD來輔助數據處理，數據傳輸時間大大縮短，車聯網用戶的體驗質量得到了極大的提高。

以民用車聯網絡架構的基本原理和思路為參考，建設特種車輛網絡架構。在傳統的車聯網框架中，從云擴展到邊緣端，設計了一種基于MEC的層次化車聯網網絡體系結構，其原理如圖1所示。在自底向上的視圖中，該體系結構可明確看出邊緣計算架構和傳統云計算架構的區別。

圖1 車聯網網絡體系結構原理示意圖Fig.1 Schematic diagram of vehicle networking edge computing framework

該體系結構由3層組成：用戶終端、邊緣端和云端。

1) 用戶終端：該層由路邊單元和路邊單元通信范圍內的車輛組成。在作戰方面即有位置動態感知和數據傳輸接入點的特種車輛組成。

2) 邊緣端：每個基站配備一個MEC服務器，為那些卸載的任務提供管理和計算服務。每個MEC服務器包含一定的資源計算能力。

3) 云端：云層是遠離車輛，擁有一系列多功能服務組成的系統，一般部署在指揮終端。在傳統的基于云的指揮中樞中，這個層負責控制和處理信息，但在邊緣計算架構中的指揮中樞，為指揮作戰，并不要求大量數據實時收發，可緩解通信擁堵或通信干擾的情況。

2.2 邊緣服務器模塊

資源分配和資源計算功能是通過MEC設備內各部分模塊的協作實現的，如圖2所示。

圖2 邊緣服務器模塊示意圖Fig.2 Edge server module diagram

MEC預處理管理器對任務進行分類，并標記優先級和相關信息，如數據包頭中的源/目標MAC地址、IP地址、TCP/UDP端口。此外，它還負責重新排序任務。

MEC任務處理器是資源分配的決策者。為重新排序的任務分配適當數量的計算資源，負責基本的運營維護。

虛擬化基礎設施用以承載各類MEC應用資源和負責執行移動邊緣平臺接收到的流量規則，并實現流量轉發。該管理器將計算資源劃分為幾個大的資源集，每個資源集包含幾個小的資源塊。本文將資源集命名為“RS”，資源塊命名為“RB”。

MEC平臺提供一系列功能，用以實現MEC應用在特定虛擬化基礎設施上運行并使提供移動邊緣服務。

在MEC服務器的幫助下，終端可以利用車載網絡最邊緣較近的處理能力，車輛的計算任務不會被卸載到遠程集中的云服務器上，而是在附近分布靈活的MEC服務器上進行處理。該體系結構保證了延遲和移動性的要求，更好地處理來自車輛的大容量數據，同時降低了核心網絡負載。

與一些集中控制系統不同，在該分散式系統中，決策可以在每個MEC服務器的協調器中獨立、智能地進行，實現分布式自主管理。此外，MEC編配器中功能管理器的特殊設計使其更適合于面向計算的車聯網場景中的任務處理。

2.3 系統建立

設路邊單元均勻分布在道路上，道路為雙向的，每個路邊單元都能輻射相同面積的區域。在道路上中，每輛戰車都以其各自的速度自然行駛，取n輛車的平均行駛速度為={,,…,}，每輛車都有一定處理數據能力，也可同時收發計算數據。

在整個系統通信過程中，特種車輛與基礎設施之間通信，車與車之間通信和車與網絡之間通信等均采用V2X(vehicles to everything)技術。如圖3所示的車聯網邊緣計算過程。

圖3 系統通信技術流程框圖Fig.3 System communication flow chart

開始時，車輛可將計算任務卸載到離車最近的路邊單元和其他空閑的車載終端，進行資源分配和數據處理。對于數據量較小的任務，任務分配卸載到不同車輛的車載終端上進行處理；對于數據量較大的任務，任務卸載到路邊單元處的邊緣服務器上進行處理，邊緣服務器經過任務分類、標記、排序和調度4個步驟，具體處理流程如表1所示，最后通過車輛所在區域的路邊單元傳回車輛用戶端。由于車速不同，車輛會在不同的路邊單元間來回切換。邊緣服務器也將處理后的任務結果上傳云端進行數據存儲。本文不考慮車輛之間的交互能力和計算能力，只研究車輛終端-路邊單元-邊緣端該過程的系統。

表1 MEC服務器處理流程Table 1 MEC server processing flow chart

在V2X通信中，計算任務的時效性主要體現在延遲容忍度上，不同的任務有不同的時延要求，將任務的延遲容忍度劃分為4個等級，如表2所示。

表2 任務優先級分類Table 2 Task priority classification table

3 邊緣計算網絡優化算法

3.1 任務優先級算法

本小節研究處理最小化任務的總延遲。總延遲由5個部分組成，設任務從車輛傳遞到路邊單元的延遲為；任務重新排序的延遲為；任務排完序后，需等待前面任務執行完的等待時間延遲為；任務執行時間為；任務通過路邊單元返回車輛終端的延遲為。車輛單元和路邊單元都采用C-V2X無線技術進行通信。由于路邊單元通過有線連接獲得MEC服務器的計算資源，因此它們之間的傳輸延遲可以忽略不計。

設系統4個優先級為={1,2,3,4}。設處理相同優先級任務所需要的資源、時間等都是則每個部分的完成延遲可以表示為

(1)

(2)

(3)

(4)

=++++

(5)

其中：、分別表示優先級為的上傳和下載的數據的大小。、是任務的上傳和下載階段的傳輸速率。表示計算優先級為的任務所需的CPU周期。是提供的計算能力。是通過資源分配算法為任務分配的數目。表示用于計算任務的負載狀態。導入的任務流遵循參數的泊松分布。延遲由重排序算法提供。

現實情況信號傳輸需要考慮瑞利衰落、陰影衰落和路徑損耗等情況。戰場環境甚至要考慮大規模電磁干擾情況。假設車輛數量上有足夠的正交無線信道，則忽略車輛之間的干擾。通信原理香農公式如下：

=·log(1+)

(6)

(7)

由于車輛的高機動性，車輛的位置變化迅速，并且在任務處理期間車輛可以通過多個路邊單元。在任務卸載和結果下載的時刻，從車輛到路邊單元的距離是不同的。從上段的參數介紹可以看出，車輛與路邊單元的距離直接影響信噪比的大小，信噪比的大小直接影響傳輸速率。通過這種方法，可將車輛的機動性問題建模為車輛與路邊單元之間的距離對信噪比的影響，即車輛位置對傳輸速率的影響。

3.2 資源分配優化算法

網絡優化資源分配算法包含2個子算法，即任務重排序子算法和資源分配子算法。前者采用優化后的Q’學習算法進行重新排序任務，后者采用傳統的Q學習算法為已經重新排序好的任務分配計算資源。

任務以到達率的泊松分布傳輸到MEC服務器。MEC編排器將任務標識為不同的優先級，然后重新排序任務。

未改進的重排序子算法采用傳統的基于Q學習的重排序算法。傳統Q學習算法的原理為按優先級對任務進行排序，保證任務的優先執行。但是，低優先級任務必須在隊列結束時等待很長時間，從而導致超時。為了解決這一問題，需要對算法進行改進，根據時間組和分數值兩個概念，優化新的排序方法此表示為Q’學習算法。Q’學習算法的重排序流程如圖4所示。

圖4 Q’學習算法重排序流程框圖Fig.4 Q’learning algorithm reordering flow chart

圖4中，MEC預處理管理器將每個任務按到達順序劃分為一個時間組，早到的時間組總是優先于晚到的時間組。重新排序過程發生在時間組中，對同一時間組中的任務重新排序。這種機制確保低優先級任務不會一直處于等待狀態。

結果值綜合表達了任務的到達時刻和優先級，如公式所示：

(8)

式中：為任務的優先級；為任務的實際到達時刻；、分別為任務所在時間組中第一個和最后一個任務的到達時刻；為結果值的一個因子。

分層車聯網網絡中的MEC環境是復雜多變的。此外，由于車輛分布和資源需求的規律性，利用機器學習學習規律是可行的。因此，考慮通過強化學習來解決資源分配問題。

Q學習算法作為一種典型的強化學習算法，能夠以較低的復雜度解決相同的資源分配問題。MEC平臺管理器充當行動選擇的代理。虛擬化基礎架構管理器提供算法所需環境的參數。

Q學習算法最初是由Watkins等提出的一種無模型的值函數強化學習算法。該算法可用馬爾科夫決策過程框架來形式化描述。通過定義狀態空間、行為空間和報酬函數，將資源優化配置問題建模為一個馬爾可夫決策過程，該過程的應用如下:

1) 狀態空間。由于代理一直在分配MEC服務器的計算資源，因此需要及時更新可用資源。將狀態空間設計如下：

={,}

(9)

={steate,state,…,state}

(10)

={,,…,}

(11)

狀態空間包括兩部分，和。前者是每個的負載狀態，后者是每個上剩余的數量，是的數量。

2) 行為空間。在系統中，代理必須決定選擇哪個和。規定為一個任務選擇的必須集中在同一個中，并且和的具體選擇取決于代理的選擇。此外，結合優先級給出了分配數的上界。因此，動作空間可以表示為：

={,,…,}

(12)

式中動作空間表示當前循環的動作選擇。∈{0,1}，取=1，這有助于找出哪些被選中。表示整個MEC服務器中的總數。

3) 報酬函數。獎勵值是在做出行動決策后，來自環境的反饋。根據式(7)，該算法優化目標是最小化完成總延遲。大的獎勵值是首選，因此定義獎勵值是延遲的倒數，對于超過延遲容差最大值的任務，定義其獎勵值為-100。獎勵函數總結如下：

(13)

因此，選擇Q學習算法來作為最佳的資源分配策略。Q學習算法選擇狀態動作值函數(,)作為估計函數。Q學習的基本思想是用時差法求(,)，值如式(14)：

(14)

式(14)中:為學習效率，用于控制收斂。越大，前一訓練效果保持的越少是折現系數。越大，越重視長期獎勵;越小，越重視即時獎勵。在Q學習中，每個(,)都有Q表的相應位置，根據Q表查詢結果即可得到對應的結果。

在基于Q’學習算法優化任務重排序之后，用具有資源分配的傳統Q學習算法分配計算資源。這樣，代理就可以通過查詢Q表，自主地為不同優先級的任務分配資源。

4 仿真與分析

4.1 仿真條件設定

由MEC分層架構，設一個基站包含一個MEC服務器，MEC服務器下有3個路邊單元。在每個路邊單元的覆蓋區域內，有多輛特種戰車連續生成計算任務。

設MEC服務器輸入的計算任務與參數服從泊松分布。設所有路邊單元具有相同的傳輸功率26 dBm，覆蓋半徑500 m，所有車輛具有相同的傳輸功率23 dBm，所有車輛以相同的平均速度5 m/s行駛，信道帶寬為10 MHz，高斯功率0.01 W。

設上傳數據大小為{0.5,1,3,6}Mbits，下載數據大小為{0.25,0.5,1.5,3}Kbits，CPU所需周期為{1,2,3,4}×10周，結果因子為30，最大值為{20,150,300,500}。資源集數量為3，每個中資源塊數量分別為3、6、9，計算能力均為10 GHz。

4.2 績效考核結果

設為02，為04，全局值由每次的值組成，則延遲性能越好，全局值越高。根據式(13)和式(14)，當獎勵值和值的設置不變時，值與獎勵值正相關，而獎勵值與延遲負相關。因此，延遲越小，回報越大，值越高。全局值結果如圖5所示。

圖5 全局Q值結果曲線Fig.5 Global algorithm comparison

從圖5可以看出，Q’學習算法相對于Q學習算法的獎勵值軌跡更好，收斂速度更快，當回合數為6 000時Q’學習算法已經收斂于最優解了，其全局Q值高于Q學習算法，這表明所提出的重排序算法是可行的。

4.3 重排序算法比較

傳統的基于Q學習和Q’學習算法2種重排序機制的資源分配算法，比較2種排序算法的中斷概率(完成延遲時大于延遲容限最大值的概率)，如圖6所示。

圖6 不同重排序方案下4個優先級的中斷概率直方圖Fig.6 Outage probability of four priorities under different reordering schemes

圖6顯示了不同排序算法對不同優先級任務的中斷概率的影響。對于優先級為1的任務，Q’學習算法的中斷概率略低于Q學習算法，保持在2%。對于優先級為2、3和4的任務，發現Q’學習算法顯著降低了中斷概率，這反映了時間組和得分值的有效性。

不同任務到達率的效果下的不同排序算法的中斷概率如圖7所示。由圖7可以發現，Q’學習算法中斷概率低于Q學習算法，當每秒到達MEC服務器的任務數超過90個，中斷概率大幅度提高，表明發生擁塞，導致處理效率顯著降低。

圖7 任務到達率的影響λ不同重排序方案下的中斷概率曲線Fig.7 Impact of task arrival rate λ outage probability under different reordering schemes

4.4 資源分配算法性能比較

為了驗證本文優化的的的資源分配方案的延遲性能，對Q學習算法和Q’學習算法效果進行了仿真。平均等待時間如圖8所示。

圖8 平均等待時間曲線Fig.8 Average waiting time comparison chart

圖8為評估平均等待時間和任務到達率之間的關系。Q學習算法只按優先級對任務進行重新排序，低優先級的任務會等待很長時間，Q’學習算法在平均等待時間上具有更低的值和更平緩的趨勢。

每個優先級任務的不同算法的平均完成延遲如圖9所示。由圖9可得：Q學習算法忽略了低優先級任務的延遲要求，低優先級任務的調度機制過于死板。Q’學習算法的平均完成時延最低，此外，其在保證高優先級任務優先執行的同時，控制了低優先級任務平均完成延遲的上升趨勢。仿真結果表明：Q’學習算法能夠有效地降低平均時延，應用該算法的方案可以更智能、更合理地分配資源。

圖9 平均完成延遲直方圖Fig.9 Average completion delay comparison

5 結論

針對移動邊緣計算的延遲問題，對資源分配采用Q學習算法，任務重排序采用優化后的Q’學習算法，設計了一種能有效作用于邊緣服務器模塊的資源分配方案。基于傳統Q學習算法，借鑒時間組和分數值2個概念優化得出了Q’學習算法，對其性能進行仿真，經過仿真對比可知，Q’學習算法在多方面的中斷概率、平均時延都優于傳統Q學習算法，證明優化方案的可行性。