基于epsilon-Greedy算法的信道選擇方案

摘? 要：5G時代下數(shù)據(jù)井噴帶來了網(wǎng)絡擁堵，本地算法以及云計算的集中式處理模式不足以滿足大規(guī)模物聯(lián)網(wǎng)環(huán)境的實時性要求。邊緣計算模型中大數(shù)據(jù)需要通過信道卸載到邊緣服務器上，通過對傳統(tǒng)信道選擇方式的研究可知：傳統(tǒng)基站分配方式效率低下。通過epsilon-Greedy算法和隨機算法的比較可得出：合理設定epsilon值，使探索與利用相結合可實現(xiàn)設備自我學習選擇信道。

關鍵詞：邊緣計算;自我學習;信道選擇

中圖分類號：TN919.2? ? ? 文獻標識碼：A 文章編號：2096-4706（2020）06-0079-03

Abstract：Data blowout in 5G era brings network congestion，and the centralized processing mode of local algorithm and cloud computing is not enough to meet the real-time requirements of large-scale internet of things environment. The big data in the edge computing model need to be offloaded to the edge server through the channel. By comparing the epsilon-Greedy algorithm with the stochastic algorithm，it can be concluded that the combination of exploration and utilization by setting the epsilon value reasonably can realize the self-learning channel selection of equipment.

Keywords：edge computing;self learning;channel selection

0? 引? 言

基站是移動設備接入互聯(lián)網(wǎng)的接口設備，也是無線電臺站的一種形式。校園內的探頭、各種儀表盤、數(shù)字設備等都是由某個特定基站進行數(shù)據(jù)交換。學習了“通信系統(tǒng)原理”這門課程，了解到數(shù)據(jù)的交換和傳輸必須通過信道，并且設備的信道選擇通常是由基站進行統(tǒng)一分配。但在實際情況下信道存在時變性，基站分配信道必然導致效率低下。本文將研究設備通過自我學習選擇信道，保證傳輸速率的高水平。

1? 背景介紹

5G時代的來臨，日常生活中數(shù)據(jù)量的增長也隨之增加。流量的增加給通信成本帶來了壓力。數(shù)據(jù)顯示，到2020年，全球移動數(shù)據(jù)流量將達到每月30.6 EB，屆時將有約500億臺互聯(lián)網(wǎng)設備為物聯(lián)網(wǎng)做出貢獻。這種無與倫比的增長速度與移動設備的改進速度并不匹配，設備壽命并沒有以跟得上的速度增長。隨著物聯(lián)網(wǎng)技術的快速發(fā)展和物聯(lián)網(wǎng)應用的不斷涌現(xiàn)，物聯(lián)網(wǎng)設備的井噴將帶來網(wǎng)絡擁堵。顯然，本地計算已經(jīng)不足以處理如此大量的數(shù)據(jù)。即使是云計算的集中式處理模式也無法滿足大規(guī)模物聯(lián)網(wǎng)環(huán)境的實時性要求。此外，終端設備上傳到云端的數(shù)據(jù)可能會泄露，設備井噴增加也可能導致云計算能耗不足等問題。物聯(lián)網(wǎng)革命開辟了新的研究視角，導致人們對去中心化范式的興趣日益濃厚。萬物互聯(lián)的需求催生了邊緣計算模型。

邊緣計算是通過將應用程序的一部分數(shù)據(jù)或服務從一個或多個中心節(jié)點（稱為“云”）移動到另一個邏輯端點（位于網(wǎng)絡邊緣的節(jié)點，稱為“邊緣”）來優(yōu)化應用程序或云計算系統(tǒng)的技術。Luan等人認為云計算與邊緣計算的不同之處在于：

（1）與邊緣計算相比，云計算可以看作是一個集中式的結構，而邊緣計算是大規(guī)模、分布式的，但處理能力有限;

（2）終端用戶設備的延遲是由多個跳轉到最終目標主機的需求驅動的，本質上依賴于網(wǎng)絡服務提供商和核心網(wǎng)絡基礎設施[1]。邊緣計算消除（或至少減少）了對集中式云計算的需求。而集中式云計算在車輛和無人機的自動控制和導航等重要應用中至關重要，但是大數(shù)據(jù)下，在這些應用中，對云的訪問可能非常有限。邊緣計算還將通過提高服務質量（如計算延遲）在機器學習以及基于位置的數(shù)據(jù)分析中啟用新的應用程序，為用戶提供顯著的優(yōu)勢。隨著因特網(wǎng)的迅速發(fā)展及其應用，絕大多數(shù)的企業(yè)建立了自己的網(wǎng)站，加強對外關系，加速業(yè)務流程和網(wǎng)站系統(tǒng)訪問響應時間，他們的互聯(lián)網(wǎng)應用任務的計算系統(tǒng)有足夠的計算資源，如服務器、云系統(tǒng)或處理數(shù)據(jù)中心[2-4]。

邊緣計算中所需的邊緣服務器，它直接與用戶通信。設備上的任務或數(shù)據(jù)需要卸載到邊緣服務器進行處理，而卸載到服務器的數(shù)據(jù)需要經(jīng)過信道。基站統(tǒng)一分配的信道選擇方式很普遍，但隨著終端設備的增加，基站的分配效率降低，而且成本很高。如果終端設備可以通過自己的學習選擇信道，可以大大提高效率，減輕基站的負擔。

2? 信道選擇的epsilon-Greedy算法

2.1? 多臂賭博機模型

多臂賭博機是一種擁有多根搖臂的賭博機器，每根搖臂都有不同的獎勵。問題是應該如何選擇搖臂，在有限的時間內獲得最多的獎勵。假設這個機器有五根搖臂。最先想到的方法是在每根搖臂上都試一定的次數(shù)，找出獎勵最豐厚的那根，然后把剩下的所有機會都用在這根搖臂上。但是，這種方法其實也不可靠，由概率論的知識我們知道，拉1 000次顯然比拉10 次得到最佳搖臂的機會更大。例如，如果你嘗試10次，而恰好你那天的運氣很好或者很不好，最少獎勵的那根搖臂搖出了最多的獎勵，這就會讓你把接下來的次數(shù)全用在這根最少獎勵的搖臂上。給定有限的次數(shù)，我們要解決如何分配探索的次數(shù)和利用的次數(shù)這個問題。

本文目標是解決多用戶的信道選擇的問題，旨在令每個用戶選擇對應的傳輸數(shù)據(jù)速率最快的信道。賭博機的搖桿可以抽象成信道，每個待選信道的數(shù)據(jù)傳輸速率可以相當于每根搖臂的獎勵，每個設備對于信道的選擇可看成是一個賭徒選擇搖臂，試圖獲得最大的獎勵。經(jīng)過分析，多臂賭博機問題與本文要研究的設備選擇信道問題的模型相同，可以使用該模型進行討論和研究。

2.2? 時隙模型

這里我們應用時隙模型。時間長度可分為多個小時段（時隙），用τ表示，假設在每個時隙中，信道的傳輸特性保持不變，但在不同的時隙中信道傳輸速率會發(fā)生變化。

假設每次選擇信道時，數(shù)據(jù)都將以傳輸速率vj傳輸，傳輸時間為τ，因此，在此時隙內傳輸?shù)臄?shù)據(jù)量為vj·τ。

2.3? epsilon-Greedy算法

該算法是通過設置一個值epsilon來完成的，這個值決定了要探索還是利用。例如，如果epsilon設置為0.1，則有10%的探索概率和90%的利用概率。每次我們都在0和1之間選擇一個隨機數(shù)。如果這個值大于epsilon，則利用具有更高回報的搖臂的概率就會高。如果它小于epsilon，則探索的概率更高。當你獲得獎勵時，更新該搖臂預設的獎勵，作為下一輪實驗的參考。

2.4? 多臂賭博機模型實現(xiàn)信道選擇

3? 仿真結果

本次仿真采用MATLAB軟件。在模擬中，設置用戶數(shù)量為3，可用信道數(shù)量為5，傳輸時隙數(shù)量為500。為每一個信道預設的傳輸速率為[1.1，1.2，1.3，1.4，1.5]，單位為Mb/s。

仿真結果如表1所示：

分析：從表1可以看出，當?shù)螖?shù)趨于無窮時，epsilon-Greedy算法與隨機算法所得到的平均傳輸速率近似為定值，其中epsilon-Greedy算法所得結果大約比隨機算法得到的結果高出0.13 Mb/s。這是因為當通過epsilon-Greedy算法選擇信道時，總是傾向于選擇之前記錄的平均數(shù)據(jù)傳輸速率最高的信道。當采用隨機算法選擇信道時，相當于隨機選擇信道，因此得到的平均數(shù)據(jù)傳輸速率等于預設速率的平均值，如表2所示。

分析：從表2可以看出，當epsilon取值較小時，例如epsilon=0.1，則表示為用戶將以0.9選擇之前記錄的性能較好的信道，而探索的概率僅有0.1。當epsilon取值較大時，例如epsilon=0.7，信道選擇有0.7的概率是通過探索來進行的。當?shù)螖?shù)足夠大時，可以看出epsilon=0.1時的平均傳輸速率大于epsilon=0.7時的平均傳輸速率。

但是，并不是說epsilon越小越好。如表，當epsilon=0.3?時，所得到的平均傳輸速率大于epsilon=0.1時的結果。通過第二部分對于多臂賭博機問題的描述，由于運氣原因，你利用的信道也許并不是最優(yōu)信道，也就是說，當epsilon取小值時所得出的解可能是次優(yōu)解。所以需要通過多次的實驗得出最佳的epsilon值。

4? 結? 論

本文研究了基于epsilon-Greedy算法的信道選擇問題，通過實驗數(shù)據(jù)分析得出，通過epsilon-Greedy算法的信道選擇效果優(yōu)于隨機算法。當實際設備選擇傳輸數(shù)據(jù)的信道時，可以人為地設置相應的epsilon值，使設備選擇最優(yōu)信道。

在5G時代數(shù)據(jù)井噴的時期，當信道選擇可以通過自我選擇進行時，將大大減輕基站的負擔，以最快的速度進行數(shù)據(jù)傳輸，從而使邊緣計算的效率大大提高。

參考文獻：

[1] LUAN T H，GAO L X，LI Z，et al.FOG COMPUTING：FOCUSING ON MOBILE USERS AT THE EDGE [J].COMPUTER SCIENCE，2015：1-11.

[2] KUMAR K，LIU J B，LU Y H，et al.A Survey of Computation Offloading for Mobile Systems [J].Mobile Networks and Applications，2013，18（1）：129-140.

[3] RAHIMI M R，REN J，LIU C H，et al.Mobile Cloud Computing： A Survey，State of Art and Future Directions [J].Mobile Networks and Applications，2014，19（2）：133-143.

[4] KUMAR K，LU Y H.Cloud Computing for Mobile Users：Can Offloading Computation Save Energy？ [J].IEEE Computer，2010（43）：51-56.

作者簡介：張孫烜（1998.09-），男，漢族，福建寧德人，本科，研究方向：電力物聯(lián)網(wǎng)、工業(yè)物聯(lián)網(wǎng)、機器對機器通信、無限資源分配。