基于深度強化學習的工業物聯網多用戶頻譜分配 *

邵瑞宇 ，黎智雄，任瑾璇

(廣東工業大學 自動化學院，廣州 510006)

0 引 言

工業物聯網(Industrial Internet of Things,IIoT)，又稱為工業4.0或工業互聯網，可以應用于互聯網一些工業領域，比如能源、交通和制造業。隨著工業數據的快速增長，工業數據倉庫正在進入大數據時代，大數據傳輸需要更大的帶寬[1]。然而有限的連接始終限制了信息網絡的發展，并且由于設備的傳感器數量過多，導致彼此之間的通信過于頻繁，一種兼顧霧計算和網絡功能虛擬化的物聯網邏輯架構應運而生[2-3]。為了突破這些限制，霧計算被集成到IIoT中，這將有可能解決資源受限的工業設備和計算密集型應用之間的矛盾[4-5]。

現有的頻譜分配問題研究中，很多智能體無法獲得系統整個完整信息，都是基于部分可觀察馬爾科夫決策過程理論，導致智能體在計算最優策略時變得非常棘手[6]。在文獻[7-8]及其參考文獻中，都是在一個多武裝強盜(Multi-armed Bandit Problem)條件環境上利用其算法尋求一個短期策略，這種策略只是取決于收集過去的一小段時間所獲得的獎勵，而缺陷是當預測點與依賴的相關信息距離比較遠的時候，就難以學到相關信息。

近年來，深度強化學習中的Deep Q-Learning (DQN)的收斂性能得到了大家的認可。這種算法是在文獻[9]中被提出的，它結合了強化學習和深度神經網絡，利用多層的神經元構建更加抽象的數據表達，使得人工神經網絡可以直接從輸入數據中獲得物體信息。在Atari2600平臺上進行的測試表明，在沒有借助其他方法獲得先驗知識的情況下，49個游戲中43個游戲都可以達到人類分數的75%。

面臨著5G時代的到來，工業物聯網將會成為未來的趨勢，而其中頻譜資源的管理和分配成為關鍵問題。動態頻譜的接入(Dynamic Spectrum Access,DSA)分為底層訪問和覆蓋訪問。底層訪問模式[10]利用算法來讓次用戶通過調整傳輸功率，在不影響主用戶服務質量(Quality of Service，QoS)的情況下接入信道，把次用戶對主用戶的干擾降到最低，從而提高頻譜的利用率。而覆蓋訪問[11]相比底層訪問而言需要算法考慮何時進行主、次用戶的接入，怎樣才能實現兩者信道分配的平衡，以至于所獲得的收益最大，策略最優。

本文主要研究信道的爭用問題，提出了一種多跳的聚類模式、“合作計算”的模式以及動態頻譜接入相結合的策略。首先，設計了一種多跳的聚類模式，在保證信息傳達效率的同時減少了頻譜通信的數量。其次，設計了一種深度強化學習動態頻譜的訪問算法，通過過去的策略、獎勵來訓練神經網絡，從而讓用戶學會如何更好地獲得獎勵，即減少信道的爭搶。最后，針對某些用戶沒有足夠的計算能力來實現分配算法，根據多跳聚類分組模式，可以借助同組的次用戶的計算能力進行一個“合作計算”。

1 合作式動態分組的算法系統模型

假設在一個大型的工業物聯網中，某些設備(以下簡稱為用戶)需要和其他用戶進行通信。可以把此過程分為三個子問題：一是從源節點(需要發送信息的用戶)如何能夠經過更少的中繼節點(中間轉發的用戶)轉發信息到目標節點(接受信息的用戶)，從而選出一條最優路徑；二是有限的頻譜資源可能會導致信道缺少，用戶之間彼此爭搶信道，因此設計了一種最優的深度強化學習策略來減少用戶對于信道的碰撞以及提高通信概率；三是由于某些用戶沒有足夠的計算能力去達到算法的計算要求，則這些用戶可以借助同一個分組的次用戶的能力，從而達到一種合作計算的效果。

針對以上問題，我們提出了一種新的基于深度強化學習的頻譜分配算法——合作式動態分組的頻譜分配算法(Dynamic Grouping Based on Cooperation for Spectrum Access，DGC)。該算法首先使用深度強化學習的方法為物聯網中所有需要發送信息的用戶進行一個相似性分組，確保分組模式是中斷概率最低的模式；然后選擇發送信息的最優策略，使得信道的利用率提升；最后，針對某些用戶本身計算能力的不足，可以讓同組空閑用戶幫忙計算策略，之后把計算后的策略發送回來，從而達到合作計算的目的。算法流程如圖1所示。

圖1 DGC算法流程圖

1.1 聚類分組多跳系統模型

現有的關于中繼和頻譜資源的分配算法大多數都是針對單個用戶或者單跳而言的，而本文多跳算法是基于多個用戶之間快速穩定的多次跳躍，在中斷概率最小的分組模式下完成通信。整體的分組協議可以分成兩部分:首先根據相似性公式把整體用戶按照1個主用戶、3個次用戶一組的模式進行分組，然后，若源節點和目標節點處于同組內，則能直接通信，通信直接完成；若不在同組內，需要通信時，則源節點先把信息轉發給同組的中心節點，由中心節點跨組連接，最終完成通信。

協議的假設和原則如下：

(1)物聯網設備能夠通過本身的感應設備感應到周圍所存在的設備信息，并且確定源節點和目標節點的方向；

(2)當源節點需要向其他組節點發送信息時，可以通過同一組的中心節點作為中繼節點，通過中繼節點轉發信息；

(3)兩個分組之間避免廣播風暴，只能通過中心節點進行連接通信。

假設三維空間當中擁有10個節點，如果相互彼此之間都能進行通信，那么將會導致信道嚴重不足。可以將10個節點彼此之間制定一個新的連接協議，而不在協議內的節點無法通信。與此同時，需要保證有些節點彼此之間雖不能直接進行通信，但是通過多跳的方式能夠從源節點經過中繼節點，最終能到達目標節點。所以如何能夠更快并且更穩定地選擇中心節點是面臨的挑戰。

圖2表示的是一個500 m×900 m×900 m的三維空間，總共有10個節點，其中標有紅色字體的2、3、4、5、9等5個點是5個組之間的中心節點，5個組分別為{5:[4,9,6],4:[2,5,0],2:[3,7,8],3:[1,7,0],9:[4,0,1]}，其中5代表的是中心節點，5、4、9、6屬于同一分組，當5、4、9、6等4個節點需要相互通信時，可以直接通信。但是，當4、9、6節點需要和其他組節點通信連接時，都必須通過中心節點5進行信息轉發。

圖2 三維立體系統模型

根據工業物聯網的空間分布模型，除了將三維空間的位置點坐標考慮進去，還要考慮機器的上空包含無人機這種可移動的分配用戶，所以加入了用戶可能移動的方向(前、后、左、右)，結合歐幾里德(Euclidean)度量公式有

(1)

式中：(x，y，z)分別代表節點k和節點i的三維坐標，Vk、Vi分別表示k節點和i節點的速度，tk、ti分別表示k節點和i節點的運動方向，K1、K2、K3分別表示系統針對節點的速度、運動方向以及三維距離的影響因子。

為了找出最優策略，除了考慮位置、速度和運動方向的因素，還應該考慮不同分組模式下網絡中斷概率也不相同，因此需要選取中斷概率最小的中繼連接模式才能達到最優。

由香農公式可知，網絡吞吐量可以表示為

C=ωlb(1+SNR) ，

(2)

(3)

即

(4)

式中：ω為頻譜帶寬，SNR為網絡信噪比，P為傳輸功率，h為信道增益，N為噪聲功率譜密度，W為帶寬，τ表示與物理層編碼調制關聯的冗余量。

而網絡中斷一般出現在現有的信息傳輸速率達不到節點連接之間的最低速率，也就是網絡的信噪比低于最低信噪比的閾值，從而導致網絡連接中斷。假設網絡要求的信息傳輸速率最低為α，網絡的瞬時信噪比為β，則網絡的瞬時信息速率可表示為

C(β)=ωlb(1+β) ，

(5)

則網絡的中斷概率為

Poff=P{C(β)

{ωlb(1+β)

(6)

式中：P(β)是關于β的概率密度函數。如果信道滿足Rayleigh衰落分布，假設信道衰弱后的信噪比為σ，則傳輸信道的瞬時信噪比β滿足如下指數分布：

(7)

所以中斷概率為

(8)

用戶數量為M，信道為N，考慮中繼的譯碼的前傳通信方式，則節點Mt選擇中繼Mi進行通信時的信噪比為

(9)

將其代入中斷概率公式，有

(10)

根據上式可得

(11)

φ=F(hmt,hmi)×SNR。

(12)

式中：F(hmt,hmi)可以等效成系統整體的信道增益，而系統信噪比SNR=P/(τNW)，其中P等效為系統整體的發送功率。由此可得中斷概率與φ成反比，如果需要數據傳輸時候的中斷概率達到最小，此時兩者乘積應實現最大。所以該算法的目的是以最快的速度選擇出中斷概率最小的分組模式。

1.2 動態頻譜接入系統模型

在工業物聯網環境當中，即使使用了分組的方式去減少整體環境的頻譜連接量，但是同組之間的通信順序以及不同組之間的連接仍然存在信道選擇的沖突，因此提出了基于聚類分組模式的深度強化學習的分配方法，我們將該算法稱為合作式動態頻譜分配方法。

算法的最終目的是為了讓不同用戶之間彼此能互相感知周圍用戶選擇的信道，盡量避免信道沖突。該分配方法不僅能解決多用戶之間信道占用的關系，并且還能對用戶進行分組，當次用戶的計算能力不足時可以借助同組的次用戶進行一個合作式計算。

假設存在一組需要發送信息的用戶U={ 1,2,…,U}和一組正交的信道C={1,2,…,C}，用戶可以隨意選擇一個信道進行接入并且完成通信，在每一次迭代過程中用戶可以自由選擇信道切換或者繼續占用該信道。每個信道只能任由一個用戶進行占用，如果兩個用戶同時占用，則會發生信道的碰撞，發生碰撞的用戶都將對該信道的占用失敗。當C≥U時，頻譜信道足夠多，用戶之間不會發生爭搶，每個用戶的通信一定成功；反之會發生通信碰撞，相互碰撞的用戶占用信道都將失敗，所以主要針對用戶數量大于信道數量進行實驗。

假設整個系統擁有U個用戶，其中主用戶用P={p1,p2,…,pm}表示，次用戶用I={i1,i2,…,in}表示，m+n等于U。每個分組都包含了1個主用戶和最多3個次用戶，同一個分組采用{pm：ia,ib,ic}集合的方式表示，ia、ib、ic表示和pm主用戶位于同一個分組的次用戶。

當某個次用戶的計算無法滿足任務需求時，主用戶可以感知自己同組內的次用戶是否處于空閑狀態，具體表達式為

Hm=[ha,hb,hc] 。

(13)

式中：Hm表示第m個主用戶能感知的次用戶是否處于空閑狀態。當ha=0時，代表了次用戶a處于空閑狀態，可以將計算能力借助給同組內需要的用戶；當ha=1時，代表了次用戶a處于忙碌狀態，不能將計算能力借助給同組內需要的用戶。當次用戶a計算量不能滿足任務需求時，成功借助次用戶b的計算能力，此時b會返回一個ξ1信號告知a是否借用成功，其具體表達式為

(14)

當用戶能自己完成計算量，成功接入信道后，成功發送信息到目標用戶時，目標用戶同時會返回一個ξ2的信號，具體表達式為

(15)

第一種情況，當源節點用戶需要通信目標用戶時，如果源節點目標用戶恰好在同組內，那么源節點用戶將直接通過中心節點對目標用戶進行通信，目標用戶接收到信息后，將發送ξ2信號給源節點用戶，源節點用戶將獲得獎勵。第二種情況，當源節點用戶和目標用戶不在同一組時，將會由算法找出中斷概率最小的發送路徑發送至目標用戶，此時目標用戶也將得到獎勵。第三種情況，當源節點用戶本身沒有足夠的計算能力去計算分配方案，則它可以感知同組內的節點狀態，找出暫時沒有任務的節點，通過中央節點發送信息至同組內其他的次用戶，讓其他次用戶進行合作計算，此時計算的次用戶將發送ξ1信號給源節點用戶，源節點用戶也將得到獎勵。為了方便模擬合作計算的場景，在初始化8個用戶的時候，對節點的計算能力進行一個1～5數值的隨機獲取，以此來代表計算能力，當節點計算數值小于2的時候，說明需要借助同組次用戶的計算能力。

每個用戶每一幀能夠自主選擇接入信道的動作，其中動作空間為a∈{0,1,2,…,C}，當au(t)=0時，代表用戶u在t時刻沒有選擇信道；當au(t)=C時，代表用戶u在t時刻選擇信道C。而針對每個信道的占用狀態，其表達式為

φt={φ1,φ2,…,φc} 。

(16)

當信道C被占用時，φc=1；反之，則φc=0。用戶可以根據自己現在所處狀態來確定下一時刻的發送動作，每個用戶u在t時刻所處狀態可以用Su(t)表示，其表達式為

Su(t)={au(t),φt,Hm,ξ1,ξ2} 。

(17)

當用戶數量大于信道數量時，此時用戶彼此之間對信道有爭搶。用戶m在t時刻切換信道過程中，允許用戶在此時刻不發送信息，此時am(t)=0。定義一個位于時間序列下的累積獎勵，其表達式為

(18)

式中：ξ2=1，指的是用戶信息成功發送給目標用戶，而第二個條件是指用戶信息沒有選擇信道發送，然而其他信道的占用率為百分百，雖然該用戶沒有成功發送信息，但是針對整個系統而言，其不發送導致了整體信道的碰撞降低，從而使得其他用戶能輕易地接入信道，所以針對這種情況需要給予一定的獎勵。Θ遠小于κ，這是為了防止后期系統中越來越多的用戶即使不占用信道也可能獲得較高獎勵情況的發生。

如圖3所示，S1到Sn代表了每個用戶在同一時刻的不同狀態值Su(t)={au(t),φt,Hm,ξ1,ξ2}，整個輸入是一個2K+6的向量。假設信道總數是K，其中au(t)是一個大小為K+1的向量，代表用戶在此時選擇的信道，au(t)=0時代表不選擇接入信道；φt是一個大小為K的向量，代表在同一時刻信道的占用狀態；Hm向量的大小為3，代表同組次用戶的空閑狀態；ξ1、ξ2分別代表兩種ACK信號返回值。

圖3 LSTM + dueling DQN神經網絡流程圖

由于普通的神經網絡隨著時間的推移，用戶的基數逐漸龐大，而歷史性的記錄也將無法利用過去的經驗性信息來對現在的決策進行改善，在輸入端加入長短時記憶網絡(Long Short Term Memory Network,LSTM)[12]，這是一種改進之后的循環神經網絡，可以解決RNN無法處理長短期的依賴的問題。這層網絡主要負責學習怎樣隨著時間積累歷史的經驗，可以讓使用歷史的狀態以及動作來估計現在的真實狀態。算法偽代碼如下：

初始化主用戶p1，p2，p3…pm

初始化次用戶i1，i2，i3…in

初始化用戶計算能力閾值X

初始化ACK1、ACK2

初始化Hm

if用戶Xi1>X,do

if用戶i1需要和其他組i4進行通信

次用戶i1先連接同組內的主用戶p1

ifp1能直接連接p2

同組的主用戶p1連接i4的主用戶p2

p2連接次用戶i4

i4返回一個ACK2信號

Else ：

p1連接其他組的主用戶pm

pn最后連接p2

p2連接次用戶i4

i4返回一個ACK1信號

End

End

Else：

i1連接同組內的主用戶p1

p1判斷根據Hm判斷主用戶連接p1的此用戶組中誰是空閑狀態

p1將把多余的計算任務發送給空閑節點進行

空閑節點收到后發送ACK2信號原路返回i1

End

在本節的算法中，每一組用戶都可以被看成一組智能體群，都由1個主用戶和最多3個次用戶組成。Su(t)表示用戶u在t時刻能感知到的其他用戶狀態和信道狀態，au(t)表示用戶u在t時刻所執行的動作；經過動作之后，根據返回的信息，能獲得獎勵ru(t)，之后用戶將感知下一個狀態Su(t+1)。采用一個獎勵函數表示在t時刻根據所感知的環境狀態下執行該動作所造成的效果，并且指導智能體進行下一步的選擇。采用深度強化學習中的dueling DQN代替傳統強化學習中的Q值表，采用值迭代的方式更新Q(s,a)值：

Q(s,a;θ,α,β)=V(s;θ,β)+A(s,a;θ,α) 。

(19)

式中：V(s;θ,β)是價值函數部分，僅與狀態S有關，與具體要采用的動作A無關;A(s,a;θ,α)是優勢函數部分，同時與狀態S和動作A有關；θ是公共部分的網絡參數，β是價值函數獨有部分的網絡參數，α是優勢函數獨有部分的網絡參數。也就是說，Dueling-DQN網絡的輸出由價值函數網絡的輸出和優勢函數網絡的輸出線性組合得到。但由于式(19)中給定一個Q值無法對V和A函數進行一個恢復，根據文獻[13]，將式(19)改為

Q(s,a;θ,α,β)=V(s;θ,β)+(A(s,a;θ,α)-

(20)

用一個平均值對上式最大值進行替換,得

Q(s,a;θ,α,β)=V(s;θ,β)+(A(s,a;θ,α)-

(21)

2 仿真與分析

2.1 分組仿真結果分析

首先通過實驗數據及仿真驗證基于三維用戶的分組多跳協議的有效性。實驗選定一個500 m×900 m×900 m的三維空間，假設整個范圍內的用戶數為10(圖2)，每組最大用戶數為4，其中包含了1個主用戶和最多3個次用戶(同組內最多只能擁有3個次用戶，這是為了當用戶1沒有足夠的計算能力而用戶2處于忙碌狀態時，用戶1可以借助用戶3的計算能力，以此達到合作計算的目的，所以3個用戶是最基本情況)。當用戶需要與其他用戶進行通信時，兩者之間不一定能在同一個通信范圍，所以需要借助多跳算法來進行通信。如圖2所示，用戶被分為以2、4、9、5、3為中心的5個分組，每兩個節點之間的連線表示兩個用戶可以進行信息的傳送。

對多跳分組協議測試的結果如圖4所示，設置用戶數量從0～100逐漸增加，而信道數量保持在40。在無分組模式中，當源節點用戶和目標用戶所在距離過長時，源節點也會采用多跳的方式將信息發送給目標用戶。一旦面臨著源節點所在范圍內沒有可利用的中繼節點用戶或者由于中繼節點過多，造成信息無法發送以及頻譜信道之間的大量碰撞而發送失敗，兩者情況都將導致最后的通信失敗。在圖4中，紅色折線代表的是沒有分組的普通模式，在用戶數量0～40時還處于良好狀態，但是當用戶超過40(信道數量)時，通信失敗，概率突然增加。根據文獻[14]，當把整體空間按照六角形的模式分組，由圖4綠色折線可知，雖然能針對不分組模式有所改善，但是隨著用戶數量增加，仍不能滿足現在的需求。如果使用本文的協議分組模式，在分組過程中由于不同的用戶分組所造成的中斷概率不同，可以根據實際情況設置自己的閾值，從而選出最優分組模式，將會使通信失敗率達到最低。

圖4 無分組、六角形分組、多跳協議分組性能對比

2.2 DGC算法分析

下面分別從用戶間信道的碰撞率、信道的空閑率以及用戶所得到的總獎勵三個方面來展示DGC算法的優越性。在模擬仿真的時候，采用M個節點隨機接入到C個信道，通過DGC算法對用戶實現快速選擇最優策略。在工業互聯網中，用戶基數龐大，可以根據現實情況進行用戶分組。為了方便仿真，采用8個用戶分成兩組，每組1個主用戶3個次用戶，以此來接入5條信道。迭代次數為10萬次，每5 000次為一批數據，經驗池大小設置為1 000，訓練5批更新一次網絡，學習率設置為0.000 1。探索率起初設置為0.02，每次更新網絡探索率將會降低，直到0.01是最終探索率。神經網絡部分設置了4層神經網絡，前3層的激活函數都是ReLU函數，最后一層激活函數為tanh函數。

規定1個信道中只能存在1個用戶占用，如果超過1個用戶選擇，則該信道會發生碰撞，并且信道被閑置。所以DGC算法就是為了讓用戶彼此之間感知到周圍用戶的策略，并且選出自己的最優策略，從而相互避免信道的碰撞，降低信道空閑概率。在實驗過程中，為了模擬信道中斷情況，設置了1～5個數值的中斷概率隨機獲取，當用戶此次獲得的中斷概率數值為1時，則該分組失敗，重新分組。

圖5是在10萬次迭代過程中，每5 000次對性能結果進行一個統計的展示。由圖可知，僅僅只是采用Q-learning和DQN算法的碰撞率基本穩定在0.6～0.9之間，這是由于整個環境屬于部分可觀測的馬爾科夫決策過程(Partially Observable Markov Decision Process，POMDP)，這將導致Q(o,a|θ)≠Q(s,a|θ)，因此從觀察中估計Q值是不準確的。在DQN的神經網絡部分加入了LSTM網路結構后，整體信道的碰撞率下降了很多，但是仍然保持著0.2的概率碰撞，從而丟失信息。與DGC算法相比，本文算法隨著迭代次數的增多，碰撞率后期可以保證在0.03左右，并且最終趨向于收斂。

圖5 碰撞率折線圖

圖6顯示了動態頻譜接入后的信道閑置率。網絡僅僅只有Q-learning或者DQN算法時，信道的閑置率振蕩較大，并且始終維持在0.6以上，這進一步說明了采用DQN時無法針對過去長時間的經驗性積累，并且以此來更新自己的策略，導致信道的碰撞率一直處于很高的水平。當加入了LSTM部分以后，可以看到整個信道的閑置率進一步降低，雖然最終收斂了，但是仍然維持在0.2以上。在DGC算法中，信道雖然在中期閑置率并沒有達到預期較低水平，但是隨著時間的推移，迭代次數不斷增加，空閑率將穩定在較低的水準。

圖6 信道空閑率折線圖

圖7展示的是用戶發送信號后所得到的獎勵曲線。從圖中可知，在只有Q-learning或者DQN算法時，整個網絡的獎勵值始終處于中間水平。當加入了LSTM的結構后，雖然在某幾次迭代達到了很高的獎勵，但是整體曲線振蕩幅度較大，系統無法收斂。在DGC算法中，曲線在前期就獲得了較高的獎勵，即使中期有一定的下降，但是隨著迭代次數的增加，最終曲線可以在較高的水準下收斂。

圖7 用戶所獲得獎勵

3 結束語

本文主要研究了在工業物聯網中頻譜資源的分配問題。首先，由于工業物聯網中用戶的空間位置和移動方向的不同，用戶之間的相似性不同，考慮實際的中斷概率，由算法選出中斷概率最小的最優分組模式，以此來避免出現廣播風暴的現象。其次，用戶要與其他用戶通信時，可以利用DGC算法通過合作式方法，感知到同組內其他用戶的選擇策略，盡量避免信道的爭搶，從而能夠找出最優的路徑，確保信息能夠準確傳送成功。最后，對于物聯網中某些不具備算法的計算能力或者能力不足的用戶，可以感知同組內其他用戶的狀態，若有空閑狀態的次用戶，則可以讓該用戶幫忙計算策略，之后再將策略發送給本身，從而達到了合作計算的目的。實驗結果表明，與現有的算法相比，本文提出的DGC算法都有較好的性能。

在接下來的工作中，將研究在保證次用戶對主用戶的干擾小于所設定的閾值時，信道可以同時容納主用戶和次用戶的接入，以更好地提升信道利用率。