深度雙Q網絡中低延遲高可靠數據查詢算法

林增坦，林增鈺，黃紫成

(仰恩大學，福建 泉州 362014)

1 引言

深度學習是機器學習領域的重要研究目標之一，其核心思想是融合多層深度網絡，如神經網絡及卷積網絡，同時利用非線性激活函數轉換對數據實施表征學習[1]。而強化學習的關鍵在于與環境交互學習，最后得到最佳策略。深度學習與強化學習具備互不相同的特征，融合兩者的優勢則生成了深度雙Q網絡(Deep Recurrent Q-Network，DRQN)。該網絡結合了深度學習的抽象表達性能與強化學習的序貫決策能力，可以為用戶在某些復雜環境內更好地進行學習的決策[2]。

深度雙Q網絡內包含數量眾多的傳感單元和數據處理單元，因為該網絡節點資源有限，極易受到外部環境的侵擾[3]。因此，怎樣管理深度雙Q網絡內的數據，實現可靠的數據查詢是當前亟需解決的重要問題，也直接決定了網絡的學習決策性能的好壞。由此，提出一種基于分簇的低延遲高可靠數據查詢算法。首先介紹深度雙Q網絡的基本原理，運用卷積神經網絡進行Q值函數擬合，令目標Q值函數得到最優動作，完成數據的評估預判；其次采用基于主成分特征提取的數據聚類方法，均值標準化處理數據，并對不同指標的相同特征采取主成分分析，獲取每個特征的綜合分數，完成數據精準聚類，方便后續數據查詢方法的有效計算；通過數據查詢時間估算和簇頭節點能量損耗估算，得到數據估計模型，引入查詢節點輪換機制均衡每個節點的能量消耗，達到延長網絡壽命目標，繼而提高數據查詢準確率。

2 深度雙Q網絡分析

深度學習的根本是人工神經網絡通過淺層學習進化得到的，反向傳播方法是深度學習的基礎方法。使用反向傳播能夠令人工神經網絡從眾多訓練樣本內學習到數據的分布式特性，繼而對未知樣本實施預判。通過多個隱藏層組成的多層感知器，較比淺層網絡具備更好的網絡特征表達性能[4]。

DRQN使用強化學習來組建模型與優化目標，采用深度學習求解狀態表達與策略表達，并從環境內得到數據，再把感知形態輸入至Q網絡內，每隔一段時間就將主Q網絡的參變量拷貝至目標Q網絡，同時讓網絡利用損失函數采取反向傳播，實現更新主網絡參變量的目標，反復訓練，直到損失函數呈現收斂狀態[5]。DRQN模型使用卷積神經網絡擬合Q值函數，然后運用梯度下降手段求解最優化問題，讓目標Q值函數利用相同的擬合函數挑選最佳動作，同時對其實施評判，得到

(1)

式(1)中，r表示標量的獎賞值，γ表示折扣因子，Q(s′，a′)表示動作值函數，θ表示評估網絡參數。在此過程中，若θ未更新，則會導致Q值的估計值較高，如果使用過高的估計值，整個潛在決策就會呈現出不一致性，讓決策挑選到次優解。對于狀態空間持續選址的強化學習任務而言，有限的學習樣本無法讓神經網絡擬合出合適全部狀態動作對的Q值函數[6]。所以擬合的Q值函數曲線會在實際Q值曲線周邊浮動，因為目標Q值函數求解時要進行選擇，讓Q值實現最大動作，網絡估計的Q值會比實際Q值要高。

3 基于主成分特征提取的數據聚類

在深度雙Q網絡中，最為典型常見的數據為面板數據，此類數據具備截面數據和時間序列數據特征[7]。面板數據每項指標量綱或數量級的不同會對數據聚類結果形成一定影響，因此對面板數據Xij(t)采取均值標準化處理，處理過程為

(2)

將各個指標的均值設定為1，則方差是

(3)

(4)

A(Fij)表示個體的第j個指標在總時段T的平均值，此特征量凸顯出個體i的第j個指標在全局時段的絕對發展水準。

個體i的第j個指標的全時浮動特性為

(5)

個體i的第j個指標全時偏度特性為

(6)

個體i的第j個指標全時峰度特性為

(7)

此特征量映射出個體i的第j個指標在全局時段分布曲線的尖銳水準[8]，K(Fij)小于0，證明此指標值的分布比正態分布更加分散，K(Fij)大于0，證明此指標值的分布比正態分布更聚攏于均值四周。

將個體i的第j個指標全時趨勢特性描述為

(8)

T(Fij)表示指標的長期改變趨勢，如果指標的TF(Fij)值越相近，證明兩個指標的坡度走向相等，指標值越相似。

下面對不同指標的相等特性進行主成分分析，獲得各個特性的綜合分數。設F1，F2，…，Fp是p維指標矢量A提取的主成分，將αk當作主成分Fk的方差貢獻率，那么主成分降維后絕對量特性A(Fij)的綜合分數是

(9)

選擇N個個體的五項指標數據集{Zij}，那么Zij就是第i個個體第j個指標數；利用不同的方法采取標準化處理，滿足Zij=|Zij|，則其正向指標是

(10)

反向指標是

(11)

推算第j個指標的第i個個體占據此指標的比例和第j個指標的熵值[9]。至此，完成數據聚類，從而增強數據查詢效率。

4 基于分簇的低延遲高可靠數據查詢算法

數據查詢優化的目的是最小化深度網絡的能源總消耗，包含網絡內傳感器節點采取數據處理的能源消耗及通信能源消耗[10]。所以在進行數據查詢優化時，低延遲高可靠的查詢方式成為增強網絡能源效率的關鍵方法。

假設用戶查詢q需要的所有感知數據集合S分布于n1，…，nm簇頭節點相應的數據包集合k1，…，km內，那么q在簇頭節點nj內執行的時間消耗為

QC=TC+TQ

(12)

式(12)中，TC是其余簇頭節點向nj節點輸送數據的通信時長，TQ是此節點實現數據處理的運算時間消耗。

通信時長主要是n1，…，nm個簇頭節點把數據包集合k1，…，km傳遞至節點nj所耗費的時間。它和傳遞數據量成正比，和傳送速率成反比。假設簇頭節點ni、nj之間傳送速率是每秒Rij，則ni、nj之間輸送數據包的耗時為

ti，j=ki/Rij

(13)

則

(14)

推算耗時是簇頭節點關于S執行數據處理的時間。若對S的處理需要執行I個命令，簇頭節點nj的處理性能是每秒執行pj個命令，可得到

TQi=I/pj

(15)

把式(15)和式(14)引入式(12)，得到查詢時間消耗值

(16)

深度雙Q網絡內因為能源受限，要求網絡內數據傳輸數量為最低，傳感器節點通信能量耗費遠遠超出計算時的能量損耗[11]，簇頭節點nj執行查詢的過程中，網絡消耗的能量包含其它簇頭節點和nj節點通信、nj節點對自身數據與其它簇頭節點輸送的數據計算處理、nj節點和基站通信三部分能量消耗。因為各個簇頭節點的計算耗時與數據的計算處理執行命令數量相等，因此計算處理的能量損耗也相等，不需要采取單獨計算，所以僅需算出各個簇頭節點的通信能量消耗即可，計算公式為

E=λkd2

(17)

式(17)中，λ表示單位數據輸送單位距離時的傳感器能耗，k是數據包體積，d是通信間距。

按照式(17)無線電能量關聯得知，進行數據傳輸時，信號放大部分的能耗占據較多面積[12]，并且和數據包大小及傳輸間距的平方成正比，那么其它簇頭節點和nj節點通信能耗為

(18)

nj節點和基站通信的能耗為

(19)

從而得到簇頭節點nj查詢過程的網絡能耗是

(20)

因為查詢節點比其它節點處理的數據量更多，能耗很大，為了有效延長局部網絡壽命，可將每次剩下的能量最高節點當作查詢節點。

在一個查詢請求中，各個節點感知并采集自身覆蓋區域的數據源，通過相當數量的計算、融合及處理獲取與請求結果相近的數據集，此階段消耗的能量是ei。每個節點順著自身的路徑將數據傳送至查詢節點，在數據傳輸的路徑內，各個節點均能將自身接收的數據采取融合。因為每個節點在相同查詢請求下獲得的結果集模式相同，但傳輸距離有較大差別，因此每個節點的傳輸能耗也不相等。

如果節點i向節點j輸送數據，i輸送單位信息所需的能量et(i)的表達式為

(21)

式(21)中，et表示輸送每比特信息所耗費的能量，ed為傳輸時的單位能量消耗，et與ed均通過節點發送器自身特征決定；參數n為信道路徑丟失系數，依靠于網絡環境；傳感器節點搭設靠近地面時，障礙物較多，干擾指數較高，參數n的值也越高；rij表示傳輸距離；B為信號比特率，一般為一個固定值。

節點j接收節點i輸送的單位信息需要的能量為

er(j)=erB

(22)

式(22)中，er為接收每比特信息耗費的能量。

若深度雙Q網絡共有M層，則第N層節點的信息要經過第N-1層實現轉發，同理，傳輸至根節點時，第K層節點信息要通過K-1個節點完成轉發，假設從i層節點至i-1層的距離是di，則一次信息傳輸消耗的能量是

(23)

需要注意的是，并不是M層內全部節點內的信息都會輸送至根節點，M層內的信息抵達M-1層后，會采取數據融合處理，真實抵達根節點的信息較少，因此ek是傳輸信息數量的最高值。

假設一次查詢請求下，節點i在此時段一共執行了m次的信息傳送和n次信息接收，那么節點i在查詢后的剩余能量為

ja，jb∈Ni

(24)

5 仿真研究

為了證明所提方法的數據查詢性能，與對稱加密算法、動態模糊算法進行數據查詢性能對比，由于MATLAB平臺可以快速建立數據查詢網絡環境，便于分析算法性能。因此，選擇MATLAB 7.0平臺進行仿真。設置目標監視區域范圍是100m×100m，節點通信半徑為20m，數據包大小為128MB。

為驗證所提出方法數據查詢的性能，在仿真平臺對所提算法、文獻[7]方法(帶關系屬性的空間關鍵詞并行查詢處理算法)及文獻[8]方法(基于分布式無共享架構的海量數據并行查詢平臺)進行查詢成功率、數據傳輸能耗實驗。

5.1 查詢成功率

設置在無節點故障情況下，三種方法的成功查詢概率，基于上述實驗環境，在仿真平臺進行了500輪數據查詢，并自動計算并輸出實驗結果，如圖1所示。

圖1 查詢成功率對比

由圖1可以發現，所提算法的查詢成功率始終高于文獻[7]、文獻[8]方法的查詢成功率。而且文獻[7]方法的平均查詢成功率為86.17%，文獻[8]方法的平均查詢成功率為80.54%，所提方法的平均查詢成功率為97.96%，說明所提方法的數據查詢性能較好，滿足低延遲高可靠數據查詢高效的需求。

5.2 數據傳輸能耗

以深度雙Q網絡查詢后剩余可靠節點個數作為驗證方法數據傳輸能耗的指標，剩余可靠節點個數越多，數據傳輸能耗均衡效果越好。具體實驗結果如圖2所示。

圖2 網絡剩余可靠節點個數對比圖

從圖2中可知，三種對比算法的剩余可靠節點數量呈現逐步下降的趨勢，但所提方法的下降趨勢比較平緩。在運行為120s時，兩種對比方法的剩余可靠節點數量分別為45個和32個；所提方法的剩余可靠節點數量為81個，且在運行時間內剩余可靠節點維持在80個以上。這是因為所提方法利用了節點輪換方法均衡網絡能耗，使查詢節點能量的消耗速率降低。及時調整了查詢節點，保證剩余可靠節點的數量，因此該方法的能耗均衡能力較強。

6 結論

針對深度雙Q網絡數據查詢過程中存在效率不高、精度較差等問題，提出一種基于分簇的低延遲高可靠數據查詢算法。通過分析深度雙Q網絡關鍵機制，建立深度雙Q網絡模型，實現最優動作挑選及評估。運用基于主成分特征提取的數據聚類方法，提升數據查詢成功率。利用分簇節點輪換方法均衡網絡能耗，延長網絡生命周期，實現深度雙Q網絡的高效率學習。