結合深度強化學習的區塊鏈分片系統性能優化

溫建偉，姚冰冰，萬劍雄，李雷孝

1.內蒙古自治區氣象信息中心，呼和浩特 010051

2.內蒙古自治區基于大數據的軟件服務工程技術研究中心，呼和浩特 010080

近年來，隨著人工智能、互聯網、物聯網的快速發展，數據呈現爆炸式增長，為了保證數據的安全性，區塊鏈技術廣泛應用于醫療、金融等各種領域。然而，當前區塊鏈有著低的吞吐量和可擴展性的限制，大大限制了區塊鏈的應用。區塊鏈具有去中心化、安全、可擴展性三種特性，根據區塊鏈的三難困境[1]，任何區塊鏈只能滿足三個特性中的兩個。所以，在提高區塊鏈吞吐量和可擴展性的同時需要保證區塊鏈的安全性。以上問題是當今社會的難題，是區塊鏈領域的挑戰。

目前，對于提高區塊鏈吞吐量較為有效的方式是將分片技術應用到區塊鏈中，并對區塊鏈體系結構進行重新設計。因此，近年來學術界不斷探索在改進的體系結構中利用分片技術的優化控制方法提高區塊鏈吞吐量。目前對于提高區塊鏈吞吐量的主要方法分為靜態優化方法與動態優化方法。靜態優化方法是指區塊鏈采用分片技術時，使用的分片策略一直固定不變。采用靜態優化方法的研究有文獻[2-5]。以上研究對于區塊鏈的分片選擇均是靜態策略，這不符合動態的區塊鏈環境。因此，有研究提出動態優化方法，將分片技術與深度強化學習（deep reinforcement learning，DRL）[6]結合。根據動態的區塊鏈系統環境采用動態的分片策略。將分片技術與深度強化學習結合的研究有文獻[7-8]。

以上利用深度強化學習進行動態優化方法研究，大多數采用deepQnetwork（DQN）[9]算法，解決了靜態的區塊鏈分片策略的缺點。但是當行為維度擴大后，行為組合將會引起行為空間爆炸，采用基本強化學習DQN算法，神經網絡難以訓練，將會影響區塊鏈的性能。為解決上述問題，本文提出了一種結合深度強化學習的區塊鏈分片策略優化的方法解決動態區塊鏈分片處理數據的問題。本文的主要貢獻為提出了深度強化學習branching duelingQ-network（BDQ）[10]算法與區塊鏈分片技術結合的方法，解決了區塊鏈吞吐量低的問題，并且對行為空間進行擴大，實現了區塊鏈分片系統的細粒度控制。本文將區塊鏈分片問題建立為馬爾科夫決策過程，提出了branching duelingQ-network shard-based blockchain（BDQSB）算法，解決了傳統動態優化行為空間爆炸的問題。研究構建了區塊鏈分片仿真系統，相比于使用DQN 算法，仿真結果表明，本文提出的BDQSB算法將區塊鏈吞吐量提高了25%。

1 研究現狀

分片技術可以有效的提高區塊鏈吞吐量。分片技術可以分為靜態分片與動態分片兩類。典型的靜態分片技術如Elastico、OmniLedger。Luu等人[2]提出了Elastico，是最早面向公有鏈的分片技術。Elastico 將PoW（proof of work）[11]協議與PBFT（practical byzantine fault tolerance）[12]協議相結合，節點首先通過PoW建立身份證明，然后節點被隨機分到各個委員會中，由于每個委員會中的節點數量足夠小，所以委員會每步可以完全運行片PBFT 協議。各個委員會中的節點并行處理事務，所以Elastico幾乎實現了對吞吐量的線性擴展。OmniLedger[3]的整體架構是由一條身份鏈以及多條子鏈構成的。OmniLedger使用RandHound[13]協議，將所有節點分成不同的組，并隨機將這些組分配到不同的分片子鏈。每個分片內共識采用PBFT協議。過移除塊的全序要求，將塊組織成有向無環圖（directed acyclic graph，DAG）結構，增加了系統的吞吐量、降低了交易確認延遲。此外，OmniLedger 使用原子提交協議來處理跨分片交易，并使用賬本剪輯技術，引入檢查點，將檢查點之前的歷史數據進行裁剪，降低節點的存儲壓力。OmniLedger 實現了區塊鏈吞吐量隨著分片的數量線性增加。

在Elastico、OmniLedger 基礎上對區塊鏈系統架構進行改進并采用分片技術的研究成果，如Zillqa、Rapid-Chain。Zillqa[4]團隊在Elastico 的基礎上進行了架構和性能優化。在設計架構上，提出雙鏈架構，另一條是交易鏈，一條是目錄服務鏈。交易鏈上保存交易數據，目錄服務鏈存放礦工元數據信息。在性能優化上，共識階段Zillqa 借鑒了CoSi[14]多重簽名技術，并用數字簽名代替MAC，極大提升了PBFT 的擴展性，使得PBFT 可以適用于幾百個節點，通過在PBFT中使用數字簽名來提高效率。RapidChain[5]在OmniLedger 的基礎上，加入了基于糾刪碼的信息分發技術來加快區塊的傳播速度，實現了覆蓋通信、計算與存儲的全分片技術，為了降低狀態代價，RapidChain采用了Cuckoo協議，每次分片切換只需替換部分節點。Rapidchain 系統中主要包含三個重要階段，分別是bootstrapping phase（引導啟動階段）、consensus phase（共識階段）和reconfiguration phase（重構階段）。Bootstrapping 階段只會在在Rapidchain 系統開始時運行一次，這個階段是為了創建一個初始隨機源，并隨機選出一個特殊的委員會，叫作參考委員會（reference committee），再由這個參考委員會的成員對節點進行隨機分配，構成一個個分片委員會。

近年來，出現了一些優化區塊鏈吞吐量的動態分片技術。動態分片技術解決了靜態分片技術一直使用固定分片策略的問題。動態分片技術可以為動態的區塊鏈環境提供動態的分片策略，使區塊鏈吞吐量得到提升。DRL是一種典型的動態優化方法，可以為復雜的區塊鏈系統決策問題提供行為策略。Yun等人[7]提出了一個基于分片的可擴展區塊鏈系統，在保持高安全級別的同時優化吞吐量，將分片技術與深度強化學習算法相結合，將區塊鏈分片選擇過程抽象為馬爾科夫決策過程（Markov decision process，MDP）[15]，提出了基于分片的深度Q網絡區塊鏈所使用的分片協議（deepQnetwork shard-based blockchain，DQNSB）模型。分片技術不斷將挖掘任務委托給其他節點。通過調整分片數量，可以主動改變安全級別。采用深度強化學習的方法來優化區塊鏈的性能，以滿足大規模和動態的物聯網操作。特別是，在DRL框架的基礎上，將信任的概念融入到共識過程中，通過監控每個epoch的共識結果來估計網絡的惡意概率。基于網絡信任，計算安全分片的數量，并采用自適應控制保持最優吞吐量條件。Zhang等人[8]提出了一種區塊鏈與強化學習結合的天空鏈。一種新型的基于動態分片的區塊鏈框架，在不影響動態環境下的可擴展性的前提下，實現了性能和安全性的良好平衡。首先，提出了一種自適應分類賬協議，以保證基于動態分片策略的分類賬能夠有效的合并或分割。然后，為了優化高維系統狀態的動態環境下的分片策略，提出了一種基于深度強化學習的分片方法。構建了一個從性能和安全性方面評估區塊鏈分片系統的框架，通過調整分片間隔、分片數和塊大小，使系統的性能和安全達到長期的平衡。深度強化學習可以從以往的經驗中學習區塊鏈分片系統的特點，并根據當前的網絡狀態采取合適的分片策略，獲得長期的回報。

以上基于DRL 的動態分片技術，普遍采用基本的深度強化學習算法DQN，采用DQN算法解決了狀態空間爆炸問題。但是，當行為維度增大導致行為空間爆炸時，使用DQN算法會使神經網絡無法訓練。

2 問題描述

在區塊鏈網絡中，網絡中的客戶端將事務請求發送給區塊鏈網絡中的所有節點，區塊鏈網絡中的節點進行分片來對事務進行并行的處理。首先，根據區塊鏈中節點解決一個工作量難題（PoW）的速度快慢，在區塊鏈網絡節點中選擇出解決PoW快的一定數量的節點組成目錄委員會，目錄委員會中的節點是對最后所有片內產生的區塊進行最終的打包處理。選擇完目錄委員會中的節點后，區塊鏈中其余節點進行分片，根據節點的ID將區塊鏈中的節點分成K片，對事務進行并行處理，片內節點將事務打包成區塊，驗證完成后，發送給目錄委員會，目錄委員會進行最終打包，打包成最終塊，驗證通過后上傳到區塊鏈上，同時將打包的最終塊信息返回給所有片內節點，片內節點進行信息更新。

區塊鏈網絡中的節點進行分片時，靜態的分片策略不能有效的處理動態的區塊鏈環境。針對當前的問題，可以通過將深度強化學習算法加入到區塊鏈系統中，將區塊鏈中分片問題建立成馬爾科夫決策過程，為區塊鏈系統每次進行分片提供合適的分片策略，達到處理事務的最大吞吐量。

3 區塊鏈分片問題的馬爾科夫決策過程

區塊鏈網絡中節點分片的選擇是序貫決策過程，本文將分片的選擇問題建模成馬爾科夫決策過程。其中包括狀態空間、行為空間和獎勵函數。

行為空間：通過對區塊大小、出塊時間和區塊鏈分片數量的選擇來實現對區塊鏈網絡中節點進行分片，并行處理事務。本文將區塊大小、出塊時間和區塊鏈分片數量定義為離散的行為空間，在t時刻區塊鏈網絡中的區塊大小為B、出塊時間為TI、區塊鏈分片數量為K，行為空間定義為A={B,TI,K}。

獎勵函數：獎勵表示在當前狀態下采取行為所獲得的收益。本文的優化目標是提高區塊鏈每秒處理事務的數量。因此定義獎勵函數為：

其中，α表示學習率，為常數。Q-learning 方法將所有狀態和其對應行為存儲在Q表中。當狀態空間和行為空間維數很大的時候，此方法對于處理高維度問題難以實現，主要原因是計算機內存無法存儲Q表，而且每次在Q表中搜索十分消耗時間。

4 基于深度強化學習的區塊鏈分片算法

4.1 算法設計

基于深度強化學習算法的區塊鏈分片選擇邏輯如圖1 所示。強化學習智能體通過神經網絡輸出對應行為的Q值來選擇相應的區塊鏈分片行為at；將分片行為執行到區塊鏈系統環境中，環境產生下一個狀態st+1，獲得產生的獎勵R。將智能體與區塊鏈系統環境交互產生的經驗(st,at,st+1,Rt+1)存儲到經驗池D中，對神經網絡進行訓練。

圖1 算法的邏輯結構Fig.1 Logical structure of algorithm

本文將深度強化學習branching duelingQ-network（BDQ）算法運用到區塊鏈分片系統，提出了基于分片的分支決斗Q網絡（BDQSB）算法。BDQSB 算法相較于DQN算法的優勢是解決了行為空間爆炸以及行為空間爆炸導致神經網絡難以訓練的問題。本文提出的BDQSB算法在每一個決策時刻t將系統的狀態st=(R,C,H,P)作為輸入，輸出行為at=(B,TI,K)。

求解問題公式（1）使用深度強化學習算法的步驟如下。

算法1的第1步為初始化經驗回放池D，用于存放agent 與區塊鏈環境進行交互產生的經驗樣本，用來訓練神經網絡。算法的第2 步初始化兩個結構相同的神經網絡以及兩個網絡的權重參數，將當前區塊鏈系統環境的狀態輸入到神經網絡中可以得到預測的區塊鏈分片行為。算法的第4～7步中第4步是得到當前時刻區塊鏈系統環境的狀態st=(R,C,H,P)，用于輸入到神經網絡中得到分片行為。第5步神經網絡輸出3個子行為的優勢函數和狀態值函數，將子行為的優勢函數與狀態值函數相加得到行為分支的Q值。

在權衡開發與探索二者之間，根據ε-greedy 策略（ε-greedy 策略是一種常用的策略。其表示在智能體做決策時，有一很小的正數ε(＜1)的概率隨機選擇未知的一個動作，剩下1-ε的概率選擇已有的動作中動作價值最大的動作），選擇每個行為分支中對應Q值最大的子行為組成最終環境所執行的分片行為at=(B,TI,K)。根據概率ε在行為空間中隨機產生行為。在算法進行探索行為初始階段ε的值較大。隨著算法的不斷迭代，ε逐漸遞減，算法傾向于選擇神經網絡生成的行為。第6 步將得到的行為at=(B,TI,K)輸入到區塊鏈系統環境中，根據第三個子行為K，區塊鏈節點進行分片，根據第一個子行為B和第二個子行為TI，節點并行處理事務，產生區塊。目錄委員會將最終塊上傳帶區塊鏈中，區塊鏈系統環境進行狀態轉化，得到下一個狀態st+1=(R,C,H,P)。第7 步環境執行行為前的狀態轉變成執行行為后的狀態，得到環境的下一個狀態和環境對于執行行為的獎勵r，即處理事務的吞吐量。第8步將agent與區塊鏈系統環境進行交互產生的樣本存儲到經驗池中，用于對神經網絡的更新。

在時間復雜性方面，BDQSB 算法在選擇神經網絡輸出的行為時（算法第9 行）只需要對Q網絡進行前向傳播，其復雜度為O(1)。在訓練Q網絡時，時間復雜度與梯度下降的次數相關。在神經網絡結構的復雜度方面，神經網絡輸出層共有 |B|+|TI|+|K|個輸出。在5.3節中，將進一步從實驗角度比較不同方法的時間成本。

4.2 Q 函數近似

DQN 方法解決了狀態空間爆炸的問題，但是當行為空間爆炸時，DQN方法存在神經網絡輸出復雜、難以訓練的缺點，因此文獻[4]對DQN 進行改進，提出了branching duelingQ-network（BDQ）。如圖2為BDQ的神經網絡結構。相較于傳統的DQN 算法，BDQ 算法提出了一種新的神經網絡結構，行為空間有幾個子行為就對應幾個網絡分支，并且具有一個共享的決策模塊。BDQ算法為每個單獨的動作維度提供一定程度的獨立性，可擴展性較好。BDQ算法將區塊鏈狀態st=(R,C,H,P)輸入到神經網絡中，狀態經過共享模塊（即神經網絡的隱藏層）進行抽象，輸出分為兩個分支，分別為狀態分支和行為分支。行為分支輸出每個子行為的優勢函數A1(st,a1),A2(st,a2),A3(st,a3)，狀態分支輸出狀態值函數V(st)，將子行為的優勢函數與狀態值函數合并得到子行為的Q函數，區塊鏈分片系統決策時，根據輸出的每個子行為Q值來選擇相應的行為。

圖2 BDQ的神經網絡結構Fig.2 Neural network structure of BDQ

將BDQ 算法引入4.1 節算法1 中，其中第9 步的更新過程是在經驗池中隨機抽取minibatch 大小的經驗，使用梯度下降的方式更新神經網絡參數。BDQ對lossfunction的更新公式為：

BDQ算法中有兩個結構相同的神經網絡，其中online network 網絡實時更新，targetnetwork 每隔C步更新一次，將online network參數值賦給targetnetwork。

5 仿真實驗

5.1 仿真系統

本文所構建的區塊鏈仿真系統中包括200 個區塊鏈的節點。

圖3 區塊鏈分片仿真系統結構Fig.3 Simulation system structure of blockchain sharding

5.2 實驗參數

算法中的神經網絡設計為四層全連接網絡，其中3個隱藏層神經元個數分別為256、128、64。激活層函數使用的是ReLU。優化器使用RMSprop，學習率為0.05。在實驗中，將前1 000步設置成算法的探索步數，1 000步以后，探索率ε以每步0.01的方式增加，一直增加到0.9。

其他參數應用自文獻[13]的實驗，實驗參數如表1所示。

表1 算法的主要參數Table 1 Main parameters of algorithm

5.3 算法性能評價

如圖4對比9組策略的平均獎勵，9組策略分為6類。

圖4 平均獎勵Fig.4 Average reward

（1）動態DQNSB 策略，包括DQNSB_8*16*8 和DQNSB_15*31*16。DQNSB_8*16*8策略中3個子行為B、TI、K的可選范圍分別為[1，8]、[1，16]、[1，8]中的整數離散值，3個子行為的取值間隔都為1，行為空間大小為1 024。DQNSB_15*31*16是擴大行為空間后的策略，3個子行為B、TI、K的可選范圍分別為[1，8]、[1，16]、[1，16]，子行為B，TI的取值間隔為0.5，子行為K的取值間隔為1，行為空間大小為7 440。

（2）半動態DQNSB 策略，分別為DQNSB_8*16*8，B=4、DQNSB_8*16*8，TI=4 和DQNSB_8*16*8，K=4，是將動態策略DQNSB_8*16*8 的3 個子行為的值分別固定。

（3）本文提出的動態策略BDQSB_15*31*16。BDQSB_15*31*16策略空間大小、行為的取值范圍和取值間隔與DQNSB_15*31*16策略相同。

（5）Random network sharding strategy[17]是完全隨機選取行為的策略。

（6）DRLB[18]策略，是一個基于DRL（深度強化學習）的算法，動態選擇區塊鏈中區塊生產者、共識算法、區塊大小和出塊時間來提高區塊鏈系統的性能。

從圖4 可以看出，使用半動態策略進行的3 個實驗所得到的平均獎勵曲線明顯低于相同行為空間使用動態策略DQNSB_8*16*8 得到的平均獎勵曲線。說明使用深度強化學習算法對區塊鏈節點進行分片，可以對吞吐量進行一定的提升。圖4 中DQNSB_15*31*16 曲線與DQNSB_8*16*8 曲線比較顯示將行為空間擴大約7倍后，采用DQNSB算法得到的平均獎勵曲線，比沒有擴大行為空間前的獎勵大約提升了2 倍。說明細分行為后擴大行為空間能夠提升區塊鏈處理事務的吞吐量。從圖4 中DQNSB_8*16*8 曲線、DQNSB_15*31*16 曲線和BDQSB_15*31*16 曲線可以看出，使用BDQSB 算法得到的平均獎勵比行為空間為1 024 的DQNSB 算法提升了大約2.5 倍，比擴大后行為空間為7 440 的DQNSB算法提高了約1.25 倍，說明BDQSB 算法能使神經網絡得到更好的訓練，區塊鏈系統能夠得到更好的行為。其余3 組 實 驗greedy modularity-based stratgy、random network sharding strategy 和DRLB 策略，仿真結果表明，與以上3組實驗相比，使用BDQSB算法將區塊鏈吞吐量分別提升了大約1.6 倍、24 倍和1.7 倍。說明本文提出的BDQSB 對于區塊鏈分片吞吐量提升是更好的策略。

本文比較了BDQSB算法與DQNSB算法[13]，DQNSB算法解決了狀態空間爆炸的問題，算法中利用神經網絡對Q函數進行近似。若行為每個維度可選離散值較少，則可縮小Q網絡的輸出數量，但是可能會導致算法的性能不佳，反之亦然。

表2 中有3 組行為策略，其中DQNSB_8*16*8 策略和DQNSB_15*31*16 策略采用的都是DQN 算法，其區別是第二個策略比第一個策略在行為空間上對行為粒度劃分的更細。使用DQNSB_8*16*8策略時，神經網絡輸出數量為|B|×|TI|×|K|=1 024。與第一個策略相比，第二個策略對子行為B，TI的取值劃分更加細粒化。子行為K的取值范圍相較于第一個策略擴大了1 倍。行為空間擴大后，使用DQNSB_15*31*16 策略時，神經網絡輸出數量為 |B|×|TI|×|K|=7 440。BDQSB_15*31*16 策略行為空間劃分與DQNSB_15*31*16 策略相同。因為BDQSB_15*31*16 策略使用的是BDQ 算法，神經網絡輸出的數量為 |B|+|TI|+|K|=62。

表2 不同算法采用的行為空間Table 2 Behavior spaces used by different algorithms

圖5～7 顯示在數量為7 440 的行為空間中，使用DQNSB 算法和BDQSB 算法訓練20 000 步后，3 個子行為在不同算法中的平均值。從圖5 子行為B的平均值可以看出，BDQSB 算法在算法運行期間子行為B的平均值比DQNSB 算法行為B的平均值大約高8%，子行為B表示區塊的大小，說明使用BDQSB算法處理的事務更多。從圖6 子行為TI的平均值可以看出，BDQSB算法的子行為TI比DQNSB 算法所獲得的子行為TI少7%，子行為TI為區塊產生時間，說明使用BDQSB算法處理數據所用時間更短，處理數據更快。從圖7子行為K的平均值可以看出，BDQSB算法行為中的K也高于DQNSB 中的行為K值，說明使用BDQSB 算法區塊鏈網絡分片更多，處理事務更多。綜上所述，BDQSB算法比DQNSB 算法能使區塊鏈的吞吐量得到更大的提升。

圖5 子行為B的平均值Fig.5 Average value of sub-beha vior B

圖6 子行為TI的平均值Fig.6 Average value of sub-behavior TI

圖7 子行為K的平均值Fig.7 Average value of sub-behavior K

表3 是不同算法的神經網絡訓練的時間成本。從表3 可以看出，random network sharding strategy 是完全隨機選取行為的策略，不需要訓練神經網絡，因此沒有訓練神經網絡的時間成本。greedy modularity-based stratgy是只關注當前獎勵不考慮未來的策略，該策略時間成本比使用BDQSB_15*31*16策略的時間成本短，但是提高區塊鏈性能的效果不如BDQSB_15*31*16 策略好。雖然在行為空間較小時使用半動態策略DQNSB_8*16*8，B=4、DQNSB_8*16*8，K=4、DQNSB_8*16*8，TI=4 和動態策略DQNSB_8*16*8 的時間成本比使用BDQSB_15*31*16策略的時間成本短，但是與BDQSB_15*31*16 策略相比沒有更好地提高區塊鏈的性能。在使用DQNSB_15*31*16 策略和DRLB 策略時的時間成本比使用BDQSB_15*31*16策略的時間成本多，而且在提高區塊鏈性能方面也不如BDQSB_15*31*16 策略。在BDQSB 與所有策略相比后，說明BDQSB 策略不僅能使神經網絡訓練的時間成本減少，同時還提高了區塊鏈的性能。

表3 不同策略的時間成本Table 3 Time cost of different strategies

6 結束語

本文研究了區塊鏈通過進行分片并行處理事務來提高區塊鏈吞吐量的問題，將區塊鏈分片問題抽象為馬爾科夫過程決策過程，并設計了一種基于BDQSB 的區塊鏈分片選擇算法。通過實驗將BDQSB 算法與DQNSB 算法在不同的行為空間上進行了對比，結果表明基于BDQSB算法的區塊鏈處理事務的性能明顯優于使用DQNSB 算法。實驗結果顯示，使用BDQSB 算法區塊鏈能夠處理更多事務的同時提高處理事務的速度。本文研究的內容為區塊鏈提升吞吐量性能提供了參考，提出的方法對將區塊鏈應用到更多的領域，具有重要的實際意義。