受限玻爾茲曼機及其變體研究綜述

摘" 要：

受限玻爾茲曼機作為學習數據分布和提取內在特征的典型概率圖模型，是深度學習領域重要的基礎模型。近年來，通過改進受限玻爾茲曼機的模型結構和能量函數得到眾多新興模型，即受限玻爾茲曼機變體，可以進一步提升模型的特征提取性能。研究受限玻爾茲曼機及其變體能夠顯著促進深度學習領域的發展，實現大數據時代海量信息的快速提取。基于此，對近年來受限玻爾茲曼機及其變體的相關研究進行系統回顧，并創新性地從訓練算法改進、模型結構改進、模型深層融合研究和模型相關最新應用4個方面進行全面綜述。其中，重點梳理受限玻爾茲曼機訓練算法和變體模型的發展史。最后，討論受限玻爾茲曼機及其變體領域的現存難點與挑戰，對主要研究工作進行總結與展望。

關鍵詞：

受限玻爾茲曼機; 深度學習; 受限玻爾茲曼機變體; 概率無向圖; 特征提取

中圖分類號：

TP 183

文獻標志碼： A""" DOI：10.12305/j.issn.1001-506X.2024.07.16

Review of research on restricted Boltzmann machine and its variants

WANG Qianglong1， GAO Xiaoguang1， WU Bicong2， HU Zijian1， WAN Kaifang1，*

（1. School of Electronic Information， Northwestern Polytechnical University， Xi’an 710129， China;

2. Stratégie et économie d’Entreprise， Paris 1 Panthéon Sorbonne， Paris 75005， France）

Abstract：

As a typical probabilistic graphical model for learning data distribution and extracting intrinsic features， the restricted Boltzmann machine （RBM） is an important fundamental model in the field of deep learning. In recent years， numerous emerging models， i.e.， RBM variants， have been obtained by improving the model structure and energy function of RBM， which can further enhance the feature extraction performance of the model. The study of RBM and its variants can significantly contribute to the development of the deep learning field and realize the rapid extraction of massive information in the era of big data. Based on this， the relevant research on RBM and its variants are systematically reviewed in recent years， and the improvement of training algorithm， model structure， deep model fusion research and the latest application are creatively reviewed. In particular， the focus is on sorting out the develop history of training algorithms and variants for RBM. Finally， the existing difficulties and challenges in the field of RBM and its variants are discussed， and the main research work is summarized and prospected.

Keywords：

restricted Boltzmann machine （RBM）; deep learning; restricted Boltzmann machine variants; probabilistic undirected graph; feature extraction

0" 引" 言

深度學習（deep learning， DL）是一種學習樣本數據的內在規律和表示層次，通過提取特征和學習數據分布，分析文字、聲音、圖像等數據的機器學習方法［1］。自2006年《Science》雜志刊登了圖靈獎得主Hinton等學者發表的能夠被有效訓練的深度置信網絡（deep belief network，DBN）開始，學術界掀起了對深層神經網絡（deep neural network，DNN）的研究熱潮［2］。DNN具有強大的特征提取能力和優越的模型判別性能，在圖像識別、文本識別、自然語言處理（natural language processing，NLP）、物體識別等諸多領域表現顯著。然而，伴隨著神經網絡層數加深，神經元個數、模型參數、硬件需求以及計算消耗的時間會隨之大幅度提升，導致DNN在實際問題中難以有效訓練和部署。受限玻爾茲曼機（restricted Boltzmann machine， RBM），作為淺層神經網絡的典型代表和構建DNN的基石，是神經網絡領域最重要的基礎模型和工具［3］。RBM可以有效避免上述問題，同時具備優異的模型擬合和特征表示能力。搭建并訓練更好的RBM模型，不僅可以提升淺層神經網絡性能，還可以啟發對DNN的設計和改進，進而對整個DL領域有著極為重要的推動作用。

RBM是一個具有兩層對稱全連接且無自反饋的隨機網絡模型，作為DL基本框架，具有較高的研究價值。

首先，RBM作為生成模型，可以用于從學習分布中抽取樣本，并且對于圖像類的訓練數據，RBM可以從圖像中提取特征紋理，并重構圖片。其次，RBM作為特征提取器，可以通過隱藏層捕獲可見層神經元之間的依賴關系，提取到的特征可被進一步處理，如輸入到分類器中進行分類。再次，RBM作為判別模型，可以采用監督學習的訓練方式，通過學習輸入和數據標簽的聯合分布，高效地采樣并判別缺失標簽的樣本。最后，RBM是DNN的基石，不僅可以通過堆棧方式搭建DBN和深度玻爾茲曼機（deep Boltzmann machine， DBM）［45］，還可以通過逐層貪婪方法預訓練人工神經網絡，大幅度提升DNN的學習效率［6］。

得益于DNN的深入研究和神經網絡的廣泛應用，學習

數據特征并擬合數據分布的RBM成為了研究熱點。RBM訓練算法的優化使得淺層神經網絡性能進一步增強。同時，針對RBM結構的相關改進使得RBM適配能力大幅度

提升，應用范圍進一步拓展。RBM與深層網絡的融合，可以更深入地提高神經網絡的生成性能和判別性能，進而解決更多模式識別和實際場景限制難題，然而目前國內外文獻缺乏對RBM改進尤其是RBM變體的細致研究和梳理總結。基于以上動機，本文針對RBM的改進和國內外現狀，進行全面分析和匯總。同時，對RBM的改進方向完成細致分類和討論。旨在為研究DL及RBM的學者梳理出一條全面且清晰的研究脈絡。進而為基于RBM的訓練算法和模型優化，提供豐富的理論基礎和研究支撐。最后，分析RBM及其變體領域的研究難點和挑戰，展望該領域未來的研究方向。

1" 背景知識

圖1展示了近15年來關于RBM研究的SCI和EI論文數量，點虛線是線性擬合出的論文發表走勢，可以看出RBM相關研究呈現出明顯上升趨勢。

1.1" RBM概述

本文將RBM及其變體的概述研究分為以下4個方面：算法研究、變體研究、融合研究以及應用研究，如圖2所示。

本文具體分類方式如下。

第1類，RBM算法研究，是在維持RBM神經網絡結構不變的前提下，改進訓練算法，提升RBM性能的研究。從不同角度出發，具體主要包括Gibbs采樣系列算法、基于梯度優化的改進算法、基于重構誤差的改進算法以及其他改進算法。

第2類，RBM變體研究，指的是針對不同DL任務，給出適配的模型結構或相關函數的改進。近幾年，研究RBM變體的熱度已經遠遠超過RBM本身。RBM變體的訓練算法會因為結構和模型的變化更加復雜，但是RBM變體相對于傳統RBM的應用領域會更廣，模型性能也會顯著提升。RBM變體的研究主要包括基于模型結構改進的變體、基于概率分布改進的變體、基于激活函數改進的變體以及基于目標函數改進的變體。

區分傳統RBM和RBM變體有一個非常簡單但行之有效的分類方法，傳統RBM的研究側重于訓練算法改進，其研究縮寫仍是RBM;而RBM變體的研究則側重于模型機構和模型函數改進，因此RBM變體的縮寫一般為X-RBM，其中X為具體研究方向。

第3類，RBM融合研究，是RBM及其變體與一系列典型的神經網絡模型融合的深層模型研究。RBM自身是生成模型，通過加深層數，可以得到對應的深層生成網絡模型。同時，RBM也可以作為預訓練的有效工具，為深層判別模型或者混合模型訓練節約大量時間成本。最后RBM變體有判別模型變體，可以加深RBM判別變體的網絡深度，得到一系列混合深度模型。因此，RBM融合研究包括：深層RBM模型改進、RBM融合生成模型、RBM融合判別模型以及RBM融合混合模型這4個研究方向。

第4類，RBM應用研究，是RBM、RBM變體以及RBM融合模型最新的相關應用匯總，主要包含工業應用、醫學應用以及其他應用等。

文章具體框架如下：第1節簡要介紹RBM背景知識;第2節和第3節分別詳細綜述RBM算法研究和RBM變體研究;第4節對RBM及其變體的融合模型進行了分析與整合;第5節是RBM及其變體的應用研究;第6節詳細分析了RBM及其變體的現存挑戰與未來展望;最后是全文總結。

1.2" RBM模型介紹

玻爾茲曼機（Boltzmann machine，BM）是經典無向圖能量模型，概念來源于統計物理學，用于學習二值向量上的任意分布［7］。同時，BM的各層神經元與層間所有神經元均為全連接，可以描述神經元變量之間的高階交互影響。BM的訓練相當復雜，其流行程度遠不及現在的RBM，但是其模型有完備的物理解釋和嚴苛的數理統計理論支撐。

RBM的拓撲機構相對于BM是受限制的，因為RBM層內各神經元無連接，其模型結構如圖3所示。RBM在提出初期，被命名為樂器簧風琴，正是因為其的雙層全連接網絡結構與之類似。在圖3中，X代表可見層，對應數據輸入;H代表隱藏層，對應從輸入數據中獲取到的特征，即隱藏層單元可以捕獲可見層變量之間的依賴關系;W代表權重連接;bj和ci分別代表可見層和隱藏層的神經元偏置，wij對應可見層和隱藏層的權重連接。顯而易見，RBM也是典型的淺層神經網絡拓撲結構。

1.3" RBM算法簡介

在二值化RBM中，其隨機變量（x，h）的取值為（x，h）∈（0，1）n+m。RBM模型的能量函數為

E（x，h）=－∑nj=1xjbj－∑mi=1cihi－∑mi=1∑nj=1wijhixj（1）

其中，針對j∈{1，2，…，n}和i∈{1，2，…，m}，wij是與第i個隱藏單元和第j個可見單元相連接的權重;bj和ci分別是對應于第j個可見單元和第i個隱藏單元的偏差項。RBM的聯合概率分布為

P（x，h）=e－E（x，h）Z（θ）=e－E（x，h）∑x，he－E（x，h）（2）

式中：Z（θ）為歸一化因子，又被稱作配分函數;θ=［bj，ci，wij］。因為可見層單元和隱藏層單元仍然是二元的，能量模型RBM的自由能函數可以很容易地推導，即

F（x，θ）=-∑nj=1xjbj-∑mi=1ln1+eci+∑nj=1wijxj（3）

RBM的概率分布如下：

P（x，θ）=e－F（x，θ）∑xe－F（x，θ）（4）

RBM的一個重要特征是可見層和隱藏層之間無連接。因此，可見層和隱藏層的采樣是條件獨立的。而且其節點都是（0，1）分布，很容易得到RBM可見層和隱藏層對稱的采樣公式：

P（x∣h）=∏nj=1P（xj=1∣h）

P（h∣x）=∏mi=1P（hi=1∣x）

（5）

基于最大似然估計算法是RBM最常用的訓練算法。在給定一組訓練集S={x1，x2，…，xl}，其似然梯度可以寫作：

ln L（θ∣x）=ln ∑he-E（x，h）-ln ∑x，he-E（x，h）（6）

值得注意的是，當計算對數似然梯度的第2項時，計算涉及2m或2n個狀態，指數級運算復雜度使其難以計算。因此，需要借助采樣算法等近似結果。具體的訓練算法會在文后中詳細介紹，此處直接給出似然函數針對模型權重的梯度推導公式：

ln L（θ∣x）wij=p（hi=1∣x）xj－

∑jp（x）p（hi=1∣x）xj（7）

與式（7）相類似，可以得到RBM關于可見層和隱藏層偏置的更新規則，即

ln L（θ∣x）bj=xj－∑xp（x）xj（8）

ln L（θ∣x）ci=p（hi=1∣x）－

∑xp（x）p（hi=1∣x）（9）

RBM模型搭建和訓練的嚴格推導過程詳見參考文獻［8］。

2" RBM算法研究

RBM的訓練是以最大化似然函數作為目標函數，以重構誤差為訓練重要指標，使用采樣算法等方法近似模型分布，最后使用隨機梯度下降等算法更新整個神經網絡模型參數。在基于最大化目標函數的求解過程中，需要計算模型期望，而模型期望的計算又由配分函數產生，其求解難度涉及模型所有神經元節點和的指數次冪，復雜度極高且計算困難。因此，需要近似求解模型期望。RBM近似訓練算法在本文中歸納為以下兩個部分：近似采樣算法和變分推斷算法。其中，近似采樣算法又被細分為Gibbs采樣系列算法、基于梯度優化算法和基于重構誤差算法3大類。變分推斷算法在后文中進行簡介。

2.1" Gibbs采樣系列算法

Gibbs采樣系列算法的核心是獲取近似分布。在RBM訓練過程中，是通過數據分布和模型分布的差值來更新整個網絡的模型參數，而模型分布難以獲得。因此，可以通過采樣的方式， 近似模型分布，然后用數據分布和近似分布的差值更新整個神經網絡。訓練RBM的Gibbs采樣系列算法主要包括以下內容。

圖靈獎得主，DL先驅Hinton提出RBM最經典的Gibbs采樣算法，對比散度（contrastive divergence， CD）［9］，該算法克服傳統采樣鏈算法必須通過最夠多的采樣步驟達到細致平衡狀態的局限，而是通過一條Gibbs采樣鏈近似模型梯度。CD算法從實驗數據中采樣，并重構出實驗數據，然后由重構數據進一步采樣，重復k步得到近似分布，如圖4所示。

實驗結果證明，Gibbs采樣鏈只需要一步采樣就可以獲得令人滿意的實驗結果。針對參數的更新，核心公式如下所示：

CDk（θ，x（0））=－∑hp（h∣x（0））E（x（0），h）θ+

∑hp（h∣x（k））E（x（k），h）θ（10）

式中：x（0）代表初始數據;x（k）代表采樣k步后的采樣數據。對比RBM參數更新式（6），可以發現CD算法不需要計算復雜的配分函數，而是通過初始樣本和采樣樣本的差值更新網絡參數。

然而，CD算法簡單有效，但是作為有偏估計，其偏差過大。持續CD（persistent CD，PCD）算法可以有效提升Gibbs采樣效率，減小與模型期望的偏差［10］。在訓練過程中，PCD算法不重新開啟采樣鏈，而是以上次采樣鏈結果作為下次采樣鏈的初值進行持續采樣，整個采樣過程隨著模型訓練不間斷更新，因此更容易獲取模型分布的所有峰值。PCD算法的核心是一條持續的采樣鏈，較CD算法加快了Gibbs采樣鏈的采樣效率。

進一步地，PCD算法因為是持續采樣鏈，導致計算量較大，耗時較長。為加快PCD算法的運算速度，加速PCD（fast PCD，FPCD）算法被提出［11］。FPCD算法引入一組全新的加速權重，在更新參數時通過原有參數和加速參數的和進行更新，從而加快整個Gibbs采樣過程，如下所示：

P（x∣h）=sig（（bj+bfj）+∑mihi（wij+wfij））

P（h∣x）=sig（（ci+cfi）+∑njxj（wij+wfij））（11）

式中：加速參數θf={wfij，bfj，cfi}，sig（x）=1/（1+e-x）。加速權重和原有權重的更新方式一致，不過加速權重擁有較大的學習率。FPCD通過加速權重使得持續采樣鏈收斂更快，并提升采樣混合速率。

不同地，單條Gibbs采樣鏈的采樣算法無法有效擬合多模分布的復雜數據。平行回火（parallel tempering， PT）算法在不同溫度下并行采樣多條Gibbs鏈，其聯合概率分布如下：

P（x，h）=e－E（x，h）/TZ（θ）（12）

溫度T≥1，且T越高Gibbs分布的概率密度越接近。同時，各條溫度鏈也會以一定的概率進行交換［1214］。與CD等算法相比，PT算法引入額外的采樣鏈，增大了計算開銷，但卻產生一個更快速更平穩的混合采樣鏈。因此，RBM模型的對數似然梯度近似的偏差更小，使得模型可以更好地訓練，尤其是在處理多模態的復雜分布上。

針對單條采樣鏈多步Gibbs采樣過程中出現訓練速度過慢和采樣發散的問題，李飛等人提出動態Gibbs采樣（dynamic Gibbs sampling， DGS）算法［15］。DGS算法能從馬爾可夫采樣的方向對多步Gibbs采樣收斂特性進行提升，從而高效地克服多步采樣發散問題，并且能夠以損失較少運行時間為代價實現更高的學習精度。然而，DGS只給出Gibbs采樣步數的經驗區間，具體訓練迭代次數、采樣步數以及模型訓練精度的數學關系并未給出，在實際應用過程中仍需要調參。與此類似，動態回火鏈（dynamic tempering chains，DTC）算法可以有效解決多條采樣鏈的采樣速度過慢問題［16］。DTC在訓練過程中動態改變溫度鏈數量，并使用一步重建誤差來度量收斂性，減少動態訓練策略對重建誤差的影響。DTC被證明在學習高維和復雜數據時更具有優勢，然而其計算復雜度高于PT算法，這使得DTC訓練耗時增加。

傳統Gibbs采樣算法采樣速度較慢。針對該問題，快速Gibbs采樣（fast Gibbs sampling，FGS）算法被提出［17］。FGS算法基于Gibbs采樣收斂定理，在采樣過程中添加全新的加速參數和調整系數。加速參數可以在訓練前期有效加速采樣，同時在訓練后期迅速衰減，有效提升RBM訓練性能; 調整系數可以高效防止網絡訓練產生震蕩。FGS算法性能明顯優于CD算法，但是其單鏈采樣的設定導致FGS算法的最終分類性能不如多鏈采樣算法。

RBM訓練目標是最大化似然函數，而CD是有偏估計的近似算法，因此CD算法計算的梯度和對數似然梯度存在較大偏差。平均CD（average CD，ACD）算法［18］通過優化參數更新梯度，有效地縮小與實際對數似然梯度的差異，如下所示：

ACDk，l（θ，x（0））=－∑hp（h∣x（0））E（x（0），h）θ+

1l∑li=1∑hp（x（k），h（k））E（x（k），h（k））θ（13）

式中：l表示樣本數;h（k）表示第k步Gibbs采樣生成的隱藏層變量取值。對比CD算法，ACD算法從理論上證明了通過k步吉布斯分布的l個樣本的平均值，比CD算法更接近對數似然梯度。ACD缺點也非常顯著，其算法性能隨著訓練時間的延長而提升，因此需要比CD算法更長的學習時長。

所有單鏈Gibbs采樣算法在訓練RBM時都是有偏估計，為節省計算時間，采樣鏈只運行少量迭代，這會導致偏差估計問題加重。受啟發于種群蒙特卡羅（population Monte Carlo， PMC）理論，Krause等人提出種群CD（population CD， PopCD）算法［19］。與CD相比，計算開銷可以忽略不計。該算法證明增加采樣鏈的數量或采樣步數不是縮小有偏估計的唯一方向，重要性采樣也可以有效地減少偏差。但是，PopCD算法在處理隱藏層多神經元的模型時，需要大量樣本才能實現比CD算法更小的偏差。并且，PopCD梯度估計時需要較小的學習率，容易陷入局部最優。

在使用CD算法訓練基于能量的模型時，存在許多不穩定性，如參數調整、采樣鏈的提前停止、自注意力機制等。Du等學者提出基于數據增強和多尺度處理來提高模型魯棒性和生成質量的改良對比散度（improved CD，ICD）算法［20］。在過去的實踐中，CD算法只使用近似梯度LCD，而ICD使用了其忽略的梯度項，并使用KL（Kullback-Leibler）距離進行有效計算這一梯度LKL，避免先前模型中的很多訓練不穩定性，ICD的梯度LFull如下所示：

LFull=LCD+LKL（14）

ICD算法框架能夠生成高分辨率圖像。

與此不同，精益CD（lean CD，LCD）算法可以保持原始CD算法的訓練性能，同時加速RBM的學習過程［21］。LCD從兩個方面有效地識別和消除冗余計算：一方面側重于采樣過程，給出所有采樣神經元可能條件概率的上限和下限，節省了Gibbs采樣過程中的點積計算;另一方面優化條件概率的計算，重復使用歷史結果以加快計算速度。

當CD算法采樣鏈的運行步數k很小或者隱藏層的神經元節點較少時，模型的訓練結果會大打折扣。為克服這一問題，Romero等人提出加權CD（weighted CD，WCD）算法［22］。WCD核心是對CD算法負向梯度不同狀態進行不同的加權，其更新加權如下：

P-（x（k））=P（x（k））∑lj=1P（x（k））（15）

即通過計算批次中元素的相對概率，可以為概率較大元素分配較大權重，使得整個梯度更接近于真實梯度。WCD的代價是帶來了額外計算成本。

Ruiz等人提出的變分CD（variational CD，VCD）是一種結合馬爾可夫蒙特卡羅和變分推理的復合算法［23］。VCD改變了傳統CD算法計算散度的方式，使用漸近收斂于變分分布和利益后驗之間的對稱KL散度，取代了標準KL散度。同時，通過隨機優化，VCD目標函數可以有效地針對變分參數進行優化。

傳統CD算法分為兩個階段，正向更新和反向重構。其中，只有正向階段是數據驅動，這禁止RBM與連續時間數據流結合。因此，Pedroni等人提出流水并行CD（pipelined parallel CD，PPCD）算法［24］。PPCD通過空間交換時間，并在網絡中傳輸信息，能夠同時處理CD算法的兩個階段，使得模型可以連續處理和學習數據。

RBM在Gibbs采樣的估計下，可以有效地近似模型分布。然而，在實際訓練時，并不會無限執行采樣步驟，而是通過切割采樣鏈的方式，在小批次中進行重復訓練。這樣雖然節省了計算時間卻也導致模型非常依賴于數據量和批次的細化。Sanjaya等人［25］提出噪聲持續CD（noisy persistent CD，NPCD）算法。NPCD通過添加高斯噪聲，加快采樣鏈的收斂，并且可以幫助RBM取得更好的近似，因為額外的噪聲擾動會略微改變訓練數據的分布，從而達到數據增強效果。然而，NPCD在噪音的選擇上太過簡單，并無測試如斑點噪音，泊松噪音等復雜噪音的增強效果。

表1總結了訓練RBM模型的Gibbs采樣系列算法。可以得出以下結論：首先，基于Gibbs采樣的改進算法眾多，是訓練RBM模型的主流算法;其次，單鏈改進算法要明顯多于多鏈改進算法，一方面是因為單鏈算法的訓練時長要明顯優于多鏈，另一方面是單鏈算法的改進幾乎都可以有效地運用在多鏈算法內部的單條采樣鏈上;最后，基于Gibbs采樣的系列改進算法大多是以加速采樣鏈收斂速度和混合率為主，因此歸根結底的優勢都是進一步縮小采樣分布與模型分布之后的差距。

2.2" 基于梯度優化算法

RBM可以使用隨機梯度下降算法來最大化似然函數，方向正確且合理的梯度是模型參數更新的保證。基于此，很多RBM改進算法在梯度更新的方向上做出改進。

Cho等人［26］發現RBM在訓練時非常依賴于初始權重以及學習率的大小，提出一種增強梯度改良訓練算法。增強梯度的定義是2的指數次冪的加權和，上標為RBM可見層和隱藏層節點單元的總數。增強梯度被證明更傾向于稀疏數據的學習，并且具有對位翻轉變換不變性。

李飛等人［27］發現現有動量算法的加速效果是以犧牲網絡權重為代價的，因此提出基于權重動量的RBM加速算法。該方法對網絡權重中包含的大量真實梯度方向信息進行利用，縮小了訓練梯度與真實梯度差距，從而具有很好加速效果。

同年，李飛等人［28］指出在進行梯度計算過程中，采樣梯度作為近似梯度與正式梯度偏差較大，提出梯度修正并行回火算法。分析表明，由于Gibbs在采樣過程中都是進行有限次數的迭代，近似梯度與真實梯度之間存在數值偏差和方向偏差。修正梯度是在原有采樣梯度的基礎上增加代價梯度，基于反向傳播（back propagtion，BP）算法精確求解代價梯度，并給出代價梯度求解網絡目標函數時數值下降最快的方向，作為梯度修正的方向。實驗結果表明，修正梯度可以更精確地獲取真實目標梯度，提升算法性能。然而，由于代價梯度的計算，梯度修正算法的效率還是偏低。

動量是優化RBM梯度更新的重要正則化手段。RBM經典動量算法的梯度更新公式為

θt=θt－1+m*Δθt－1－η L（θ）θi（16）

式中：θt為時刻t的梯度;θt－1為時刻t－1的梯度;m*為動量參數;η為學習率。

沈卉卉等人［29］繼續在經典動量算法上進行改進，在訓練RBM時使用梯度上升算法，因此此時使用上一次參數值的修改方向作為本次梯度的正方向，則梯度更新的方向上步長最大，速度最快。故有全新動量更新公式：

θt=θt－1+m*Δθt－1+η L（θ）θi（17）

進一步地，Shen等人［30］提出一種全新的梯度近似算法，加快RBM網絡收斂效果和分類表現。具體的，在RBM預訓練和微調階段使用不同的權重衰減動量進行訓練，如下所示：

θt=θt－1+m*Δθt－1+η L（θ）θi－λ1θt－1（18）

式中：λ1是重量衰減項。權重衰減動量方法采用先前梯度值和當前梯度的正方向的組合，這些梯度將在梯度方向上不斷加速，直到達到最佳點，從而提高學習效率。該方法使用之前時刻梯度的方向進行優化，讓梯度的方向和數值都取得了修正，這使得網絡在相同時間條件下取得更好性能。

相較于Gibbs系列采樣算法，基于梯度優化的改進算法主要貢獻是通過優化梯度，進而優化神經網絡模型的參數更新方式，如圖5所示。

圖5只是一個示意圖，其中梯度的含義和具體量綱是隨著模型參數具體變化的，梯度表示的是損失函數關于模型參數的變化率，因此每個參數都有一個對應的梯度，反映了在該參數方向上的損失函數的變化率；坐標軸代表模型的一個參數對應的分量，可以是權重或偏重；梯度的量綱與損失函數和模型參數的量綱有關。例如，如果損失函數是平方誤差，而權重參數的量綱是某個物理量的單位，那么梯度的量綱將是損失函數單位除以權重參數單位。梯度方向表示目標函數值增大最快的方向，Δθ為真實梯度，Δζ和Δδ均為近似梯度。Δζ的方向仍是函數值上升的方向，但不是上升最快的方向，導致網絡的收斂速度非常緩慢。

Δδ的數值大小可能與真實梯度一致，但是方向相反，如果按照這個梯度訓練會導致網絡發散。本質上，此類改進方法也是有偏估計的近似訓練算法，但是，因為其優化模型梯度更新的方向和數值，使得RBM模型的學習效果進一步提升。然而，這類算法的本質可以看作是參數的一種正則化手段，對神經網絡模型的訓練優化是有局限性。

2.3" 基于重構誤差算法

重構是指從變體數據中重新構造出原始數據，變體數據主要包括缺失數據、污染數據、采樣數據等等，DL的絕大多數算法都用到了重構思想。重構誤差是重構性能的重要評價指標，RBM的訓練中也同樣可以使用這一指標。上文介紹過，RBM可以通過采樣從輸入數據采樣出數據特征，然后同樣通過采樣的方式，使用隱藏層的提取特征重構出原始的輸入樣本。重構誤差在RBM中的定義就是原始數據與重構數據之間的差值。因此，很多RBM改進算法致力于減小模型重構誤差，以提升神經網絡的性能表現。

Wang等人［31］結合課程學習思想，通過分段式Gibbs采樣（phased Gibbs sample， PGS）算法有效地降低模型的重構誤差。同時，RBM模型的訓練一般使用固定學習率，效果較差。PGS算法使用基于重構誤差的改良動態學習率算法進行輔助訓練，使得模型學習率的動態變化是基于模型訓練階段的重構效果，并且通過防震蕩系數的添加，增加算法的魯棒性。實驗結果證明，PGS系列算法可以大大降低Gibbs采樣算法的重構誤差，在各項RBM實驗中展現其算法收斂的穩定和高效。

Yin等人［32］嘗試在RBM的目標函數中加入重構誤差，進而優化模型訓練。RBM訓練的目標是不停地更新模型參數，使得模型分布和原始輸入分布盡可能一致，然而兩個分布之間的差異始終存在。因此，改進算法在最大化似然函數的過程中加入訓練時各組的重構誤差，極大地優化參數的更新，進而提高神經網絡模型的重構效果和分類性能。然而，RBM模型訓練后期重構誤差非常小時，可能會導致算法失效。

隨后，Yin等人［33］將基于重構誤差的訓練思想使用在判別性RBM的訓練上。具體的操作分為兩個階段，第一階段使用所有帶標簽的樣本訓練判別性RBM，如果所有樣本訓練的重構誤差一直減小則無變化;否則進入第二階段，使用隨機梯度下降算法通過監督學習更新網絡參數，更新調整的幅度與重構誤差的值正相關。實驗展示了該算法在文本數據集識別上的顯著優勢。

受神經網絡裁剪理論的啟發，Golubeva等人［34］提出修剪RBM權重總數的方法。實際上伴隨著模型權重的裁剪，重構誤差會大幅度下降，并且實驗證明了即使裁剪的閾值設定為全部權重的50%，網絡的性能并無明顯下降，但是RBM訓練的時間會大幅度下降。

不同于上述算法，Dixit等人［35］從減少計算成本高昂的采樣步驟出發，在訓練時估計對數似然目標函數的精確梯度。在這項工作中，使用D-Wave 2000Q量子退火器來訓練RBM，并有效使用量子退火提取的樣本，進行對數似然梯度的計算與參數更新。事實證明，使用特定的硬件如量子處理器，可以大幅度提升RBM圖像重構效果。但在大型數據集上計算D-Wave機器的有效溫度的更好方法仍然是一個開放的問題。

Roder等人［36］考慮使用粒子群算法優化訓練基于溫度RBM的超參數選擇。基于回火類的Gibbs采樣算法也同樣涉及到溫度的變化，從而完成各條溫度鏈的狀態交互。實驗證明，人工蜂群、蝙蝠算法和例子群算法可以有效降低神經網絡模型的重構誤差。

Takamune等人［37］則提出一種新的基于輔助函數方法的RBM訓練算法，該算法使用觀測值的重建概率作為優化準則。首先，給出最大化目標函數的輔助函數，據此可以將參數分離成單獨的項進行計算。之后，通過輔助函數和重構誤差搭建出目標函數的下界條件，通過計算下界條件來加速RBM網絡的收斂。

相較于傳統的固定學習率，Luo等人［38］提出基于重構誤差的動態學習率算法。通過比較各次迭代前后模型的重構誤差，智能地減半學習率。訓練結果表明基于重構誤差的動態學習率算法可以有效提升RBM模型的性能，尤其可以大幅度降低網絡的重構誤差。

表2給出了上述基于重構誤差系列算法的改進方式對比。可以發現，目前大多數研究主要是通過算法優化對重構誤差進行優化。算法優化可以使得RBM的重構誤差指標在訓練過程中持續下降，提升神經網絡的擬合精度，是當前的主流方法。此外，通過硬件架構的優化，降低重構誤差去提升RBM表現是一種全新的方向。如D-Wave 2000Q量子退火器是一種基于超導量子比特的量子計算機，使用量子退火算法來解決優化問題。具體工作原理是通過將問題轉化為能量函數，然后將其編碼到量子比特中，最后通過量子退火算法來尋找能量函數的全局最小值。從硬件架構的角度去優化模型的重構誤差，為此領域的研究提供了新的指導思路。

2.4" 其他RBM改進算法

不同于第2.1～第2.3節通過構建Gibbs采樣鏈近似模型分布的方法，本節介紹其他類型的RBM訓練算法。這類方法主要受變分推斷理論的啟發，以似然函數梯度的角度出發，搭建并計算變分邊界，同時利用邊界的逼近后驗分布去近似RBM網絡的聯合概率分布。此外，還可以使用變分推斷理論近似難以獲得的RBM配分函數。依據這兩種思想，RBM的其他訓練算法主要包括基于平均場的近似方法和基于配分函數的近似方法。

（1） 基于平均場的近似方法。首先，通過選擇琴生不等式，逼近模型的似然函數，得到對數似然函數的下界。之后，基于平均場的RBM模型中，最大化對數似然函數的過程與最小化模型與數據分布的KL散度是一致的。這樣就可以通過最小化KL散度的方法對模型分布進行快速近似。然而，因為目標期望常常是多模態分布，而平均場算法的基本假設都是單模態，所以基于平均場的近似方法很難處理復雜數據的模型近似問題［39］。

（2） 基于配分函數的近似方法。由于RBM模型的配分函數是難以獲得的，只能通過其他方法近似模型分布，從而利用模型分布與數據分布的差值更新網絡參數。而基于配分函數的近似方法中，配分函數可以表示為

Z=∫xp～

（x）dx=∫xp～（x）q（x）q（x）dx（19）

式中：p～（x）是指數形式的能量函數。通過式（14），偽概率p～（x）可以通過計算參數化的分布q近似，之后繼續通過q（x）對配分函數進行持續追蹤，這個方法又被稱為配分函數追蹤法。該方法相對于基于平均場的近似方法可以更好地近似多模分布，處理復雜問題的建模，然而由于要對模型基于能量的配分函數進行持續追蹤，所以計算復雜度很高，時間消耗長［40］。

基于平均場和基于配分函數的近似方法最大的優勢是計算速度快，其在使用的過程中只需要近似求解對數似然函數下界和配分函數，省去了大量多步采樣至平衡條件的計算時間。但是，在擬合模型期望時，基于平均場的近似算法的性能并不優良，因為其基礎假設分布是單模態的，很難處理多模態逼近問題。同時，基于配分函數的近似方法在最小化KL距離的過程中，其訓練分布相對于真實分布過于平滑。因此，使用持續馬爾可夫鏈去逼近多模分布以及改進RBM訓練的KL散度表達式，這兩種改進策略是可能提升RBM近似訓練算法的未來研究方向。

3" RBM變體研究

RBM變體指的是為了提升RBM性能或擴大RBM應用范圍，通過模型結構變化和模型函數改進的新型RBM。其研究主要可以分為以下兩大類和具體4個方向，第一類是基于模型結構改進的RBM變體研究;第二類是基于模型函數變換的RBM變體研究，具體包含基于概率分布、激活函數、目標函數的3個主要不同改進方向。RBM變體相較于傳統RBM對應的訓練算法會因為結構和模型函數的變化而對應深入變化，因此RBM變體的研究更加復雜。但是RBM變體的性能有很大提升，應用領域較傳統RBM更廣，因此近幾年對變體的研究要遠多于對傳統的研究。

3.1" 基于模型結構改進的RBM變體

RBM作為典型的淺層神經網絡，在處理眾多的計算機視覺和實際問題中，必須要進行適當的結構變換，才能更好適應場景和需求。同時，這些在RBM模型上的提升為DNN的搭建改進提供了理論支撐。下面總結近些年基于模型結構改進的典型RBM變體，同時為方便理解，本文整理出所有模型的結構簡圖，可視化地提供神經網絡表現優異的創新途經。

判別性RBM。傳統的RBM是典型的生成性神經網絡，需要借助額外的分類器如Softmax等才能進行分類任務。通過將數據的標簽信息和數據一同輸入網絡進行學習，隱藏層可以學習來自其聯合分布的特征信息，訓練好的網絡可以對全新輸入的無標簽數據進行分類，這樣的RBM變體被稱作判別性RBM（discriminative RBM，DRBM）［41］，又被稱為分類RBM。DRBM的結構如圖6所示，與傳統RBM對比可知，DRBM的Y代表數據的標簽信息輸入，U代表標簽層和隱藏層的權重連接。DRBM擴展了RBM的神經網絡模型，并且可以獨立進行分類任務，使其應用范圍巨大提升。DRBM既可以使用無監督學習方法學習，也可以使用監督學習和半監督學習方法進行訓練，并且其在大型數據集上的在線學習性能表現優異。

DRBM的能量函數為

FD（x，y）=-∑nj=1bjxj-∑Kk=1dkyk-

∑mi=1ln1+eci+∑nj=1wijxj+∑Kk=1uikyk（20）

式中：y={y1，y2，…，yk}表示額外添加的標簽輸入層;dk是標簽層的神經元偏置;uik為標簽層和隱藏層的權重連接，k={1，2，…，K}表示標簽數量。

隨機刪點/刪邊RBM。類似所有的神經網絡模型，RBM在使用梯度下降等算法更新參數時， 會出現過擬合的問題。為解決該問題，隨機刪除節點RBM（dropout RBM， DrRBM）被提出［42］。其核心思想是在訓練神經網絡的過程中隨機刪除節點，隨后在權重更新中再重新采樣被刪除的節點，如圖7左所示。進一步地，可以將隨機刪除的思想用在神經元間的權重連接上，得到隨機刪邊RBM（drop connect RBM， DcRBM）［43］，如圖7右所示。在實際操作時，DrRBM的可見層和隱藏層節點，與DcRBM的權重連接受一組隨機的［0，1］矩陣控制，0代表未激活，1代表激活，實現起來非常簡單有效。

時序RBM（temporal RBM， TRBM）。TRBM是一系列RBM，如圖8所示，其排列方式使得在任何給定的時間步長中，RBM的偏差僅取決于前一時間步長中RBM的狀態［44］。TRBM可以看作是RBM的橫向擴展，能夠有效處理時序信息。比如，用于人體運動數據的非線性生成模型，該模型使用具有二進制隱藏變量和表示關節角度的實值可見變量。任意一個時間步的隱藏變量和可見變量從最后幾個時間步的可見變量接收定向連接。這樣的架構使在線推理變得高效。訓練后，該模型找到一組同時捕捉幾種不同運動的參數，進而通過合成各種運動序列并在線填充運動捕捉過程中丟失的數據。

TRBM的概率分布：

P（vT1，hT1）=∏Tt=2P（vt，ht∣ht－1）P0（v1，h1）（21）

式中：t={1，2，…，T}代表不同的時序時刻。

循環TRBM（recurrent TRBM， RTRBM）時序RBM。TRBM雖然可以很好的處理時序信息數據，但是也存在兩個主要問題： 一是先前RBM的狀態決定后續RBM的偏差，這些偏差會累積甚至會導致嚴重錯誤; 二是TRBM獲取精確推斷是非常困難的，因為即使計算一個后驗變量的吉布斯更新也需要指數級計算的代價。針對這兩個問題，Sutskever等人提出RTRBM［45］。RTRBM的訓練示意圖如圖9所示。

對比TRBM，多出一條由先前RBM采樣得到的H′，差別在于當使用CD算法時，TRBM是由輸入數據持續采樣做差更新，而RTRBM在做差時使用先前的采樣結果，這樣可以加速采樣。RTRBM大幅度改進TRBM的圖像捕捉能力和系列運動捕捉能力。RTRBM的概率分布如下：

P（vT1，hT1）=∏Tt=2P（vt∣ht－1）P（ht∣vt，ht－1）·

P0（v1）·P0（h1∣v1）（22）

無限RBM（infinite RBM，IRBM）。RBM作為淺層神經網絡，調參也一直是提升網絡性能的重要內容。RBM的可見層單元由輸入的數據決定，而隱藏層的神經元節點數量一直是非常關鍵的超參數。過多的節點會導致計算復雜，然而過少的節點又會導致提取的特征質量較差，因此Cote等人提出IRBM［46］。IRBM通過在能量函數中添加對各個隱層節點的能量懲罰項，如下所示：

E（x，h）=－∑nj=1xjbj－∑mi=1cihi－∑mi=1∑nj=1wijhixj－βi（23）

式中：βi代表隱層神經元的能量懲罰項。隨著訓練進行，隱層單元數量能夠自適應增加，如圖10所示。IRBM在實驗中取得了比RBM更好的結果，并且省略隱藏層超參數的調節難度。

判別性IRBM（discriminative IRBM， DIRBM）。IRBM因為只能作為生成性模型，其應用仍是受限的，因此Wang等人［47］提出DIRBM。DIRBM通過添加額外標簽信息的聯合輸入，使得模型可以自分類。同時，改變隱層神經元節點的確定方式，由數據輸入和標簽共同決定，如圖11所示。

DIRBM可以在不設定隱層超參數的情況下，使用監督學習的方法完成分類和生成任務。DIRBM的自由能量函數可以表示為

FDI（x，y，z）=-∑nj=1bjxj-∑Kk=1dkyk-βi-∑zi=1ln1+eci+∑nj=1wijxj+∑Kk=1uikyk（24）

式中：dk是標簽層的神經元偏置;uik為標簽層和隱藏層的權重連接，k={1，2，…，K}表示標簽數量;z代表DIRBM中無限隱藏層節點的當前個數。

去除冗余RBM（removing redundancy RBM，3RBM）

。RBM在處理大型數據時，為了提高特征提取的質量，需要提升隱藏層節點的數量。但是，模型的冗余和復雜度也將隨之提升。Yun等人［48］基于此提出3RBM。該模型通過計算隱藏層節點間相似的概率值，去除相似度超過95%的隱藏層神經元節點，3RBM結構如圖12所示。

具體操作為，對于輸入的任何一組數據，兩個隱藏節點的狀態總是保持同步變化，這表明從這兩個隱藏節點中提取的特征是重復的。該定義可以等效于以下公式：

{hrp=hrq∣1≤r≤l，xr∈S，h∈{0，1}}（25）

式中：hp和hq分別表示隱層的第p個和第q個節點的狀態；hrp和hrq分別表示第r個樣本數據輸入之后對應的p和q節點的隱藏層狀態。

類似的，Lu等人［49］進一步改進了3RBM，將模型參數由固定常數改進成具有不確定性的模糊參數，并提出模糊3RBM（fuzzy 3RBM，F3RBM）。F3RBM進一步提升3RBM的特征提取能力，同時基于去除冗余機制的RBM變體可以大幅度減少隱藏層節點，提升神經網絡性能。

圖感應RBM（graph induced RBM，giRBM）。不同于上面的變體研究，Nguyen等人［50］將RBM應用到數據挖掘和機器學習的核心領域之一文檔建模，即從非結構化文本中發現知識。然而，傳統的RBM是基于單詞袋的輸入，忽略了單詞之間固有的潛在關系結構，導致單詞主題分組不連貫。因此，在引入基于圖的正則化方案后，giRBM被提出，如圖13所示，虛線顯示單詞感應所引起的連接。giRBM可以通過先驗詞圖將特定領域的知識編碼入模型中，圖編碼主要包括了3種數據關系即成對相關、成對平滑以及成組平滑。實驗結果表明，giRBM可以提高一致性輸入概率，提供內在維度的估計方法，減少過度擬合，在文檔建模領域獲取了更好的分類精度。

后驗一致性RBM（RBM with posterior consistency，PCRBM）。多視圖數據在現實生活中較為常見，接下來介紹3種可以進行多視圖學習的RBM變體。首先，對于圖像和視頻，顏色信息和紋理信息是兩種不同的特征，其特性都很重要，可以被視為兩個視圖數據。然而，僅進行單視圖學習的模型很難全面描述示例的信息，因此Zhang等人［51］提出PCRBM。具體的，PCRBM針對各個視圖搭建RBM模型，并在訓練時確保隱藏層特征的一致性，如圖14所示。PCRBM中可見單元或隱藏單元的條件概率與一般RBM相似。PCRBM利用隨機逼近方法通過最大化每個視角上的對數似然函數以及隱藏表示之間的一致性來更新網絡權重，具體可以通過負歐幾里得距離來描述兩個分布之間的一致性。

后驗一致性和領域適應（RBM with posterior consistency and domain adaptive， PDRBM）。PCRBM雖然可以處理多視圖學習問題，但是由于各個RBM只使用了視圖間的一致性信息，這導致各個視圖獨特性信息的缺失，進而影響分類效果。Zhang等人［52］隨之提出可以學習多視圖獨立信息的PDRBM。與PCRBM不同的是，PDRBM將各個視圖的RBM隱藏層分為兩個部分，如圖15所示，額外包括了視圖的唯一信息。因此，其訓練目標包括3個部分，除和PCRBM一樣的最大化模型似然函數和不同視圖隱藏層特征間的一致性，還要最小化各個視圖內兩組隱藏層的特征一致性。與PCRBM一樣，PDRBM也可以處理多視圖數據，并且實驗證明，PDRBM的特征提取和分類性能優異。

多視圖RBM（multiview graph RBM， mgRBM）。PCRBM和PDRBM在計算模型隱藏層狀態時，需要交替采樣整個訓練數據，這將導致計算復雜度較高。為克服這一問題，Zhang等人［53］提出mgRBM，其相對于PDRBM多了一層輸入代表數據的臨域信息，如圖16所示。并且，mgRBM將臨域信息視為固定值，將小批量學習的時間復雜度降低，不需要重復迭代，因此mgRBM可以較PCRBM和PDRBM處理更大規模的數據。實際計算時，在訓練開始時mgRBM其臨域信息矩陣是由測試實例計算得出的，訓練數據與鄰域信息一同輸入模型，目標函數與PDRBM一致。結果展示出mgRBM可以保留多視圖分類的數據流形結構并且同時執行視圖一致表示學習和視圖特定表示學習，優于其他多視圖分類模型。

基于能量刪點RBM（energy-based dropout RBM， E-RBM）。傳統的DrRBM和DcRBM使用隨機刪除節點和邊的方法預防了RBM訓練的過擬合問題，然而這種正則化方法僅依靠概率值進行隨機丟棄，需要謹慎的選擇概率值，同時因為關閉神經元節點的可能性很高會對學習產生負面影響，因此Roder等人［54］提出E-RBM，如圖17所示。E-RBM設計了一套基于模型能量計算隱藏層神經元重要性級別的公式，以模型本身寶貴的能量信息刪除神經元節點的選擇。

序列分類RBM（sequence classification RBM， SCRBM）。TRBM和RTRBM不能很好地處理序列數據的分類。針對此，Tran等人［55］提出SCRBM。SCRBM是通過隨時間滾動帶有類標簽的RBM來構建的，該模型定義了一個概率分布：

P（y1：T，x1：T，h1：T）=∏Tt=1p（yt，xt，ht∣ht－1）（26）

式中：x1：T和h1：T分別是可見和隱藏狀態的時間序列;y1：T是時間序列數據的標簽。

SCRBM在執行序列分類時優化的是條件概率分布，而不是聯合概率分布，解決了RTRBM的梯度計算復雜度高問題，其結構如圖18所示。值得注意的是，RTRBM的結構可以看作是RBM的時序版本疊加。類似的，SCRBM可以看作是分類RBM的時序版本疊加。同時，通過信息處理門技術的添加，SCRBM的性能進一步提升，并且擁有相對其他具有內存門的遞歸網絡更少的參數。

復值RBM（complex value RBM， CVRBM）。Nakashika等人［56］提出一種復值CVRBM，CVRBM的能量函數可以寫作：

E（x，h;θ）=12x

x-HΦ－1x

x-－

b

bHΦ－1x

x-－

2ch－

x

x-HΦ－1W

W-h（27）

式中：（·）-和（·）H分別表示復共軛和埃爾米特轉置;Φ代表擴展協方差矩陣;c表示隱藏層的偏置參數。CVRBM與傳統的RBM區別在于其由實數部和虛數部兩部分組成，同時可見層單元的實部和虛部之間具有鏈接。CVRBM可以直接編碼語音信號的復譜，而無需從復值數據中解耦虛數或相位。

在現實生活中，會經常使用復數值數據，例如語音的復數頻譜、無線信號和聲學強度等，傳統的神經網絡無法處理此類數據。CVRBM則可以很好地分析此類數據，其結構如圖19所示。

如表3所示，基于模型結構改進的RBM大致可以分為3大方向，增節點、減節點和結構擴展。擴展類的RBM變體

可以更好地適應不同實際問題所帶來的數據挑戰。此

外，絕大多數增加節點的RBM變體都是聯合標簽信息的學習，使得神經網絡從生成模型轉變成可以進行監督學習的判別模型。為優化網絡結構，防止過擬合等問題，各類刪減節點類的RBM變體成為了研究熱點。

對于RBM變體的研究促進了對DNN的研究，例如DRBM促進判別性神經網絡的發展;TRBM和RTRBM的提出和改進為后續遞歸神經網絡和循環神經網絡的提出和改進，都有著深遠的指導意義。再次驗證針對淺層神經網絡的研究，可以更深層次的影響對DNN的開發和深入。變體RBM針對時序數據、多視圖數據、文本數據、復值數據等的深入參與，也為各個領域關鍵問題的解決，注入了新的解決思想。隨著理論研究的深入，RBM變體模型的開發必將成為DL領域的主流研究。

3.2" 基于模型函數改進的RBM變體

本節研究的RBM變體在結構上仍然維持雙層全連接網絡結構，但由于RBM模型函數發生了改變，而導致其性能發生改變。本節從3個方面介紹基于模型函數的RBM變體研究現狀，第一方面是可見層單元概率分布，第二方面是RBM激活函數，最后一方面是RBM目標函數。

3.2.1" 基于概率分布改進的RBM變體

傳統的RBM又稱作伯努利RBM，這是因為可見層和隱藏層的神經單元全部是伯努利分布，即0-1分布，這樣的RBM雖然計算簡單、運算迅速，但是只能處理離散數據。以圖片輸入為例，傳統RBM在學習時需要提前將圖片進行預處理，按照像素點進行歸一化到0-1范圍，然后才能有效處理，這樣的做法著實增加了數據處理的復雜度。所以很多學者提出改進建議，即通過改變RBM可見層的概率分布來擴大RBM變體的使用范圍。

高斯RBM（Gaussian RBM， GRBM）。為建模實值輸入數據，Cho等人［57］提出用具有高斯分布的實值單元替代二值單元的GRBM。GRBM中可見層單元是具有對角協方差的高斯變量，因此其模型能量函數為

E（x，h）=∑nj=1（xj－bj）22σ2－∑mi=1cihi－∑mi=1∑nj=1wijσhixj（28）

式中：σ是高斯單元方差。在實際操作中，RBM權重矩陣用隨機值初始化，輸入隨機值取自平均值為零、標準偏差為0.01的高斯分布。GRBM改變了傳統RBM處理實值數據必須要對數據進行歸一化處理的問題，具有里程碑式意義。

協方差RBM（covariance RBM， CRBM）。進一步的，GRBM不能很好地提取圖像的邊緣特征，因此Ranzato等人［58］提出CRBM。具體的，CRBM可以通過引入額外因子，將實值圖像映射到表示圖像正態協方差結構局部分解的因子輸出，同時學習這些因素輸出。同時CRBM采樣以近似對數分配函數的導數，可以精確地整合隱藏變量并使用混合蒙特卡羅（hybrid Monte Carlo，HMC）法自由取樣。CRBM的能量函數可表示為

Ec（x，hc）=－12∑nj=1∑mi=1wijhcj（∑Dd=1Cdixi）2－∑mj=1bcjhcj（29）

式中：（·）c表示有別于RBM參數的協方差參數;Cdi表示針對輸入層的額外因子。

均值CRBM（mean CRBM，MCRBM）。2010年，MCRBM被提出［59］，MCRBM較CRBM多了一種類型的隱藏層，CRBM只有一個用于處理參數高斯化分布協方差的隱藏層，MCRBM在此基礎上多了一個可以用于處理參數高斯化分布均值的隱藏層。MCRBM是在CRBM的能量函數的基礎上添加均值能量：

Em（x，hm）=－∑nj=1∑mi=1Wijhmjvi－∑nj=1bmjhmj（30）

式中：（·）m表示有別于RBM參數的均值參數。

尖峰平板RBM（spike-and-slab RBM， SSRBM）。2011年，Courville等人［6061］提出著名的SSRBM，SSRBM相對于MCRBM是具有實值向量slab和二進制變量spike兩種變量。同時，其與隱藏層中的各個單元相關聯，并且SSRBM可以使用區塊化的Gibbs采樣算法，因此其相對MCRBM在對圖像識別任務中更具競爭力。

基于點間親和性的GRBM（interpoint-affinity-based GRBM， abGRBM）。為了進一步優化GRBM，Zhang等人［62］提出abGRBM。不同于前面改進，abGRBM通過原始數據的點間親和度信息指導GRBM的訓練，同時使用高斯熱核距離計算親和度，并由此改進能量函數的正則化項。實驗結果表明，abGRBM不僅可以利用GRBM對實值數據的強大潛在表示學習能力，還可以將原始數據轉換為另一個具有改進的可分性的空間。

模糊RBM（fuzzy RBM， FRBM）

。對于常規RBM，可見層單元和隱藏單元之間的關系被限制為常數，大幅降低模型的代表能力。為了避免這一缺陷并增強DL能力，Chen等人［63］提出FRBM，其控制模型的參數由具有三角隸屬度的模糊數代替，FRBM在學習數據有噪音干擾情況下仍能取得很好的分類結果，其能量函數如下所示：

E（x～，h～）=－∑nj=1xjb～j－∑mi=1c～ihi－∑mi=1∑nj=1w～ijhixj（31）

式中：θ～={w～ij，b～j，c～i}代表具有三角隸屬度函數的模糊參數。

Hosseini-Pozveh等人［64］在此基礎上提出間隔類型2FRBM（interval type 2 FRBM， IT2FRBM），將間隔2類模糊隸屬度函數加入到FRBM的訓練中，進一步提升模型的魯棒性。

連續RBM（continuous RBM， CRBM）。Harrison等人［65］提出可以直接使用浮點數進行訓練連續CRBM。具體地，在傳統的離散RBM中，自旋指的是二元變量，通常取值為+1或-1，表示不同的狀態。而在CRBM中，將自旋概念進行了擴展，允許自旋可以取更廣泛的連續值，代表系統的狀態或特征。在連續RBM中使用連續值的自旋，可以更靈活地建模數據分布，并且更適用于處理連續值型的數據。

校正線性單元改進RBM（rectified linear units improve RBM， ReLURBM）。為了增強RBM的隱層表達能力，Nair等人［66］提出ReLURBM。ReLURBM是將無限多個二進制單元的權重和偏差聯系起來，然后用帶噪校正線性單元近似這些階梯形單位。實驗表明，它們實現無向線性模型的混合，能比二進制單位更自然地處理特征檢測。

上述的這些研究在本質上都是通過改變RBM模型可見層輸入或者隱藏層特征的概率分布，進而在一定程度上擴大RBM變體的使用范疇。基于概率分布改進的RBM變體可以有效的避免數據預處理的難題，但是隨之帶來的是所選概率分布的特殊性，會導致其處理不同分布問題時會受限，這種問題在基于可見層的概率分布改變的RBM變體中尤為常見。不可否認的是，改變神經網絡的概率分布確實可以提升模型的性能，并且這種改進可以聯合使用在其他RBM結構變體中，從而進一步擴寬RBM的應用范圍。

3.2.2" 基于激活函數改進的RBM變體

指數簇RBM（exponential RBM， Exp-RBM）。RBM自身就是典型概率無向圖模型，又因為其特殊的全連接結構，隱藏層節點的激活狀態對于隱藏層其他節點是條件獨立的，可見層節點同樣具備這一特性。因此，不同的激活函數會使RBM產生不同的概率分布，Exp-RBM［6768］被提出。此時，二值化的RBM可以看作是Exp-RBM的激活函數特例。對于不同的激活函數，可以設計不同的模型用于神經網絡中訓練［69］。表4匯總了Exp-RBM中的不同激活函數及其對應的高斯近似和條件概率，其中Li2（·）為多重對數函數。

值得注意的是，對數底數的選擇不影響比例關系，故在概率模型中對數運算的底數通常被忽略。

除了表4中的常見激活函數外，組合型激活函數可以在RBM中發揮作用，通過組合不同的基本激活函數，可以使RBM具有更豐富的非線性表達能力。常見的組合型激活函數有以下幾種類型：混合型激活函數、分段線性激活函數、門控型激活函數以及自適應型激活函數。

此外，小波族激活函數也可以使用在RBM模型中。由于其具有多尺度分析和重構特性，可以幫助RBM更好地捕獲數據的局部特征和全局特征。在處理一些具有時頻局部特征的信號類數據時，小波族激活函數可以提供更好的表征能力，有助于提高RBM對這類數據的建模能力。小波函數、小波包函數以及復小波函數等均是常見的小波族激活函數。

值得注意的是，在Exp-RBM中，層內無連接，所以給定與任一節點連接的所有節點時，該節點與層內的其他所有節點都是條件獨立的。因此在本質上，Exp-RBM是利用不同的激活函數，得到對應不同的條件高斯分布，可看作是基于概率分布的RBM變體的擴展。

不同的是，雖然激活函數對應的條件高斯分布是可以處理實值數據的，但是其可見層單元的激活是條件獨立的，因此Exp-RBM也存在無法表達可見層節點之間相關性的問題。而基于概率分布的RBM變體可以解決這類問題，并且這些相關性在實際場景的解決中非常關鍵。

3.2.3" 基于目標函數改進的RBM變體

傳統RBM的訓練目標是縮小數據分布與模型分布之間的KL散度，然而KL距離作為概率分布之間的距離測度，存在著一個顯著的問題：散度的不對稱性。即當RBM模型為高密度數據區域賦值低概率密度時，最小化散度不足以產生足夠的梯度來修正這個錯誤。為了解決該問題，一系列基于目標函數改進的RBM變體被提出。

噪聲RBM（noisy RBM， NRBM）。Lu等人［70］發現傳統的BM和RBM在有噪音擾動的情況下會存在KL發散損失，因此提出NRBM用以抑制KL發散。具體的，NRBM利用基于零均值高斯分布時變噪音對RBM的影響，推導出輸入噪音的影響等價于增加模型的溫度影響。隨后給出補償噪聲修正KL散度的目標函數，并且實驗證明該方法對于處理非高斯噪聲也是有效的。

玻爾茲曼編碼對抗機（Boltzmann encoded adversarial machine， BEAM）。一般的，數據分布和模型分布之間的KL距離被定義為正向KL距離。為了生成更加精確的圖像特征和邊緣表示，需要分布差異間形成足夠的梯度。因此，Fisher等人［71］把模型分布和數據分布間的距離定義成逆向KL散度，提出BEAM。BEAM通過最小化正向和逆向的KL散度，提升RBM的圖像生成和特征提取能力。

瓦瑟斯坦RBM（wasserstein RBM，WRBM）。BEAM在最小化逆向KL散度時，會導致模態塌陷等問題，即模型分布容易陷入數據分布的固定模態中，不能遍歷數據分布的所有模態。針對該問題，Montavon等人［72］提出WRBM。WRBM將瓦瑟斯坦距離引入神經網絡，同時構造基于該距離測度的目標函數。該模型通過最小化數據和模型分布間的瓦瑟斯坦距離完成WRBM的參數更新。

自動微分變分推理RBM（automatic differentiation variational inference RBM， ADVI-RBM）。變分推理是馬爾可夫模型無法有效計算情況下的一種替代方法。基于目標函數的改進，Demertizs等人［73］提出ADVI-RBM。具體地，ADVI-RBM需要縮小的是變分密度和數據分布之間的KL距離，然而直接計算KL偏差是很困難的，所以需要通過自動微分推理最大化計算證據下限。實驗結果表明，ADVI-RBM使用變分分布作為多個變量的正態分布，可以以承受的計算成本關聯參數以解決動態問題，對于工業基礎設施的實時異常檢測非常有效。

總體上，基于目標函數改進的RBM變體為廣大學者提供了一種全新的變體研究角度。但是目前這類變體存在兩個主要問題，一是改進目標函數的策略往往會帶來較高的模型復雜度看，隨之帶來較高的計算復雜度和更長的訓練時長;二是一些針對RBM目標函數的改進在合理性方面有待進一步完善和提高。

4nbsp; RBM融合研究

RBM的融合研究分為兩大部分以及4個具體方向，第一部分是RBM及其部分變體作為典型的淺層神經網絡，可以通過網絡層數的加深獲得表現優異的DNN模型，是第一個改進方向。第二部分是RBM及其變體可以融合其他深度模型組建深層網絡，這里具體可以細分為3個方向，分別可以與生成模型、判別模型以及混合模型的融合。本節重點綜述基于RBM的深度模型和混合模型，為進一步研究RBM網絡的擴展和融合厘清了研究脈絡。

4.1" 深層RBM改進

RBM作為一個典型的生成型神經網絡，可以作為基石堆棧出深度的神經網絡如DBN［2］和DBM［4］。雖然兩者的基本單元都是RBM，DBN是一種深度的有向概率圖模型，而DBM則是徹底的概率無向圖模型，如圖20所示。相同的是，兩個深度模型在訓練時都可以使用逐層貪婪的方式進行預訓練，并給出權重和偏置參數的合理初值［74］。不同的是，DBN是有向概率圖模型，參數更新與正向或反向息息相關。DBM是無向圖，其隱藏層的更新不像DBN只有上層決定，而是有隱藏層所連接的上下兩層決定［7576］。這兩種模型都具備強大的生成能力，尤其是圖像重構能力。同時，這兩種模型都可以實現分類判別任務。

DBN和DBM等DNN表現出比RBM更好的網絡性能和模型擬合能力。因此，越來越多基于RBM的深層改進模型被提出，主要可以歸納為兩個方向，第一個方向是改進深層網絡的訓練算法，使網絡模型能夠更好地學習海量無標簽數據，產生更好的生成模型。第二個方向是，通過改變網絡結構或模型函數，優化能量函數以適應不同的實際場景。

Goodfellow等人［77］提出一種可以用于多重預測的DBM（multi-prediction DBM， MP-DBM）。現有DBM的訓練方法需要一個初始學習過程，或需要逐層的貪婪學習，而MP-DBM可以克服這一問題。MP-DBM首先作為一個單一的概率模型，通過訓練為最大化廣義偽似然的變分近似完成模型訓練。同時，MP-DBM利用共享參數并解決不同推理近似問題，完成多重預測，模型平均預測準確率遠優于傳統DBM。

傳統DBN其控制模型的參數均為常數，這很大程度限制DBN的性能。模糊理論已經在DL領域被廣泛應用且被實驗證明是高效的，FRBM通過將傳統的RBM的參數模糊化，取得比RBM更好的表現。Shuang等人［78］利用這個思想，使用具有模糊隸屬度的模糊參數代替DBN中的常數參數，提出模糊DBN（fuzzy DBN， FDBN）。FDBN顯示出比具有雙倍數量隱藏層單元的DBN更小的平均重構誤差，以及優異的重構圖像能力。

DBN在使用反向傳播算法進行微調時，常陷入局部最優導致性能較差。Wang等人［79］提出以自適應學習步長以加速RBM訓練過程，并在該過程中引入兩個正則化項以實現稀疏表示;同時，還提出從輸出層到輸入層的逐層偏最小二乘化建模，進一步優化從自適應稀疏RBM導出的初始權重。新模型在時間序列預測、二維函數逼近和未知系統識別領域都取得比DBN更高的學習精度和更快的學習速度。

Vera等人［80］則重點分析DBN中輸入輸出的互信息與模型中常使用的正則化的關系，證明使用經典正則化手段會導致DBN層中的互信息減少。以DBN中的權重衰減和隨機刪除這兩種方法為例，這些方法會減少泛化差距但是限制矩陣范數和模型層中互信息。Vera通過指導理想正則化方法，為進一步訓練DBN提供理論分析和互信息評價指標。

理論上，在神經網絡領域，深層網絡的特征提取和模型擬合能力一定比淺層網絡強。因此，針對RBM的深層網絡研究和改進一定是當今的重要研究方向。同時，由于深層網絡的訓練難度高、訓練耗時長等問題，如何高效地利用逐層貪婪訓練RBM的方式進一步優化深層網絡的訓練也將受到更多學者的關注。進一步地，因為RBM變體數量的不斷增加，RBM的應用范圍進一步拓寬，RBM變體的深層化研究一定值得關注和深入。

4.2" 融合RBM改進

4.2.1" RBM融合生成模型

RBM作為典型的生成模型，可以通過學習數據分布產生重構數據。以輸入圖像為例，通過學習已有圖像特征，即使在測試集中存在圖像受損或缺失等情況，也可以通過重新生成圖像補齊缺失的像素點。從能量模型的角度出發，RBM是概率無向圖模型，從能量函數的角度定義了一系列概率函數。當網絡產生的分布和數據分布相近時，對應的RBM模型具有較低的能量，反之則較高。因此，RBM模型的訓練本質上是最大程度模擬數據流，使自身的能量較低。因為RBM及其變體優異的生成特性，常常與其他生成模型融合，以求生成的圖像更加自然、清晰和準確。

Agliari等人［81］提出將RBM與霍普菲爾德網絡（Hopefield network， HN）結合，組成全新的用于檢索任務的深度網絡霍普菲爾德RBM（Hopefield RBM， HBM）。在傳統RBM的基礎上額外插入一層二元神經元組成的輸出層，滿足Hopefield網絡模型更新規則，豐富RBM的架構。HBM的優點在于所有神經元都可以自由進化，并且在輸入神經元受到鉗制的情況下，HBM等價于同神經元數量的HN。Leonelli等人［82］也提出類似的融合模型，旨在將HN可用的統計力學背景轉化為RBM的學習和檢索性能。

Feng等人［83］提出將FRBM與DBN結合，組建FDBN。FDBN的訓練分為兩個階段，第一階段是逐層貪婪的訓練FRBM。與傳統DBN不同的是，FDBN的參數是具有模糊隸屬度的模糊參數，所以第一層FRBM訓練結束后，會選取隱藏層單元產生的左右概率的均值作為后續貪婪訓練的初值。第二階段是通過隨機梯度下降算法對FDBN進行微調。逐層貪婪頂層FRBM的生成性或判別性訓練決定了FDBN的模型屬性。FDBN具備處理高維原始圖像的優勢，并且在噪聲干擾情況下表現出比DBN更好的魯棒性。

現代DL的研究均為真實數據全面驅動的，然而很多時候數據并不豐富，在很多領域數據稀少且收集成本高昂，如癌癥研究等。針對這一問題，Kang等人［84］提出將條件RBM與DNN結合，搭建條件DNN（conditional RBM with DNN， CRBM-DNN）。CRBM-DNN的核心是利用相關領域積累的歷史知識和專家經驗與數據驅動結合，解釋該領域的復雜動力學現象。CRBM中的交互特征編碼可以用領域知識作為先驗知識，而DNN可以驅動學習稀疏高維特征。具體地，CRBM-DNN從領域中積累的知識提取特征關系，并將其轉化為具有先驗的CRBM。同時，CRBM學習產生優于領域知識的特征，通常是非常稀疏且高質量的，之后再進行DNN的深層網絡學習，可以有效的解決具有挑戰性的稀缺真實世界數據集。

Li等人［85］提出將RBM與典型的遞歸神經網絡（recurrent neural network， RNN）相結合，組成新的遞歸神經深度網絡。具體來說，利用分布式嵌入對網絡數據進行預處理，使其更適合于DNN模型。隨后，使用RBM模型來提取網絡分組的特征向量，并且使用RNN模型來提取流特征向量。最后，將流向量發送到Softmax分類層以獲得檢測結果。

Lu等人［86］提出將RBM與極限學習機（extreme learning machine， ELM）結合，搭建出新的受限玻爾茲曼極限學習機（restricted Boltzmann ELM， RB-ELM）。ELM是一種特殊的隨機向量函數鏈接網絡，具有計算量小、拓撲結構簡單和單隱藏層結構等優點。然而，ELM的性能對輸入權重，偏差都很敏感，RB-ELM利用RBM的特征提取優勢，構造了一個特征映射，并遞歸地調整各神經元的權重傳遞給ELM。RB-ELM具有比ELM在故障檢測領域更高的準確性和穩定度。

與以往研究不同，針對傳統電磁層析成像圖像重構質量低的問題，Wu等人［87］提出一種基于RBM的自動編碼器神經網絡（autoencoder neural network， ANN）。在該模型中，RBM用于逐層預訓練，以獲得初始權重和偏移，并通過反向傳播算法調整全局權重和偏移。在經過訓練的自動編碼器神經網絡中生成的參數文件用于構造解碼器。最后，將電磁層析系統輸出的檢測電壓值輸入到解碼器網絡中，以獲得重建圖像。實驗結果表明，基于RBM的改進ANN網絡生成性和魯棒性優異，并且有效解決了專業領域圖像重構問題。

如表5所示，RBM融合生成模型組成的混合模型，絕大多數還是利用RBM優異的圖像重構性能，因此改進后的模型都具備良好的生成性能。同時，部分網絡利用監督學習的方法訓練RBM，最終的融合模型也具備之前不具有的判別特性。總的來說，基于RBM融合的生成模型，各項性能都得到了提升，RBM的訓練好壞會直接影響到這些融合模型。

4.2.2" RBM融合判別模型

RBM具備良好的特征提取性能。基于RBM搭建的DBM和DBN得益于網絡層數的加深，具有更加強大的數據擬合和特征學習能力。因此，RBM及變體可以通過有效地學習數據特征從而被用于判別任務，與深度判別模型的融合會進一步提升深度模型的分類性能。

卷積神經網絡（convolutional neural network， CNN）已經成為解決圖像處理難題的標準方法之一，但是大多數CNN的網絡層數較深并且連接復雜度高。針對這一問題，Sobczak等人［88］提出一種混合RBM新型CNN（hybrid RBM-CNN， HRBM-CNN）。首先，通過RBM搭建一個相對簡單的預處理層，該層由兩部分組成。第一部分用于將RGB（red， green， blue）數據轉化為二進制表示。第二部分是將二進制數據轉化為多通道實值矩陣的神經網絡，并發揮RBM的優勢完全以無監督的學習方式進行訓練。與最先進的CNN模型比較，基于RBM的CNN混合模型可以有效提升網絡的準確性，并降低數據的處理難度。

同樣的，Han等人［89］提出一種具有新型不規則模型結構網格卷積RBM（mesh convolutional RBM， MCRBM），并由多個MCRBM堆疊產生深層的網格卷積DBN（mesh convolutional DBN， MCDBN）。具體的，MCDBN使用了一種新局部結構保持卷積策略，同時將下層網絡學習得到的幾何結構和局部結構卷積到上層網絡，能夠高效處理三維形狀分析問題。

此外，Karithik等人［90］歸納了NLP中情緒分析研究中的關鍵問題，引入一種以卷積為中心的RBM（centered convolutional RBM， CCRBM），并以此搭建其深度模型。為了克服批量大小設置和衰變率等問題，CCRBM的逐層訓練還使用混合原子優化搜索算法。實驗證明，CCRBM深度架構捕獲了NLP領域中存在的關鍵特征和復雜的非線性特征，并隨著計算時間的推移提高檢測精度。然而，基于卷積的計算框架計算復雜度都較高，這無疑會給DNN模型的計算效率帶來考驗。

不同的是，RBM的判別性變體DRBM也可以直接進行判別任務。通過給DRBM加深層數也可以得到DNN的判別模型，而無需結合CNN等分類網絡。基于此，Kanno等人［91］提出基于概率未訓練層的多層判別性RBM（multi-layer discriminative RBM，MDRBM）。在MDRBM中的前3層網絡中，借鑒ELM的思想，組成一個3層的概率神經網絡，并在最后一層將DRBM推疊在ELM之上，該方案使得DRBM的判別性能大大提升，同時抑制了由輸入噪音引起的信號方差的加深。

總結來說，目前多數研究都是基于卷積操作的分類模型。此外，融合RBM混合判別模型大多具備良好生成性能。而MDRBM是為數不多幾個不借助卷積操作，通過自身變體加深層數的融合判別模型，為此領域進一步研究提供了方向。然而，由于池化和卷積操作的不可逆性，RBM跟卷積網絡的融合還存在不足，針對RBM卷積和多尺度變換有待進一步完善和提升。

4.2.3" RBM融合混合模型

除上述的通過RBM與生成模型和判別模型融合的深層模型外，一些研究者希望從RBM變體本身出發，而不引入其他模型的方法來實現神經網絡的生成性和判別性。這類混合模型大多基于RBM本身的生成特性，輔助以數據標簽的聯合分布，從而使模型在監督學習的基礎上完成標簽分類。

上文介紹的DRBM［41］和DIRBM［47］是典型的混合模型。與此類似，Tulder等人［92］提出基于生成性和判別性的卷積分類RBM（convolutional classification RBM， CCRBM），既充分利用RBM海量無標簽數據特征提取的優勢，又利用CRBM優異的分類性能。CCRBM被證實在CT圖像中肺部紋理和氣道檢測的特征學習中非常有效。

同樣的，為了克服傳統判別模型參數是常數的限制，Chen等人［93］提出判別性FRBM（discriminative FRBM， DFRBM）。DFRBM的本質是在FRBM的輸入單元添加額外的標簽神經來實現生成和判別功能。在圖像識別和文本識別的實驗中，DFRBM分類性能優異，并且從有噪音干擾的情況下，也能重構出原始圖像，保持著良好的生成性。

不同的是，Luo等人［94］提出一種全新的混合RBM（hybrid RBM， HDRBM）。HDRBM是以一種介于生成目標和判別目標之間的替代方法訓練模型，訓練前期以最大化生成目標來更新參數，之后以最大化判別目標去修正參數，并設置專屬的停止標準。這樣既克服使用生成目標函數預測精度不高的問題，又能解決使用判別目標函數訓練過程的耗時難題。

總體來看，基于RBM混合模型的判別性均為通過額外添加神經元信息，通過監督學習的方式實現。但各個混合模型的生成性是由RBM及其變體自身決定的，進而混合模型的優勢很大程度也是由模型間的生成性差異決定。針對不同的現實問題，選擇合適的RBM變體，從而在保證模型生成性的基礎上，提升模型對特定問題的判別性能，依然是RBM混合模型的主要研究目標。

5" RBM應用研究

本節主要介紹RBM、RBM變體及其深層模型的相關應用，主要包含了工業應用，醫學應用與其他應用。其中，日常生活、目標跟蹤、缺陷檢測、量化投資等領域研究均在其他應用中簡要介紹。

5.1" 工業應用

RBM及其變體有著優異的判別能力，在工業界領域應用廣泛，常見于模型預測、硬件優化、故障檢測等任務。以電網為例，電力網絡理想運行和發展的關鍵問題是預測未來幾年的負荷增長和電力需求。文獻［95］使用RBM進行建模和能耗預測，提高需求分析的準度。相同的，文獻［96］則首次將DBN用于光伏電力系統的預測。與此類似，文獻［97］則使用改進的DRBM用于電網的投資預測，提升電網企業投資預測計算的效率。

此外，在硬件優化方面，文獻［98］介紹如何用全硅集成的RBM組建晶體管和神經元電子產品，實現了全新的互補金屬氧化物半導體技術。類似的，文獻［99］利用基于現場可編程門列陣的RBM，完成硬件的高速推理和加速。為了克服藍牙在室內定位的高耗能問題，文獻［100］介紹了一種提取波動聲音的GRBM，能夠低成本且高效的實現室內定位。RBM同時還在硬件技術優化［101］、交通事故預測［102］以及情緒檢測［103］中頻頻被使用和改進，因此基于RBM的改進算法和模型對工業領域的現實落地至關重要。

5.2" 醫學應用

RBM長期以來在醫療領域中被廣泛使用。以疾病檢測為例，文獻［104］使用深層RBM進行細胞肺癌的預測，文獻［105］則提出增強RBM用于肺炎檢測，文獻［106］首次使用RBM對藥物的副作用進行預測。同時，RBM在醫學圖像處理［107109］，面部表情識別［110］等方向也深有建樹。更深層次的，RBM被使用在人類基因的相關研究中，如基于DRBM的蛋白質缺失基因的注釋和預測［111］，使用RBM對影響結直腸癌的基因的相互作用分析［112］等。總之，RBM在醫學領域有著大量應用，并且這些改進與生活密切相關，搭建更好的RBM深層模型對醫療診斷都有著非常深遠的意義。

5.3" 其他應用

RBM除了在工業界和醫學界的廣泛應用外，其變體和深度模型在日常生活中也有不斷擴展和衍生。文獻［113］和文獻［114］研究RBM在提升推薦系統效能中的作用。在自動駕駛領域，改進的RBM能提高事故預測的準確率［115］。文獻［116］介紹了全新的RBM進一步用于虛假信息的自動檢測。在腦機接口和腦神經領域，基于時空數據的新型DRBM可以有效地分析大腦皮層分布和信號變化［117］。

在目標跟蹤領域，RBM及其變體可以通過學習目標的特征和運動模式，幫助識別視頻序列中的目標，并進行跟蹤。通過提取目標的特征，RBM能夠幫助系統更好地理解目標的運動軌跡，從而實現精準的目標跟蹤［118119］。

在缺陷檢測領域，RBM及其變體可以用于圖像處理和模式識別，幫助檢測產品表面或生產過程中的缺陷［120］。通過學習正常產品的特征分布，RBM能夠發現異常模式，從而識別出潛在的缺陷，有助于提高產品質量和生產效率［121122］。

在量化投資領域，RBM及其變體可以用于學習金融時間序列數據中的特征，并發現隱藏的數據模式和規律［123］。通過對市場數據的學習和分析，RBM可以幫助量化交易系統進行預測、決策和風險管理，提高投資組合的收益和穩定性［124］。

因此，RBM及其變體不僅適用于圖像識別等機器學習任務，同時還可以使用在日常生活中的方方面面，為這些領域的研究提供了新的解決方案。

6" 現存挑戰與未來展望

6.1" 現存挑戰

RBM及其變體作為目前重要的數據重構和分析工具，有著極其廣泛的應用。本文圍繞RBM算法、RBM變體、RBM融合和RBM應用4個角度進行了全方位的梳理和總結。雖然RBM及其變體模型有著巨大的潛力，但是也存在著一些問題和挑戰。

（1） RBM算法的效率。RBM模型的精確計算涉及到的計算復雜度是層間神經元之和的指數次冪級，因此需要近似算法進行求解。然而，在配分函數的處理方面，使用變分法、退火法等去近似對應梯度，效果非常有限。使用采樣的方式進行近似，需要足夠的采樣步數和耗時才能保證是無偏估計。因此，限制RBM訓練算法的關鍵，是訓練精度和訓練時長的權衡比較，RBM訓練算法的效率一直面臨著挑戰。

（2） RBM變體的泛化性。針對不同的實際問題，RBM變體進行不同的模型結構和函數改進以適應不同的需求。然而，這些改進通常會削弱網絡的泛化能力，使得RBM變體逐漸成為解決某類特定問題的“過擬合”產物，即在解決其他問題時往往表現很差。一個好的DL模型應該具備較好的泛化能力，而不是僅能解決一類問題。因此，作為RBM研究的重要組成部分，RBM變體面臨著泛化性能差的窘境。

（3） RBM融合的不確定性。RBM作為能量模型，其構造過程有著嚴格的理論支撐和數學推導。然而，由于實際計算的復雜度，常使用近似算法進行簡化和擬合，這很大程度造成了模型的偏差，并且這些偏差隨著RBM與其他模型的融合以及網絡層數的加深，愈加增大并難以分析，嚴重限制模型的進一步發展。所以，如何刻畫簡化算法與融合模型性能的關系是影響深度RBM模型的重要挑戰。

（4） RBM應用的智能性。RBM作為生成模型性能優異，在圖像重構、圖像修復、圖像生成等眾多領域表現突出。然而，生成模型的應用范疇相對較小，RBM的相關前沿應用也相對集中在工業和醫學等DL常用領域。如何將RBM與生活的相關領域緊密結合和快速融入，是當前發展RBM模型應用的關鍵，如智慧城市、智能飲食、智能家居等。因此，RBM的相關應用領域拓展始終面臨著嚴峻的考驗。

6.2" 未來展望

針對第6.1節中相關挑戰，本文仍從RBM算法、RBM變體、RBM融合和RBM應用4個方向給出可能的突破口，旨在為研究DL及RBM方向的學者提供一些研究思想。同時，展望了該領域未來的研究方向。

（1） RBM算法的深化。RBM的顯式目標函數和能量函數可以給模型帶來直觀的推理過程，但是從顯式函數中計算目標梯度，需要推導求解對應顯示概率，過程相當繁瑣。而RBM的隱式目標函數不存在這樣的問題，需要解決的是如何從隱式函數中獲取模型分布。因此，如何拓展RBM的能量函數并實現有效采樣是今后研究的重點。

（2） RBM變體的搭建。隨著DL任務難度的提升，RBM變體的規模也在不斷擴大。近些年，研究RBM變體的成果已經遠遠超過其算法研究。對于DL的新興研究方向，相關RBM變體研究較少。因此，設計更有普適性能且計算簡潔的RBM變體仍是現階段的研究熱點。除此之外，RBM變體的優勢不盡相同，如何正確地融合兩種不同類型的RBM變體有待深入研究。

（3） RBM融合的擴展。目前，處于熱點的生成模型有變分自編碼器（variational autoencoder， VAE）和對抗生成網絡（generative adversarial network， GAN），雖然RBM可以和VAE和GAN融合，但是RBM自身在擴展深度的過程中訓練效率低，復雜度高。同時，RBM與判別模型CNN結合時也能取得不錯的效果。但是隨著層數的加深，作為預訓練工具的RBM非常耗時且不能保證預訓練的特征提取是有利于模型分類任務的。因此，如何改進RBM網絡，搭建更加有效的深度生成和判別模型一直是研究熱點。

（4） RBM應用的發散。RBM模型的應用一般聚焦于單標簽單視圖數據的分類和預測，然而基于能量的模型是可以處理多模態的數據分布，即RBM的應用可以擴展到多標簽數據分類的應用領域。此外，真實世界的數據往往具有多個特征視圖，如物體除形狀特征外，還有顏色特征等，RBM也可以在多視圖領域展現作用。同時，遷移學習、聯邦學習、課程學習等眾多前沿領域都可以考慮RBM的融合擴展，從而使模型有更廣闊的應用空間。

7" 結束語

RBM作為一種結構簡單、訓練方便的概率無向圖模型，在眾多領域都取得了重大成就，并引領第3次DL浪潮。同時，RBM作為神經網絡的重要組成部分，其算法和結構的改進，對DNN的搭建和研發有著巨大意義。因此，本文從RBM的訓練算法改進、模型結構改進、模型深層融合研究和模型相關最新應用等4個方面進行了全面綜述，重點介紹RBM變體模型，彌補了國內外相關領域的空缺。通過本文的分類、梳理和總結，可以發現RBM的算法和種類非常豐富且發展迅猛，盡管模型存在一些限制和問題，但是隨著神經元理論的深入研究和相關應用的進一步拓展，RBM及其變體模型必然是未來DL發展的重要組成部分。

參考文獻

［1］ GOODFELLOW I， BENGIO Y， COURVILLE A. Deep learning［M］. Massachusetts： Massachusetts Institute of Technology， 2017.

［2］ HINTON G E， SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks［J］. Science， 2006， 313（5786）： 504507.

［3］ HINTON G E， OSINDERO S， TEH Y W. A fast learning algorithm for deep belief nets［J］. Neural Computation， 2006， 18（7）： 15271554.

［4］ REICHERT D P， SERIES P， STORKEY A J. Hallucinations in charles bonnet syndrome induced by homeostasis： a deep Boltzmann machine model［C］∥Proc.of the Neural Information Processing Systems Conference， 2010.

［5］ CHO K H， RAIKO T， ILIN A. Gaussian Bernoulli deep Boltzmann machine［C］∥Proc.of the International Joint Conference on Neural Networks， 2013.

［6］ SCHOLKOPF B， PLATT J， HOFMANN T. Greedy layer-wise training of deep networks［C］∥Proc.of the Neural Information Processing Systems Conference， 2007， 19： 153160.

［7］ 胡銘菲， 左信， 劉建偉. 深度生成模型綜述［J］. 自動化學報， 2022， 48（1）： 4074.

HU M F， ZUO X， LIU J W. Survey on deep generative model［J］. Acta Automatica Sinica， 2022， 48（1）： 4074.

［8］ FISCHER A. Training restricted Boltzmann machines［J］. Kunstliche Intelligenz， 2015， 29（4）： 441444.

［9］ HINTON G E. Training products of experts by minimizing contrastive divergence［J］. Neural Computation， 2002， 14（8）： 17711800.

［10］ TIELEMAN T. Training restricted Boltzmann machines using approximations to the likelihood gradient［C］∥Proc.of the International Conference on Machine Learning， 2008.

［11］ TIELEMAN T， HINTON G E. Using fast weights to improve persistent contrastive divergence［C］∥Proc.of the 26th International Conference on Machine Learning， 2009.

［12］ CHO K H， RAIKO T， ILIN A. Parallel tempering is efficient for learning restricted Boltzmann machines［C］∥Proc.of the International Joint Conference on Neural Networks， 2012.

［13］ DESJARDINS G， COURVILLE A C， BENGIO Y， et al. Tempered Markov chain Monte Carlo for training of restricted Boltzmann machines［C］∥Proc.of the International Conference on Artificial Intelligence and Statistics， 2010.

［14］ DESJARDINS G， COURVILLE A， BENGIO Y， et al. Parallel tempering for training of restricted Boltzmann machines［C］∥Proc.of the International Conference on Artificial Intelligence and Statistics， 2010.

［15］ 李飛， 高曉光， 萬開方. 基于動態Gibbs采樣的RBM訓練算法研究［J］. 自動化學報， 2016， 42（6）： 931942.

LI F， GAO X G， WAN K F. Research on RBM training algorithm with dynamic Gibbs sampling［J］. Acta Automatica Sinica， 2016， 42（6）： 931942.

［16］ LI X Y， GAO X G， WANG C F. A novel restricted Boltzmann machine training algorithm with dynamic tempering chains［J］." IEEE Access， 2021， 9： 52193921950.

［17］ WANG Q L， GAO X G， WAN K F， et al. A novel restricted Boltzmann machine training algorithm with fast Gibbs sampling policy［J］." Mathematical Problems in Engineering， 2020： 4206457.

［18］ MA X S， WANG X J. Average contrastive divergence for training restricted Boltzmann machines［J］. Entropy， 2016， 18（1）： 1832.

［19］ KRAUSE O， FISCHER A， IGEL C. Population-contrastive-divergence： does consistency help with RBM training？［J］. Pattern Recognition Letters， 2018， 102： 17.

［20］ DU Y L， LI S， TENENBAUM J， et al. Improved contrastive divergence training of energy-based models［C］∥Proc.of the International Conference on Machine Learning， 2021.

［21］ NING L， PITTMAN R， SHEN X P. LCD： a fast contrastive divergence based algorithm for restricted Boltzmann machine［J］. Neural Networks， 2018， 108： 399410.

［22］ ROMERO E， MAZZANTI F， DELGADO J， et al. Weighted contrastive divergence［J］. Neural Networks， 2019， 114： 147156.

［23］ RUIZ F J R， TITSIAS M K. A contrastive divergence for combining variational inference and MCMC［C］∥Proc.of the International Conference on Machine Learning， 2019.

［24］ PEDRONI B U， SHEIK S， CAUWENBERGHS G. Pipelined parallel contrastive divergence for continuous generative model learning［C］∥Proc.of the IEEE International Symposium on Circuits and Systems， 2017： 212215.

［25］ SANJAYA P， KANG D K. Optimizing restricted Boltzmann machine learning by injecting Gaussian noise to likelihood gradient approximation［J］. Applied Intelligence， 2019， 49（7）： 27232734.

［26］ CHO K， RAIKO T， ILIN A. Enhanced gradient for training restricted Boltzmann machines［J］. Neural Computation， 2013， 25（3）： 805831.

［27］ 李飛， 高曉光， 萬開方. 基于權值動量的RBM加速學習算法研究［J］. 自動化學報， 2017， 43（7）： 11421159.

LI F， GAO X G， WAN K F. Research on RBM accelerating learning algorithm with weight momentum［J］. Acta Automatica Sinica， 2017， 43（7）： 11421159.

［28］ 李飛， 高曉光， 萬開方. 基于改進并行回火算法的RBM網絡訓練研究［J］. 自動化學報， 2017， 43（5）： 753764.

LI F， GAO X G， WAN K F. Research on RBM networks training based on improved parallel tempering algorithm［J］. Acta Automatica Sinica， 2017， 43（5）： 753764.

［29］ 沈卉卉， 李宏偉. 基于動量方法的受限玻爾茲曼機的一種有效算法［J］. 電子學報， 2019， 47（1）： 176182.

SHEN H H， LI H W. An efficient algorithm on restricted Boltzmann machines based on momentum method［J］. Acta Electronica Sinica， 2019， 47（1）： 176182.

［30］ SHEN H H， LI H W. A gradient approximation algorithm based weight momentum for restricted Boltzmann machine［J］. Neurocomputing， 2019， 361： 4049.

［31］ WANG Q L， GAO X G， LI X Y， et al. A precise method for RBMs training using phased curricula［J］. Multimedia Tools and Applications， 2022， 82（6）： 80138047.

［32］ YIN J， MAO Q Y， LIU D Y H， et al. Method to improve the performance of restricted Boltzmann machines［C］∥Proc.of the International Symposium on Neural Networks， 2018： 115123.

［33］ YIN J， LV J C， SANG Y S， et al. Classification model of restricted Boltzmann machine based on reconstruction error［J］. Neural Computing amp; Applications， 2018， 29（11）： 11711186.

［34］ GOLUBEVA A， MELKO R G. Pruning a restricted Boltzmann machine for quantum state reconstruction［J］. Physical Review B， 2022， 105（12）： 125124.

［35］ DIXIT V， SELVARAJAN R， ALAM M A， et al. Training restricted Boltzmann machines with a D-wave quantum annealer［J］. Frontiers in Physics， 2021， 9： 589626.

［36］ RODER M， DE ROSA G H， PAPA J P， et al. Fine-tuning temperatures in restricted Boltzmann machines using meta-heuristic optimization［C］∥Proc.of the IEEE World Congress on Computational Intelligence， 2020.

［37］ TAKAMUNE N， KAMEOKA H. Maximum reconstruction probability training of restricted Boltzmann machines with auxiliary function approach［C］∥Proc.of the IEEE International Workshop on Machine Learning for Signal Processing， 2014.

［38］ LUO L K， WANG Y D， PENG H， et al. Training restricted Boltzmann machine with dynamic learning rate［C］∥Proc.of the International Conference on Computer Science amp; Education， 2016： 103107.

［39］ WELLING M. A new learning algorithm for mean field Boltzmann machines［C］∥Proc.of the International Conference on Artifical Neural Networks， 2002.

［40］ 張健. 基于RBM的深度神經網絡算法研究［D］. 北京： 中國礦業大學， 2020.

ZHANG J. Research on deep neural networks based on RBM［D］. Beijing： China Mining University， 2020.

［41］ LAROCHELLE H， MANDEL M， PASCANU R， et al. Learning algorithms for the classification restricted Boltzmann machine［J］. Journal of Machine Learning Research， 2012， 13（1）： 643669.

［42］ SRIVASTAVA N， HINTON G， KRIZHEVSKY A， et al. Dropout： a simple way to prevent neural networks from overfitting［J］. Journal of Machine Learning Research， 2014， 15（1）： 19291958.

［43］ LI W， ZEILER M， ZHANG S， et al. Regularization of neural networks using dropconnect［C］∥Proc.of the International Conference on Machine Learning， 2013： 20952103.

［44］ TAYLOR G W， HINTON G E， ROWEIS S T. Modeling human motion using binary latent variables［C］∥Proc.of the Advances in Neural Information Processing Systems （NIPS）， 2007.

［45］ SUTSKEVER I， HINTON G E， TAYLOR G W. The recurrent temporal restricted Boltzmann machine［C］∥Proc.of the Neural Information Processing Systems Conference， 2008.

［46］ COTE M A， LAROCHELLE H. An infinite restricted Boltzmann machine［J］. Neural Computation， 2016， 28（7）： 12651288.

［47］ WANG Q L， GAO X G， WAN K F， et al. Generative and discriminative infinite restricted Boltzmann machine training［J］. International Journal of Intelligent Systems， 2022， 37（10）： 78577887.

［48］ YUN J， XIAO J Z， XI L， et al. A removing redundancy restricted Boltzmann machine［C］∥Proc.of the 10th International Conference on Advanced Computational Intelligence， 2018.

［49］ LU X Q， MENG L Z， CHEN C， et al. Fuzzy removing redundancy restricted Boltzmann machine： improving learning speed and classification accuracy［J］. IEEE Trans.on Fuzzy Systems， 2020， 28（10）： 24952509.

［50］ NGUYEN T D， TRAN T， PHUNG D， et al. Graph-induced restricted Boltzmann machines for document modeling［J］. Information Sciences， 2016， 328： 6075.

［51］ ZHANG N， DING S F， LIAO H M， et al. Multimodal correlation deep belief networks for multi-view classification［J］. Appllied Intelligence， 2019， 49： 19251936.

［52］ ZHANG N， DING S F， SUN T F， et al. Multi-view RBM with posterior consistency and domain adaptation［J］. Information Sciences： an International Journal， 2019， 516（5786）： 142157.

［53］ ZHANG N， SUN S L. Multiview graph restricted Boltzmann machines［J］. IEEE Trans.on Cybernetics， 2022， 52（11）： 1241412428.

［54］ RODER M， DE-ROSA G H， ALBUQUERQUE V H C， et al. Energy-based dropout in restricted Boltzmann machines： why not go random［J］. IEEE Trans.on Emerging Topics in Computational Intelligence， 2022， 6（2）： 276286.

［55］ TRAN S N， GARCEZ A D， WEYDE T， et al. Sequence classification restricted Boltzmann machines with gated units［J］. IEEE Trans.on Neural Networks and Learning Systems， 2020， 31（11）： 48064815.

［56］ NAKASHIKA T， TAKAKI S， YAMAGISHI J. Complex-valued restricted Boltzmann machine for direct learning of frequency spectra［C］∥Proc.of the 18th Annual Conference of the International Speech Communication Association， 2017.

［57］ CHO K H， ILIN A， RAIKO T. Improved learning of Gaussian-Bernoulli restricted Boltzmann machines［C］∥Proc.of the International Conference on Artificial Neural Networks， 2011： 1017.

［58］ RANZATO M， KRIZHEVSKY A， HINTON G E. Factored 3-way restricted Boltzmann machines for modeling natural images［C］∥Proc.of the International Conference on Artificial Intelligence and Statistics， 2010.

［59］ RANZATO M， HINTON G E. Modeling pixel means and covariances using factorized third-order Boltzmann machines［C］∥Proc.of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition， 2010.

［60］ COURVILLE A， BERGSTRA J， BENGIO Y. A spike and slab restricted Boltzmann machine［C］∥Proc.of the International Conference on Artificial Intelligence and Statistics， 2011.

［61］ COURVILLE A， BERGSTRA J， BENGIO Y. Unsupervised models of images by spike-and-slab RBMs［C］∥Proc.of the International Conference on International Conference on Machine Learning， 2011.

［62］ ZHANG J， WANG H J， CHU J L， et al. Improved Gaussian-Bernoulli restricted Boltzmann machine for learning discriminative representations［J］. Knowledge-Based System， 2019， 185： 104911.

［63］ CHEN C L P， ZHANG C Y， CHEN L， et al. Fuzzy restricted Boltzmann machine for the enhancement of deep learning［J］. IEEE Trans.on Fuzzy Systems， 2015， 23（6）： 21632173.

［64］ HOSSEINI-POZVEH M S， SAFAYANI M， MIRZAEI A. Interval type-2 fuzzy restricted Boltzmann machine［J］. IEEE Trans.on Fuzzy Systems， 2021， 29（5）： 11331144.

［65］ HARRISON R W. Continuous restricted Boltzmann machines［J］. Wireless Networks， 2022， 28（3）： 12631267.

［66］ NAIR V， HINTON G E. Rectified linear units improve restricted Boltzmann machines［C］∥Proc.of the International Conference on International Conference on Machine Learning， 2010.

［67］ RAVANBAKHSH S， POCZOS B， SCHNEIDER J， et al. Stochastic neural networks with monotonic activation functions［EB/OL］. ［20230720］. https：∥arxiv.org/pdf/1601.00034.pdf.

［68］ LI Y F， ZHU X D. Exponential family restricted Boltzmann machines and annealed importance sampling［C］∥Proc.of the International Joint Conference on Neural Networks， 2018： 3948.

［69］ ZHANG J， DING S F， ZHANG N. An overview on probability undirected graphs and their applications in image processing［J］. Neurocomputing， 2018， 321： 156168.

［70］ LU W H， LEUNG C S， SUM J. Analysis on noisy Boltzmann machines and noisy restricted Boltzmann machines［J］. IEEE Access， 2021， 9： 112955112965.

［71］ FISHER C K， SMITH A M， WALSH J R. Boltzmann encoded adversarial machines［EB/OL］. ［20230720］. https：∥arxiv.org/abs/1804.08682.

［72］ MONTAVON G， MUELLER K， CUTURI M. Wasserstein training of restricted Boltzmann machines［C］∥Proc.of the Neural Information Processing Systems Conference， 2016.

［73］ DEMERTZIS K， ILIADIS L， PIMENIDIS E， et al. Variational restricted Boltzmann machines to automated anomaly detection［J］. Neural Computing amp; Applications， 2022. 34（18）： 1520715220.

［74］ SALAKHUTDINOV R， HINTON G. A better way to pretrain deep Boltzmann machines［C］∥Proc.of the Neural Information Processing Systems Conference， 2012.

［75］ SALAKHUTDINOV R， HINTON G E. Deep Boltzmann machines［C］∥Proc.of the International Conference on Artificial Intelligence and Statistics， 2009.

［76］ SALAKHUTDINOV R， HINTON G. An efficient learning procedure for deep Boltzmann machines［J］. Neural Computation， 2012， 24（8）： 19672006.

［77］ GOODFELLOW I J， MIRZA M， COURVILLE A， et al. Multi-prediction deep Boltzmann machines［C］∥Proc.of the Neural Information Processing Systems Conference， 2013.

［78］ SHUANG F， CHEN C L P. Fuzzy restricted Boltzmann machine and deep belief network： a comparison on image reconstruction［C］∥Proc.of the IEEE International Conference on Systems， Man， and Cybernetics， 2017： 18281833.

［79］ WANG G M， QIAO J F， BI J， et al. An adaptive deep belief network with sparse restricted Boltzmann machines［J］. IEEE Trans.on Neural Networks and Learning Systems， 2020， 31（10）： 42174228.

［80］ VERA M， VEGA L R， PIANTANIDA P. Information flow in deep restricted Boltzmann machines： an analysis of mutual information between inputs and outputs［J］. Neurocomputing， 2022， 507： 235246.

［81］ AGLIARI E， SEBASTIANI G. Learning and retrieval operational modes for three-layer restricted Boltzmann machines［J］. Journal of Statistical Physics， 2021， 185（2）： 10.

［82］ LEONELLI F E， AGLIARI E， ALBANESE L， et al. On the effective initialisation for restricted Boltzmann machines via duality with hopfield model［J］. Neural Networks， 2021， 143： 314326.

［83］ FENG S， CHEN C L P， ZHANG C Y. A fuzzy deep model based on fuzzy restricted Boltzmann machines for high-dimensional data classification［J］. IEEE Trans.on Fuzzy Systems， 2020， 28（7）： 13441355.

［84］ KANG T Y， CHEN P， QUACKENBUSH J， et al. A novel deep learning model by stacking conditional restricted Boltzmann machine and deep neural network［C］∥Proc.of the 26th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining， 2017： 18281833.

［85］ LI C P， WANG J L， YE X Z. Using a recurrent neural network and restricted Boltzmann machines for malicious traffic detection［J］. Neuroquantology， 2018， 16（5）： 823831.

［86］ LU F， WU J D， HUANG J Q， et al. Restricted-Boltzmann-based extreme learning machine for gas path fault diagnosis of turbofan engine［J］. IEEE Trans.on Industrial Informatics， 2020， 16（2）： 959968.

［87］ WU X J， XU M D， LI C D， et al. Research on image reconstruction algorithms based on autoencoder neural network of restricted Boltzmann machine （RBM）［J］. Flow Measurement and Instrumentation， 2021， 80： 102009.

［88］ SOBCZAK S， KAPELA R. Hybrid restricted Boltzmann machine-convolutional neural network model for image recognition［J］. IEEE Access， 2022， 10： 2498524994.

［89］ HAN Z Z， LIU Z B， HAN J W， et al. Mesh convolutional restricted Boltzmann machines for unsupervised learning of features with structure preservation on 3-D meshes［J］. IEEE Trans.on Neural Networks and Learning Systems， 2017， 28（10）： 22682281.

［90］ KARTHIK E， SETHUKARASI T. A centered convolutional restricted Boltzmann machine optimized by hybrid atom search arithmetic optimization algorithm for sentimental analysis［J］. Neural Processing Letters， 2022， 54（5）： 41234151.

［91］ KANNO Y， YASUDA M. Multi-layered discriminative restricted Boltzmann machine with untrained probabilistic layer［C］∥Proc.of the International Conference on Pattern Recognition， 2021： 76557660.

［92］ VAN-TULDER G， DE-BRUIJNE M. Combining generative and discriminative representation learning for lung CT analysis with convolutional restricted Boltzmann machines［J］. IEEE Trans.on Medical Imaging， 2016， 35（5）： 12621272.

［93］ CHEN C L P， FENG S. Generative and discriminative fuzzy restricted Boltzmann machine learning for text and image classification［J］. IEEE Trans.on Cybernetics， 2020， 50（5）： 2237

2248.

［94］ LUO L K， ZHANG S F， WANG Y D， et al. An alternate method between generative objective and discriminative objective in training classification restricted Boltzmann machine［J］. Knowledge Based Systems， 2018， 144： 144152.

［95］ XU A Q， TIAN M W， FIROUZI B， et al. A new deep learning restricted Boltzmann machine for energy consumption forecasting［J］. Sustainability-Basel， 2022， 14（16）： 10081.

［96］ JUSTIN S， SALEH W， AL GHAMDI T， et al. Hyper parameter optimization based deep belief network for clean buses using solar energy model［J］. Intelligent Automation and Soft Computing， 2023， 37（1）： 10911109.

［97］ WANG Q， YANG X L， PU D， et al. Sustainable investment forecasting of power grids based on the deep restricted Boltzmann machine optimized by the lion algorithm［J］. Computer Modeling in Engineering and Sciences， 2022， 130（1）： 269286.

［98］ SHIN U， ISHII M， OKAZAKI A， et al. Pattern training， inference， and regeneration demonstration using on-chip trainable neuromorphic chips for spiking restricted Boltzmann machine［J］. Advance Intelligent Systems， 2022， 4（8）： 2200034.

［99］ PATEL S， CANOZA P， SALAHUDDIN S. Logically synthesized and hardware accelerated restricted Boltzmann machines for combinatorial optimization and integer factorization［J］. Nature Electronics， 2022， 5（2）： 92101.

［100］ YANG X F， WU Z， ZHANG Q M. Bluetooth indoor localization with Gaussian-Bernoulli restricted Boltzmann machine plus liquid state machine［J］. IEEE Trans.on Instrumentation and Measurement， 2022， 71： 1000208.

［101］ YUAN X H， WANG C， LI M Q， et al. Lapping quality prediction of ceramic fiber brush based on Gaussian-restricted Boltzmann machine［J］. Materials， 2022， 15（21）： 7805.

［102］ TRENTIN V， ARTUNEDO A， GODOY J， et al. Multi-modal interaction-aware motion prediction at unsignalized intersections［J］. IEEE Trans.on Intelligent Vehicles， 2023， 8（5）： 33493365.

［103］ ELANGOVAN D， SUBEDHA V. Adaptive particle grey wolf optimizer with deep learning-based sentiment analysis on online product reviews［J］. Engineering Technology amp; Applied Science Research， 2023， 13（3）： 1098910993.

［104］ SUN C X， WANG L H， WANG W， et al. Non-small cell lung cancer staging using deep restricted Boltzmann machine［C］∥Proc.of the IEEE International Conference on Signal Processing， 2018： 11751178.

［105］ WAHID F， AZHAR S， ALI S， et al. Pneumonia detection in chest X-ray images using enhanced restricted Boltzmann machine［J］. Journal of Healthcare Engineering， 2022： 1678000.

［106］ QIAN Y Q， DING Y J， ZOU Q， et al. Identification of drug-side effect association via restricted Boltzmann machines with penalized term［J］. Brief Bioinform， 2022， 23（6）： 458.

［107］ NARAMALA V R， KUMAR B A， RAO V S， et al. Enhancing diabetic retinopathy detection through machine learning with restricted Boltzmann machines［J］. International Journal of Advanced Computer Science and Applications， 2023， 14（9）： 573585.

［108］ ALQAHTANI N， ALAM S， AQEEL I， et al. Deep belief networks （DBN） with IoT-based Alzheimer's disease detection and classification［J］. Applied Sciences-Basel， 2023， 13（3）： 7833.

［109］ LI J J， XU F M， GAO N， et al. Sparse non-convex regularization based explainable DBN in the analysis of brain abnormalities in schizophrenia［J］. Computers in Biology and Medicine， 2023， 155： 106664.

［110］ NAVEEN P. Occlusion-aware facial expression recognition： a deep learning approach［J］. Multimedia Tools and Applications， 2023. DOI： 10. 1007/s11042-023-17013-1

［111］ ZOU X C， WANG G J， YU G X. Protein function prediction using deep restricted Boltzmann machines［J］. Biomed Research International， 2017： 1729301.

［112］ SAHA S， BANDOPADHYAY S， GHOSH A. Identifying the degree of genetic interactions using restricted Boltzmann machine： a study on colorectal cancer［J］. IET Systems Biology， 2021， 15（1）： 2639.

［113］ KUMAR R R S R， APPARAO G， ANURADHA S. Deep scalable and distributed restricted Boltzmann machine for recommendations［J］. International Journal of System Assurance Engineering and Management， 2022. DOI： 10. 1007/s13198-022-01684-4

［114］ JHA G K， GAUR M， RANJAN P， et al. A trustworthy model of recommender system using hyper-tuned restricted Boltzmann machine［J］. Multimedia Tools and Applications， 2022， 82（6）： 82618285.

［115］ ROOHULLAH， WAHID F， ALI S， et al. Accident detection in autonomous vehicles using modified restricted Boltzmann machine［J］. Security and Communication Networks， 2022：

6424835.

［116］ LAKSHMI V M， RADHIKA R， KALPANA G. Radial restricted Boltzmann machines with functional neural network for classification of the fake and real news analysis［J］. International Journal of Uncertainty， Fuzziness and Knowledge-Based Systems， 2022， 30（1）： 3143.

［117］ LI J C， YU Z L， GU Z H， et al. Spatial-temporal discriminative restricted Boltzmann machine for event-related potential detection and analysis［J］. IEEE Trans.on Neural Systems and Rehabilitation Engineering， 2019， 27（2）： 139151.

［118］ TANG Y， XIAO X， YANG X， et al. Research on a small sample feature transfer method for fault diagnosis of reciprocating compressors［J］. Journal of Loss Prevention in the Process Industries， 2023， 85： 105163.

［119］ LI B Q， WU J Y， LI L S， et al. Adaptive assessment of power system transient stability based on active transfer learning［J］. Automation of Electric Power Systems， 2023， 47（4）： 121132.

［120］ LI Y， PENG L H， LI J Q， et al. Fabric defect detection based on deep-belief network［J］. Journal of Textile Research， 2023， 44（2）： 143150.

［121］ WANG D Y， ZHOU L J， YANG Z X， et al. Defects detection of onboard cable termination in EMUs using partial discharge measurement and SDP-DL framework［J］. IEEE Trans.on Transportation Electrification， 2023， 9（2）： 31273136.

［122］ ASLAN N， DOGAN S， KOCA G. Automated classification of brain diseases using the restricted Boltzmann machine and the generative adversarial network［J］. Engineering Applications of Artificial Intelligence， 2023， 126（Part A）： 106794.

［123］ GUO H F. The evaluation of university management performance using the CS-RBM algorithm［J］. PEERJ Computer Science， 2023， 9： e1575.

［124］ ZHANG Y Y. Analysis of benefits and security of China’s foreign investment with artificial intelligence under the belt and road［J］. Applied Artificial Intelligence， 2023， 37（1）： 2219562.

作者簡介

汪強龍（1995—），男，博士研究生，主要研究方向為深度學習、受限玻爾茲曼機。

高曉光（1957—），女，教授，博士，主要研究方向為貝葉斯網絡學習、航空火力控制與作戰效能分析。

吳必聰（1995—），女，博士研究生，主要研究方向為工商管理、數字生態經濟。

胡子劍（1996—），男，博士研究生，主要研究方向為深度強化學習。

萬開方（1987—），男，副研究員，博士，主要研究方向為強化學習、航空作戰效能分析。