使用動態增減枝算法優化網絡結構的DBN模型*

張士昱，宋 威，王晨妮，鄭珊珊

江南大學 物聯網工程學院，江蘇 無錫214122

+通訊作者E-mail:songwei@jiangnan.edu.cn

1 引言

在人工智能領域，深度學習目前受到了廣泛關注[1]，特別是深度學習的分類能力對工業界產生了巨大的影響[2]。因為這種學習體系具有多層網絡結構的優點，可以避免所謂的維數災難或降低其危害；而且可以有效提取原始數據的主要特征，這些數據比原始數據更具鑒別性，方便對數據做進一步的應用研究。限制玻爾茲曼機（restricted Boltzmann machine，RBM）[3]是一種無監督學習方法，能夠很好地表示輸入數據集的概率分布。深度信念網絡（deep belief network，DBN）[4]由多個順序堆疊的RBM組成。

目前DBN 仍有許多問題值得研究。例如，當DBN 要解決高復雜度的問題時，如果隱藏層和隱藏層神經元不足，則會導致訓練失敗[5]。這是因為DBN缺少隱藏層和隱藏層神經元來擬合數據，并且無法有效提取數據的主要特征。而如果隱藏層和隱藏層神經元過多，則會大幅增加DBN的訓練時間，并且可能會導致網絡過擬合。因此，針對不同的問題，DBN需要選擇合適的網絡結構來準確地提取數據的主要特征。但是，DBN 的網絡結構目前是通過人工實驗選擇的，并且在訓練過程中總是固定的[6]。Shen 等[7]通過反復實驗法確定DBN 的網絡結構，但通過這種方法確定結構是耗時且不合理的，會導致DBN 運行時間長，準確度差。因此，如何使DBN可以根據不同的問題以及自身的訓練情況，自動調整為最合適的網絡結構，對DBN 在人工智能領域的應用研究具有重要的意義。

近年來已經研究出許多動態結構調整算法來解決神經網絡的結構確定問題[8-9]。例如，文獻[10]提出了一種模糊神經網絡（fuzzy neural network，FNN）的分層在線動態結構用于解決函數逼近問題。文獻[11]提出了一種具有動態結構的徑向基（radial basis function，RBF）網絡用于解決非線性動力系統辨別問題。文獻[12]提出了一種用于二值圖像去噪任務的量子多層動態神經網絡（dynamic neural network，DNN）。這些動態結構調整算法有效提高了神經網絡的學習效果。受此啟發，DBN 的結構設計問題已經成為學術界關注的焦點[13-14]。文獻[2,15]提出了一種自適應DBN（adaptive deep belief network，ADBN）學習方法，該方法使用隱藏神經元權重和偏置的變化量作為調整網絡結構的條件。但ADBN 算法相對單一，缺乏對結構調整的全局把握，不具備一定的魯棒性。文獻[6]提出了一種自組織DBN（self-organizing deep belief network，SODBN）模型，利用隱藏神經元的尖峰強度值（spiking intensities，SI）和訓練階段的均方根誤差來調整網絡結構。SODBN 可以獲得良好的網絡結構和準確性，但由于其復雜的算法，SODBN的訓練時間也更長。本文提出了一種使用動態增減枝算法的動態DBN模型（dynamic deep belief network，DDBN），可以有效地優化DBN的網絡結構。DDBN新的特性如下所述：

如果DBN沒有足夠的隱藏層神經元來映射輸入樣本，那么即使經過長時間的迭代，權重矩陣仍會大幅波動[15]。因此，對于增枝策略，本文提出了一種稱為權重距離（weight distance，WD）的方法，并從局部和全局的角度來描述神經元的權重變化趨勢，然后提出一條神經元的綜合權重變化曲線來尋找不穩定的神經元，為了提高網絡的局部描述能力，將不穩定的神經元分成兩個神經元，并且新神經元各參數為0；此外，本文通過計算網絡與所有訓練樣本相對應的平均能量來評估網絡的穩定性，以此來確定是否需要增加新的隱藏層，提高網絡穩定性。對于減枝策略，為了減少網絡的冗余并獲得一個緊湊的結構，本文通過利用隱藏層神經元對所有訓練樣本激活概率的標準差來測量神經元提取特征的離散程度，進而找出具有鑒別性的神經元，并移除其余神經元。

更重要的是，雖然DDBN 的訓練是一個動態過程，但對其收斂性進行分析后證明是可實現的。在實驗中，將本文提出的DDBN模型在3個基準圖像數據集上進行了測試，包括MNIST[16]、USPS[17]和CIFAR-10[18]，并與多種網絡模型進行對比，包括傳統的DBN、降噪自動編碼機（denoising auto-encoder，DAE），以及ADBN[2]和SODBN[6]。相應的實驗結果表明，DDBN比現有的一些DBN結構調整方法具有更好的性能。

2 深度信念網絡

DBN由多個順序堆疊的RBM組成，如果要解決分類問題，則需要在最后增加一層分類器。DBN 的訓練過程分為兩個階段：預訓練（無監督學習）和微調（監督學習）。第一，使用對比散度（contrastive divergence，CD）算法訓練每一層RBM，并且把當前RBM的輸出作為下一層的輸入，除此之外，每一層的RBM 都是單獨訓練，確保特征向量被映射到不同的特征空間，從而提取更多的特征信息。第二，將最后一層RBM 的輸出作為分類器的輸入，使用誤差反向傳播（back-propagation，BP）算法訓練整個網絡，對其進行微調。

2.1 RBM結構分析

RBM 由可視層和隱藏層組成，其中可視層即為輸入樣本，而隱藏層的輸出表示了輸入樣本的概率分布，即提取的輸入樣本的主要特征。RBM 的結構如圖1所示。

Fig.1 Structure of RBM圖1 RBM結構

圖中，vi(1 ≤i≤I)和hj(1 ≤j≤J)分別表示可視層神經元和隱藏層神經元，W是可視層和隱藏層之間的權重矩陣，b和c分別是可視層神經元和隱藏層神經元的偏置。

RBM是一種基于能量模型的隨機網絡。給定參數集θ={W,b,c}，則能量函數E(v,h;θ)以及可視層和隱藏層神經元的聯合概率分布P(v,h;θ)為：

其中，Z是配分函數，表示所有可能的可視層和隱藏層神經元的和。利用貝葉斯公式的原理，根據式（2）可以求出可視層神經元v的邊緣概率分布：

RBM 網絡訓練的目標就是求解θ={W,b,c}，使得在該參數下RBM 能夠極大地擬合輸入樣本，使得P(v;θ)[19]最大，即求解輸入樣本的極大似然估計。然而，為了獲得最大似然估計，需要計算所有可能情況，計算量是指數增長的，因此RBM使用Gibbs采樣進行估算[20]。在Gibbs 采樣過程中，可視層神經元v和隱藏層神經元h的條件概率分布為：

然而，Gibbs 采樣是十分耗時的，特別是當訓練樣本具有大量特征時。因此目前通常使用CD 算法訓練RBM[21]。CD 算法主要有兩個特點：（1）使用從條件分布中得到的樣本來近似替代計算梯度時的平均求和。（2）只進行一次Gibbs 采樣。通過CD 算法，可以快速得到{W,b,c}等參數的更新，從而完成對RBM網絡的訓練。

2.2 微調

RBM是一種無監督的學習方法，在DBN的最后增加一層分類器，使用反向傳播算法訓練整個網絡，對其進行微調，可以實現對整體網絡的參數優化和分類。

微調階段是把多層RBM訓練得到的網絡參數作為整體網絡參數初始化給BP網絡，利用有監督的學習方法訓練，并將網絡的實際輸出與期望輸出產生的誤差逐層向后傳播，完成對整個DBN 網絡參數的微調。預訓練過程可以看作是RBM訓練得到的參數對BP網絡的初始化過程，它能克服隨機初始化BP網絡而導致的訓練時間長，容易陷入局部最優解的缺點。

3 動態DBN模型

DDBN通過動態增減枝算法，可以在訓練過程中根據當前訓練情況自動構建網絡結構。增枝操作包括增加新的隱藏層和隱藏層神經元，而減枝操作為移除冗余神經元。本章將介紹DDBN的主要思想。

3.1 動態增減枝算法

動態增減枝算法從局部和全局，即從網絡對單個訓練樣本和所有訓練樣本的角度考慮網絡結構的動態調整，可以避免網絡結構陷入局部最優。從局部角度來考慮，在一次迭代訓練完成后，找出每個隱藏層神經元對應于某個訓練樣本的最大的WD 值。從全局角度來說，在一次迭代完成后，計算出使各個隱藏層神經元的WD 值變大的樣本占所有訓練樣本的比例，并與局部條件相結合，描述神經元的綜合權重變化趨勢。若大于閾值，則將該神經元分為兩個神經元。在當前RBM 訓練完成后，首先通過隱藏層神經元對所有輸入樣本激活概率的標準差測量神經元提取特征的離散程度。若標準差大于閾值，則表明神經元提取的特征是具有鑒別性的，并移除其余神經元。然后通過計算網絡對所有訓練樣本的平均能量來評估網絡的穩定性，若平均能量大于閾值，則增加一層新的RBM，并且各參數的初始化與初始結構相同。動態增減枝算法的具體描述如下。

3.1.1 動態增枝算法

DDBN 的增枝操作包括增加隱藏層神經元和隱藏層的數量，這分別取決于WD值和能量函數。

首先介紹隱藏層神經元的增長。WD如式（6）所示：

其中，Wj(m)是隱藏層神經元j在經過m次迭代后的權重向量。WD 的值反映了兩次迭代中隱藏層神經元j的權重向量的變化情況。一般而言，神經元j的權重向量在訓練一段時間后會收斂，即WD的值會越來越小。如果某些神經元的權重向量波動幅度較大，即WD的值較大，應該考慮到這是缺少隱藏層神經元來映射輸入樣本導致的。在這種情況下，需要增加神經元的數量來提高網絡的局部描述能力。本文從局部和全局兩方面來描述神經元的權重變化趨勢。局部條件定義為：

其中，N是輸入樣本的個數，N'是與上一次迭代相比使第j個神經元的WD 值增大的樣本個數，即。全局條件即計算出使各個神經元的WD值增大的樣本占所有訓練樣本的比例。然后將這兩個條件相乘即得到增加隱藏層神經元的條件：

其中，y(m)是一條曲線，用來作為可變閾值，其定義為：

其中，m是當前迭代次數，epoches為最大迭代次數，u表示曲線的曲率，ymax和ymin分別是曲線的最大值和最小值。

在訓練過程中，如果網絡向好的方向發展，則MAX_WD和iratio的值會越來越小。因此提出一條曲線y(m)來擬合神經元的綜合權重變化趨勢，并且當u＞1 時，y(m)是一條單調遞減的凹曲線，u越大，曲線的曲率越大。如果第j個神經元滿足式（10），則該神經元將被分成兩個神經元，并且新神經元的各參數都為0，如圖2所示。

Fig.2 Growth of hidden neurons圖2 增加隱藏層神經元

接下來介紹隱藏層的增長。根據式（3）可以發現：

如果想最大化P(v;θ)，那么能量函數E(v,h;θ)應該盡可能得小。同時，為了消除訓練數據集規模不同對網絡的能量計算產生的影響，本文使用的是整體網絡與所有訓練樣本相對應的平均能量。增加隱藏層的條件為：

其中，l表示第l層RBM，l=1,2,…,L，L是DDBN 當前的層數，n表示第n個訓練樣本，θL是閾值。如果整體網絡的平均能量滿足式（12），則增加一層新的RBM，并且新RBM 各參數的初始化與初始結構相同，如圖3所示。

3.1.2 動態減枝算法

Fig.3 Growth of hidden layers圖3 增加隱藏層

RBM 的目的是提取樣本的主要特征，即隱藏層神經元的激活概率。這些特征都是有鑒別性的，方便對數據做進一步的應用研究。如果某個神經元的激活概率對所有樣本都接近平均值，則說明該神經元提取的特征不具有鑒別性，即冗余神經元。為了減少網絡的冗余并獲得一個緊湊的結構，需要移除這些冗余神經元。本文使用標準差測量同一隱藏層神經元對所有樣本激活概率的離散程度，標準差公式為：

其中，AP(n,j)表示第j個神經元對第n個樣本的激活概率，μj表示第j個神經元對所有樣本的平均激活概率。一個較小的標準差意味著這些值接近平均值，即這個神經元提取的特征不具有鑒別性，因此需要移除這個冗余神經元。減枝條件為：

其中，θA是一個閾值。關于閾值的取值，做了一條關于減枝率和分類準確率之間的權衡曲線，根據此曲線選擇θA的值，使移除更多的冗余神經元的同時保留原始準確率。如果第j個神經元滿足式（14），則移除該神經元，包括其所有參數，如圖4所示。

Fig.4 Pruning of hidden neurons圖4 移除隱藏層神經元

此外，在減枝后，重新訓練當前的RBM使剩余的神經元能夠補償被移除的神經元。這一步至關重要，減枝后再重訓練為一次迭代。迭代減枝每次都移除較少的神經元，并且進行了多次重訓練以進行補償。經過多次這樣的迭代，可以找到一個更高的減枝率并且不損失準確率。每次迭代根據式（15）更新閾值θA：

通過δ(iter)來更新每次迭代減枝中的閾值以移除更多的神經元。每次減枝都是一次貪心搜索，即在上一次減枝最優結果的基礎上進行下一次減枝。根據每次減枝中的權衡曲線，可以在不損失準確率的情況下找到最佳減枝率，因此δ(iter)被設置為使θA滿足此次迭代減枝所需的減枝率。

3.2 DDBN的訓練過程

本文使用CD算法來訓練RBM，該算法進行一次Gibbs采樣就可以重構樣本的分布，大大縮短了訓練時間。算法主要思想是：用輸入數據初始化可視層的狀態，得到v1，通過式（5）計算隱藏層神經元的狀態為0或1，得到h1；然后再利用h1和式（4）計算可視層神經元的狀態，從而得到可視層的重構v2；最后利用v2和式（5）計算隱藏層神經元的激活概率，得到h2。具體過程如圖5所示。

Fig.5 CD algorithm圖5 CD算法

然后根據下列公式更新參數：

其中，η為學習率。

綜上所述，本文提出的DDBN的訓練過程如圖6所示。

Fig.6 Training process of DDBN圖6 DDBN訓練過程

為了使網絡應用更廣泛，在DDBN 的最后加入Softmax 分類器用于圖像分類。對于輸入樣本{(x(1),y(1)),(x(2),y(2)),…,(x(N),y(N))}，標簽y取K個不同的值，表示有K個類別。設P(y=k|x)表示在輸入x的情況下，樣本判別為類別k的概率。對于一個K類Softmax分類器，輸出為：

其中，x(n)為第n個輸入樣本，y(n)表示第n個輸入樣本的標簽，P(y(n)=k|x(n);θ)表示第n個輸入樣本屬于第k類的概率，θ是一個包括權重和偏置的參數矩陣，每一行看作是一個類別所對應分類器的參數，共K行。是對概率分布進行歸一化，從而使所有的概率之和為1。Softmax分類器的代價函數為：

其中，1{} 是一個特征函數，即當y(n)=k為真時，1{y(n)=k}的值為1；當y(n)=k為假時，1{y(n)=k}的值為0。隨后，使用反向傳播算法，微調整個網絡以調整網絡參數，最終實現整個DDBN模型的訓練。

3.3 收斂性分析

DDBN 的收斂性是一個重要的問題。DDBN 在訓練過程中，網絡結構是動態變化的，因此網絡收斂對DDBN的穩定性和成功應用至關重要。本節將為DDBN動態訓練過程的收斂提供理論依據。

3.3.1 增加神經元階段

在增加神經元階段，假設第l層隱藏層有J個神經元，則重構誤差為。當第j個神經元滿足神經元增長條件時，該神經元將被分成兩個神經元，因此當前神經元個數為J+1 個，則此時的重構誤差為。需要指出的是，重構誤差會影響DDBN在結構變化階段的收斂性，當DDBN 在結構非變化階段時可以忽略[6]。

在這種情況下，DDBN模型的誤差為[11,22]：

其中，eg(n)是網絡誤差，g()和f()分別是實際函數和理想函數，W為初始權重，W?為理想權重，grow()表示神經元增長算法，L是隱藏層的層數。

提出假設[11]：

其中，ec＞0，因為f()是一個連續函數[11,22]，所以f()是有界的。同時，g()是由神經網絡構建的，因此g()也是有界的。從而，這個假設是可以成立的。

定理1在增加神經元階段，如果本文提出的神經元增長算法是有效的，則誤差eg(n)可以收斂到一個有限的向量||eg(n)||2＜em。同時，隨著輸入樣本的增加，誤差eg(n)一致最終有界（uniformly and ultimately bounded，UUB）。

證明根據Lyapunov函數法：

V的導數為：

根據式（24）證明誤差eg(n)一致最終有界，則得到：

因此，根據Lyapunov穩定性定理，可以證明誤差eg(n)一致最終有界，即證明了定理1，并且理論上證明了增加神經元階段的收斂性。 □

3.3.2 減枝階段

由于減枝是增加神經元的逆向步驟，并且增加神經元階段的收斂性已被證明，因此根據定理1，可以得到ep(n)一致最終有界。

同時，預訓練過程是通過訓練多個疊加的RBM來實現的，這已經被證明是一致最終有界[20]，因此也保證了增加隱藏層過程中的收斂性。此外，微調是基于梯度的監督學習，理論上保證了穩定性和收斂性[23-26]。

綜上所述，DDBN的收斂性已被證明。

4 實驗結果及分析

本文實驗使用了3個圖像數據集，相應的實驗結果將用于驗證DDBN 的有效性。同時，DDBN 的各個參數在不同的數據集上是獨立選取的，以便實驗結果能夠驗證DDBN 的最佳性能。實驗是在Matlab R2014a 下進行，操作系統為Windows 10，CPU 為Intel?CoreTMi3+3.70 GHz，4 GB內存。

4.1 實驗數據集

本實驗使用了3 個基準圖像數據集，MNIST[16]、USPS[17]和CIFAR-10[18]。MNIST 是一種流行的手寫數據集，該數據集所含樣本為0～9 的阿拉伯數字，均為手寫體，擁有60 000 個訓練樣本和10 000 個測試樣本，每個圖像由28×28個像素組成；USPS是美國郵政服務手寫數字識別庫，包括9 298 個0～9 數字的手寫數字圖像，擁有7 291 個訓練樣本和2 007 個測試樣本，均為16×16 像素；另外，CIFAR-10 數據集含有60 000個彩色圖像，包括50 000個訓練樣本和10 000個測試樣本，它們被分為10類。CIFAR-10中的原始彩色圖像使用灰度化進行預處理，每個圖像由32×32個像素組成。

4.2 參數討論

本節將討論動態增減枝算法中的參數選擇，包括擬合曲線y(m)的曲率u，動態減枝算法中的閾值θA和δ(iter)，以及增加隱藏層的閾值θL。本文使用圖像的分類準確率測量DDBN 的性能。此外，這些參數在不同的數據集上是獨立選取的，以便實驗結果能夠驗證DDBN 的最佳性能。在預訓練階段，批量大小為100，動量參數設為0，學習率為0.1，最大迭代次數設為100，每層RBM初始神經元個數為10；在微調階段，批量大小為100，學習率為0.1，最大微調次數設為100。

首先討論的是擬合曲線y(m)的曲率u。當u＞1時，y(m)是一條單調遞減的凹曲線，并且u越大，曲線的曲率越大，從而使RBM 更容易增加新的神經元。此外，ymax和ymin的值分別為1.2 和0.4。3 個數據集的實驗結果如圖7 所示?？梢钥吹?，當u的值較小時，由于缺乏隱藏層神經元，網絡的特征提取能力較差；當u的值較大時，過多的神經元可能會導致過擬合，這兩種情況都會導致準確度下降。比較了多組實驗結果并選擇使實驗結果最優的u的值，此時，RBM 有適當的隱藏層神經元來提取特征。因此，在MNIST 數據集中u=3.9，在USPS 數據集中u=3.5，在CIFAR-10數據集中u=4.0。

Fig.7 Different values of u圖7 u的選取

然后討論的是動態減枝算法中的閾值θA和δ(iter)。需要說明的一點是，減枝不能提高分類準確率，但它可以避免網絡的過擬合并且減少網絡的冗余并獲得一個緊湊的結構。關于閾值的選取，做了一條關于減枝率和分類準確率之間的權衡曲線。在每次迭代減枝中，將隱藏層神經元激活概率的標準差進行排序，通過移除標準差最小的x%個神經元來獲得這條曲線，并選擇最優的減枝率。再使用CD算法對剩余神經元進行重訓練，重訓練迭代次數設為50，然后對剩余神經元進行下一次減枝，即在本次減枝最優結果的基礎上進行下一次減枝。實驗結果如圖8所示。

在MNIST 數據集中，可以看到，在iter-1 中移除20%的隱藏層神經元而沒有損失準確率，并且iter-2在iter-1 的基礎上又多移除10%的神經元。但是，如果沒有進行重訓練而使用直接減枝，只能移除10%的神經元。因此，加入重訓練后的減枝移除的冗余神經元數量是直接減枝的2.8 倍。同理，在USPS 數據集中，iter-1移除40%的神經元，iter-2又多移除10%的神經元，移除的冗余神經元數量是直接減枝的1.5倍；在CIFAR-10 數據集中，iter-1 中移除20%的神經元，iter-2中又多移除20%的神經元，移除的冗余神經元數量是直接減枝的1.8倍。同時，對比iter-1和直接減枝，可以發現在減枝率相同的情況下，iter-1的分類準確率都要高于直接減枝，說明重訓練能夠有效保留原始準確率。實驗結果證明重訓練的有效性，并且閾值也可以根據權衡曲線選取最優值。

最后討論增加隱藏層的閾值θL。在DDBN 中，只有在當前RBM訓練完成后才考慮增加新的RBM,并且新RBM 各參數的初始化與初始結構相同，實驗結果如表1所示。

Table 1 Experimental results of different values of θL表1 不同θL 取值的實驗結果

根據實驗結果，可以發現隱藏層的數量并不是越多越好，因為過多的隱藏層可能會導致過擬合和特征消失的問題，并且降低準確率。在MNIST 和CIFAR-10數據集中，θL的值都為-1 500，隱藏層層數分別為3 和2；在USPS 數據集中，θL的值為-1 000，隱藏層層數為2。

4.3 實驗結果

根據4.2節的實驗結果選擇DDBN的最優參數，然后將DDBN 與多種網絡模型進行對比，包括傳統的DBN、DAE，以及ADBN[2]和SODBN[6]。3 個數據集的實驗結果分別如表2、表3和表4所示。

在這3個實驗中，DDBN的分類準確率比傳統的DBN、DAE 以 及ADBN 和SODBN 都 要 高，說 明DDBN 模型可以更好地提取到原始數據的主要特征。在隱藏層層數相同時，DDBN 的測試時間最短，這表明通過動態減枝算法得到了一個更加緊湊的網絡結構。DDBN中每一層RBM的初始神經元個數都為10，因此訓練時間比初始固定結構的DBN和DAE都更短，并且準確率更高，說明DDBN在訓練時間上有了進一步的提升，加快了訓練的收斂速度。由于ADBN的算法結構比較單一，缺乏對結構調整的全局把握，因此不能得到一個最佳的網絡結構，但其訓練時間最短。而DDBN 加入了重訓練等操作，導致其訓練時間比ADBN 更長，但分類準確率要明顯高于ADBN。SODBN也可以得到較好的網絡結構和分類準確率，但由于其復雜的算法，訓練時間也最長。

Fig.8 Trade-off curve of pruning phase圖8 減枝權衡曲線

Table 2 Comparison of experimental results of 5 models(MNIST)表2 5種模型的實驗結果對比（MNIST）

Table 3 Comparison of experimental results of 5 models(USPS)表3 5種模型的實驗結果對比（USPS）

Table 4 Comparison of experimental results of 5 models(CIFAR-10)表4 5種模型的實驗結果對比（CIFAR-10）

訓練過程中，DDBN 各層RBM 的神經元數量變化情況如圖9所示。從圖中可以看出，在相同數據集中每層RBM的神經元數量變化趨勢大致相同。通過增枝算法增加到最大值后，神經元數量保持不變直到達到最大迭代次數，說明本文選取的閾值是合理的，不會導致神經元無限增長而造成無法收斂。然后再通過多次減枝和重訓練，得到最終的網絡結構。

綜上所述，DDBN 比現有的一些DBN 結構調整方法具有更好的性能。

5 結束語

針對DBN無法根據不同的問題自動調整為合適的網絡結構這一情況，本文提出了一種使用動態增減枝算法的動態DBN模型，可以有效優化DBN的網絡結構。該模型能夠根據不同的問題以及自身的訓練情況，從局部和全局的角度考慮，在訓練過程中動態調整網絡結構，包括隱藏層神經元和隱藏層，從而增強網絡的特征提取能力，獲得更高的圖像分類準確率。3 個基準圖像數據集的實驗對比顯示：DDBN模型的分類準確率明顯高于傳統的DBN、DAE 模型以及現有的一些DBN 結構調整方法，說明DDBN 可以自動調整為合適的網絡結構，更準確地提取數據的主要特征，從而提高了分類準確率。但是DDBN的參數較多，算法操作復雜，導致其缺乏了一定的魯棒性，并且時間復雜度也要高于某些DBN結構調整方法。同時，本文提出的動態增減枝算法也可以應用到其他的深度學習模型，如自動編碼機（autoencoder，AE）。因為AE 的訓練過程及網絡結構都與DBN 相似，所以動態增減枝算法也可以用來調整AE的網絡結構，從而增加網絡的特征提取能力。但是本文算法并不適用于卷積神經網絡（convolutional neural network，CNN）。

Fig.9 Changes in the number of each RBM neurons圖9 各層RBM神經元數量變化

在接下來的研究工作中，將嘗試使用神經元的輸入和輸出這個統一指標來控制神經元的增加或移除，獲取更佳的網絡結構，并探索在不降低準確率的前提下簡化學習算法的方法，降低算法的空間復雜度和時間復雜度。