一種基于數據并行的過程神經網絡訓練算法

摘要：針對過程神經網絡時空聚合運算機制復雜、學習周期長的問題，提出了一種基于數據并行的過程神經網絡訓練算法。該方法基于梯度下降的批處理訓練方式，應用ＭＰＩ并行模式進行算法設計，在局域網內實現多臺計算機的機群并行計算。文中給出了基于數據并行的過程神經網絡訓練算法和實現機制，對不同規模的訓練函數樣本集和進程數進行了對比實驗，并對加速比、并行效率等算法性質進行了分析。實驗結果表明，根據網絡和樣本規模適當選取并行粒度，算法可較大提高過程神經網絡的訓練效率。

關鍵詞：

中圖分類號： ＴＰ１８３文獻標識碼：Ａ文章編號：２０９５－２１６３（２０１１）０３－００４０－０３

Ａ Ｔｒａｉｎｉｎｇ Ａｌｇｏｒｉｔｈｍ ｏｆ Ｐｒｏｃｅｓｓ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ｂａｓｅｄ ｏｎ Ｄａｔａ Ｐａｒａｌｌｅｌ

ＸＵ Ｓｈａｏｈｕａ， ＬＩＵ Ｄａｎｄａｎ

Ａｂｓｔｒａｃｔ： Aiming at the problems in the complex mechanism of the space-time aggregation operation and long training time of process neural networks， a training algorithm based on data parallel is proposed. Based on batch process of process neural network by the standard gradient descent， the algorithm uses the parallel model of MPI to realize parallel computing of cluster which is composed of multiple computers in local area network. The paper shows a training algorithm and the realizing mechanism of process neural networks based on data parallel. The comparison experiments are carried out under different sizes of training function sample set and different number of processes， and analyzes algorithm properties such as speedup， parallel efficiency. The results show that the algorithm can improve the training efficiency of process neural networks， when the parallel granularity is appropriate.

Ｋｅｙ ｗｏｒｄｓ：

０引言

過程神經網絡（Ｐｒｏｃｅｓｓ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ， ＰＮＮ）是一種新型的動態人工神經網絡模型[１，２]，由于具有對非線性動態系統直接的辨識建模能力，以及對樣本過程模態特征的自適應學習性質，將ＰＮＮ應用于非線性系統的信息處理在機制上具有較好的適應性[３－５]。ＰＮＮ的聚合運算機制復雜，其訓練的計算復雜度相比非時變傳統神經網絡成倍數增加[６]。盡管多年來許多研究人員對神經網絡模型和算法進行了改進和優化以提高訓練速度，并在某些方面取得了較好的效果[７－１０]，但還普遍存在訓練速度慢、易陷入局部極小等缺陷，這些改進算法仍不能滿足實際應用的要求。

并行計算是提高大規模計算問題效率的有效方法，對于人工神經網絡訓練，目前也有一些學者建立了若干并行學習模式，并取得了較好的實驗結果[１１－１３]。筆者根據ＰＮＮ所具有的本質并行機制和信息處理邏輯，提出了一種基于數據并行的ＰＮＮ訓練算法。在算法設計中，將訓練樣本按照模態特征分布劃分給不同的處理機，各處理機對相同的網絡模型和不同子樣本集進行訓練，通過消息機制偵測各計算節點的訓練結果并更新網絡參數。文中建立了一種基于梯度下降的ＰＮＮ批處理訓練算法，對不同規模的訓練樣本集和進程數進行了對比實驗，并對并行算法性質和計算復雜度進行了分析。

１ＰＮＮ模型和訓練算法

１．１過程神經元模型

過程神經元的拓撲結構和時空聚合運算機制如圖１所示。

圖１中，ｘ１（ｔ），ｘ２（ｔ），．．．，ｘｎ（ｔ）為過程神經元的時變輸入函數；ｗ１（ｔ），ｗ２（ｔ），．．．，ｗｎ（ｔ）為相應的連接權函數，∑為空間聚合算子， ∫為時間累積算子， ｆ為激勵函數。

過程神經元輸入與輸出之間的映射關系為：

ｙ＝ｆｗ（ｔ）ｘ（ｔ）ｄｔ－θ （１）

其中，[０，Ｔ]為系統過程輸入區間，θ為閾值。

１．２ＰＮＮ模型

ＰＮＮ是由若干過程神經元和其它類型的神經元按照一定結構關系組成的網絡模型。一種多輸入／單輸出三層ＰＮＮ如圖２所示。

圖２中， ｘｉ（ｔ）（ｉ＝１，２，．．．，ｎ）為網絡輸入函數， ｗｉｊ（ｔ）（ｉ＝１，２，．．．，ｎ ｊ＝１，２，．．．，ｍ）為網絡輸入層與隱層之間的連接權函數， ｇ為輸出層神經元激勵函數，ｖｊ（ｊ＝１，２，．．．，ｍ）為隱層節點到輸出節點的連接權，ｙ為網絡輸出。

由圖２，ＰＮＮ輸入和輸出之間的映射關系為：

ｙ＝ｇ（ｖ ｆ（（ｗ（ｔ）ｘ（ｔ））ｄｔ－θ）－θ） （２）

式（２）中，θ為隱層節點的激勵閾值，θ為輸出神經元閾值。

１．３基于批處理的學習算法

目前，ＰＮＮ的訓練主要采用基于函數基展開、基于數值積分等學習算法[１４，１５]。本文討論主要針對基于函數基展開的學習算法進行研究。

考慮由Ｋ個樣本（Ｘ１（ｔ），ｄ１），．．．，（ＸＫ（ｔ），ｄＫ）組成的訓練集。由式（２），網絡誤差函數可定義為：

Ｅ＝（ｙ－ｄ）＝

ｖ ｆｗ（ｔ）ｘ（ｔ）ｄｔ－θ－ｄ

其中， Ｘｋ（ｔ）＝（ｘ１ｋ（ｔ），ｘ２ｋ（ｔ），．．．，ｘｎｋ（ｔ）），ｄｋ為第ｋ個樣本的期望輸出。

采用ＰＮＮ函數正交基展開的訓練算法[８]，則基于批處理模式的網絡權值學習規則為：

ｖｊ＝ｖｊ＋α∑△ｖｊ（４）

ｗｉｊ＝ｗｉｊ＋β∑△ｗｉｊ （５）

θｊ＝θｊ＋γ∑△θｊ（６）

其中，α，β，γ為學習率；∑△ｖｊ，∑△ｗｉｊ，∑△θｊ為 ｎ樣本累積梯度之和。

令ｕｋｊ＝ｗ（ｔ）ｘ（ｔ）ｄｔ－θ；則

△ｖｊ＝－＝－２ｖ ｆ（ｕｋｊ－ｄ）ｆ（ｕｋｊ） （７）

△ｗｉｊ（ｔ）＝－＝

－２ｖｆ（ｕｋｊ－ｄ）ｆ＇（ｕｋｊ）ｘｉ（ｔ）ｄｔ（８）

△θ（ｔ）＝－＝２ｖ ｆ（ｕｋｊ－ｄ）ｆ＇（ｕｋｊ）（９）

若取ｆ（ｕ）＝，則ｆ＇（ｕ）＝ｆ（ｕ）（１－ｆ（ｕ））。

２數據并行算法設計

２．１算法原理

筆者提出的基于訓練集樣本劃分的ＰＮＮ并行訓練算法主要采用Ｍａｓｔｅｒ／Ｓｌａｖｅ 并行模式，同時結合ＰＮＮ的結構特征和聚合運算機制進行設計。并行模式分為主計算節點（主控節點）和從計算節點。主計算節點依照１．３節建立的算法進行網絡權值更改計算，再將新的網絡模型發送到各從節點，各從節點對于不同的數據執行相同網絡模型下的運算，并把參數調整信息傳給主進程，由主進程匯集計算結果并進行網絡性質參數調整。不斷重復這種迭代過程，直至滿足訓練終止條件。

２．２算法性質分析

過程神經網絡時空聚合運算機制復雜、計算復雜度高。采用基于Ｌ項函數正交基展開的學習算法，在具有相同輸入／輸出節點的情況下，過程神經元的計算復雜度是ＢＰ神經元的Ｌ倍；若ＰＮＮ有ｍ個過程神經元隱層，則ＰＮＮ的計算復雜度是ＢＰ網絡的ｍ×Ｌ倍；而主節點進行網絡參數調整時，計算復雜度是ＢＰ神經網絡的ｎ×ｍ×ｋ×Ｌ倍（ｋ為網絡輸出節點個數），即ＰＮＮ并行算法在主從節點處的時間開銷都較大增加，提高了算法的計算／通信比。

考慮各個進程的計算負載平衡，采用如下策略。基于相似性原則，利用切比雪夫泛數對訓練集樣本進行聚類，使每一類樣本具有相近的模態特征。在初始分類基礎上，通過分裂、相似合并及調整分類數等運算，使每類近似包含從節點個數倍數的樣本數。樣本分割時，各子樣本集從各個類中隨機選取個數相同或近似相等的樣本，構成訓練子集。由于不同樣本子集的分布特征近似相同，從而實現均衡計算負載分配。同時，采用批處理的訓練模式，也減少了處理器之間的通信次數。

２．３算法描述

設總訓練樣本集中共有Ｋ個樣本，并行計算環境有Ｍ臺處理器，其中一臺作為主計算節點，其他處理器作為從計算節點。具體算法如下：

（１）初始化ＭＰＩ運行環境；

（２）如果當前進程為主進程，則獲取網絡學習參數并初始化網絡權值，發送給各個從進程；

（３）各從進程建立網絡結構并根據所接受的主進程發出的網絡權值，初始化網絡，各從進程的網絡結構均相同；

（４）各個從進程按照過程神經網絡批處理算法訓練一次該從進程中的所有的樣本，并將梯度累加值與從進程的當前誤差發送給主進程，在此期間各個從進程同步進行計算互不通信；

（５）主進程將從各個從進程中接受到的信息梯度再次累加，得到總樣本的累積梯度，這個梯度反映的是總體樣本誤差的下降趨勢，比較各進程的誤差精度，并取誤差精度最大值與期望誤差限比較，若小于期望誤差或達到預設次數，則停止計算，否則轉（６）；

（６）主進程將累積梯度分發給各個從進程；

（７）各個從進程按照接受到的梯度修改權值，返回（６）。

３仿真實驗

考慮如下時變函數樣本集：ａｓｉｎ（ｂ１π（ｔ－ｃ）），ａｓｉｎ（ｂ２π

（ｔ－ｃ）），ａｓｉｎ（ｂ３π（ｔ－ｃ））。其中，ｔ∈[０，２π]，ｘ∈[－１，＋１]，ａ，ｂ１，ｂ２，ｂ３，ｃ，ｘ為參數。當各參數取不同的值時，生成不同類型和規模的樣本集。實驗中，各參數采用如下方法賦值：ａ從１開始以０．２為步長遞增，ｂ１從２開始以１為步長遞增，ｂ２是在ｂ１的基礎上加０．１，ｂ３是在ｂ１的基礎上加０．２，ｃ是從０．５開始以０．１為步長遞增；ｘ在[－１，１]區間直接按樣本數進行等分計算，如樣本為１ ０００，那么ｘ在[－１，１]之間等分９９９份，從－１開始按步長遞增。

ＰＮＮ采用三層結構，其中３個輸入層節點，１０個過程神經元隱層節點，１個神經元輸出層節點。在不同樣本規模及不同進程數下進行實驗，訓練時間、加速比、計算效率等評價指標的對比結果如表１所示。

從實驗結果可以看出，隨著問題規模的增大，并行算法比串行算法訓練時間有明顯的降低；但當節點規模過大時，訓練的時間反而增大，同時隨著進程數的增加，并行過程的效率在減小。其主要原因是在適當的并行粒度下，增加進程數可以使得各個子進程分擔樣本集中的訓練任務，從而降低訓練時間；但是當進程數增加到一定數量后，通信開銷卻隨著進程數的增加而不斷增加。這主要是因為在機群環境下，一次通信的開銷要遠遠大于一次計算的開銷，盡管節點增多使得各從節點分得的計算量相應減少，但節點間的通訊時間會明顯增加，因此，應適當選擇并行粒度。 ４結束語

針對過程神經網絡的學習問題，建立了一種基于數據并行的訓練算法。在局域網內多臺計算機所組成的機群環境下，搭建了ＭＰＩ并行環境。綜合考慮計算負載平衡、計算／通信比、計算效率等算法性質，文中采用了基于梯度下降批處理的訓練模式，以及考慮訓練樣本模態變化特征的子樣本集劃分策略，仿真實驗結果表明，該方法較大提高了算法效率。

參考文獻：

[ １ ] 何新貴，梁久禎． 過程神經元網絡的若干理論問題[Ｊ]． 中國工

程科學，２０００，２（１２）：４０－４４．

[ ２ ] 何新貴，梁久禎，許少華． 過程神經元網絡的訓練及其應用[Ｊ]．

中國工程科學，２００１，３（４）：３１－３５．

[ ３ ] ＭＡ Ｓｈｕａｉ， ＴＡＮＧ Ｓｈｉｗｅｉ， ＹＡＮＧ Ｄｏｎｇｑｉｎｇ， ｅｔ ａｌ． Ｍｉｎｉｎｇ ｍａ－

ｘｉｍａｌ ｍｏｖｉｎｇ ｓｅｑｕｅｎｔｉａｌ ｐａｔｔｅｒｎｓ ｉｎ ｍｏｂｉｌｅ ｅｎｖｉｒｏｎｍｅｎｔ[Ｊ]． Ａｃｔａ

Ｓｃｉｅｎｔｉａｒｕｍ Ｎａｔｕｒａｌｉｕｍ Ｕｎｉｖｅｒｓｉｔａｔｉｓ Ｐｅｋｉｎｅｎｓｉｓ， ２００４（３）：３７９

－３８７．

[ ４ ] 丁剛，邊旭，侯立國，等． 基于對傳過程神經網絡的航空發動機

轉子仿真故障診斷研究[Ｊ]． 航空精密制造技術，２００８（５）．

[ ５ ] 許少華，何新貴． 多聚合過程神經元網絡及其學習算法研究[Ｊ]．

計算機學報，２００７，３０（１）：４８－５５．

[ ６ ] 許少華． 過程神經元網絡理論模型及算法研究[Ｄ]． 北京航空航

天大學博士論文，２００４－０７．

[ ７ ] ＭＡＧＯＵＬＡＳ Ｇ Ｄ，ＶＲＡＨＡＴＩＳ Ｍ Ｎ，ＡＮＤＥＲＯＵＬＡＫＩＳ Ｇ Ｓ． Ｅ－ｆｆｅｃｔｉｖｅ ｂａｃｋ－ｐｒｏｐａｇａｔｉｏｎ ｔｒａｉｎｉｎｇ ｗｉｔｈ ｖａｒｉａｂｌｅ ｓｔｅｐｓｉｚｅ[Ｊ]． Ｎｅ－

ｕｒａｌ Ｎｅｔｗｏｒｋｓ， １９９７，１０（１）：６９－８２．

[ ８ ] ＹＵ Ｘｉａｏｈｕ， ＣＨＥＮ Ｇｕｏａｎ． Ｅｆｆｉｃｉｅｎｔ ｂａｃｋ－ｐｒｏｐａｇａｔｉｏｎ ｌｅａｒｎｉｎｇ

ｕｓｉｎｇ ｏｐｔｉｍａｌ ｌｅａｒｎｉｎｇ ｒａｔｅ ａｎｄ ｍｏｍｅｎｔｕｍ[Ｊ]． Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ－

ｓ，１９９７，１０（３）：５１７－５２７．

[ ９ ] ＬＥＯＮＡＲＤ Ｊ Ａ，ＫＲＡＭＥＲ Ｍ Ａ． Ｉｍｐｒｏｖｅｍｅｎｔ ｏｆ ｔｈｅ ｂａｃｋ－ｐｒ－

ｏｐａｇａｔｉｏｎ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｒａｉｎｉｎｇ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ[Ｊ]． Ｃｏｍｐｕｔｅｒｓ ＆

Ｃｈｅｍｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ， １９９０， １４（１）：３３７．

[１０] 陳玉芳，雷霖． 提高ＢＰ網絡收斂速率的又一種算法[Ｊ]． 計算機

仿真，２００４，２１（１１）：７４－７９．

[１１] 張雷，陳躍輝，楊波． 基于并行ＰＳＯ的ＢＰ神經網絡優化算法研

究[Ｊ]． 計算機科學，２００５，３２（８）：３０８－３１１．

[１２] 許廷發， 宋建中， 喬雙． 基于多ＣＰＵ并行結構的神經網絡集成

算法研究[Ｊ]． 光電子#8226;激光，２００３，１４（１１）：１１８３－１１８５．

[１３] 吳一帆 ，趙平，李思昆． 基于神經網絡的并行布局算法[Ｊ]． 中南

工業大學學報，，２０００，３１（３）：２７５－２７８．

[１４] 許少華，何新貴． 過程神經網絡一種基于函數正交基展開的學

習算法[Ｊ]． 計算機學報，２００４，２７（５）：６４５－６４９．

[１５] 葛利． 一種基于混合遺傳算法學習的過程神經網絡[Ｊ]． 哈爾濱

工業大學學報，２００５，３７（７）：９８６－９８８．

[１６] 李敏生，劉斌． ＢＰ學習算法的改進與應用[Ｊ]． 北京理工大學學

報，１９９９，１９（６）：７２１－７２４．