基于AP聚類RBF神經網絡的改進算法及試驗*

劉小鋒,馮志敏*,陳躍華,張 剛,李宏偉

(1.寧波大學海運學院,浙江 寧波 315211;2.寧波杉工智能安全科技股份有限公司,浙江 寧波 315100)

近年來,我國跨海、跨江大橋持續建設,高速公路網絡體系逐步完善,然而車輛超限超載現象十分嚴重,對公路橋梁壽命造成影響,交通事故屢有發生,給人們生命財產和橋梁安全帶來極大危害。車輛動態稱重系統是快速檢測超載車輛的一種有效方法,基于壓電薄膜檢測的車輛動態稱重方法在工程上得到廣泛應用[1-4],其中檢測信號處理中徑向基函數RBF(Radical Basis Function)神經網絡算法對于提高車輛動態稱重精度相當重要,受到學者廣泛關注。RBF神經網絡隱含層節點數、徑向基函數中心、徑向基函數寬度、連接權值等均影響著網絡精度,大都通過K均值、模糊C均值、蟻群等聚類算法確定相關參數[5-7],提高了RBF神經網絡精度。Frey[8]等人提出AP(Affinity Propagation)聚類算法,較其他聚類算法,不需事先設定聚類數和對聚類中心作初始化選擇,可快速處理大規模數據。AP算法的偏向參數決定聚類數目,通常以相似度矩陣中值法、粒子群法、密度法等算法加以確定[9-11],一定程度上提高了AP算法聚類精度。但是,如何尋求一種確定偏向參數的優化算法以進一步提高RBF神經網絡精度還需研究;另外,RBF神經網絡訓練完成后,由于連接權值固定不變,則RBF神經網絡將難以對每一測試樣本均達到較高精度。為使連接權值能自適應調整,遞推最小二乘法、基于Lyapunov理論法已應用于RBF神經網絡[12-13],其分別在網絡結構確定、設計特定自適應控制律條件下取得較好效果,因此,RBF神經網絡連接權值自適應調整算法仍需作進一步研究。

本文提出取相似度矩陣中值2倍為偏向參數初始值,按一定步長迭代增加偏向參數,以RBF神經網絡測試誤差為評價指標最終確定偏向參數的改進算法;提出將測試樣本歸類至經AP算法聚類后的訓練樣本集,在測試樣本所在類集中,選取兩個與測試樣本至類代表點距離相差最小的訓練樣本,根據其實際連接權值,插值計算測試樣本連接權值,實現連接權值的自適應調整;并且對該改進算法進行3種車型的工程實測試驗,在車速10 km/h～50 km/h,溫度16 ℃～29 ℃時,構建RBF神經網絡車輛動態稱重模型,對其進行500次循環測試,稱重誤差均值均控制在0.06%以內,最大實時性均值為0.022 3,網絡結構簡單、可靠。該算法適合交通和海洋工程結構振動信號的檢測應用。

1 算法原理

1.1 AP聚類算法

設數據集X={xi,i=1,2,…,n},AP算法[8]將X中各數據點間負歐式距離平方稱為相似度,即s(i,k)=-‖xi-xk‖2,取所有相似度構成n×n的相似度矩陣S,并將對角線元素s(k,k)稱為偏向參數p,p越大,xk被選作類代表點的幾率就越大,相應聚類數也就越多。由于每個數據點都有可能成為類代表點,故AP算法將p設為同一值,一般常取p為相似度矩陣中值。另外,AP算法又定義r(i,k)和a(i,k)兩個信息量參數,分別代表不同競爭目的。其中,r(i,k)是從xi向xk發送消息,表示xk作為類代表點時對xi的吸引度,而a(i,k)是從xk向xi發送消息,表示xi選擇xk作為類代表點時對xk的歸屬度。顯然,r(i,k)與a(i,k)之和越大,xk被選作類代表點的幾率就越大。

AP算法以相似度矩陣S和偏向參數p作為輸入,對r(i,k)、a(i,k)進行迭代運算,當出現r(k,k)+a(k,k)>0時,則將xk視為一個類代表點。取a(i,k)初始值為0,按式(1)計算r(i,k),即

(1)

按式(2)計算a(i,k),即

(2)

按式(3)計算a(k,k),即

(3)

當迭代超過1 000次或經連續50次迭代類代表點都不發生改變時,則迭代終止,聚類結束。

1.2 RBF神經網絡模型

RBF神經網絡為一種前饋型網絡,僅由輸入層、隱含層、輸出層三層組成[14],結構如圖1所示。

圖1 RBF神經網絡結構圖

圖1中,xi=(xi1,xi2,…,xil)T為輸入向量,其中i=1,2,…,n,n為輸入向量個數、φ(‖xi-cj‖)為隱含層節點激活函數,其中j=1,2,…,r,r為隱含層節點數、W∈Rr×m為隱含層與輸出層間權值矩陣、∑為輸出層節點激活函數、yi=(yi1,yi2,…,yim)T為輸出向量。

輸出層各節點的輸出表達式為:

(4)

式中:φ(‖xi-cj‖)一般采用高斯基函數,即

(5)

式中:cj為隱含層第j個節點中心,‖·‖為歐式距離,δj為第j個高斯基函數寬度。

設理想輸出向量為oi,取誤差函數

(6)

為性能指標,利用梯度下降或最小二乘法計算連接權值,以完成RBF神經網絡訓練。

1.3 AP聚類RBF神經網絡原理

AP算法應用于RBF神經網絡,主要用來求取隱含層相關參數[15],以確定RBF神經網絡內部結構。隱含層相關參數的求取過程一般如下:

①對訓練樣本集X={xi,i=1,2,…,n}、xi∈Rl按式(7)進行歸一化[16],得

(7)

②利用AP算法對X′中樣本進行聚類,若共產生r個類代表點cj,j=1,2,…,r,則取隱含層節點數為r、隱含層各節點中心分別為c1、c2、…、cr。

③由隱含層各節點中心,按式(8)計算高斯基函數寬度,即

(8)

根據隱含層相關參數以及輸入、輸出向量,構建RBF神經網絡,最后再對RBF神經網絡進行訓練、測試。

2 改進算法

2.1 偏向參數的尋優

對于RBF神經網絡隱含層節點數,過少會降低網絡泛化力,而過多又將導致網絡過擬合[17]。由于AP算法中偏向參數p決定聚類數,故p值大小必將影響RBF神經網絡精度。以往常取p為相似度矩陣中值,但可能會造成隱含層節點數取得不夠合理,從而使RBF神經網絡精度降低。因此,可以RBF神經網絡測試精度為評價標準,確定偏向參數。

偏向參數p為負值,其值越小,聚類數就越少,而當p取相似度矩陣中值2倍時,聚類數已很少。因此,可以在p為負值的條件下,從2倍相似度矩陣中值開始,迭代增加p值,取RBF神經網絡測試誤差達最小值時對應p值作為偏向參數。偏向參數的確定流程如下:

①設步長為λ,取p的初始值p0為相似度矩陣中值2倍,按式(9)迭代增加p值,即

pi+1=pi+λ,i=0,1,…,ξ

(9)

式中:ξ為p增加的最大次數。

②對各p值下的RBF神經網絡進行訓練測試,按式(10)分別計算每次測試的RBF神經網絡誤差,即

(10)

式中:z為測試樣本個數。

③若序列{ei}在eκ處取最小值,則取偏向參數為

p=pκ

(11)

步長λ的大小會影響p值,若過大,可能會錯過最優p值選取。因此,為取到合適的p值,則在反復試驗基礎上,選取步長λ=0.001。偏向參數的尋優流程框圖如圖2所示。

由于以RBF神經網絡測試誤差為評價指標,按一定步長,迭代增加p值確定偏向參數,故使得RBF神經網絡能取到合適的隱含層節點數,從而達到較高精度。

圖2 偏向參數的尋優流程圖

2.2 連接權值的自適應

用AP算法對訓練樣本聚類后,將測試樣本歸至某一類訓練樣本集。由于在該類集中必存在兩個與測試樣本至類代表點間距離相差最小的訓練樣本,則由高斯基函數特性可知,這兩個訓練樣本與測試樣本的隱含層輸出值相差會較小,且它們在該類隱節點處輸出值要遠大于其他隱節點處輸出值,因此可將其他隱節點處輸出值全部置0。根據這兩個訓練樣本在該類隱節點處實際連接權值,利用插值法計算測試樣本在該類隱節點處連接權值,進而實現連接權值隨測試樣本的自適應調整。

算法具體運行過程如下:

①用AP算法對訓練樣本聚類,由聚類結果確定RBF神經網絡相關參數,構建并訓練RBF神經網絡。

(12)

(13)

(14)

(15)

(16)

即

(17)

(18)

圖3 連接權值自適應調整算法流程圖

連接權值自適應調整算法流程框圖如圖3所示。通過對測試樣本利用歸類插值法,使連接權值隨測試樣本改變而自適應調整,避免有些測試樣本因連接權值固定而產生較大輸出誤差,因此RBF神經網絡精度將得到進一步提高。

3 試驗與分析

3.1 獲取試驗數據

在跨海大橋公路連接線的試驗場地上,均勻布置兩條壓電薄膜傳感檢測系統,對車輛動態情況下的稱重系統進行工程實測試驗。

試驗車輛:選取三軸貨車、四軸貨車和六軸罐車等3種車型,共5種不同載荷。

試驗條件:溫度范圍為16 ℃～29 ℃,車速范圍為10 km/h～50 km/h。

試驗前,分別對各試驗車輛進行標定以獲得它們的實際車重。試驗共采集數據187組,具體數據如表1所示。

表1 試驗基礎數據

3.2 構建神經網絡試驗模型

一輛重為32.02 t的四軸貨車駛過一條壓電薄膜傳感器,其產生的壓電信號波形如圖4所示。

圖4 32.02 t四軸貨車壓電信號波形

受許多干擾因素的影響,壓電信號中會含有大量噪聲。以往學者在對壓電信號進行降噪處理后,大都再通過經驗公式[2-4]

G=KAV

(19)

計算車重。其中,G為車重值、A為壓電信號各波形面積之和、V為車速、K為標定常數。由于此公式并未對溫度、車速、車型等進行相應補償,故導致車輛動態稱重精度不高。因此,為提高車輛動態稱重精度,且避開復雜的數學建模,則利用RBF神經網絡構建車輛動態稱重模型。

設兩條壓電薄膜傳感器的壓電信號各波形面積之和分別為A1和A2、傳感器所處環境溫度為T、車軸數為n。由式(19)可知,車重值G與AV成比例關系,則可將AV直接作為RBF神經網絡輸入向量的一個元素。為對兩條壓電薄膜傳感器測量結果進行融合,且考慮溫度、車型影響,則取A1V、A2V、T、n作為輸入向量。由于最終測量結果為車重值,故僅取G作為輸出向量。根據輸入、輸出向量,構建車輛動態稱重RBF神經網絡模型,如圖5所示。

圖5 車輛動態稱重RBF神經網絡模型

3.3 結果及分析

對187組試驗數據,分別從各車輛試驗數據中隨機選取85%作為訓練樣本,剩余15%作為測試樣本,構建基于AP聚類RBF神經網絡車輛動態稱重模型,并對其進行訓練測試。其中,運算環境:CPU主頻為2.30 GHz,2 Gbyte內存,Windows 7 32位操作系統,軟件為MATLAB R2012a。

首先取p為相似度矩陣中值,得p=-0.386 5,則原算法的測試結果如圖6所示。其次取p的初始值p0=-0.773,按步長λ=0.001,迭代增加p值,使得RBF神經網絡測試誤差為最小值時的p=-0.015,則偏向參數尋優算法的測試結果如圖7所示。

圖6 原算法的測試結果

圖7 偏向參數尋優算法的測試結果

由圖6、圖7可看出,當p=-0.386 5時,32.02 t四軸貨車的測試輸出與實際輸出之間存在較大差異,而當p=-0.015時,差異度得到有效抑制,說明通過對偏向參數的尋優,提高了RBF神經網絡精度。表2分別列出了當p=-0.386 5和p=-0.015時,32.02 t四軸貨車的測試結果(稱重誤差均取絕對值)。表中可見,當p=-0.386 5時,最大稱重誤差為21.533 2%,而當p=-0.015時,最大稱重誤差為5.346 3%,較原算法減小4.03倍。

表2 32.02 t四軸貨車測試結果

利用連接權值自適應算法對原算法進行改進,其中偏向參數仍取相似度矩陣中值,測試結果如圖8所示。由圖8可見,測試輸出與實際輸出幾乎完全重合,說明連接權值經自適應調整后,RBF神經網絡精度得到顯著提高。

圖8 連接權值自適應調整測試結果

表3列出了此時32.02 t四軸貨車的測試結果,最大稱重誤差僅為0.269 6%,較原算法減小79.87倍。

連接權值經自適應調整后,若再對偏向參數進行尋優,得p=-0.46,測試結果如圖9所示。

由圖9可見,圖9與圖8幾乎完全相同,且此時32.02 t四軸貨車的最大稱重誤差為0.057 1%,說明RBF神經網絡經連接權值自適應調整后,精度已達到很高,而偏向參數的尋優又使精度得到進一步提高。

圖9 連接權值自適應調整且偏向參數尋優的測試結果

為綜合比較上述4種情況下RBF神經網絡的精度、結構復雜度、訓練速度、測試速度,則分別將它們的稱重誤差均值、隱含層節點數、訓練時間、測試時間列于表4。

表3 32.02 t四軸貨車測試結果(連接權值自適應調整)

表4 4種情況下的RBF神經網絡測試結果

由表4可見,在對原算法改進中,連接權值自適應對RBF神經網絡精度提高貢獻最大,較原算法提高88.63倍,且網絡結構也較簡單,訓練時間與原算法相同,但因需對測試樣本歸類插值求取連接權值,故測試時間較原算法增加0.026 9 s;若對原算法只進行偏向參數尋優,雖然RBF神經網絡精度提高2.36倍,但隱含層節點數卻為原算法3倍,導致網絡結構變得復雜、測試時間較原算法增加0.000 1 s。同時,因進行偏向參數尋優逐次迭代,而致使訓練時間增加;若對原算法進行連接權值自適應調整后,再作偏向參數尋優,則RBF神經網絡精度達到最高,結構最簡單,測試時間仍比連接權值自適應算法減小0.000 2 s。

由于神經網絡訓練完成后,是以一個固定函數模型進行輸入、輸出映射,故訓練時間長短對網絡輸出實時性并無影響。本試驗中,兩條壓電薄膜傳感器間距為2.4 m,車速檢測范圍為10 km/h～200 km/h。因此,為驗證網絡在該試驗中實時性,則提出如下實時性指標

τ=t1/t2

(20)

式中:t1為單個測試樣本的測試時間、t2為車輛通過兩條傳感器的時間。為滿足實時性要求,τ應小于1。

由于表4中的測試時間為28個測試樣本總共所用時間,故單個測試樣本的測試時間應為原來1/28倍。根據最高檢測車速和表4中最大測試時間,計算得到t1max=0.000 975 s、t2min=0.043 2 s,則最大實時性指標值為

(21)

因此,RBF神經網絡在改進前后均能很好滿足實時性要求。

利用偏向參數尋優和連接權值自適應算法,按上述樣本隨機選取方法,對187組試驗數據進行500次循環測試,并計算每次循環測試的稱重誤差均值,結果如圖10所示。

圖10 AP聚類RBF神經網絡改進算法循環測試

由圖10可見,大多稱重誤差均值均在0.06%以內,其中有82.6%的稱重誤差均值低于0.01%。在500次循環測試中,RBF神經網絡隱含層節點數為8個～10個、單個測試樣本網絡測試時間均值為0.000 964 s,對應最大實時性指標值為0.022 3。由此可知,基于AP聚類RBF神經網絡改進算法具有很高的精度及實時性,網絡結構簡單、可靠。

4 結論

根據基于AP聚類RBF神經網絡算法研究和試驗結果分析,得到以下結論:

①按一定步長,迭代增加偏向參數,以RBF神經網絡測試誤差為評價指標,最終確定偏向參數,使RBF神經網絡取到較合適的隱含層節點數,精度較原算法提高2倍以上。

②對測試樣本利用歸類插值法,使RBF神經網絡連接權值隨測試樣本改變而自適應調整,精度較原算法提高80倍以上。

③將基于AP聚類的RBF神經網絡改進算法應用于車輛動態稱重系統,稱重誤差均值均控制在0.06%以內,最大實時性均值為0.022 3,且網絡結構簡單、可靠。該方法能有效滿足車輛快速振動檢測要求,對海洋工程結構振動信號檢測和數據融合計算也具有重要的應用價值。

[1] 馬賓,隋青美. 基于光纖微彎傳感器的汽車動態稱重系統設計[J]. 傳感技術學報,2010,23(8):1195-1200.

[2] 李紅杰. 汽車動態稱重信號采集與處理方法的研究[D]. 武漢:中國地質大學,2012.

[3] 孫秀雅. 基于壓電薄膜軸傳感器的動態稱重系統的研發[D]. 合肥:合肥工業大學,2014.

[4] 黃必飛,馮志敏,張剛,等. 壓電薄膜車輛動態稱重系統算法研究[J]. 傳感技術學報,2016,29(6):941-946.

[5] 管碩,高軍偉,張彬,等. 基于K-均值聚類算法RBF神經網絡交通流預測[J]. 青島大學學報(工程技術版),2014,29(2):20-23.

[6] 張永志,董俊慧. 基于模糊C均值聚類的模糊RBF神經網絡預測焊接接頭力學性能建模[J]. 機械工程學報,2014,50(12):58-64.

[7] 孫艷梅,都文和,馮昌浩,等. 基于蟻群聚類算法的RBF神經網絡在壓力傳感器中的應用[J]. 傳感技術學報,2013,26(6):806-809.

[8] Frey B J,Dueck D. Clustering by Passing Messages between Data Points[J]. Science,2007,315(5814):972-976.

[9] 王麗敏,姬強,韓旭明,等. 基于奇異值分解的自適應近鄰傳播聚類算法[J]. 吉林大學學報(理學版),2014,52(4):753-757.

[10] 謝文斌,童楠,王忠秋,等. 基于粒子群的近鄰傳播算法[J]. 計算機系統應用,2014,23(3):103-107.

[11] 孫勁光,趙欣. 一種改進近鄰傳播聚類的圖像分割算法[J]. 計算機工程與應用,2017,53(6):178-182.

[12] 魏娟,楊恢先,謝海霞. 基于免疫RBF神經網絡的逆運動學求解[J]. 計算機工程,2010,36(22):192-194.

[13] 石為人,陶芬,張元濤. 基于RBF神經網絡的減搖鰭自適應滑?？刂芠J]. 控制工程,2012,19(6):978-981.

[14] 王慧,宋宇寧. 基于混合優化算法的壓力傳感器溫度補償[J]. 傳感技術學報,2016,29(12):1864-1868.

[15] 張輝宜,周奇龍,袁志祥,等. 基于AP聚類的RBF神經網絡研究及其在轉爐煉鋼中的應用[J]. 鋼鐵研究學報,2014,26(1):22-26.

[16] 張小俊,張明路,李小慧. 基于RBF神經網絡的電化學CO氣體傳感器的溫度補償[J]. 傳感技術學報,2009,22(1):11-14.

[17] 張輝,柴毅. 一種改進的RBF神經網絡參數優化方法[J]. 計算機工程與應用,2012,48(20):146-149.