基于模擬退火優化BP神經網絡的pH值預測*

尤麗華,吳靜靜*,王 瑤,宋淑娟

(1.江南大學機械工程學院,江蘇 無錫 214122;2.江蘇省食品先進制造裝備技術重點實驗室,江蘇 無錫 214122)

?

基于模擬退火優化BP神經網絡的pH值預測*

尤麗華1,2,吳靜靜1,2*,王 瑤1,2,宋淑娟1,2

(1.江南大學機械工程學院,江蘇 無錫 214122;2.江蘇省食品先進制造裝備技術重點實驗室,江蘇 無錫 214122)

為自動準確測定水質pH值,采用大量的具有代表性的pH值檢測數據為樣本,提出了一種基于模擬退火優化BP神經網絡的pH值預測方法。利用模擬退火算法優化BP網絡的權值,調整優化樣本的選取和隱層神經元數,訓練BP神經網絡預測模型得到最優解。由測試樣本對網絡進行了預測試驗,并與非線性回歸的預測結果進行了對比。結果表明,該方法對水質pH值預測具有較好的非線性擬合能力和更高的預測準確性。

BP神經網絡;模擬退火;pH值;非線性回歸

不管是地層水、生活飲用水,還是工業用水的檢測,pH值和氯離子濃度是需測量的重要參數[1]。目前,地層水氯離子濃度測定大多采用實驗室常規分析法,如電位滴定、離子色譜等[2]。這些方法操作復雜,無法現場應用。對于pH值的檢測,除pH計外,使用最多的是試紙法。該法由人眼進行色卡比對判讀pH值,因此,受人為因素影響較大,如人的顏色視覺存在差異。此外,探礦人員進行野外水質檢測,需要一種攜帶方便、操作簡單的自動水質pH值檢測儀。該自動水質pH值檢測儀通過顏色傳感器獲得測試試紙呈現的紅(R)、綠(G)和藍(B)3個顏色分量[3],根據顏色值自動判讀水質的pH值。針對pH值的自動判讀問題,本文根據實測實驗數據和數據處理算法建立pH值與R、G、B之間的近似模型,由該模型對水質的pH值進行預測,從而實現pH值的自動測量。

本文的pH值預測模型涉及的變量包括顏色分量R,G,B,及相應pH值,屬于四維空間模型問題,而且pH值與R、G、B的關系呈強烈的非線性,難以建立精確物理模型。處理該問題的常規方法是多元回歸分析,即通過多元回歸分析找出pH值與R、G、B 3個輸入變量之間的定度關系。此外,對于高度非線性映射問題,人工神經網絡[4]具有強大的非線性映射能力,也是一個很好的解決方法。人工神經網絡是模仿生物神經網絡功能的一種經驗模型,按照類似生物神經網絡的方式處理輸入信息,表達那些用機理模型無法或難以精確描述,但輸入和輸出之間有確定性規律的問題[5]。因此,神經網絡如BP神經網絡模型,RBF神經網絡模型等,在工程實踐中得到越來越多的應用[6-7]。

BP神經網絡模型是應用最廣泛的預測模型,但該模型的主要缺點是:①易于陷入局部最小值;②收斂速度慢。為了改善傳統BP網絡中梯度下降算法容易陷入局部極小值等問題,本文提出一種基于模擬退火(SA)算法優化的BP神經網絡權值訓練方法。該算法利用SA的全局尋優能力[8-9],克服了BP網絡在權值選擇上的隨機性,提高了BP神經網絡的收斂速度和學習能力。此外,本文優化了訓練樣本選取和網絡隱層神經元數,提高了BP神經網絡的泛化能力。本文基于優化的BP神經網絡建立pH值與R、G、B 3個輸入變量之間的定度關系,實現了pH值的準確預測。通過與多元回歸方法比較,結果顯示神經網絡的預測精確度遠優于多元回歸方法,對于pH值預測問題具有較好的非線性擬合能力和預測精度。

1 基于BP神經網絡的pH值預測算法

本文pH值預測算法用于一種便攜式pH值測定儀。該測定儀的基本原理為,利用高精度的顏色傳感器將測試水質試紙的顏色轉化為對應于R、G和B 3個顏色分量的電信號,經數據采集模塊采集該電信號并輸入單片機,將訓練好的BP神經網絡構建的pH值預測模型嵌入單片機,再由單片機根據預測模型進行數據處理,進而輸出待測水質的pH預測值。

由BP定理[5]知:給定任意ε>0和任意L2函數f:[0 1]n→Rm,存在一個3層BP網絡,它可在任意ε平方誤差精度內逼近f。因此,本文選擇一個包括輸入層、隱層和輸出層的3層BP網絡作為預測器,根據實驗得到的樣本數據對網絡進行訓練,建立pH值預測模型。根據神經網絡輸入變量選取準則[5]:①輸入變量應與預測對象密切相關;②輸入變量之間不能有較強的線性關系,輸入神經元個數一般應等于應用問題的輸入變量數目?；诖?pH預測網絡結構輸入神經元個數為3,分別對應于R、G、B 3個輸入值,輸出神經元個數為1,對應于pH值。一般來說,隱層神經元數目M的確定比較困難,隱節點神經元少了,學習過程可能不收斂,隱節點神經元多了,網絡性能下降,造成節點冗余[10-11]。本網絡初步選定15個隱層節點,而最終的隱層節點數由后續優化方法得到。BP網絡結構如圖1所示。

圖1 pH值預測模型的BP網絡結構

(1)

其中,yi為網絡輸出的預測值,ωj為隱層第j個神經元至輸出層的連接權值,σj為隱層第j個神經元的輸出,b為輸出神經元的偏置。隱層節點選擇轉移函數為Sigmoid函數,則隱層節點輸出的表達式為:

(2)

其中,ωij為輸入層至隱層的連接權值,bj為隱層第j個神經元的偏置。該BP網絡中的權值ωj,ωij均可以通過充分的樣本訓練網絡得到。一旦網絡訓練完成后,式(1)和式(2)即作pH值預測模型,可編程嵌入到水質檢測儀的單片機中,從而實現pH值的快速準確測定。

2 SA優化BP神經網絡預測算法

BP網絡的學習過程由信號的正向傳播和誤差的反向傳播兩個過程組成。誤差的反向傳播目的是為了修正權值,它將誤差分攤給各層所有單元,獲得各層單元的誤差信號。此誤差信號即作為修正各單元權值的依據。傳統BP網絡采用梯度下降算法計算連接權值,該方法容易陷入局部極小值。為克服該問題,本文采用模擬退火算法優化BP網絡權值參數的訓練。

2.1 模擬退火算法簡介

模擬退火通過概率算法在固定時間內尋求一個大的搜索空間的全局最優解。模擬退火算法是模擬金屬材料的退火過程而得到的算法。設優化函數為f:ω→R+,其中ω∈S是一個可行的解,N(ω)?S表示ω的一個鄰域,一個解ω(l)可以生成另一個解ω′(l),其中l為在溫度Tk下的搜索時間步數。接受ω′(l)作為下一個新解ω(l+1)的概率為,

(3)

則根據式(3)中的概率,采用輪盤賭法選擇ω′(l)作為下一個新解ω(l+1)。當在溫度Tk下經過多次轉移后溫度降低到Tk+1

2.2 基于SA優化BP神經網絡的基本思路

為得到BP神經網絡的最優權值ωij,以BP神經網絡的實際輸出與預測輸出的平方型誤差函數作為優化函數

(4)

ωij(k+1)=ωij(k)+ηξ

(5)

2.3 基于SA優化BP神經網絡算法實現

基于SA優化BP神經網絡參數的基本步驟如下:

Step1初始化參數.

設置一個較大的初始溫度T0,根據BP神經網絡結構隨機選擇初始權值構成初始狀態解ωij(0);

Step2產生新狀態解.

在第k+1步,根據隨機擾動模型(5),由前一個解ωij(k)產生當前一個新解ωij(k+1);

Step3求優化函數指標.

以新解ωij(k+1)中各值作為BP神經網絡權值,由BP神經網絡對輸入的訓練樣本進行預測,則根據式(4)計算目標優化函數值,即真實樣本輸出值與此預測值與之差(k+1);

Step4接受判斷

根據式(3)判斷是否接受新解ωij(k+1);

Step5循環計算

若滿足熱平衡條件,即內循環次數大于設定的值,轉Step6,否則轉步驟Step 2;

Step6降溫.

降低溫度到Tk+1

Step7結束判斷

3 網絡實現中的問題

BP神經網絡的泛化能力[11-12]是指學習后的網絡能否逼近和預測未經學習的樣本的能力?？梢?BP網絡的預測準確度由其泛化能力決定。為改善BP神經網絡的泛化能力,本文從樣本選取策略和網絡訓練策略兩個方面進一步優化網絡。

3.1 訓練樣本選取和調整策略

為了BP網絡的有效訓練以及準確預測,需要對選擇的訓練樣本量測值進行預處理:①剔除不合格的或無效的數據。比如超過樣本量測范圍的數據(即野值),或者相同輸入值對應于不同的輸出值的樣本等;②由于BP網絡是按照相似性進行聯想的,對于與樣本的相似度高的狀態的預測準確度高,為此,在選擇訓練樣本向量時,應包括3個輸入顏色值的可能極值組合,即輸入樣本向量覆蓋全部可能的測量范圍;③把選定的合格輸入輸出量測值整理成適合BP網絡訓練格式的樣本向量,對輸入數據進行歸一化處理以適應輸入層神經元非線性函數的要求等。

3.2 網絡訓練策略

BP網絡的學習能力與泛化能力往往相互矛盾,常常是逼近誤差逐漸減小,而估計誤差將逐步增大,為了兼顧BP網絡的學習能力與泛化能力,需要一定的訓練策略來達到這一目標。本方案的訓練策略分為訓練和修正兩個步驟。訓練時又將樣本數據集合隨機地分為2部分:①訓練集合,用于網絡的訓練;②測試集合,用于測試網絡的預測效果。修正步驟是,改變網絡結構,即增加或減少隱層節點的個數,然后再次進行訓練,最后根據預測效果確定最優的隱層節點數目及網絡結構。

4 試驗結果

4.1 BP網絡隱層節點的優化

BP網絡訓練按本文第4部分的方法進行網絡隱層神經元的優化。通過實驗方法選擇了984組有效的樣本數據,每一組樣本數據包含一個pH值及與其對應的R、G、B 3種顏色值,其中的884組數據用于BP神經網絡的訓練,訓練數據中包括了pH值的最大最小值樣本以及R、G、B的極值樣本,并使用本文提出的SA優化算法進行訓練。為了調整隱層神經元數目以得到最優的BP網絡結構,對每一種結構的學習和預測最優指標進行比較,選取其中最優者作為最終的BP網絡結構。圖2顯示了預測均方差隨隱層節點數變化曲線。可見,圖中存在3個極小值點,相應隱層節點數分別是16,21和23。由于本網絡需嵌入單片機,選擇節點數較少的16作為最終隱層節點數以減小計算量。

圖2 隱層節點數與對應的訓練和預測均方差

圖3 本文方法預測pH值與R,G,B的關系曲線

4.2 基于優化BP神經網絡的pH值預測

使用訓練樣本對4.1節中選定的BP網絡進行訓練,設置誤差限為0.012 3,經過4 478次訓練達到要求,得到了BP網絡連接各神經元的權值。測試樣本利用樣本中剩余的100組數據對訓練好的BP網絡進行測試。表1給出了部分測試數據的預測pH值與實測pH值的比較結果。由于pH值與R、G、B 3種顏色的函數關系已超出三維,難以畫出其對應圖形,因此,圖3給出了100組測試樣本中預測pH值與R,G,B任意二者之間的關系圖。從圖3可以看出,本文提出的基于SA優化BP網絡的pH值預測模型具有較好的非線性擬合能力,對pH值的預測準確度較高,可應用于實際測量系統。

表1 部分實測與BP網絡預測pH值比較結果

4.3 比較試驗結果

作為對比,使用相同的訓練樣本數據,對pH值進行多元回歸分析[13],得到回歸方程為:

pH=8.478 8-0.037 5×R-0.008 5×G+0.033 8×B

(6)

使用與BP網絡同樣的測試樣本數據,由回歸方程(6)進行預測,計算得到100組測試樣本的預測方差為r=0.460 7,遠遠大于BP網絡的預測方差(0.010 8)。預測結果與實測值的部分比較結果如表2所示。圖4給出了回歸預測pH值與R、G、B的關系曲線。由圖可以看出回歸預測的pH值雖然具有跟隨實測值的趨勢,但其絕對誤差太大,已不能正確反映pH值情況。比較圖3和圖4可見,對于pH值預測問題,本文基于SA優化BP網絡的曲線擬合性能明顯優于多元回歸分析。

圖4 回歸預測pH值與R,G,B的關系曲線

表2 部分實測與回歸預測pH值比較結果

為了比較本文算法和多元回歸分析方法的預測準確度和預測精度,本文從各測試樣本預測值的絕對誤差和測試樣本總體的均方誤差兩個指標進行誤差的統計分析。圖5給出了本文算法對各測試樣本的pH值預測值與回歸分析預測值的絕對誤差比較曲線,其中各測試樣本的絕對誤差即為算法預測值與真值之差。由該誤差曲線圖可以看出,本文提出的BP網絡的預測誤差遠遠小于多元回歸的預測誤差,本文方法具有較高的準確性。此外,本文選用均方差σ作為精度評價指標,即

(7)

其中zi為各測試樣本的實測pH值,yi為相應的預測pH值,N為測試樣本數。由式(7)可以計算得到對于100個測試樣本,本文算法的pH預測值均方差為σ=0.010 8,而多元回歸方法的均方差為σ′=0.460 7?？梢?與多元回歸方法相比,本文提出的預測方法的精度有了明顯提高。

在算法收斂速度上,在Intel 2.9 GHz CPU計算機上,本文算法的離線訓練至收斂所需耗費的時間約3 min,而多元回歸分析所耗費時間約為1 s。需要說明的是,pH值預測僅需將離線訓練成功后BP神經網絡嵌入單片機,單片機中通過查表完成BP網絡各神經元的輸出,即單片機只需完成簡單的標量乘法和求和運算,因此,本文算法能夠滿足工程應用中pH值的實時預測要求。

圖5 本文算法與回歸分析pH值預測誤差比較曲線

5 結論

針對傳統BP神經網絡的連接權值易陷入局部極小值的缺陷,提出了一種基于SA優化BP神經網絡,并應用于水質PH值預測。此外,為改進BP網絡的泛化能力,本文從訓練樣本的選取和隱層節點的優化兩個方面著手進一步提高其預測的準確度。試驗使用訓練樣本和優化的BP神經網絡得到了pH值預測模型,使用測試樣本對本文預測模型與回歸分析預測模型進行了比較。試驗證明,本文優化的BP神經網絡的非線性擬合能力和預測精確度優于多元回歸方法,能夠滿足實際的pH值測定應用要求。

[1] 中華人民共和國衛生部,國家標準化管理委員會. GB 5749—2006 生活飲用水衛生標準[S]. 中國標準出版社:金銀龍,2006.

[2]俞凌云,朱娟,張新申. 氯離子測定方法及其應用研究[J]. 西部皮革,2009,31(15)32-36.

[3]騰錦秀,邱迦易,曾曉棟. 顏色的測量技術[M]. 北京:中國計量出版社,2007:56-128.

[4]閻平凡,張長水. 人工神經網絡與模擬進化計算[M]. 北京:清華大學出版社,2001.

[5]Grégoire Montavon,Geneviève B. Orr,Klaus-Robert Müller,et al. Neural Networks:Tricks of the Trade[M]. 2nd Ed. Springer,2012.

[6]李松,劉力軍,解永樂. 遺傳算法優化BP神經網絡的短時交通流混沌預測[J]. 控制與決策,2011,26(10):1581-1585.

[7]王濤,王洋洋,郭長娜,等. QGA-RBF神經網絡在礦井瓦斯涌出量預測中的應用[J]. 傳感技術學報,2012,25(1):119-123.

[8]康立山,謝云,尤矢勇,等. 模擬退火算法[M]. 北京:科學出版社,1994:50-100.

[9]Bandyopadhyay S. Multiobjective Simulated Annealing for Fuzzy Clustering with Stability and Validity[J]. IEEE Transactions on Systems,Man,and Cybernetics,Part C:Applications and Reviews,2011,45(5):682-691.

[10]Amari S,Murata N,Muller K R,et al. A Symptotic Statistical Theory of Overtraining and Cross-Validation[J]. IEEE Trans Neural Networks,1997,8(5):985-996.

[11]閻平凡. 人工神經網絡的容量、學習與計算復雜性[J]. 電子學報,1995,23(4):63-67.

[12]李祚泳,易勇鷙. BP網絡學習能力與泛化能力之間的定量關系式[J]. 電子學報,2002(9):1341-1344.

[13](美)約翰·內特. 應用線性回歸模型[M]. 張勇,王國明,趙秀珍,等譯. 北京:中國統計出版社,1990.

尤麗華(1955-),女,江蘇淮安人,副教授,碩士生導師,研究方向為機電一體化測控技術、圖像處理及測量技術等;

吳靜靜(1981-),女,安徽滁州人,博士,從事數字圖像處理、模式識別及信息融合的研究。

OptimizedBPNeuralNetworkBasedonSimulatedAnnealingAlgorithmforpHValuePrediction*

YOULihua1,2,WUJingjing1,2*,WANGYao1,2,SONGShujuan1,2

(1.School of Mechanical Engineering,Jiangnan University,Wuxi Jiangsu 214122,China;2.Jiangsu Key Laboratory of Advanced Food Manufacturing Equipment and Technology,Wuxi Jiangsu 214122,China)

In order to determine accurate pH value of water automatically,sufficient and typical data of pH value measuring tests are collected as samples,and a pH value prediction method of optimized BP neural network based on simulated annealing algorithm is presented. The simulated annealing algorithm is employed to optimize the weights and thresholds of BP neural network,and selection methods of the training samples and the number of the hidden layer nodes are improved,thus yield an optimal solution of BP neural network. The obtained BP neural network is tested by samples,and the prediction results are compared with ones given by a nonlinear regression method. Experimental results exhibit that the proposed method provides better fitting ability and higher accuracy for pH value prediction.

BP neural network;simulated annealing;pH value;nonlinear regression

項目來源:國家自然科學基金項目(61305016);江南大學自主科研計劃青年基金項目(JUSRP1059)

2014-08-09修改日期:2014-10-28

TP212

:A

:1004-1699(2014)12-1643-06

10.3969/j.issn.1004-1699.2014.12.011