基于VB的RBF神經(jīng)網(wǎng)絡(luò)編程及驗(yàn)證

陳鵬

關(guān)鍵詞：RBF 神經(jīng)網(wǎng)絡(luò)；VB；函數(shù)逼近；BP 神經(jīng)網(wǎng)絡(luò)

中圖分類號(hào)：TP311.1 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1006-8228（2023）11-76-03

0 引言

神經(jīng)網(wǎng)絡(luò)的高級(jí)編程語言包括MATLAB 以及Python 等。使用這些語言編程，有時(shí)候并不需要真正掌握神經(jīng)網(wǎng)絡(luò)的算法，因?yàn)檫@些語言已包括了很多模塊供用戶使用。使用此類高級(jí)編程語言的缺點(diǎn)是，應(yīng)用程序常常需要安裝相關(guān)軟件包，因此占用較大的計(jì)算機(jī)存儲(chǔ)空間。

我們需要從基礎(chǔ)編程軟件入手詳細(xì)了解神經(jīng)網(wǎng)絡(luò)編程的各個(gè)環(huán)節(jié)，這樣有助于具體的應(yīng)用開發(fā)并為軟件設(shè)計(jì)帶來靈活性。本文從常見的基礎(chǔ)編程軟件VB 6.0 開發(fā)RBF（徑向基函數(shù)）神經(jīng)網(wǎng)絡(luò)[1-2]軟件的基本原理出發(fā)，簡要介紹編程過程，并針對RBF 神經(jīng)網(wǎng)絡(luò)和BP 神經(jīng)網(wǎng)絡(luò)在函數(shù)逼近方面的性能等進(jìn)行分析，比較和適當(dāng)總結(jié)。目前國內(nèi)已有使用VB 進(jìn)行BP（反向誤差傳播）神經(jīng)網(wǎng)絡(luò)編程成功的先例[3]。通過查詢國內(nèi)論文發(fā)現(xiàn)，幾乎沒有使用VB 語言來編寫RBF 神經(jīng)網(wǎng)絡(luò)的例子，這也是本文選題的驅(qū)動(dòng)力之一。

1 RBF 神經(jīng)網(wǎng)絡(luò)的基本原理

RBF 神經(jīng)網(wǎng)絡(luò)是一個(gè)三層的具有任意逼近非線性能力的神經(jīng)網(wǎng)絡(luò)，其包括輸入層、隱含層和輸出層。其中，輸入層到隱含層為非線性，而隱含層到輸出層為線性即徑向基函數(shù)的輸出與權(quán)值乘積求和，必要時(shí)還加上偏置值。RBF 神經(jīng)網(wǎng)絡(luò)的徑向基函數(shù)中心、寬度、隱層數(shù)、權(quán)值可調(diào)。常見的徑向基函數(shù)為高斯函數(shù)，如式⑴所示：

2 RBF 神經(jīng)網(wǎng)絡(luò)的編程

本文論述開發(fā)的RBF神經(jīng)網(wǎng)絡(luò)軟件名稱為RBFKit，界面如圖1 所示。

用戶首先需要在文本文件上定義輸入輸出的樣本組數(shù)和待測試數(shù)據(jù)的組數(shù)。同時(shí)用戶還必須定義網(wǎng)絡(luò)的輸入層節(jié)點(diǎn)數(shù)、隱含層節(jié)點(diǎn)數(shù)和輸出層節(jié)點(diǎn)數(shù)。另外，用戶還要定義循環(huán)次數(shù)和精度要求以及在軟件界面定義訓(xùn)練的學(xué)習(xí)率和動(dòng)量因子參數(shù)。在數(shù)據(jù)格式正確的情況下， 由用戶決定輸入樣本數(shù)據(jù)的先后次序并存于輸入文本文件。

程序?qū)霐?shù)據(jù)后歸一化數(shù)據(jù)并按照隱含層節(jié)點(diǎn)數(shù)的大小隨機(jī)從輸入樣本中選取若干數(shù)據(jù)點(diǎn)作為基函數(shù)中心初始值，然后按照k-means 聚類法[2，4-5]計(jì)算基函數(shù)的真正中心點(diǎn)的值，當(dāng)中心點(diǎn)的選取值在可接受的很小的誤差范圍內(nèi)時(shí)就確定為最終值。然后，程序計(jì)算基函數(shù)的寬度。中心點(diǎn)和寬度確定后就可以計(jì)算基函數(shù)輸出值。因?yàn)槠谕翟谳斎胛谋疚募幸呀?jīng)給出；而基函數(shù)的輸出值乘以相應(yīng)的權(quán)值并求和就是相應(yīng)輸出層節(jié)點(diǎn)的反歸一化前的預(yù)測值了，這樣就可以計(jì)算兩者的誤差。從而可以用權(quán)值更新法[2-3]來計(jì)算隱含層到輸出層的權(quán)值。必須記住，最終的預(yù)測值要反歸一化。當(dāng)使用給定的學(xué)習(xí)率和動(dòng)量因子進(jìn)行學(xué)習(xí)滿足循環(huán)次數(shù)或精度要求后訓(xùn)練就結(jié)束，相應(yīng)的網(wǎng)絡(luò)參數(shù)保存于生成的項(xiàng)目文件上。至此，用戶可以在需要時(shí)手動(dòng)改變項(xiàng)目文件中的測試數(shù)據(jù)的個(gè)數(shù)參數(shù)然后按格式提供相應(yīng)的測試數(shù)據(jù)并按下“預(yù)測”就可生成相應(yīng)的預(yù)測值文本文件。生成的預(yù)測值采用特定的數(shù)據(jù)格式保存方便用戶同實(shí)際值進(jìn)行比較并用EXCEL 軟件繪制曲線圖。

3 RBF 神經(jīng)網(wǎng)絡(luò)與BP 神經(jīng)網(wǎng)絡(luò)函數(shù)逼近的比較示例

舉一個(gè)函數(shù)逼近的例子如下：

取48組原始數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)運(yùn)行軟件學(xué)習(xí)并用這48 組數(shù)據(jù)中的輸入樣本數(shù)據(jù)作為測試數(shù)據(jù)來獲得預(yù)測值進(jìn)行函數(shù)逼近，從圖2 可以發(fā)現(xiàn)滿足精度條件的RBF 神經(jīng)網(wǎng)絡(luò)在此示例上給出了很好的函數(shù)逼近效果，相比之下比單隱含層BP 在相同精度要求0.01，相同的學(xué)習(xí)率0.01 和相同的動(dòng)量因子0.5 情況下的函數(shù)逼近效果更好；而且，本示例的軟件運(yùn)行循環(huán)次數(shù)方面RBF 神經(jīng)網(wǎng)絡(luò)運(yùn)行只用了2477 次，而BP 神經(jīng)網(wǎng)絡(luò)（輸出層激勵(lì)函數(shù)為ReLU 類型）則用了34798 次。

再舉另外一個(gè)例子，如式（4）所示的函數(shù)的逼近，取125 組原始數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)并運(yùn)行軟件學(xué)習(xí)然后用這125 組數(shù)據(jù)中的輸入樣本數(shù)據(jù)作為測試數(shù)據(jù)來獲得預(yù)測值，逼近曲線如圖3 所示，其中RBF 神經(jīng)網(wǎng)絡(luò)和BP 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)率均采用0.008、動(dòng)量因子采用0.5，精度要求為0.02。RBF 神經(jīng)網(wǎng)絡(luò)迭代了439 次后結(jié)束；BP 神經(jīng)網(wǎng)絡(luò)則迭代了45992 次后結(jié)束。

通過上述軟件的良好運(yùn)行和兩個(gè)函數(shù)逼近示例獲得的良好效果，證明了本RBF 神經(jīng)網(wǎng)絡(luò)軟件編程的正確性和可用性。示例說明RBF 神經(jīng)網(wǎng)絡(luò)具有比BP神經(jīng)網(wǎng)絡(luò)更好的泛化能力，函數(shù)逼近效果更好，達(dá)到同等精度需要的循環(huán)次數(shù)更少。但是必須指出的是，要想達(dá)到同樣的精度要求時(shí)RBF 神經(jīng)網(wǎng)絡(luò)通常需要比BP 神經(jīng)網(wǎng)絡(luò)更復(fù)雜的結(jié)構(gòu)。比如圖2 的函數(shù)逼近RBF 神經(jīng)網(wǎng)絡(luò)用了48 個(gè)隱含層節(jié)點(diǎn)，而BP 神經(jīng)網(wǎng)絡(luò)只用了8 個(gè)隱含層節(jié)點(diǎn)。

4 結(jié)束語

本文闡述了通過VB 6.0 軟件實(shí)現(xiàn)RBF 神經(jīng)網(wǎng)絡(luò)的編程；同時(shí)，通過和BP 神經(jīng)網(wǎng)絡(luò)在函數(shù)逼近的比較示例驗(yàn)證了該開發(fā)的RBF 神經(jīng)網(wǎng)絡(luò)軟件的正確性。該項(xiàng)研究較好地充實(shí)了作者編寫的神經(jīng)網(wǎng)絡(luò)軟件工具箱套件，包括ART2Kit、BPKit、CPNKit、RBFKit和SOMKit 共五種軟件。本文論述開發(fā)的軟件在深度學(xué)習(xí)軟件的應(yīng)用條件受限時(shí)（比如數(shù)據(jù)較少）仍有較好的選擇應(yīng)用價(jià)值，可具體用于預(yù)測、分類或函數(shù)逼近的場合。