基于神經(jīng)網(wǎng)絡(luò)學習控制的圖像挖掘算法*

潘明波

(云南工商學院 信息工程學院， 昆明 651701)

隨著大數(shù)據(jù)時代的來臨，各種圖像數(shù)據(jù)呈爆炸式增長，要在海量數(shù)據(jù)中通過人工方式分類識別出所需的目標是一個巨大甚至不可能完成的挑戰(zhàn)，因此，基于計算機的圖像自動分類識別成為當前的研究熱點.常用的圖像識別方法包括基于幾何特征的識別方法、基于統(tǒng)計學的識別方法、基于模型的識別方法、基于神經(jīng)網(wǎng)絡(luò)的識別方法以及各種識別方法的綜合應用等[1-4].其中，基于神經(jīng)網(wǎng)絡(luò)的識別方法采用當前流行的神經(jīng)網(wǎng)絡(luò)作為圖像識別的基本核心模型[5-6].神經(jīng)網(wǎng)絡(luò)通過模擬人類的神經(jīng)活動，具有自學習和自適應等優(yōu)點，能夠在人工干預較少的情況下智能地識別出所需目標.而小波變換[7-8]是現(xiàn)代應用數(shù)學和工程學科中發(fā)展起來的新學科，通過將小波變換和神經(jīng)網(wǎng)絡(luò)聯(lián)合運用，可以發(fā)揮兩者的優(yōu)勢.小波神經(jīng)網(wǎng)絡(luò)[9-10]具有收斂速度快及逼近能力強等優(yōu)點，其誤差函數(shù)關(guān)于網(wǎng)絡(luò)權(quán)值是凸函數(shù)，可以消除網(wǎng)絡(luò)收斂于局部最小值的問題.通過小波基個數(shù)等于神經(jīng)元節(jié)點數(shù)等規(guī)律確定小波元和神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的數(shù)目，減少設(shè)計負擔.各個小波神經(jīng)元之間的相關(guān)性較低，可以保證算法較快地收斂.小波變換與神經(jīng)網(wǎng)絡(luò)的組合包括兩種形式：小波變換與神經(jīng)網(wǎng)絡(luò)結(jié)合，小波變換與神經(jīng)網(wǎng)絡(luò)融合.小波變換與神經(jīng)網(wǎng)絡(luò)結(jié)合是一種松散的組合應用，將小波變換處理結(jié)果作為神經(jīng)網(wǎng)絡(luò)的輸入，兩者可以分開運行；小波變換與神經(jīng)網(wǎng)絡(luò)融合是交融的組合應用.以小波基函數(shù)替換神經(jīng)網(wǎng)絡(luò)中隱節(jié)點函數(shù)，以小波函數(shù)的尺度和平移變換參數(shù)替代神經(jīng)網(wǎng)絡(luò)中輸入層到隱含層的權(quán)值和閾值.本文采用小波變換與神經(jīng)網(wǎng)絡(luò)融合的方法，利用高斯小波基函數(shù)作為神經(jīng)網(wǎng)絡(luò)的隱節(jié)點函數(shù)，結(jié)合自適應神經(jīng)網(wǎng)絡(luò)各參數(shù)初始值設(shè)置方法和改進的模擬退火算法自適應控制學習效率，通過對圖像特征的學習實現(xiàn)對圖像對象的分類識別操作.

1 算法模型

基于小波神經(jīng)網(wǎng)絡(luò)學習控制的圖像挖掘算法能夠?qū)崿F(xiàn)對輸入圖像的自動分類，其輸入是各種類型的圖像，輸出是圖像所屬的類標簽.為了使各種圖片都能順利分類，需要將圖片進行標準化處理，本文算法是將圖片進行下采樣形成100×100的像素大小.整個處理過程包括學習和分類兩個過程.在學習過程中輸入帶有明確類標簽的訓練樣本對小波神經(jīng)網(wǎng)絡(luò)的各種參數(shù)進行訓練，使其滿足算法分類需要.分類過程輸入需要分類的測試樣本，根據(jù)輸出的類標簽實現(xiàn)圖像的分類操作.

與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)圖像分類算法相比，該算法的創(chuàng)新性表現(xiàn)為：

1) 利用小波基函數(shù)代替?zhèn)鹘y(tǒng)神經(jīng)網(wǎng)絡(luò)的線性函數(shù)，具有更快的收斂速度和逼近能力；

2) 提出了一種與學習樣本和神經(jīng)元傳遞函數(shù)相結(jié)合的網(wǎng)絡(luò)初始參數(shù)自適應設(shè)置算法，保證了算法的收斂能力；

3) 利用改進的模擬退火算法對小波神經(jīng)網(wǎng)絡(luò)的學習效率進行局部自適應控制調(diào)整，加快了學習收斂速度.

1.1 小波神經(jīng)網(wǎng)絡(luò)學習算法

小波神經(jīng)網(wǎng)絡(luò)以小波基函數(shù)作為神經(jīng)網(wǎng)絡(luò)中神經(jīng)元的激勵函數(shù).從圖像挖掘的實際需求出發(fā)，算法采用sigmoid函數(shù)代替線性函數(shù)作為輸出層的激勵函數(shù)，利用熵函數(shù)定義網(wǎng)絡(luò)誤差，采用三層神經(jīng)網(wǎng)絡(luò)的形式，即輸入層、輸出層和一個隱含層.下標k、i、j分別表示輸入層、輸出層和隱含層的神經(jīng)元標記，相應的各層結(jié)點數(shù)分別為m、N、n.輸入層的第k個輸入樣本用xk表示，輸出層的第i個輸出值用yi表示，隱含層第j個節(jié)點和輸入層第k個節(jié)點之間的連接權(quán)值用wjk表示，輸出層第i個節(jié)點與隱含層第j個節(jié)點之間的連接權(quán)值用wij表示，輸出層第i個節(jié)點的閾值用wio表示，隱含層第j個節(jié)點的閾值用wjo表示，隱含層第j個節(jié)點的伸縮和平移系數(shù)分別用aj和bj表示，小波神經(jīng)網(wǎng)絡(luò)可表示為

(1)

(2)

(3)

此時小波神經(jīng)網(wǎng)絡(luò)模型可以表示為

(4)

要計算小波神經(jīng)網(wǎng)絡(luò)中的最佳系數(shù)，對誤差熵求導數(shù)可得

(5)

(6)

(7)

(8)

引入學習效率η和動量系數(shù)u之后的網(wǎng)絡(luò)參數(shù)調(diào)整公式為

(9)

(10)

(11)

(12)

其中，小波基函數(shù)為高斯小波基函數(shù)，其表達式為

(13)

其一階導數(shù)表示為

(14)

1.2 小波神經(jīng)網(wǎng)絡(luò)參數(shù)初始化

小波神經(jīng)網(wǎng)絡(luò)中各個連接權(quán)值和閾值初始值的選擇對其收斂能力和收斂速度有直接影響.好的初始值可以保證神經(jīng)網(wǎng)絡(luò)較快地收斂到所需結(jié)果，壞的初始值不但影響算法效率，甚至會導致算法發(fā)散或者收斂到錯誤值.傳統(tǒng)的憑經(jīng)驗設(shè)置初始值的方法隨機性較大，并且所設(shè)置的參數(shù)不滿足所有情況.解決這個問題的可行方法是將初始值的設(shè)定與學習樣本和神經(jīng)元傳遞函數(shù)相結(jié)合，得到一種自適應控制的初始參數(shù)設(shè)置方法.隱含層第j個節(jié)點和輸入層第k個節(jié)點之間的連接權(quán)值wjk初始值的設(shè)置方法為：

1) 分別產(chǎn)生[-1，1]之間的均勻分布隨機數(shù)作為輸入層和隱含層間連接閾值wjk暫時值.

2) 基于每個隱含層節(jié)點對wjk進行初始化，初始化公式為

(15)

3) 將歸一化結(jié)果乘以與輸入層節(jié)點數(shù)和隱含層節(jié)點數(shù)有關(guān)的因子，即

wjk=Cn1/mwjk

(16)

式中，C為與傳遞函數(shù)相關(guān)的常數(shù)，在高斯小波基函數(shù)情況下取值范圍為[1.8，2].

4) 結(jié)合學習樣本對初始值進行修正.如果輸入層第k個神經(jīng)元輸入樣本的最大值和最小值分別為xkmax和xkmin，則最終的連接權(quán)值為

(17)

隱含層第j個節(jié)點的閾值wjo初始值設(shè)置方法為：

1) 分別產(chǎn)生[-1，1]之間的均勻分布隨機數(shù)作為每個隱含層節(jié)點閾值wjo的暫時值.

2) 將wjo乘以與輸入層節(jié)點數(shù)和隱含層節(jié)點數(shù)有關(guān)的因子，即

wjo=Cn1/mwjo

(18)

3) 將wjo與學習樣本的最大值、最小值及連接權(quán)值wjk相結(jié)合，即

(19)

隱含層與輸出層之間的連接權(quán)值及輸出層的閾值初始值的設(shè)置方式與上述相應參數(shù)初始值設(shè)置方法類似.小波基函數(shù)的平移參數(shù)bj和伸縮參數(shù)aj的初始值設(shè)置方法分兩種情況進行討論.

1) 輸入層節(jié)點數(shù)為1時，所有小波神經(jīng)元的伸縮參數(shù)aj相同，平移參數(shù)bj為

(20)

式中，M為訓練樣本的總數(shù).

2) 輸入層節(jié)點數(shù)大于1時，為使小波伸縮參數(shù)覆蓋輸入向量，伸縮參數(shù)和平移參數(shù)初始值的設(shè)定需要滿足

(21)

式中：t*為母小波函數(shù)的時域中心；ΔΨ為半徑.在高斯小波函數(shù)中，t*為0，ΔΨ為1.224 74.由式(21)可解得伸縮參數(shù)和平移參數(shù)的初始值為

(22)

1.3 調(diào)整學習速率

調(diào)整學習速率可以使小波神經(jīng)網(wǎng)絡(luò)算法較快地收斂，進而提高算法的運算速率.調(diào)整方法包括局部學習速率自適應控制調(diào)整和全局學習速率自適應控制調(diào)整.本文利用改進的模擬退火算法對小波神經(jīng)網(wǎng)絡(luò)的學習效率進行局部自適應控制調(diào)整，減小了學習過程中的震蕩現(xiàn)象并加快了學習收斂速度.在傳統(tǒng)的模擬退火算法基礎(chǔ)上，將學習過程分為加速階段和平穩(wěn)收斂階段兩步.加速階段使學習速率快速增加到最佳學習效率值，平穩(wěn)收斂階段調(diào)整學習效率.為了抑制仍然存在的震蕩現(xiàn)象，在改進的模擬退火算法中引入了加動量項法，即

(23)

式中：α為權(quán)值系數(shù)；z為更新次數(shù).當前次dE(t)/dwij(t)與上一次符號相同時，Δwij(z)較大，反之較小，說明在增加調(diào)節(jié)速率的同時穩(wěn)定了震蕩效果.將動量系數(shù)引入局部調(diào)整過程中，兩個時刻的目標函數(shù)連接權(quán)值梯度符號相同時，根據(jù)兩者的梯度比值調(diào)整權(quán)值和步長，從而實現(xiàn)對學習效率的自適應控制調(diào)整，算法過程如下：

1) 隨機產(chǎn)生較小的起始學習效率ηij(0).

2) 自適應更新局部學習效率和連接權(quán)值.在加速階段，當

如果

則

如果

則

當

則

在平穩(wěn)收斂階段，當

如果

則

如果

則

當

則

式中：u1取值在1.5～3.0之間；d1在0.3～0.7之間；u2在1.1～1.3之間；d2在0.5～0.9之間；d3和d4在0.7～0.9之間；threshold在2.5～4.0之間.

2 實驗及結(jié)果分析

實驗采用Cifar數(shù)據(jù)集進行圖像對象識別.Cifar數(shù)據(jù)集包括60 000個訓練樣本和10 000個測試樣本，涵蓋了汽車、飛機、輪船等人造目標和鳥、貓、狗、馬、鹿等動物圖像.由于各種人造目標與動物之間差異較大，對其進行識別難度較小.算法選擇鳥、貓、狗、馬和鹿五種動物進行識別.

從數(shù)據(jù)集中隨機選擇1 000個訓練樣本和500個測試樣本進行10次實驗，每次實驗對每種動物的識別率如圖1所示，某次實驗的結(jié)果數(shù)據(jù)如表1所示.

圖1 各種動物識別率Fig.1 Recognition rate for various animals表1 單次實驗各種動物識別率Tab.1 Recognition rate for various animalsin single experiment

種類樣本數(shù)識別個數(shù)識別率/%鳥1139785.8貓1028684.3狗998383.8馬1058480.0鹿816377.8

由實驗結(jié)果可知，對各種動物的平均識別率為鳥85.7%、貓83.9%、狗83.3%、馬79.8%、鹿78.6%，總的正確識別率為82.3%.算法對鳥的識別率最高，這是由于從形態(tài)學還是顏色和紋理等特征上，鳥與其他四種動物的區(qū)別都最大，因此能夠正確區(qū)分的程度最高.而馬和鹿兩種動物無論是在體型、顏色、尾巴和腳等特征上都有較高的相似度，因此，算法在識別時容易將兩者誤分，識別率較低.選取四次實驗中各個類別的具體數(shù)據(jù)，結(jié)果如圖2所示.

圖2 四次實驗識別具體結(jié)果Fig.2 Specific recognition results of four experiments

每個子圖中的每一豎列對應每類樣本的樣本數(shù)，每一橫列對應識別為該類別的樣本數(shù).對角線上元素表示正確分類的數(shù)目，灰色元素表示錯分數(shù)目較大的類別.由圖2可知，對于鳥樣本，錯誤分類主要表現(xiàn)為錯分為貓和狗兩個類別.對于貓和狗樣本，錯誤分類主要表現(xiàn)在將貓分類為狗，將狗分類為貓.對于馬和鹿樣本，錯誤分類也主要表現(xiàn)為將馬分類為鹿，將鹿分類為馬.實驗結(jié)果與直觀印象相符.

將本文算法與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法和稀疏表示算法對比，三種算法的訓練樣本、測試樣本和所選特征均相同，進行10次實驗，每次實驗對各種動物的平均識別率如表2所示.

表2 三種算法識別率對比Tab.2 Comparison in recognition rate for three algorithms %

由表2可知，本文算法的平均正確識別率為84.0%，傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法的平均正確識別率為79.8%，稀疏表示算法的平均正確識別率為77.9%，本文算法的平均正確識別率優(yōu)于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法和稀疏表示算法的正確識別率，正確識別率提高了4.2%和6.1%，其原因是小波神經(jīng)網(wǎng)絡(luò)算法較普通神經(jīng)網(wǎng)絡(luò)算法有更強的非線性逼近能力，其誤差函數(shù)的凸性可以有效避免收斂于局部最小值.通過采用自適應初始值選擇和自適應學習效率調(diào)整方法，也提高了算法的執(zhí)行效率并避免了震蕩情況的出現(xiàn).

3 結(jié) 論

本文提出了一種基于小波變換融合神經(jīng)網(wǎng)絡(luò)的圖像識別挖掘算法.利用高斯小波基函數(shù)替代神經(jīng)網(wǎng)絡(luò)隱含層中隱節(jié)點函數(shù)，通過自適應控制的方法設(shè)置小波神經(jīng)網(wǎng)絡(luò)初始化參數(shù)，結(jié)合改進的模擬退火算法自適應調(diào)整小波神經(jīng)網(wǎng)絡(luò)的學習效率并有效避免學習過程中的震蕩情況.實驗結(jié)果表明，對于Cifar數(shù)據(jù)集中的五類動物圖片，算法的平均正確識別率達到了84.0%，分類結(jié)果符合人類認知的普遍規(guī)律.采用相同數(shù)據(jù)與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法和稀疏表示算法進行對比實驗，該算法較傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法和稀疏表示算法正確識別率提高了4.2%和6.1%.

參考文獻(References)：

[1] Lin Y Q，Lv F J，Zhu S H，et al.Large-scale image classification：fast feature extraction and SVM training [C]//2011 IEEE Conference on Computer Vision and Pattern Recognition.Colorado Springs，USA，2011：1689-1696.

[2] Guo J M，Prasetyo H，Su H S.Image indexing using the color and bit pattern feature fusion [J].Journal of Visual Communication and Image Representation，2013，24(8)：1360-1379.

[3] Yang J，Zhu S.An online image retrieval method based on self color correlogram model [J].Journal of Computational Information Systems，2012，8(8)：3369-3376.

[4] Iqbal K，Odetayo M O，James A.Content-based image retrieval approach for biometric security using colour，texture and shape features controlled by fuzzy heuristics [J].Journal of Computer and System Sciences，2012，78(4)：1258-1277.

[5] Sultana M，Gavrilova M.A content based feature combination method for face recognition [J].Advances in Intelligent Systems and Computing，2013，22(6)：197-206.

[6] Sui L，Zhang J，Zhuo L，et al.Research on pornographic images recognition method based on visual words in a compressed domain [J].IET Image Processing，2012，6(1)：87-93.

[7] 尚趙偉，國慶，馬尚君，等.基于二進小波變換的多車牌定位算法 [J].計算機工程，2011，37(3)：16-18.

(SHANG Zhao-wei，GUO Qing，MA Shang-jun，et al.Multi-license plate localization algorithm based on dyadic wavelet transform [J].Computer Engineering，2011，37(3)：16-18.)

[8] 劉曉明，王麗君，侯春光，等.基于小波包能量熵的低壓串聯(lián)故障電弧診斷 [J].沈陽工業(yè)大學學報，2013，35(6)：606-612.

(LIU Xiao-ming，WANG Li-jun，HOU Chun-guang，et al.Diagnosis of low voltage series arc fault based on wavelet packet-energy entropy [J].Journal of Shenyang University of Technology，2013，35(6)：606-612.)

[9] 沈顯慶，王成元.小波變換和改進諧波法的感應電動機轉(zhuǎn)速辨識 [J].沈陽工業(yè)大學學報，2011，33(1)：25-30.

(SHEN Xian-qing，WANG Cheng-yuan.Speed identification of induction motor based on wavelet transform and improved harmonic method [J].Journal of Shenyang University of Technology，2011，33(1)：25-30.)

[10]周濤，蔣蕓，王勇，等.基于小波神經(jīng)網(wǎng)絡(luò)的醫(yī)學圖像分類方法 [J].計算機應用，2010，30(10)：2857-2860.

(ZHOU Tao，JIANG Yun，WANG Yong，et al.Medical image classification based on wavelet neural network [J].Journal of Computer Applications，2010，30(10)：2857-2860.)