一種融合小波變換與卷積神經(jīng)網(wǎng)絡(luò)的高相似度圖像識別與分類算法*

姜文超，劉海波,楊宇杰，陳佳峰，孫傲冰

(1.廣東工業(yè)大學(xué)計算機學(xué)院，廣東 廣州 510006;2.廣東電子工業(yè)研究院，廣東 東莞 523808)

1 引言

顏色、紋理特征差異度小的特定領(lǐng)域高相似圖像識別與分類技術(shù)在圖像搜索、遙感、刑偵、醫(yī)學(xué)等圖像處理領(lǐng)域具有重要的應(yīng)用價值。Renninger等人[1]認(rèn)為，對圖像進行簡單的紋理分析能夠?qū)ふ业綀鼍胺诸惖木€索，使圖像識別過程和計算簡單化。Benmokhtar 等人[2]融合圖像的紋理和顏色特征實現(xiàn)足球場景分類，但該方法僅利用全局特征進行分類，其區(qū)分能力有限。圖像的局部二進制模式LBP(Local Binary Pattern)[3]計算圖像中“一致”的局部二進制模式，并對圖像的各種模式數(shù)進行直方圖統(tǒng)計，但是該方法對彩色圖像的分類效果一般。近年來人們對遙感影像上的紋理特征采用灰度共生矩陣算法[4],該算法描述的是具有某種空間位置關(guān)系的像素之間的聯(lián)合分布，可看成兩個像素灰度對的聯(lián)合直方圖，屬于二階統(tǒng)計。灰度共生矩陣描述了灰度空間依賴性,表示了在一種紋理模式下的像素灰度的空間關(guān)系，但是該方法沒有完全抓住圖像局部灰度的圖像特征，因此對于圖像局部特定特征提取效果不夠理想。小波變換[5,6]雖能有效提取圖像局部紋理特征，但對圖像全局特征無法有效捕捉，導(dǎo)致分類效果一般。

在后向傳播BP(Back Propogation)神經(jīng)網(wǎng)絡(luò)基礎(chǔ)之上發(fā)展起來的卷積神經(jīng)網(wǎng)絡(luò)CNN(Convolution Neural Network)[7]是一種帶有卷積結(jié)構(gòu)的深度神經(jīng)網(wǎng)絡(luò)。由于該網(wǎng)絡(luò)特點是部分連接，權(quán)值共享，從而減少了網(wǎng)絡(luò)模型參數(shù)個數(shù)，有效緩解了模型的過擬合問題。CNN通過有監(jiān)督學(xué)習(xí)方式，實現(xiàn)圖像處理中平移、縮放、傾斜等形變的高度不變性。1998年，LeCun 等人[8]將CNN用于文檔識別,為了保證識別對象的平移、尺度、旋轉(zhuǎn)不變性，CNN具備局部感受野、共享權(quán)值和次抽樣三個特征，設(shè)計的用于字符識別的卷積神經(jīng)網(wǎng)絡(luò)LeNet-5系統(tǒng)在小規(guī)模手寫數(shù)字識別中取得了較好的效果。

2012年,Krizhevsky 等人[9]采用稱為AlexNet 的CNN，設(shè)計了ReLU作為網(wǎng)絡(luò)卷積層中的神經(jīng)元激活函數(shù)，利用 Dropout 避免過擬合問題。該網(wǎng)絡(luò)模型對多維圖像的識別效果明顯，使圖像可以直接作為網(wǎng)絡(luò)模型的輸入，避免了傳統(tǒng)識別算法中復(fù)雜的特征提取和數(shù)據(jù)重建過程。近期有研究基于 Haar 小波變換和 CNN 模型的優(yōu)勢,提出 Haar-CNN 模型[10]，Haar-CNN在自然場景圖像特征提取和分類中優(yōu)勢明顯，然而在紋理特征提取中效果并不顯著。

針對以上問題，本文算法首先使用小波變換對圖像數(shù)據(jù)進行預(yù)處理，將圖像分解為不同的頻域子圖，然后計算各頻域子圖的能量參數(shù)作為紋理描述子。對不同類別、不同分辨率圖像集進行特征提取并確定最佳紋理差異度參數(shù)閾值，將各子圖能量特征歸一化處理后作為卷積神經(jīng)網(wǎng)絡(luò)的輸入，通過訓(xùn)練集調(diào)整網(wǎng)絡(luò)權(quán)值并驗證權(quán)值實際準(zhǔn)確度，最終得到分類準(zhǔn)確率最高的卷積神經(jīng)網(wǎng)絡(luò)模型。實驗選取雞蛋、蘋果兩類圖像數(shù)據(jù)集作為實驗數(shù)據(jù)，進行雞蛋散養(yǎng)或圈養(yǎng)識別、蘋果產(chǎn)地判定，實驗結(jié)果表明該算法平均鑒別準(zhǔn)確率達(dá) 90%以上。

2 算法原理

2.1 基本思路

算法基本思路如圖1所示，通過融合小波變換與深度卷積神經(jīng)網(wǎng)絡(luò)進行特征提取與圖像分類。

Figure 1 Basic ideas of the algorithm 圖1 算法基本思路

為提高算法準(zhǔn)確性，首先通過分割算法提取圖像中的主體對象，實現(xiàn)圖像主體與背景分離，防止圖像背景對主體對象的分類造成干擾。數(shù)據(jù)預(yù)處理階段利用小波變換進行圖像分解并提取各頻域子圖特征，然后將小波變換的輸出作為神經(jīng)網(wǎng)絡(luò)的輸入，通過多次訓(xùn)練對網(wǎng)絡(luò)權(quán)值參數(shù)進行優(yōu)化更新，從而獲取準(zhǔn)確率最高的神經(jīng)網(wǎng)絡(luò)參數(shù)，得到最佳分類模型。

圖1中，小波變換分解并提取圖像特征和卷積神經(jīng)網(wǎng)絡(luò)分類器是該算法的核心模塊。這個核心模塊的流程如圖2所示。

首先將去除背景的圖像數(shù)據(jù)由設(shè)置的閾值進行灰度化處理，利用小波變換提取灰度圖像的局部特征，將擁有全局特征的圖像分解為多個含有圖像局部特征的子圖， 對子圖進行紋理特征提取；其次，神經(jīng)網(wǎng)絡(luò)接收預(yù)處理后的子圖特征作為輸入數(shù)據(jù)，經(jīng)過 5 層卷積以及 3 層池化多尺度采樣，將輸出歸一化為一維向量；最后在數(shù)據(jù)量逐漸增大以及訓(xùn)練次數(shù)增加的情況下，網(wǎng)絡(luò)權(quán)值不斷更新，最終確定分類模型。

Figure 2 Flow chart of the core module圖2 核心模塊流程

2.2 頻域子圖分解與特征提取

小波變換是在傅里葉變換的基礎(chǔ)上演變而來的，克服了傅里葉變換不能刻畫時間域信號的局部特性、對突變和非平穩(wěn)信號處理效果不好、沒有時頻分析等缺點。小波變換替換了傅里葉變換的三角函數(shù)基，將無限長的三角函數(shù)基換成了有限長的、會衰減的小波基。 圖像作為二維數(shù)字信號，首先需要根據(jù)式(1)進行小波離散化。

(1)

其中,j為實驗中小波變換的尺度階數(shù)，尺度越大則子圖細(xì)節(jié)越明顯；k為位置變換的設(shè)置參數(shù)；x為灰度圖像的向量化表示；a0是尺度函數(shù)；b0是位置參數(shù)。

利用小波變換進行快速分解的過程如式(2)～式(5)所示。

Aj(k,l)=

∑k1∑k2h(k1-2k)h(k2-2l)fj-1(k1,k2)

(2)

∑k1∑k2g(k1-2k)h(k2-2l)fj-1(k1,k2)

(3)

∑k1∑k2h(k1-k2)g(k2-2l)fj-1(k1,k2)

(4)

∑k1∑k2g(k1-k2)g(k2-2l)fj-1(k1,k2)

(5)

其中，h()與g()分別為小波變換的低通濾波器和高通濾波器。l為包含局部特征的子圖數(shù)量，k1為圖像數(shù)據(jù)水平方向平移相位差的倍數(shù)，k2為圖像數(shù)據(jù)垂直方向平移相位差的倍數(shù)。

在每個尺度上，通過濾波即可得到一幅粗尺度圖像以及三幅細(xì)節(jié)圖像。根據(jù)濾波器的性質(zhì)可知，其分別包含了原圖像在該尺度上的豎直、水平以及對角方向的細(xì)節(jié)信息。以雞蛋數(shù)據(jù)集為例，對其進行Haar小波變換二次分解預(yù)處理后得到的三幅子圖效果如圖 3 所示。

Figure 3 Sub-graph decomposition 圖3 子圖分解效果

2.3 卷積神經(jīng)網(wǎng)絡(luò)權(quán)值更新

本文算法的第二個技術(shù)核心是卷積神經(jīng)網(wǎng)絡(luò)的權(quán)值更新，此部分影響圖像數(shù)據(jù)分類的最終結(jié)果。為了得到更高的分類準(zhǔn)確率，本文進行了多次實驗，重點在神經(jīng)網(wǎng)絡(luò)的卷積層以及池化層的權(quán)值更新部分。在卷積神經(jīng)網(wǎng)絡(luò)的每一卷積層中，前一層的特征圖與一個需要通過學(xué)習(xí)得到的卷積核進行卷積計算，可得到新的特征圖，如式(6)所示。

(6)

卷積神經(jīng)網(wǎng)絡(luò)神經(jīng)元的靈敏度計算方法如式(7)所示。

(7)

誤差代價函數(shù)為:

(8)

(9)

其中，down()表示下采樣操作。

靈敏度計算方法為:

(10)

(11)

在對神經(jīng)網(wǎng)絡(luò)的卷積層以及采樣層進行權(quán)值更新后，還需對其他層設(shè)置詳細(xì)的優(yōu)化參數(shù)，本文采用的卷積神經(jīng)網(wǎng)絡(luò)各層參數(shù)如表1所示。該網(wǎng)絡(luò)一共包括5個卷積層、3個池化層、3個全連接層、1個softmax分類層、2個局部響應(yīng)歸一化LRN(Local Response Normalization)層和兩個隨機采樣層，經(jīng)過多次測試發(fā)現(xiàn)此參數(shù)下圖像分類準(zhǔn)確率高。其中LRN層的原理是利用仿生物神經(jīng)系統(tǒng)抑制機制，使得函數(shù)響應(yīng)比較大的值變得相對更大，并抑制其他反饋較小的神經(jīng)元，提高了模型的泛化能力。

Table 1 Structure and parameters of CNN layers表1 CNN各層結(jié)構(gòu)與參數(shù)

3 實驗設(shè)計與分析

實驗在 Tianhe-2 上進行，采用單節(jié)點，雙 CPU，24 個計算核心，內(nèi)存 64 GB，即：CPU E5-2692 v2 24*2.20 GHz。采用Python3.7 以及 Matlab (2016b) 實現(xiàn)算法。對于雞蛋與蘋果兩個數(shù)據(jù)集，通過本文算法分別鑒定雞蛋來源是散養(yǎng)或圈養(yǎng)以及識別判斷蘋果產(chǎn)地。其中，雞蛋、蘋果數(shù)據(jù)集各包含 20 000 幅圖像,訓(xùn)練集為15 000 幅，測試集為 5 000 幅，數(shù)據(jù)集圖像標(biāo)簽分類標(biāo)準(zhǔn)如表2所示。

Table 2 Data classification labels表2 數(shù)據(jù)分類標(biāo)簽

3.1 小波變換模型與卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練

本文所定義的卷積神經(jīng)網(wǎng)絡(luò)模型的輸入層的內(nèi)容是由小波變換提取的保留圖像紋理特征的特征向量，該向量由圖像矩陣轉(zhuǎn)化得到,其中去除背景的原始圖像數(shù)據(jù)經(jīng)由小波變換可以分解成圖像近似信號的低頻子帶和圖像細(xì)節(jié)信號的高頻子帶。 其中，圖像中大部分的噪聲和一些邊緣細(xì)節(jié)都屬于高頻子帶，而低頻子帶主要表征圖像的近似信號。為了能夠在增強圖像的同時減少噪聲的影響，可以對低頻子帶進行非線性圖像增強，用以增強目標(biāo)的對比度，抑制背景；而對高頻部分進行小波去噪處理，減少噪聲對圖像的影響。然后提取各子圖特征并歸一化后作為卷積神經(jīng)網(wǎng)絡(luò)的輸入進行進一步處理。神經(jīng)網(wǎng)絡(luò)層構(gòu)建全連接池，該連接池包括 4 096 個神經(jīng)元，每個神經(jīng)元都連接到輸入層，每個神經(jīng)元接受4 096個輸入。在訓(xùn)練過程中，記錄并輸出損失函數(shù)值,用以監(jiān)控訓(xùn)練進度。將循環(huán)次數(shù)設(shè)置成 201，并且當(dāng)循環(huán)次數(shù)滿足10的倍數(shù)時，輸出損失值。

網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練過程中，從輸入層到softmax層,每層都含有待求解的參數(shù)，因此利用帶類別標(biāo)簽的數(shù)據(jù)作為輸入，先進行一次前向傳播，計算分類誤差，然后利用隨機梯度下降法進行反向傳播，求解最優(yōu)參數(shù)，從而使分類誤差最小化。部分分類結(jié)果如圖 4 所示。其中標(biāo)簽 true 表示分類正確(散養(yǎng))，標(biāo)簽 false 表示分類錯誤(圈養(yǎng))。分類圖像總數(shù)初始為 1 000，土雞蛋與圈養(yǎng)雞蛋的數(shù)目各為500，訓(xùn)練次數(shù)為500，統(tǒng)計可知分類準(zhǔn)確率為 78.55%。

Figure 4 An example of preliminary classification of egg dataset圖4 雞蛋數(shù)據(jù)集初步分類結(jié)果示例

3.2 卷積神經(jīng)網(wǎng)絡(luò)模型分析

卷積神經(jīng)網(wǎng)絡(luò)模型在梯度下降處于局部收斂時，會出現(xiàn)分類無效的情況，即：訓(xùn)練過程中參數(shù)值無法保存，每次訓(xùn)練過程中都需要重新隨機化網(wǎng)絡(luò)模型的權(quán)值參數(shù)，多個訓(xùn)練集對神經(jīng)網(wǎng)絡(luò)模型的優(yōu)化未發(fā)揮作用，模型應(yīng)用性差。 為了能保存訓(xùn)練過程中的所有參數(shù)值，同類數(shù)據(jù)集測試時直接讀取歷史訓(xùn)練的參數(shù)值，實驗增加兩個卷積層構(gòu)成卷積神經(jīng)網(wǎng)絡(luò)，在輸入層和全連接層之間加入兩次卷積和池化。以雞蛋數(shù)據(jù)集為例，訓(xùn)練 500 次后隨機抽取的部分分類結(jié)果如圖 5 所示。經(jīng)過 500 次的訓(xùn)練，算法準(zhǔn)確率達(dá)到 86.77%。

Figure 5 An example of classification results after CNN model optimization圖5 卷積神經(jīng)網(wǎng)絡(luò)模型優(yōu)化后分類結(jié)果示例

為證明該算法在高相似圖像識別與分類領(lǐng)域的準(zhǔn)確性，選取優(yōu)化后的算法對蘋果數(shù)據(jù)進行測試以判斷其產(chǎn)地。蘋果數(shù)據(jù)集的數(shù)量為10 000，訓(xùn)練次數(shù)為1 000 次。部分分類結(jié)果如圖 6 所示，對分類結(jié)果統(tǒng)計可知分類準(zhǔn)確率為 87.54%。

Figure 6 Apple dataset classification results圖6 蘋果數(shù)據(jù)集分類結(jié)果(true:山西,false:其他)

為測試算法準(zhǔn)確性隨訓(xùn)練集數(shù)據(jù)量大小的變化規(guī)律，分別對雞蛋與蘋果兩個數(shù)據(jù)集進行測試，數(shù)據(jù)集單位增量設(shè)置為 2 000。測試結(jié)果如圖7和圖8所示。由圖7可知，隨著數(shù)據(jù)量的增加，神經(jīng)網(wǎng)絡(luò)的參數(shù)將得到不斷優(yōu)化，從而有效提高了算法準(zhǔn)確率。由圖8可知，在數(shù)據(jù)集不變的前提下，隨著訓(xùn)練次數(shù)的增加，神經(jīng)網(wǎng)絡(luò)的參數(shù)值不會陷入局部最小化，提高了全局優(yōu)化效果和準(zhǔn)確率。

Figure 7 Effect of data volume on algorithm accuracy 圖7 數(shù)據(jù)量對算法分類準(zhǔn)確率的影響

Figure 8 Effect of training frequency on algorithm accuracy 圖8 訓(xùn)練次數(shù)對算法分類準(zhǔn)確率的影響

為驗證本文算法的優(yōu)越性，將其分別與單獨使用小波變換和單獨使用神經(jīng)網(wǎng)絡(luò)的分類算法進行比較，平均準(zhǔn)確率對比如表3所示。由表3可知，卷積神經(jīng)網(wǎng)絡(luò)算法在訓(xùn)練次數(shù)較小的情況下(10 000 次以下)，多次實驗后的算法準(zhǔn)確率在 0.80～0.85變動，訓(xùn)練次數(shù)達(dá)20 000 次時，準(zhǔn)確率達(dá)到最高90.06%。融合小波變換和卷積神經(jīng)網(wǎng)絡(luò)的圖像分類算法具有更高的分類準(zhǔn)確率。

Table 3 Algorithm accuracy comparison表3 算法分類準(zhǔn)確率對比

4 結(jié)束語

針對顏色、紋理特征差異小的特定領(lǐng)域高相似度圖像識別與分類問題，本文提出了融合小波變換與卷積神經(jīng)網(wǎng)絡(luò)的高相似度圖像識別與分類算法。運用小波變換先對圖像進行頻域分解預(yù)處理，根據(jù)小波的多分辨率分析原理將圖像進行多級二維離散小波變換，可以將圖像分解成圖像近似信號的低頻子帶和圖像細(xì)節(jié)信號的高頻子帶。其中，圖像中大部分的噪聲和一些邊緣細(xì)節(jié)都屬于高頻子帶，而低頻子帶主要表征圖像的近似信號。為了能夠在增強圖像的同時減少噪聲的影響，可以對低頻子帶進行非線性圖像增強，用以增強目標(biāo)的對比度，抑制背景；而對高頻部分進行小波去噪處理，減少噪聲對圖像的影響。然后提取各子圖特征并歸一化后作為卷積神經(jīng)網(wǎng)絡(luò)的輸入進行進一步處理。 通過雞蛋與蘋果兩個數(shù)據(jù)集實驗測試表明，預(yù)訓(xùn)練的 CNN 模型能夠提取出有效的圖像紋理特征，在常用的紋理數(shù)據(jù)集上均取得較好效果。本文算法在數(shù)據(jù)預(yù)處理階段利用了小波變換，CNN 訓(xùn)練主要體現(xiàn)在卷積層與子采樣層的彼此交互。其中，各權(quán)值參數(shù)的最佳取值是影響卷積神經(jīng)網(wǎng)絡(luò)模型準(zhǔn)確率的關(guān)鍵。后續(xù)工作將會針對特定領(lǐng)域的高相似圖像進一步優(yōu)化權(quán)值參數(shù)，提高算法在特定領(lǐng)域高相似圖像識別與分類的準(zhǔn)確性。