融合分割權(quán)重和注意制的CNN圖像分類算法

李 偉，黃鶴鳴，張會云，更藏措毛

(1. 青海師范大學計算機學院，青海 西寧 810008；2. 藏文信息處理教育部重點實驗室，青海 西寧 810008)

1 引言

隨著大容量存儲設備的廣泛使用和數(shù)字化技術(shù)的普及，出現(xiàn)了大規(guī)模的圖像數(shù)據(jù)庫。圖像已成為人們獲取信息的主要方式。從浩瀚的圖像數(shù)據(jù)庫中搜索圖像，需要對數(shù)據(jù)庫中的圖像進行分析處理，前提是對這些海量圖像進行分類。

近年來，隨著大數(shù)據(jù)和硬件計算能力的發(fā)展，神經(jīng)網(wǎng)絡作為一種新興的深度學習方法，在各個領域不斷取得了突破性進展[1]。Yann Le Cun于1998年提出的卷積神經(jīng)網(wǎng)絡(Convolution Neural Network， CNN)[2]能更好地獲取圖像的空間和位置信息，有利于圖像分類。Dave Steinkraus等人于2005年發(fā)現(xiàn)了圖形處理器(Graphics Processing Unit， GPU)在機器學習(Machine Learning， ML)方面的獨特優(yōu)勢[3]，提出了基于GPU的高效CNN訓練方法，大幅提高了CNN的運算能力。Alex Krizhevsky等人于2012年提出了AlexNet[4]網(wǎng)絡，采用ReLU激活函數(shù)并使用GPU分組卷積方式進行并行訓練。Christian Szegedy等人于2014年提出了GoogLeNet[5]，在分類結(jié)果和運算效率上均取得了較大提升。Sergey Loffe等人于2015年將批標準化(Batch Normalization)[6]應用于神經(jīng)網(wǎng)絡，保證了網(wǎng)絡中各層的輸出分布基本穩(wěn)定；同時，大幅降低了網(wǎng)絡對初始參數(shù)的依賴，提升了網(wǎng)絡性能。

CNN具有良好的擴展性和魯棒性，但利用CNN進行圖像分類時，會存在過擬合、梯度爆炸或梯度消失等問題。文獻[4]使用Dropout技術(shù)有效緩解了網(wǎng)絡過擬合問題。受圖像自身特性的啟發(fā)，提出了一種融合分割權(quán)重和Attention機制的CNN圖像分類算法：基于分割權(quán)重的二次預訓練方法，通過降低圖像背景噪聲的干擾，有效抑制了訓練過程中出現(xiàn)的過擬合現(xiàn)象。在訓練好的網(wǎng)絡上，使用三種不同Attention類型的激活函數(shù)充分進行實驗。結(jié)果表明：不同Attention類型的激活函數(shù)對網(wǎng)絡模型的作用不盡相同，混合Attention的實驗效果最優(yōu)；同時，將其應用于標準圖像庫Corel-1000進行分類時，分類精確度有了較大提高。

2 融合分割權(quán)重和Attention機制的CNN圖像分類算法

2.1 二次預訓練方法

在神經(jīng)網(wǎng)絡的學習和訓練過程中，過擬合是一個普遍存在的問題。過擬合指僅能擬合訓練數(shù)據(jù)，但不能很好地擬合訓練數(shù)據(jù)以外的數(shù)據(jù)，其原因是：①模型擁有大量參數(shù)、表現(xiàn)力強；②訓練數(shù)據(jù)少。而神經(jīng)網(wǎng)絡學習的目標是提高網(wǎng)絡泛化能力，即便是沒有包含在訓練數(shù)據(jù)里的未觀測數(shù)據(jù)，也希望模型可以進行正確的識別。因此，在搭建復雜有效的網(wǎng)絡模型時，尋找有效抑制過擬合的方法很重要。

受圖像自身特性的啟發(fā)，提出了一種基于分割權(quán)重的二次預訓練方法，通過降低圖像背景噪聲的干擾，對訓練過程中出現(xiàn)的過擬合現(xiàn)象起到一定程度的抑制作用。其具體方法是將圖像I分割成4*4的16塊，選取靠近中心點的4塊作為圖像的中心塊，提取出原始圖像I的中心塊域Ω，剩余的塊作為背景塊B，如圖1。具體圖像分割后的效果圖如圖2。

圖1 圖像的中心塊區(qū)域Ω

圖2 圖像分割前后的對比效果

基于圖像分割權(quán)重的二次預訓練方法有兩種：①首先，使用圖像中心塊對網(wǎng)絡進行預訓練；其次，使用完整圖像進行第二次預訓練。②通過設定閾值減小圖像的背景塊像素值。使用減小后的背景塊像素值和原始中心塊像素值預訓練神經(jīng)網(wǎng)絡，再使用完整圖像對神經(jīng)網(wǎng)絡進行第二次預訓練。

二次預訓練方法減小背景塊像素值的算法，用偽代碼描述如下：

Begin

圖像I分割成4*4的16塊；

提取原始圖像I的背景塊域B；

將背景塊像素值存于矩陣BG；

for(i=0;i

for(j=0;j

BG[i][j]=BG[i][j]*threshold value;

end for

end for

End

2.2 Attention機制

僅獲取一種類型的關(guān)注，如比例關(guān)注[7]或空間關(guān)注[8]，需要通過權(quán)重共享或歸范化對網(wǎng)絡結(jié)構(gòu)施加額外的約束。文獻[9][10]研究了混合關(guān)注。混合關(guān)注在沒有附加約束的情況下，通過改變不同的關(guān)注度，可以獲得最佳的網(wǎng)絡性能。文獻[11]使用了Sigmoid混合關(guān)注、通道關(guān)注和空間關(guān)注三種類型的激活函數(shù)。混合關(guān)注f1是在沒有施加額外約束的條件下，針對每一個通道和空間位置，使用激活函數(shù)Sigmoid。通道關(guān)注f2對所有通道內(nèi)的每個空間位置的像素點執(zhí)行L2標準化，達到移除空間信息的目的。空間關(guān)注f3的作用與通道關(guān)注f2相反，對每個通道的所有特征圖進行標準化，移除通道信息僅保留空間信息。其計算公式如下方法

(1)

(2)

(3)

其中，i表示所有空間位置，c表示所有通道，meanc和stdc分別表示第c個通道的均值和標準差，xi表示第i個空間位置的特征向量。

由于Sigmoid為飽和非線性函數(shù)，而ReLU為非飽和非線性函數(shù)，所以ReLU比Sigmoid的訓練速度快；同時，ReLU函數(shù)具有單側(cè)抑制作用，使得網(wǎng)絡具有稀疏激活性，能夠更好地學習數(shù)據(jù)特征，所以ReLU還具有學習準確度高的特點。綜上所述，使用了帶有隨機失活和數(shù)據(jù)增強的ReLU激活函數(shù)[10]，其計算公式如下方法

(4)

(5)

(6)

3 實驗結(jié)果及分析

3.1 實驗參數(shù)與圖像庫

實驗使用的圖像庫是Corel公司提供的標準圖像素材庫Corel-1000。該庫包含了人物、建筑物、公交車、花卉、動物等10類共1000幅圖像，800張作為訓練集，剩余200張作為測試集。為了方便網(wǎng)絡讀取，對圖像庫進行了預處理操作，將圖像尺寸由原來的3*100*128壓縮成3*48*48。

實驗中使用二次預訓練方法對圖像庫進行分類實驗時，將圖像填充為正方形后，將其等分為16塊，取靠近中心點的4塊作為中心塊，剩余的塊作為背景塊。神經(jīng)網(wǎng)絡模型的Epoch設為50，每次迭代次數(shù)為8，批處理大小為100幅圖像。第一層卷積有2304個神經(jīng)單元，卷積核大小是3*3；中間卷積層有100個神經(jīng)單元，卷積核大小是2*2，濾波器是40個。卷積步長設為1，填充設為0。池化層步長設置為2，池化窗口大小為2*2。最后，Softmax層有10個神經(jīng)單元，表示將圖像分為10類。

通過最小化損失函數(shù)來獲得最優(yōu)解。本研究使用交叉熵誤差函數(shù)[12]作為損失函數(shù)，其表達式為

(7)

要使損失函數(shù)最優(yōu)化，需要用到優(yōu)化方法，實驗采用Adam優(yōu)化器[13]。結(jié)合AdaGrad和RMSProp兩種優(yōu)化算法的優(yōu)點。綜合考慮梯度的一階矩估計(梯度的均值)和二階矩估計(梯度的未中心化的方差)，計算更新步長。

更新步驟可總結(jié)如下：

1)計算時刻t的梯度

gt=?θJ(θt-1)

(8)

2)計算梯度的指數(shù)移動平均數(shù)

mt=β1mt-1+(1-β1)gt

(9)

其中，將m0初始化為0，系數(shù)β1為指數(shù)衰減率，控制權(quán)重分配(動量與當前梯度)，默認為0.9。

3)計算梯度平方的指數(shù)移動平均數(shù)

(10)

其中，v0初始化為0，β2為指數(shù)衰減率，控制之前梯度平方的影響情況，默認為0.999。

4)對梯度均值mt進行偏差糾正

(11)

5)對梯度方差vt進行偏差糾正

(12)

6)更新參數(shù)，默認學習率α=0.00

(13)

其中，ε=10-8，避免除數(shù)為0。步長通過梯度均值和梯度均方根進行自適應調(diào)節(jié)。

3.2 實驗結(jié)果

本研究將基于中心塊的二次預訓練方法的卷積神經(jīng)網(wǎng)絡(Center-based Convolution Neural Network， CTCNN)和降低背景噪聲的二次預訓練方法的卷積神經(jīng)網(wǎng)絡(Background Convolution Neural Network， BGCNN)統(tǒng)稱為TPCNN(Two pre-training Convolution Neural Network， TPCNN)。背景塊閾值設為0.5時，CNN和TPCNN在測試集上的實驗結(jié)果見表1。

表1 CNN和TPCNN在測試集的準確率比較

其中，分類算法的提高率為：

(14)

從表1可以看出：由于CTCNN算法在第一次預訓練時突出了圖像中的目標物體，分類準確率有了一定提高；而BGCNN算法在第一次預訓練時，不僅突出了圖像中的目標物體，還降低了背景噪聲的干擾，從而較大程度地提升了分類效果。CTCNN比CNN分類準確率提高了5.71%，BGCNN比CNN提高了11.43%。TPCNN抑制了訓練過程中出現(xiàn)的過擬合現(xiàn)象，從而提高了分類準確率。

從圖3中看到，BGCNN和CTCNN比CNN都有效提高了分類精度。并且，由于BGCNN降低了背景噪聲的干擾，從而性能比CTCNN和CNN相對穩(wěn)定。

圖3 TPCNN和CNN在測試集的曲線精度對比圖

使用BGCNN模型對圖像庫進行分類時，選取不同的背景塊閾值會產(chǎn)生不同的實驗效果。將背景塊閾值分別設為0.3、0.5、0.7時，其在測試集上的實驗結(jié)果見表2。

表2 不同背景塊閾值的實驗效果比較

當背景塊閾值分別選取0.3、0.5、0.7時，準確率分別為71.7%、74.1%和72.9%。從準確率分析來看，當閾值是0.5時，實驗效果最優(yōu)。這是由于閾值為0.3時，過度降低了背景塊區(qū)域?qū)D像分類所產(chǎn)生的影響。其準確率接近于CTCNN的實驗效果，原因在于選取的背景塊像素值過小，對圖像分類的影響不大。閾值為0.7時，選取了過高的背景塊域值，容易造成過擬合，使實驗結(jié)果未達到最優(yōu)。而閾值為0.5時，選取了恰當?shù)谋尘皦K域值，實驗性能最優(yōu)。

混合關(guān)注分別是Sigmoid激活函數(shù)和ReLU激活函數(shù)時，BGCNN神經(jīng)網(wǎng)絡模型在測試集上的實驗效果見表3。

表3 兩種不同混合關(guān)注的實驗效果比較

通過實驗看出，與Sigmoid函數(shù)相比，ReLU函數(shù)能夠更好地學習數(shù)據(jù)特征，錯誤率更低。

通過圖4的曲線圖可以看出，與Sigmoid函數(shù)相比，ReLU函數(shù)還能夠更快地學習數(shù)據(jù)特征，不但錯誤率更低且收斂速度也較快。

圖4 Sigmoid和ReLU函數(shù)在測試集上的錯誤率

當BGCNN模型第一個卷積層使用三種不同Attention類型的激活函數(shù)進行實驗時，在測試集上得到的實驗結(jié)果見表4和箱線圖5。

表4 三種不同Attention機制實驗效果

圖5 三種不同Attention機制在測試集上的錯誤率

表4可以看出：通道關(guān)注和空間關(guān)注，僅關(guān)注了一種類型，分別去除了空間位置信息和通道信息，與混合關(guān)注相比，實驗結(jié)果數(shù)據(jù)不夠理想；而混合關(guān)注同時考慮了空間位置和通道信息，其性能最優(yōu)。

從圖5的箱線圖中，可以觀察到，混合關(guān)注的最大、最小和中值錯誤率均小于空間關(guān)注和通道關(guān)注。此外，混合關(guān)注的下四分位數(shù)均小于其它兩種關(guān)注的上四分位數(shù)。因此，混合關(guān)注不僅有較低的錯誤率，而且性能也相對穩(wěn)定。相比于通道關(guān)注，空間關(guān)注性能略有提高。

當BGCNN模型兩個卷積層均使用三種Attention機制時，在測試集上得到的實驗結(jié)果見表5。

表5 三種不同Attention機制實驗效果

可以看出：當兩層卷積都使用通道關(guān)注或空間關(guān)注時，實驗結(jié)果差距明顯。表4空間關(guān)注比通道關(guān)注的分類錯誤率低；而表5中當兩層卷積僅使用單一關(guān)注時，相比于通道關(guān)注，f1(xi,c)空間關(guān)注不但未達到表4中的性能，反而錯誤率迅速上升。

4 總結(jié)

本文提出了一種基于分割權(quán)重的二次預訓練方法，通過降低圖像背景噪聲的干擾，抑制了CNN圖像分類訓練過程中出現(xiàn)的過擬合現(xiàn)象；同時，使用三種不同Attention類型的激活函數(shù)，在二次預訓練方法上充分進行驗證。實驗結(jié)果表明，二次預訓練方法對圖像分類效果有較大程度的提升；同時，加入混合Attention的實驗效果最優(yōu)。在未來的研究工作中，逐漸嘗試將優(yōu)化算法用于參數(shù)優(yōu)化，使模型性能達到更優(yōu)。