空間金字塔與局部感受野相結合的相關熵極限學習機

劉 彬 劉 靜 吳 超 楊有恒

①(燕山大學電氣工程學院 秦皇島 066004)

②(燕山大學信息科學與工程學院 秦皇島 066004)

1 引言

近年來，隨著圖像分類領域的飛速發展，詞袋模型[1]作為一種簡單有效的圖像分類方法得到了廣泛的關注和研究。該方法將圖像特征量化為視覺單詞，通過統計出視覺單詞的頻率直方圖完成圖像表示。然而，僅統計單詞特征出現次數來表示圖像，使得特征分布中的空間信息未被有效利用。因此，Lazebnik等人[2]提出了空間金字塔詞袋模型(Spatial Pyramid Matching,SPM)，將圖像劃分成不同尺寸的子區域分別進行直方圖統計，有效提高了詞袋模型的分類能力，因此很多算法均基于SPM進行改進。

為提高分類效率，Li等人[3]在SPM中引入極限學習機(Extreme Learning Machine,ELM)[4]，利用其對提取出的SPM特征進行分類。由于ELM具有良好的特征，因而廣泛應用于分類、預測和回歸等領域[5–7]。然而傳統ELM只能利用已提取好的特征向量來訓練網絡，無法考慮特征的空間分布信息。因此，Huang等人[8]提出局部感受野極限學習機(Local Receptive Fields based Extreme Learning Machine,ELM-LRF)，通過將局部感受野與ELM相結合，使得網絡可以利用空間信息以增加特征辨識度。然而對于復雜圖像，單層網絡提取出的特征信息表達能力有限，無法進一步提高網絡分類能力。隨著計算機性能的不斷提升，研究學者提出了AlexNet,GoogleNet等深度學習網絡結構[9–12]，然而其訓練網絡所需的計算量遠超傳統分類算法。而ELM-LRF網絡簡單、易于訓練、泛化性強，在處理一些分類任務時同樣能夠獲得較高精度。

由于傳統ELM訓練方法通常使用的均方根誤差(Mean Square Error,MSE)準則對訓練數據中的離群點和脈沖噪聲較為敏感。因此，Xing等人[13]引入相關熵度量作為網絡損失函數，并利用半2次優化求解滿足相關熵準則的ELM，提高了算法在噪聲破壞和遮擋條件下的識別精度。吳超等人[14]利用拉格朗日乘子法求解基于相關熵的ELM(Correntropybased Fusion Extreme Learning Machine,CFELM)，并將其用于訓練網絡中各層權重以提高網絡分類性能。然而這些基于相關熵準則的改進算法沒有考慮向量之間的角度問題，降低了網絡的通用逼近能力。當網絡的實際輸出無限接近于期望輸出時，不僅向量模長應無限趨近，兩者所成角度也應為最小。

針對以上問題，本文提出空間金字塔與局部感受野相結合的相關熵極限學習機(Correntropy Extreme Learning Machine based on Spatial pyramid matching and local Receptive field,SR-CELM)。在特征提取部分，將SPM特征與ELM-LRF充分結合，提取出空間中的局部特征分布信息。按照字典順序重新排列空間金字塔區域內的各個字典特征，并統計其在每個子區域內的出現頻率，利用多尺度局部感受野提取各層級字典特征分布圖的卷積特征。同時，為提高特征多樣性，引入局部位置特征和全局輪廓特征。在特征分類部分，提出一種新的網絡對各部分特征進行編碼和融合。為提高網絡的魯棒性與分類性能，構建出基于相關熵準則的模長差值與角度約束，推導出相關熵循環更新公式以訓練網絡的輸出權重。最后在Caltech 101,MSRC和15 Scene數據庫上進行實驗，以驗證SR-CELM的有效性。

2 空間金字塔與感受野相結合的相關熵極限學習機

為充分提取與利用圖像中的可辨識特征信息，本文提出了空間金字塔與感受野相結合的相關熵極限學習機(SR-CELM)，SR-CELM主要由特征提取和特征分類兩部分組成，其整體結構如圖1所示。

圖1 SR-CELM結構圖

2.1 特征提取

圖2 不同子區域特征頻率統計圖

2.2 特征分類

由于傳統ELM-LRF在訓練時均使用MSE作為損失函數，利用式(4)訓練的各層權重會使網絡整體易受噪聲干擾。因此本文改進相關熵準則的判別性約束，推導出相關熵循環更新公式以求解輸出權重。

2.3 相關熵準則輸出權重的求解方法

3 實驗結果與分析

為驗證所提方法的有效性，本文從Caltech 101,MSRC和15 Scene數據庫中分別提取出圖像的SPM特征、局部位置特征和全局輪廓特征，將特征組合后輸入SR-CELM中。為公平比較，所有數據庫上的實驗均參照文獻[8]的實驗步驟進行。

在特征分類部分各層權重的訓練過程共需要5個參數，即懲罰項系數K與P，循環次數，局部感受野個數和相關熵參數d=2σ2。本文在各數據集上分別進行大量實驗，確定最優參數組合。本文的實驗環境為：Intel Xeon Silver 4110@2.1 GHz 8核CPU,64 GB RAM,MATLAB 2014a。

3.1 Caltech 101數據庫

本節使用Caltech 101數據庫中101類物體圖像進行實驗。選取訓練、測試圖像方式和數量與文獻[14]一致，共使用5948幅圖像進行實驗。

首先對參數d,K和P進行優化，當感受野個數為1，任意固定迭代次數為7，懲罰項P為 2?1,K和d變化時SR-CELM正確率變化曲面如圖3(a)所示。在圖3(a)中，K為2?10可獲得最高正確率，將其固定并調節懲罰項P, P和d變化時的正確率變化如圖3(b)所示。由此可得到圖3(b)中最優參數組合，即d,K和P分別為0.5,2?10和2?5。

圖3 不同參數變化時網絡正確率曲面圖

在此基礎上改變循環迭代次數和感受野個數所得網絡分類正確率如圖4所示。由折線圖可知，當字典維數為400維，感受野個數為21，迭代次數為8時，SR-CELM能達到最高正確率83.72%。當字典維數為600維，感受野個數為24，迭代次數為9時，能夠達到最高分類正確率84.13%。

圖4 不同字典維數下循環次數和感受野個數對網絡正確率影響折線圖

Caltech 101數據庫中部分圖像背景嘈雜，將圖像中的嘈雜背景視為干擾噪聲，選取幾類背景嘈雜圖像進行測試以驗證網絡抗干擾能力。將SRCELM、文獻[15]、CF-ELM和多尺度局部感受野極限學習機(Extreme Learning Machine with Multi-Scale Local Receptive Field s,ELMMSLRF)[16]的分類正確率進行比較，由圖5中不同方法正確率對比可知，在嘈雜背景噪聲干擾下SRCELM具有更好的抗干擾能力。

圖5 4種方法對Caltech 101數據庫中具有嘈雜背景圖像的正確率

表1列出了不同方法在Caltech 101數據庫上的訓練時間和正確率。由表1可知，與傳統方法相比，SR-CELM分類正確率分別比SPM，支持向量機(Support Vector Machine,SVM)，核極限學習機(Kernel Extreme Learning Machine,KELM)，文獻[15]和表示級特征融合的極限學習機(Fusion Extreme Learning Machine,F-ELM)高19.59%,5.79%,4.88%,5.79%和3.53%。SR-CELM因其編碼特征的網絡結構，正確率比文獻[17]高0.23%。與深度學習網絡Alex Net,GoogleNet相比，SRCELM以相對更簡單、層數更少的網絡獲得較高分類正確率，由此可證明在物體分類的數據集上，SR-CELM能夠有效利用圖像中蘊含的各部分特征，提高分類正確率。

表1 Caltech 101正確率(%)與訓練時間(s)

3.2 MSRC數據庫

本節選擇MSRC中的18個類別和MSRC-21數據庫中的3個類別，共21類物體圖像進行實驗。選取訓練、測試圖像方式和數量與文獻[14]一致，共使用1260幅圖像進行實驗。將提取出的SPM特征、局部位置特征和全局輪廓特征按照文獻[15]中[1,12,0.2]的系數進行加權串聯并輸入網絡。

當感受野個數為1，任意固定迭代次數為6，懲罰項P為2?6, K和d變化時，網絡正確率變化由圖6(a)所示。選取并固定此時最高正確率所對應的參數K，調節P和d，網絡正確率變化曲面圖如圖6(b)所示。當參數組合d,K和P值分別為0.6,2?8和2?1時，網絡可達到最高正確率為95.82%。調整循環迭代次數和感受野個數，可得到如圖7所示折線圖。在字典維數為400維，迭代次數為7，感受野個數為18時，網絡最高正確率為96.35%。當字典維數為600維，迭代次數為8，感受野個數為15時，網絡能夠達到最高正確率96.83%。

圖6 不同參數變化時網絡正確率曲面圖

圖7 不同字典維數下循環次數和感受野個數對網絡正確率影響折線圖

與3.1節相同，選取MSRC數據庫中具有嘈雜背景的5類圖像進行實驗。SR-CELM、文獻[15]、CF-ELM和ELM-MSLRF的正確率對比如圖8所示。由圖8可知，SR-CELM在各圖像小類的分類正確率高于其余3種方法，證明SR-CELM在物體圖像分類中能夠有效減少嘈雜噪聲對分類結果的影響。

圖8 4種方法對MSRC數據庫中具有嘈雜背景圖像的正確率

表2為不同方法在MSRC數據庫上的訓練時間和正確率。與其余改進方法相比，在字典維數相同時，SR-CELM分類正確率分別比文獻[15],SVM和F-ELM高出2.38%,2.22%和2.86%，具有較高分類精度。

表2 MSRC正確率(%)與訓練時間(s)

3.3 15 Scene數據庫

本節利用15 Scene數據庫測試SR-CELM對場景圖像的分類能力，選取訓練、測試圖像方式和數量與文獻[14]一致，總共使用4485幅圖像進行實驗。將提取出的SPM卷積特征、局部位置特征和全局輪廓特征串聯，并將這3部分特征按照[1,0.15,0.35]進行系數加權并輸入網絡。

當感受野個數為1，迭代次數為6，任意固定懲罰項P為2–6，K和d變化時，SR-CELM的正確率如圖9(a)所示。將K固定為圖中最高正確率所對應的參數值，并調節懲罰項P，當P和d變化時，網絡正確率變化曲面圖如圖9(b)所示。當d,K和P分別為0.4,2–5和2–4時，網絡能達到最高正確率85.86%。

圖9 不同參數變化時網絡正確率曲面圖

為確定循環迭代次數和感受野個數對網絡正確率的影響，分別對兩個參數進行實驗，得到實驗結果如圖10所示。當字典維數為400維，循環次數為6，感受野個數為21時，網絡能夠達到最高正確率88.34%；當字典維數為600維,，循環次數為4，感受野個數為21時，網絡能夠達到最高正確率88.71%。

圖10 不同字典維數下循環次數和感受野個數對網絡正確率影響折線圖

為驗證SR-CELM對含嘈雜背景的場景圖像的分類性能，選取數據庫中具有嘈雜背景的5類場景圖像進行測試，SR-CELM，文獻[15]，CF-ELM和ELM-MSLRF的正確率對比如圖11所示。由于不同場景類圖像中可能存在相似物體，因此在辦公室這一小類上SR-CELM分類正確率略低于CF-ELM。但從整體分類正確率來說，SR-CELM仍然具有良好的抗干擾能力。

圖11 4種方法對15 Scene數據庫中具有嘈雜背景圖像的正確率

表3將本文實驗結果與其他算法進行比較。在字典維數相同時，SR-CELM分類正確率分別比SVM,F-ELM高出1.88%, 4.01%，較同系列的ELM-MSLRF具有明顯優勢。文獻[17]比本文方法高1.39%的正確率，然而其算法的復雜性遠高于本文方法。與深度學習網絡相比，SR-CELM使用更少的層數和較少的節點數，分別比AlexNet和VGGNet高出13.8%,3.59%，略低于GoogleNet，但SR-CELM利用簡單的結構模型和較快的訓練速度同樣能夠達到較高正確率。

表3 15 Scene正確率(%)與訓練時間(s)

4 結束語

本文針對空間金字塔SPM特征空間分布信息利用不足的問題，提出了空間金字塔與感受野相結合的相關熵極限學習機，并將其用于圖像分類中。通過大量實驗并分析實驗結果可知，在特征提取時，將空間金字塔與局部感受野相結合能進一步利用特征的空間信息，并利用所提出網絡對特征進行編碼，有效實現了多特征的融合。在網絡權重訓練時，利用相關熵準則分別構建實際輸出與期望輸出的角度和模長約束，提高了網絡分類能力和穩定性。因此理論推導和實驗結果表明，SR-CELM具有良好的魯棒性和分類性能，但是，基于相關熵準則求解網絡輸出權重需要迭代調整，如何不通過迭代直接解析地求解權重是下一步研究的方向。