融合多特征與隨機森林的紋理圖像分類方法*

陳 靜, 張艷新, 姜媛媛

(安徽理工大學(xué) 電氣與信息工程學(xué)院,安徽 淮南 232001)

0 引 言

紋理分析及紋理特征提取一直是圖像處理研究的活躍領(lǐng)域,利用紋理特征進行紋理圖像分類是研究者們關(guān)注的焦點。如何提取具有代表性的紋理特征是成功進行紋理圖像描述的重要環(huán)節(jié),直接影響后續(xù)分類的正確率[1]。

為了表示圖像的紋理信息,研究人員提出了多種不同的紋理特征計算方法,包括灰度共生矩陣(gray-level co-occurrence matrix,GLCM)算法[2]、馬爾可夫隨機場(Markov random field,MRF)模型算法[3]、離散小波變換(discrete wavelet transform,DWT)算法[4]、局部二值模式(local binary pattem,LBP)算法[5]等。由于單一紋理特征不能表示各種不同的紋理信息,研究人員在已有的紋理特征提取方法基礎(chǔ)上,進行了一種新的處理,即特征融合。文獻[6]在場景分類中融合小波變換和局部二值模式算法,充分地反映了場景的全局特征和局部紋理信息,有效地提高了場景分類的準(zhǔn)確率；文獻[7]融合Gabor多方向特征與分塊直方圖用于人臉表情識別,消除了特征數(shù)據(jù)的冗余性,提高了識別率；文獻[8]提出的一種改進的紋理描述符—ILBP(improve LBP),將LBP算法和GLCM算法的優(yōu)點結(jié)合在一起,有效地提高了對圖像區(qū)域特征的描述能力。

上述方法都沒有考慮紋理圖像采集時會由于不同的拍攝視角以及拍攝尺度和光照不均等因素,不可避免地會引起同類圖像間存在不同程度的失真[9],進而對紋理圖像的分類造成影響。針對上述問題,本文提出了一種融合多特征與隨機森林的分類方法。

1 紋理特征提取

特征提取是紋理圖像分類檢測中最為關(guān)鍵的一步,提取時間短、區(qū)分度強、健壯性好是提取紋理特征的指標(biāo)。為了更好描述失真紋理圖像的特征,本文對紋理圖像提取GLCM特征與HOG特征。

1.1 GLCM特征提取

GLCM可以表示圖像中距離為(Δx,Δy)的兩個灰度像素同時出現(xiàn)的聯(lián)合頻率分布,能反映出圖像灰度在各個方向、相鄰間隔以及幅度變化上的總體信息。

文獻[10]描述不同像素對(x1,y1)與(x2,y2),它們相隔距離為d,且與橫坐標(biāo)的夾角為θ,則不同間隔以及角度的灰度共生矩陣記為P(i,j,d,θ)。其表達式如下

P(i,j,d,θ)=C{(x1,y1),(x2,y2)∈(Ly×Lx)×

(Ly×Lx)|d,θ,I(x1,y1)=i,I(x2,y2)=j}

(1)

為了能更直觀地描述紋理狀況,本文通過LBP算子計算原圖像得到LBP圖像,在此基礎(chǔ)上以灰度共生矩陣得到的對比度、熵、能量和逆差矩4個統(tǒng)計量作為紋理特征。分別記為f1,f2,f3,f4,其計算公式如下

(2)

通過計算上述4個統(tǒng)計量在0°,45°,90°和135°方向上對應(yīng)的值,得到一個16維特征向量,用它來表示圖像所包含的紋理信息。

1.2 改進的方向梯度直方圖特征提取方法

方向梯度直方圖(histogram of oriented gradient,HOG),是一種基于局部區(qū)域的特征描述符[11]。圖像中的物體可以用局部區(qū)域的梯度信息來表示其邊緣特征。HOG描述符是對已經(jīng)劃分好區(qū)域的圖像進行計算,其劃分的標(biāo)準(zhǔn)是在整個圖像上形成無間隔且大小統(tǒng)一的小區(qū)域,稱它們?yōu)榧毎麊卧?cell)。同時采用了可重疊的塊(block)的歸一化技術(shù),降低了光照等的干擾。

HOG算法是將統(tǒng)一大小的圖像化分為若干個8像素×8像素大小的cell,同時將梯度方向分為9個區(qū)間段,分別計算每一個cell中各個像素點的梯度方向和模,并在各個梯度方向上增加對應(yīng)bin的值,最后將所有cell的梯度直方圖前后相連,組合成一個高維特征向量。

圖像中像素點(x,y)的梯度為

Gx(x,y)=H(x+1,y)-H(x-1,y)

(3)

Gy(x,y)=H(x,y+1)-H(x,y-1)

(4)

式中Gx(x,y),Gy(x,y),H(x,y)分別為輸入圖像中位于(x,y)處的像素的水平方向梯度、垂直方向梯度和像素值。像素點(x,y)處的梯度幅值和梯度方向分別為

G(x,y)=Gx(x,y)2+Gy(x,y)2

(5)

α(x,y)=arctan(Gy(x,y)/Gx(x,y))

(6)

但是由以上過程得到的HOG特征維數(shù)過大,對于64×64的圖像,得到的HOG特征有1 764維,維數(shù)較大,不利于訓(xùn)練。所以本文對提取的HOG特征通過序列后向特征選擇算法(SBS)進行特征選擇,去除對分類影響不大的特征,減少特征維數(shù)。

2 多特征融合策略

特征融合技術(shù)既融合了多種特征的最具有代表性的信息,又能去除一些不必要或相似的信息,在運算速度和實時性方面有很大的提高。本文在對HOG特征進行特征選擇的基礎(chǔ)上,采用主成分分析(principal component analysis,PCA)法實現(xiàn)失真紋理圖像的多特征融合。融合之前要對提取的特征矩陣進行歸一化。

2.1 特征歸一化

方差是和特征變量相關(guān)聯(lián)的,特征變量取值的分散程度由方差決定,并且方差越大,主成分分析時對應(yīng)的變量往往會被優(yōu)先考慮。但是這樣會去除一些代表性的特征,影響分類正確率,所以在進行融合之前,一般要對原始數(shù)據(jù)進行歸一化處理,處理后的特征更利于分析與計算[12]。本文采用式(7)所示的0均值歸一化方法。歸一化公式如下

(7)

式中μ,σ分別為特征向量的均值和方差。

2.2 PCA特征融合實現(xiàn)

歸一化后的特征向量還存在維數(shù)多且包含冗余信息的問題,會造成分類器的性能變差。為了提取出維數(shù)少且具有代表性的特征,對歸一化后的兩個特征采用主成分分析法進行降維融合處理。具體步驟如下：1)將提取的所有特征級聯(lián)組成一個新的特征矩陣;2)由特征矩陣的協(xié)方差矩陣計算得到相應(yīng)的特征值及特征向量,從而確定主成分累積貢獻率;3)根據(jù)主成分累積貢獻率確定主成分個數(shù)以及要進行變換的特征向量個數(shù),從而確定變換矩陣;4)由提取的特征和所確定的變換矩陣得到多特征融合后的綜合特征。

特征矩陣經(jīng)上述過程處理后,降低了特征維數(shù),減少了特征間的冗余性,提高了分類性能。

2.3 隨機森林實現(xiàn)分類

由于特征維數(shù)的大小、參數(shù)的選取以及特征歸一化方法的不同,采用單一分類器無法預(yù)測最好的識別結(jié)果[13]。不同的分類器對于不同的數(shù)據(jù)其分類性能各不一樣,多分類器融合就是結(jié)合不同分類器的優(yōu)點,得出最好的分類結(jié)果。本文采用隨機森林來實現(xiàn)多分類器的融合。

隨機森林就是通過集成學(xué)習(xí)的思想將多個決策樹集合到一起的一種算法,它的本質(zhì)是一種集成學(xué)習(xí)方法。一棵決策樹是一個分類器,每輸入一個樣本圖像,隨機森林內(nèi)部會得到N個分類結(jié)果[14],最后會選擇投票次數(shù)最多的類別為最終的識別結(jié)果。

隨機森林中某個類(xi)的信息可以定義如下

I(X=xi)=-log2p(xi)

(8)

式中I(x)為隨機變量的信息,p(xi)為xi發(fā)生時的概率。熵是用來度量不確定性的,熵越大即這個類別的不確定性更大,反之越小。

所以隨機森林通過組合多個分類器來解決單一預(yù)測問題。它通過生成多個分類器,各自獨立地學(xué)習(xí)和作出預(yù)測。將這些預(yù)測最后結(jié)合成單預(yù)測,因此預(yù)測結(jié)果要優(yōu)于任何一個單分類器。

3 實驗測試與性能分析

3.1 實驗數(shù)據(jù)

為了驗證本文提出的融合多特征與隨機森林的方法對紋理圖像的分類性能,選取KTH-TIPS紋理圖像庫里5種不同類型的紋理圖像(分別為aluminium_foil、corduroy、cracker、sandpaper和sponge),共405幅圖像進行實驗。KTH-TIPS紋理圖像庫是在不同光照、不同視角和不同尺度下拍攝的不同材質(zhì)表面的紋理圖像,且有些圖像存在模糊等現(xiàn)象。本文所用5類圖像如圖1所示。

圖1 5類KTH-TIPS紋理圖像

本文每一類別的訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)分別按7︰3的比例進行隨意切分得到。

3.2 特征提取過程

3.2.1 提取GLCM特征

計算灰度共生矩陣得到的能量、熵、對比度和逆差矩四個統(tǒng)計量,用它們作為紋理圖像的特征。這里分別計算在0°,45°,90°和135°方向?qū)?yīng)的上述4個統(tǒng)計量的值,得到一個16維的特征向量。經(jīng)實驗對比證明,提取LBP圖像的GLCM特征值要比單獨提取原圖像的GLCM特征值效果更好。LBP圖像是通過計算原圖像的LBP值得到的一幅和原圖像同樣大小的新圖像。本文列出了Aluminium_foil圖像與其相應(yīng)的LBP圖像,如圖2所示。

圖2 Aluminium-foil原圖像與其相應(yīng)的LBP圖像

表1列出了每種類別的紋理圖像在水平方向上的GLCM特征值。每種類別的紋理圖像只列舉了一個樣本。

表1 5個不同類別的LBP圖像在水平方向上的GLCM特征值

3.2.2 改進的HOG特征提取

在OpenCV中HOG描述子是由大小為64像素×64像素的檢測窗口決定的,圖像中檢測窗口在水平方向和垂直方向每移動一次是8個像素單位。同時定義塊的大小為16像素×16像素,它在檢測窗口中每移動一次也是8個像素單位,且規(guī)定單元格的大小為8像素×8像素。這里統(tǒng)計的是每一個單元格內(nèi)9個方向的梯度直方圖。經(jīng)分析知,一個檢測窗口有((64-16)/8+1)×((64-16)/8+1)=49個Block,每個Block包括4個Cell,每個Cell里提取一個9維的向量,所以一個檢測窗口里是一個49×4×9=1 764維的HOG描述子向量。圖3列舉了Aluminium-foil原圖像、Aluminium-foil圖像對應(yīng)的Block個數(shù)和特征數(shù)以及提取的HOG特征圖。

圖3 HOG特征提取過程

經(jīng)上述過程后,HOG特征維數(shù)為1 764維,維數(shù)較大不利于特征訓(xùn)練。本文利用序列后向特征選擇算法對HOG特征進行粗選擇,采用支持向量機進行驗證。圖4列出了HOG特征在不同特征維數(shù)下對識別率的影響。

圖4 HOG特征在不同特征維數(shù)下對識別率的影響

3.3 實驗結(jié)果分析

多特征融合過后,采用隨機森林算法進行分類正確率的驗證,經(jīng)實驗獲得了本文所用方法經(jīng)PCA降維融合后在不同維數(shù)下的分類正確率,如圖5所示。

圖5 融合后的特征在不同維數(shù)下的識別率

由上圖可知特征維數(shù)在20維左右的識別率最高,所以本次實驗取特征向量的維數(shù)為20維。

為了更好地說明本文方法對紋理圖像的分類效果,設(shè)計了4組對比實驗。在OpenCV+VS2012平臺上,將本文提出的多特征與多分類器融合的方法與HLBP+SVM、GLCM+SVM以及本文多特征融合+SVM的方法進行了對比實驗。實驗過程中所有圖像均利用雙線性插值統(tǒng)一為64像素×64像素。實驗對比結(jié)果如表2所示。

表2 本文方法與其它方法結(jié)果對比

通過上面表格的比較可以知道,本文采用的融合多特征與隨機森林的方法,降低了特征維數(shù)。由于采用隨機森林算法進行訓(xùn)練,特征訓(xùn)練時間相較于單分類器訓(xùn)練時間略長。通過在KTH-TIPS數(shù)據(jù)集上對比驗證可知,光照變化對提取HLBP紋理特征影響較大,其識別率較低。而本文采用多特征融合的方法,更全面地描述了失真紋理圖像的特征。分類器采用隨機森林算法,其識別率相較于多特征融合+單分類器提高了8 %,較單一特征+單分類器提高了30 %左右。因此本文方法對不同光照、不同視角和不同尺度拍攝下的失真紋理圖像有較好的分類效果。

4 結(jié)束語

本文提出了一種融合多特征與隨機森林的紋理圖像分類方法,解決了單一特征或單一分類器對失真紋理圖像分類識別率差的問題。為了更加準(zhǔn)確的描述失真紋理圖像,改進了HOG特征提取方法,同時提取了原圖像對應(yīng)的LBP圖像的GLCM特征。通過主成分分析法進行降維融合處理,實現(xiàn)特征級融合,進而減少了計算量,縮短了特征訓(xùn)練時間。采用隨機森林分類的方法,實現(xiàn)決策級融合,在一定程度上提高了紋理圖像的分類正確率。