基于綜合特征和ＳＶＭ相關(guān)反饋的圖像檢索

摘 要：提出綜合紋理、顏色和形狀特征的圖像檢索方法。首先采用Gabor小波計算ROIs(Regions of Interest)的位置和數(shù)目；然后在ROIs中，使用Gabor小波提取紋理特征，采用YUV空間直方圖和顏色矩表示顏色特征，使用Zernike矩提取形狀特征。為了提高圖像檢索的準(zhǔn)確度，最后采用基于支持向量機(SVM)的相關(guān)反饋算法。實驗結(jié)果表明，提出的方法具有較好的檢索性能。

關(guān)鍵詞：圖像檢索；特征提取；Zernike矩；紋理分析；相關(guān)反饋；支持向量機

中圖分類號：TP3914 文獻(xiàn)標(biāo)識碼：B 文章編號：1004373X(2008)1614304

Image Retrieval Based on Integrative Features and SVM Relevance Feedback

WU Kai，GU Shiwen，LIU Yinglong

(College of Information ScienceEngineering，Central South University，Changsha，410075，China)

Abstract：The main focus in this paper is on integrated color，texture and shape extraction methods for CBIR.Original CBIR methodology that uses Gabor filtration for determining the number of Regions of Interest (ROIs).In the ROIs extracted，texture features based on thresholded Gabor features，color features based on histograms，color moments in YUV space，and shape features based on Zernike moments are then calculated.At last，an algorithm of the support vector machine for improving veracity of image retrieval is applied.The result of experiment illustrate proposed method have a better retrieval performance.

Keywords：image retrieval;feature extraction;Zernike moments;texture analysis;relevance feedback;support vector machine

1 引 言

近年來，隨著多媒體和網(wǎng)絡(luò)技術(shù)的迅速發(fā)展，人們越來越多地接觸到大量的圖像信息。為了能夠從這些大量的圖像數(shù)據(jù)中快速準(zhǔn)確地找到用戶所需內(nèi)容的圖像，基于內(nèi)容的圖像檢索(CBIR)技術(shù)已經(jīng)成為一個研究的熱點。其應(yīng)用領(lǐng)域涉及多媒體數(shù)據(jù)庫、電子圖書館、商標(biāo)管理、衛(wèi)星圖像管理等方面^［1，2］。

圖像包含豐富的內(nèi)容，提取圖像的一種特征往往只能表達(dá)圖像的部分屬性，對內(nèi)容的描述比較片面；提取圖像全局特征的方法，沒有對圖像目標(biāo)重要區(qū)域信息集中提取，不能反映目標(biāo)區(qū)域綜合特征^［14］。在目標(biāo)區(qū)域中使用顏色、紋理和形狀特征描述一幅圖像的特征^［5，6］，在圖像目標(biāo)區(qū)提取圖像紋理，顏色和形狀綜合特征信息，然后進(jìn)行圖像檢索，是本文研究的重點。

本文首先采用Gabor過濾器提取一定數(shù)量的POIs(Points of Interest)，圍繞每個POIs選取一個適當(dāng)大小的區(qū)域(ROIs) (Regions of Interest)作為特征向量提取的目標(biāo)區(qū)域，使用基于閾值Gabor小波變換提取圖像紋理特征，基于YUV空間的顏色矩和直方圖提取顏色特征^［7］，和基于Zemike矩提取形狀特征。為了進(jìn)一步提高圖像檢索的精度，最后采用SVM的相關(guān)反饋算法. ［810］。實驗結(jié)果表明，提出的方法具有良好的檢索性能，系統(tǒng)具有較好的魯棒性。

2 Gabor過濾器和POIs的提取

對于圖像目標(biāo)區(qū)域的提取，第一步檢測圖像的POI，通過POIs的輔助，來提取圖像ROIs， POI的檢測首先使用Gabor小波變換對圖像進(jìn)行分解，用到的二維的Gabor過濾器為：

ψ(x，y;σ，λ，θk)=expx.2θk+γ.2y.2θk2σ.2exp2πxθkλi(1)

式(1)中xθk=xcos θk+ysin θk，yθk=-xsin θk+ycos θk，σ是沿x和y方向的高斯包絡(luò)線的標(biāo)準(zhǔn)差，γ是空間縱橫比；λ和θk分別是波長和方向。這里僅使用信號的奇成分，通過在xy平面上變化角度θk，產(chǎn)生在角度θk上的Gabor過濾器，θk=π/n(k-1)(k=1，2，…，n)，n∈N，n表示方向的數(shù)目。在本文的CBIR系統(tǒng)中，使用4個方向的角度：0°，45°，90°，135°。圖像f(x，y)和二維的Gabor奇過濾器ψo(x，y;σ，λ，θk)進(jìn)行反卷積，獲得一個Gabor小波過濾后的圖像Φo(x，y)表示如下：

Φo(x，y;σ，λ，θk)=∑η∑ζf(η，ζ)·

ψ(x-η，y-ζ;σ，λ，θk)dηdζ(2)

POI提取的算法如下，分為4個步驟：

(1) 將Gabor小波過濾后的圖像Φo(x，y;σ，λ，θk)分成沒有重疊的大小為a×a的塊b.k(i，j)(k=1，2，3，4)(假設(shè)分為p塊)；

(2) 計算每個分割塊的V.k(i，j)(V.k(i，j)=1a.2∑ai=0∑aj=0b.k(i，j))；

(3) 在p塊個分割b.kp(i，j)塊中尋找最大值的V.k(i，j)的塊，表示圖像的輪廓；

(4) 在每個塊b.kp(i，j)中尋找大于某個設(shè)定的閾值的V.k(i，j)，滿足條件的坐標(biāo)點是圖像的POI。

3 在ROIs中提取紋理、顏色和形狀特征

3.1 基于Gabor過濾器的紋理特征

通過找到的POIs確定ROIs，計算每個ROI中能量和熵，作為圖像的紋理特征。對圖像使用Gabor過濾器后，應(yīng)用一個閾值函數(shù)獲得圖像的特征。公式表示為：To(x，y;σ，λ，θk)=χ(Φo(x，y;σ，λ，θk))(3)式(3)中χ(z)＝0 z<0

zz≥0。

在每個ROIs中計算熵和能量，在一個A×B尺寸的ROI中(A，B為目標(biāo)區(qū)域的尺寸)，歸一化的能量和熵能通過下列公式計算：Et=∑x∑yT.2o(x，y;σ，λ，θk)(A·B).2(4)

Entropy=-1(A·B)×∑x∑y{\\×

log2\\}(5) 計算的得到的紋理特征向量表示為：

Ftexture={Et1，Et2，…，Etp，Entripy1，Entropy2，…，

Entropyp}(6)

式(6)中p是ROIs的數(shù)目。紋理相似度度量公式如下(Q為要檢索的圖像，D為數(shù)據(jù)庫中的圖像)：d.(Q)(D)p=E.(Q)tp-E.(D)tp+Entropy.(Q)p-Entroopy.(D)p(7)3.2 顏色特征提取

在ROIs中提取顏色特征向量，采用的是YUV顏色空間，Y表示顏色的亮度，U，V表示顏色的色度：Y＝R+2G+B4〗；U=R-G；V=B-G(8) 為每個A×B大小的ROI中構(gòu)造直方圖：Hx(j)=number of pixel with luminance jnumber of pixels in x(9) 按照式(9)計算在圖像中每個ROI的顏色直方圖(Ep)。另外，圖像的顏色內(nèi)容同時通過用顏色矩值(σp)表示：Ep=1A·B∑A·Bs=1Yps

σp=1A·B∑A·Bs=1(Yps-Ep).2 顏色特征向量定義為：Fcolor={HQ1，HQ2，…，HQP，E1，E2，…，

EP，σ1，σ2，…，σP}(10) 式(10)中p是ROIs的數(shù)目。圖像的直方圖的相似度度量定義為：d.(Q)(D)p(Dp，Ep，σp)=∑pd.(Q)(D)p(11)式(11)中：

d.(Q)(D)p=Hp(Q)-Hp(D)+Ep(Q)-Ep(D)+

σp(Q)-σp(D)(12)

3.3 形狀特征以及Zernike矩

在ROIs中形狀的特征的提取采用Zernike矩方法。在計算圖像f(x，y)的Zemike矩時，把圖像f(x，y)映射到一個單位圓，圖像的中心是單位圓的圓心，在單位圓范圍外的像素點在計算時忽略。從提取的p個ROIs中計算圖像中的Zernike矩，計算方法在如下描述。

表1 Zemike矩多項式(部分)

(n，m)Rnm(r)(n，m)Rnm(r)(0，0)1(1，1)r(2，0)2r.2-1(3，1)3r.3+2r(2，2)r.2(3，3)r.3(4，0)4r.4+2r.2+1(5，1)5r.5+4r.3+3r(4，2)4r.4+3r.2(5，3)5r.5+4r.3(4，4)r.4(5，5)r.5

Zernike矩是一序列正交的Zernike多項式(如表1所示)，這些多項式定義域為單位圓。Zernike矩(ZM)多項式的次數(shù)由兩個參數(shù)決定：n和m(如表1所示)，Zernike矩的Znm由圖像f(x，y)決定，Zernike矩的Znm定義為：

Znm=n+1π∫.∞-∞∫.∞-∞\\*f(x，y)dxdy(13)

式(13)中f(x，y)是圖像在點(x，y)處的亮度，\\為：

Vnm(x，y)＝Vnm(ρcos(θ)，ρsin(θ))=Rnm(ρ)e.imθ(14)

n-|m|是一個偶正整數(shù)。式(16)中Rnm(ρ)的定義如下：Rnm(ρ)=∑n-|m|2S=0(-1).S\\ρ.n-2SS!(n+|m|2-S)!(n-|m|2-S)!(15) 因為Zernike函數(shù)定義域為一個單位圓，所以要求計算時把方形的圖像轉(zhuǎn)換為圓形的圖像如圖1所示。

圖1 方形圖像到圓形圖像轉(zhuǎn)換在實際的計算中，必須把式(13)離散化：

Znm=4(n+1)(N-1)(M-1)π∑M-1k=0∑N-1l=0f(k，l)Rnm(ρk，l)e.-jmθkl

0≤ρk，l≤1(16)

式(16)中ρk，l= x.2k+ y.2l ;θkl= arctan(ylxk)。

其中xk=2M-1k+-12；yl=2N-1l+-12(17) 式(17)k=0，…，M-1和l=0，…，N-1。Zernike矩具有旋轉(zhuǎn)不變的特性，Zernike矩能比較好的描述圖像的形狀特征，使用下面的特征向量作為圖像的形狀特征向量：SFV=(Z1m，Z2m，…，Znm)(18)

4 支持向量機的相關(guān)反饋

4.1 相關(guān)反饋

為了進(jìn)一步提高圖像檢索的精確度，用戶在是使用相似度計算進(jìn)行檢索后，對檢索的結(jié)果進(jìn)行評價，標(biāo)記出相關(guān)和不相關(guān)的圖像，然后提出基于SVM的相關(guān)反饋算法，將圖像按相似度的大小返回給用戶。系統(tǒng)的檢索結(jié)構(gòu)框圖如圖2所示：

4.2 支持向量機(SVM)

假定某個超平面w·x+b=0，可以2類分開，它所對應(yīng)的分類函為g(x)=w·x+b。將g(x)歸一化后，求解最優(yōu)分類面的問題等價于最小化‖w‖，目標(biāo)函數(shù)為:min φ(w)=12‖w‖.2=12w.T·w(19) 式(19)的條件為：yi(+b)≥1，i=1，2，…，n，最優(yōu)解是下面定義Lagrance函數(shù)的鞍點：L(w，b，α)=12‖w‖.2-∑ni=1αi(yi(w·xi+b)-1)(20) 上式分別對w和b求偏導(dǎo)，并令它們等于0 ，這個最優(yōu)解還必須滿足約束條件：

αi(yi(w·xi+b))-1=0，i=1，2，…，n，最終可得到判別函數(shù)為：

f(x，a′，b′)＝sgn(∑ni=1yiαi′+b′)(21)

對于線性不可分的情況，目標(biāo)函數(shù)φ(w)改寫為：min φ(w)＝12w.T·w+C(∑ni=1ξ)(22) 利用核函數(shù)K(x，y)代替原來的點積，最優(yōu)分類函數(shù)為：f(x，a′，b′)=sgn(∑ni=1yiai′K(xi，x)+b′)(23)圖2 系統(tǒng)結(jié)構(gòu)圖5 實 驗

基于上述思想，實現(xiàn)了一個圖像檢索系統(tǒng)，該系統(tǒng)在Windows XP下開發(fā)，運行在P43.0 G，RAM 1 G的PC機上對一個具有3 000幅的彩色圖像數(shù)據(jù)庫進(jìn)行處理。檢索的效果有2個度量標(biāo)準(zhǔn)：precision和recall。precision是被檢索到的圖像和在數(shù)據(jù)庫中相關(guān)的被檢索圖像的總數(shù)的比率，recall是被檢索到的圖像和在數(shù)據(jù)庫中相關(guān)的圖像的總數(shù)的比率。Recall和precision定義如下：R=NT和P=NK(24)式(24)中，N是相關(guān)的被檢索的圖像數(shù)量；T是相關(guān)圖像的總數(shù)；K是檢索的圖像的數(shù)量。

實驗用本文的方法與其他3種其他不同的圖像檢索方法在檢索性能上做了比較，本文的方法為基于相關(guān)反饋的在ROI中綜合特征提取的方法。其他3種方法分別為：在ROI中的綜合特征的提取方法、綜合特征(color+texture+shape)的提取方法和只提取顏色和紋理的方法。實驗結(jié)果對比如下：

圖3 對比結(jié)果圖4 綜合特征提取的結(jié)果圖5 基于相關(guān)反饋的在ROI中綜合特征提取的結(jié)果

6 結(jié) 語

本文首先在ROIs中提取顏色、紋理、形狀綜合特征，然后對圖像進(jìn)行檢索。在檢索過程中，提出基于SVM的相關(guān)反饋技術(shù)，加強用戶的交互，縮小底層特征和高層語義之間的語義鴻溝，提高了檢索精度。由于系統(tǒng)僅計算的ROIs中的顏色、形狀和紋理綜合特征向量，增強了系統(tǒng)的有效性和魯棒性，大大改善了圖像檢索的性能。實驗結(jié)果表明，該方法提高了檢索的效率，且具有良好的魯棒性。

參 考 文 獻(xiàn)

［1］Smeulders A W M，Worring M，Gupta A，et al.Contentbased Image Retrieval at the end of the Early Years\\.IEEE Trans.Pattern Anal.Machine Intell.，2000，22:1 3491 380.

［2］Choras R.Contentbased Retrieval Using Color，Texture，and Shape Information.Progress in Pattern Recognition，Speech and Image Analysis，Springer，Heidelberg，2003.

［3］Howarth P.Rüger S.Evaluation of Texture Features for Contentbased Image Retrieval\\.Image and Video Retrieval.Springer LNCS，2004.

［4］Flicker M，Sawhney H，Niblack W，et al.Query by Image and Video Content:The QBIC System.IEEE Comput.Mag.，1995，28:2332.

［5］章毓晉.基于內(nèi)容的視覺信息檢索［M］.北京:科學(xué)出版社，2003.

［6］Smith J R，Chang S F.VisualSEEK:A Fully Automated Contentbase Image Query System.In:Proceedings of the ACM International Conference on Multimedia，Boston，MA，1997:8798.

［7］曹莉華，柳偉，李國解.基于多種主色調(diào)的圖像獲取算法研究與實現(xiàn)［J］.計算機研究與發(fā)展，1999，36(1):96100.

［8］鐘洪，夏利民.基于本體的圖像檢索［J］ 計算機工程與應(yīng)用，2007，43(17):3740.

［9］邊肇祺，張學(xué)工.模式識別［M］.北京:清華大學(xué)出版社，2003.

［10］Bach JR，F(xiàn)uller C，Gupta A，et al.The Virage Image Search Engine:An Open Framework for Image Management.SPIE Storage RetrStill Image Video Database 1996:7687.

作者簡介 吳 凱 男，1980年出生，碩士，湖南岳陽人。研究方向為圖像處理、模式識別。

谷士文 男，1944年出生，教授，湖南長沙人，博士生導(dǎo)師。研究方向為圖像處理、模式識別。

劉應(yīng)龍 男，1958年出生，湖南長沙人，副教授。研究方向為多媒體工業(yè)視覺(機器人視覺)檢測。

注：本文中所涉及到的圖表、注解、公式等內(nèi)容請以PDF格式閱讀原文