基于半圓形局部二值模式結構相關性描述子的圖像檢索

李 　 莉，　馮 　 林*,，　吳 　 俊，　劉 勝 藍

( 1.大連理工大學 電子信息與電氣工程學部 計算機科學與技術學院, 遼寧 大連　116024；2.大連理工大學 創新創業學院, 遼寧 大連　116024；3.大連理工大學 電子信息與電氣工程學部 控制科學與工程學院, 遼寧 大連　116024 )

?

基于半圓形局部二值模式結構相關性描述子的圖像檢索

李 莉1，馮 林*1,2，吳 俊2，劉 勝 藍3

( 1.大連理工大學 電子信息與電氣工程學部 計算機科學與技術學院, 遼寧 大連116024；2.大連理工大學 創新創業學院, 遼寧 大連116024；3.大連理工大學 電子信息與電氣工程學部 控制科學與工程學院, 遼寧 大連116024 )

針對傳統的結構基元方法缺少對不同量化顏色層中的中心像素點與其潛在鄰居的相似性信息描述問題，提出了一種半圓形局部二值模式結構相關性描述子，并將其應用在圖像檢索中．首先，定義了一種新的半圓形局部二值模式結構基元；其次，檢測不同量化顏色層中的結構基元；最后，提取新結構基元的空間分布和對比度特征．相比傳統的結構基元方法，提出的描述子檢測的結構基元更加豐富，包含更多可能的結構區分性．在不同圖像庫上的實驗結果表明了所提方法的有效性．

局部二值模式；基元頻率特征；顏色差分特征；圖像檢索

0　引　言

隨著多媒體技術和網絡技術的飛速發展，圖像數據急劇增長，如何有效、快速地從海量圖像庫中搜索到有用的圖像成為當前計算機視覺和模式識別領域研究的熱點．圖像檢索方法主要可分為3類：基于文本、基于內容和基于語義的圖像檢索方法．基于文本的圖像檢索方法，使用關鍵字檢索圖像，然而這種方法耗時且常常得到一些不相關結果，難以有效地表示圖像．此外，由于目前人工智能和相關技術的限制，基于語義的圖像檢索方法仍存在問題．所以，基于內容的圖像檢索(CBIR)方法被廣泛使用[1]．其中，特征提取是圖像檢索系統中的關鍵步驟．

CBIR通常基于圖像的顏色、紋理、形狀或其他一些能夠表示圖像信息的底層特征．學者們提出許多顏色和紋理特征用于圖像檢索，其中使用最普遍的顏色特征為顏色直方圖[2]，其具有尺度和方向不變性，描述了圖像的全局特征，但丟失了圖像的位置信息．基于此，顏色矩[3]、顏色相關圖[4]和顏色聚合向量[5]被提出，同時得到顏色的空間相關性信息．紋理特征描述了物體表面特性以及與周圍環境的關系，具有旋轉不變性和抗噪性等特點．基于紋理特征的方法在圖像檢索、人臉識別等領域得到廣泛應用，包括Gabor濾波[6]、灰度共生矩陣(gray level co-occurrence matrices，GLCM)[7]、局部二值模式(local binary patterns，LBP)[8]等．

由于單一的底層特征很難全面地描述圖像信息，很多學者提出了多特征結合的方法．Dubey等[9]提出多特征融合方法，包括圖像的顏色、紋理和邊緣特征．Liu等[10]提出多紋理直方圖(multi-texton histogram，MTH)和顏色差分直方圖(color difference histogram，CDH)[11]利用共生矩陣和直方圖的優勢，提取了圖像的顏色、紋理和形狀特征信息．Vipparthi等[12]提出MJHM(multi-joint histogram based modelling)方法，使用結構基元和主題模式聯合統計描述圖像的特征．這些方法使用了圖像的多個底層特征表示圖像，取得了較好的圖像檢索效果．

對全局圖像內容的描述，可以理解為對圖像結構基元的檢測與統計．受此啟發，本文提出一種新的圖像特征描述子：首先定義并檢測顏色圖像中的結構基元，然后分別統計這些新結構基元的空間分布和對比度特征．相比傳統的結構基元，這種特征考慮到了不同量化顏色層中中心像素點與其潛在鄰居的相似性．另外，對這些結構基元統計，同時利用了結構之間的對比度和空間位置關系．因此，本文特征描述了圖像全局區域內的結構基元分布．

1　顏色和紋理特征描述

1.1HSV顏色空間與顏色量化

最常使用的顏色空間模型為RGB．另一種——HSV顏色空間，表示色調(hue)、飽和度(saturation)和亮度(value)信息．由于HSV顏色空間較好地符合人類視覺感知系統，文獻[13]已證明HSV顏色空間優于RGB顏色空間，并廣泛地應用在圖像處理中．在HSV顏色空間中，H∈[0，360]，S∈[0，1]，V∈[0，1]．色調由0°～360°來度量，不同角度的變化表示不同的顏色．飽和度和亮度的取值范圍都為0～1．對于一幅彩色圖像，直接統計圖像的顏色特征需要非常大的計算量，為了減少計算量且更好地區分相似顏色，本文將HSV顏色空間非等距量化來描述圖像，分別將H、S和V量化到8、3和3類，得到顏色空間中的顏色值變化范圍為0～71．

1.2局部二值模式

將圖像中除邊緣像素外的每個像素，作為計算LBP模式[8]的中心像素點gc，以中心像素點gc為閾值與半徑為R的周圍鄰居gp作比較，將產生的8位二進制數轉換成十進制數，即

(1)

(2)

利用這種紋理檢測方法，總共會產生2P種模式．

2　半圓形局部二值模式結構相關性描述子

圖像內容的多樣性決定了其特征提取的復雜性，圖像特征旨在描述圖像中潛在的、主要的區分性信息．根據Julesz[14]紋理基元理論，圖像可以看成是由一系列規則排列的模塊組成．對這些規則模塊的定義與描述，體現了圖像紋理信息．但是對于紋理基元的認識，目前并沒有統一的定義．對紋理不同的理解與定義，也衍生出不同的紋理特征．例如，LBP就體現了這種思想，利用二進制表示中心像素點與其鄰居之間的關系，描述了小鄰域內圖像的紋理結構．因此，對紋理基元的認識與定義是本文特征描述的前提條件．此外，需要對這些已定義的圖像結構包含的信息進行特征描述．其中像素間的對比度和空間分布是圖像特征中兩種相互獨立又相互補充的信息．像素間的空間分布體現了中心像素點在小鄰域內與鄰居之間的相似性，而對比度進一步刻畫了與鄰居之間的相似性程度．基于此，本文提出一種新的全局圖像特征描述方法——半圓形局部二值模式結構相關性描述子(semicircle local binary patterns structure correlation descriptor，SLBPSCD)．

2.1紋理基元定義與檢測

紋理基元是定義在圖像局部鄰域內的規則模塊，圖像可以看成是由這些小模塊按一定的順序組合而成．以中心像素點為基準，描述鄰域像素點的分布特性．本文在圖像HSV空間的顏色量化層中定義紋理基元結構，使得像素點的顏色信息和紋理結構能同時被描述，即檢測含顏色信息的紋理結構．

LBP在紋理結構分析中已經取得了成功，并應用于圖像紋理分類和人臉識別等領域．LBP具有灰度單調不變性，而且計算簡單有效．但是，顏色信息的缺失，使得LBP在實際圖像檢索中沒有很好的區分性．本文采用這種類似的模式定義顏色層中的紋理基元．如圖1所示，比較中心像素點與周圍鄰居的相似性，通過鄰居與中心像素點的相似性個數定義基元結構的類型．本文選擇半徑為R的半圓形鄰域和均勻分布在圓弧中的P個鄰居像素點，使得鄰居像素點的選取更為靈活．半圓形鄰域的選擇是為了避免相鄰像素點間的重復比較．具體的顏色層紋理基元定義描述如下：

將中心像素點與半徑為R的相同角度間隔分布的P個鄰居的灰度值作比較，得到半圓形LBP結構圖中心像素點處的像素分布：

圖1　顏色層紋理基元的定義

T≈t(s′(g0-gc)，s′(g1-gc)，…，s′(gi-gc))

(3)

(4)

其中gc表示中心像素點所在顏色層(量化顏色值)，gi(i=0，1，…，P-1)表示均勻分布在半圓形鄰域中的P個像素點所在顏色層．通過比較gc與gi的關系，可以得到鄰居中相似性分布M．本文中心像素點的紋理結構類型直接由其鄰居的相似性個數定義，即

(5)

其中M描述了像素點在對應顏色層的紋理結構類型．因此，結合顏色層和紋理基元類型所包含的信息，得到原始顏色圖像中每一像素點的顏色和紋理結構．

本文整體圖像像素點結構的檢測過程如下：

(1)對圖像的HSV顏色空間進行分層量化，每一層的量化顏色值反映了圖像像素點的顏色信息．

(2)利用顏色值對比定義中心像素點在半圓形鄰域內的分布圖．

(3)結合步驟(1)和(2)得到的信息，最終得到每一像素點的特征．

假設彩色圖像為I(x，y)，且gc=I(x，y)，相應的基元結構特征圖為Cp(x，y)(p=1，2)，其中C1(x，y)∈{0，1，…，71}表示顏色量化圖，C2(x，y)∈{0，1，…，7}表示半圓形鄰域內的分布圖，即C(gc)=(C1C2)，C(gc)=8C1+C2．

2.2特征統計

定義圖像像素點的基元結構，為特征描述提供了基礎．對于圖像像素點間基元結構的描述，對比度和空間分布信息可以相互補充．本文的特征統計流程如圖2所示．顏色差分特征H1描述了圖像的對比度信息，其中融合了局部顏色差分相關性和全局顏色差分直方圖；基元頻率特征H2描述了圖像基元的空間分布信息，也融合了局部基元頻率相關性和全局基元頻率直方圖．相比傳統的直方圖和相關性統計，這種統計策略不僅兼顧對比度和空間分布這兩種相對獨立又相互補充的信息，同時考慮到了顏色差分和基元結構在局部鄰域和全局區域中的分布特性．最后，本文的圖像特征描述子可表示為

H=(H1H2)

(6)

最終得到的圖像特征向量維數為72×8×2=1 152．

圖2　特征統計流程圖

利用結構特征圖統計圖像中的基元結構分布特征．基元頻率特征就是描述已定義的基元結構在局部鄰域和全局圖像中的分布情況，由局部基元頻率相關性和全局基元頻率直方圖融合組成．局部基元頻率相關性定義為圖像中局部鄰域內有相同結構的空間分布：

(7)

(8)

融合這兩種特征得到的基元頻率特征會具備這兩種統計的優勢，產生更具區分性的基元頻率特征描述：

H2=Th×(Tf+1)

(9)

這種基元頻率特征是以相似性頻率為基礎描述結構的空間分布特性．而顏色差分特征是以相似性程度為基礎描述結構之間的對比度信息，是由局部顏色差分相關性和全局顏色差分直方圖融合得到的．局部顏色差分相關性描述小鄰域中心像素點與其鄰居的顏色差異對比：

(10)

(11)

同樣融合這兩種特征后的顏色差分特征更能體現圖像中對比度信息在局部鄰域和全局圖像中的分布情況，可表示成

H1=Ch×(Cf+1)

(12)

顏色差分特征H1和基元頻率特征H2分別描述了已定義的結構基元在圖像中的對比度和空間分布特性．由于這兩種特征相對獨立又相互補充，可聯合這兩種特征作為本文的圖像特征描述子：H=(H1H2)．

3　實驗結果與分析

3.1數據集

在實驗中，使用標準Corel圖像庫，分別是Corel-1K和Corel-10K．Corel-1K圖像庫包含10類圖像，分別為非洲人、海灘、建筑、車、恐龍、大象、花、馬、風景和食物，每一類包含100幅圖像．Corel-10K圖像庫包含100類圖像，每一類也包含100幅圖像．

3.2相似性度量

不同的相似性度量會產生不同的檢索結果．常用的特征相似性度量有L2距離、L1距離、加權L1距離、chi-square距離、Canberra距離等．假設圖像庫中的圖像特征向量為X=(x1x2…xn)和待檢索圖像的特征向量為Q=(q1q2…qn)，n是特征向量的長度．本文選擇L1距離作為特征間的相似性度量：

(13)

3.3評價指標

在圖像檢索中，通常使用的評價指標為查準率和查全率[15]．查準率Pr和查全率Rr計算過程如下：

Pr=S/N

(14)

Rr=S/T

(15)

其中S為檢索到的相似圖像數；N為被檢索的所有圖像數；T為圖像庫中所有和待檢索圖像相似的圖像數．

3.4檢索性能

利用查準率和查全率驗證本文提出方法的有效性，選擇圖像庫中的所有圖像作為查詢圖像．

本文方法在Corel-1K圖像庫上不同距離度量下的實驗結果如表1所示，檢索窗口輸出圖像數為10～50幅．實驗結果表明，L1距離與其他距離度量相比具有更好的檢索效果．盡管L2距離是圖像分析中廣泛使用的度量方法，但是L2距離過分強調特征向量的單個分量間的差異性，最終并沒有得到很好的檢索效果[11]．加權L1距離雖然也有較好的實驗效果，但比L1距離稍差．chi-square距離的檢索效果比Canberra距離稍好，但不及L1距離．因此，本文使用L1距離作為特征間的相似性度量．

通過與MJHM、MTH和CDH描述子進行比較，驗證了本文方法的優越性．如圖3(a)所示，在Corel-1K圖像庫上，本文方法的整體檢索效果明顯好于其他描述子．SLBPSCD檢索的查準率能達到75.87%，分別比MTH、CDH和MJHM高6.80%、5.38%和6.50%．而且如圖3(b)、(c)所示，給出了10類圖像的查準率和查全率．從實驗結果可以看出，本文方法在大多數圖像類中都有好的檢索效果．

在Corel-10K圖像庫中的檢索效果如圖4(a)所示，可以看出SLBPSCD前10幅圖像的查準率達到48.29%，明顯高于其他3種描述子的檢索性能，分別比MTH、CDH和MJHM高13.37%、4.00% 和10.69%．如圖4(b)、(c)所示，給出了100類圖像的查準率和查全率．從實驗結果可以看出，本文提出的SLBPSCD同樣好于其他3種描述子．

表1　Corel-1K圖像庫中SLBPSCD在不同相似性度量下的檢索結果

(a) 查全率和查準率

(b) 查準率和類別數

(c) 查全率和類別數

圖3Corel-1K圖像庫上的檢索性能比較

Fig.3The retrieval performance comparison for Corel-1K image database

為了進一步驗證所提描述子的有效性，表2給出了與文獻[16-18]提出方法的檢索結果比較．圖5給出了花類和馬類圖像的檢索結果，分別隨機選取待檢索圖像No.603和No.720．圖像庫中No.600～699和No.700～799的圖像分別與待檢索圖像屬于同一類圖像．由圖5(a)可以看出，使用本文提出的描述子檢索出的圖像有非常相似的紋理特征．由圖5(b)可以看出，利用本文提出的描述子檢索出的所有圖像與待檢索圖像有相似的顏色和紋理特征以及場景內容．此外，表3列出了與文獻[4，8，18]提出方法的檢索結果比較，證明了本文方法具有更優的性能．

(a) 查全率和查準率

(b) 查準率和類別數

(c) 查全率和類別數

圖4Corel-10K圖像庫上的檢索性能比較

Fig.4The retrieval performance comparison for Corel-10K image database

表2Corel-1K圖像庫中輸出20幅圖像的不同檢索方法結果比較

Tab.2Resultscomparisonofdifferentretrievalmethodswith20imagesonCorel-1Kimagedatabase

方法查準率/%查全率/%文獻[16]文獻[17]文獻[18]SLBPSCD58.2057.8567.9669.5111.6411.5713.5913.90

(a) 花類

(b) 馬類

圖5檢索結果

Fig.5Retrieval results

表3Corel-10K圖像庫中輸出12幅圖像的不同檢索方法結果比較

Tab.3Resultscomparisonofdifferentretrievalmethodswith12imagesonCorel-10Kimagedatabase

方法查準率/%查全率/%文獻[8]文獻[4]文獻[18]SLBPSCD35.8440.9441.2545.754.304.924.955.49

4　結　語

本文提出了一種新的半圓形局部二值模式結構相關性描述子(SLBPSCD)．首先，定義了半圓形局部二值模式結構基元，這種基元結構避免了相鄰像素點的重復比較．其次，檢測顏色圖像中的結構基元．最后，對這些結構基元進行特征統計，同時利用了結構基元的對比度和空間位置關系．這種統計策略不僅兼顧了對比度和空間分布這兩種相對獨立又相互補充的信息，而且考慮到了顏色差分和基元結構在局部鄰域和全局區域中的分布特性．另外，由于HSV顏色空間非常接近人眼對視覺感知的理解，本文選擇在HSV顏色空間中非等距量化來提取顏色信息．而非等距量化相比直接的等距量化更能凸顯出顏色本身的特性．在Corel圖像庫上的圖像檢索實驗驗證了本文方法的有效性．

[1]Datta R, LI Jia, Wang J Z. Content-based image retrieval - Approaches and trends of the new age [C] // MIR 2005 - Proceedings of the 7th ACM SIGMM International Workshop on Multimedia Information Retrieval, Co-located with ACM Multimedia 2005. New York:ACM, 2005:253-262.

[2]Swain M J, Ballard D H. Color indexing [J]. International Journal of Computer Vision, 1991, 7(1):11-32.

[3]Stricker M A, Orengo M. Similarity of color images [J]. Proceedings of SPIE - The International Society for Optical Engineering, 1995, 2420:381-392.[4]HUANG Jing, Kumar S R, Mitra M,etal. Image indexing using color correlograms [J]. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 1997:762-768.

[5]Pass G, Zabih R, Miller J. Comparing images using color coherence vectors [C] // Proceedings of the ACM International Multimedia Conference & Exhibition. New York:ACM, 1996:65-73.

[6]Manjunath B S, Ma W Y. Texture features for browsing and retrieval of image data [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1996, 18(8):837-842.

[7]Haralick R M, Shanmugam K, Dinstein I. Textural features for image classification [J]. IEEE Transactions on Systems, Man, and Cybernetics, 1973, smc3(6):610-621.

[8]Ojala T, Pietik?inen M, M?enp?? T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(7):971-987.

[9]Dubey R S, Choubey R, Bhattacharjee J. Multi feature content based image retrieval [J]. International Journal on Computer Science & Engineering, 2010, 2(6):2145-2149.

[10]LIU Guang-hai, ZHANG Lei, HOU Ying-kun,etal. Image retrieval based on multi-texton histogram [J]. Pattern Recognition, 2010, 43(7):2380-2389.

[11]LIU Guang-hai, YANG Jing-yu. Content-based image retrieval using color difference histogram [J]. Pattern Recognition, 2013, 46(1):188-198.

[12]Vipparthi S K, Nagar S K. Multi-joint histogram based modelling for image indexing and retrieval [J]. Computers and Electrical Engineering, 2014, 40(8):163-173.

[13]Sural S, Qian G, Pramanik S. Segmentation and histogram generation using the HSV color space for image retrieval [C] // IEEE International Conference on Image Processing. Piscataway:IEEE Computer Society, 2002:589-592.

[14]Julesz B. Textons, the elements of texture perception, and their interactions [J]. Nature, 1981, 290(5802):91-97.

[15]Besiris D, Zigouris E. Dictionary-based color image retrieval using multiset theory [J]. Journal of Visual Communication and Image Representation, 2013, 24(7):1155-1167.

[16]Jalab H A. Image retrieval system based on color layout descriptor and Gabor filters [C] // 2011 IEEE Conference on Open Systems, ICOS 2011. Piscataway:IEEE Computer Society, 2011:32-36.

[17]Babenko A, Slesarev A, Chigorin A,etal. Neural codes for image retrieval [C] // Computer Vision, ECCV 2014 - 13th European Conference, Proceedings. Zurich:Springer Verlag, 2014:584-599.

[18]Wengert C, Douze M, Jégou H. Bag-of-colors for improved image search [C] // MM′11 - Proceedings of the 2011 ACM Multimedia Conference and Co-located Workshops. New York:ACM, 2011:1437-1440.

Image retrieval based on semicircle local binary patterns structure correlation descriptor

LILi1,FENGLin*1,2,WUJun2,LIUSheng-lan3

( 1.School of Computer Science and Technology, Faculty of Electronic Information and Electrical Engineering,Dalian University of Technology, Dalian 116024, China；2.School of Innovation and Entrepreneurship, Dalian University of Technology, Dalian 116024, China；3.School of Control Science and Engineering, Faculty of Electronic Information and Electrical Engineering,Dalian University of Technology, Dalian 116024, China )

To solve the problem that conventional texton methods do not describe the similarity information among the surrounding neighbors for a given center pixel in different color quantization levels, a feature descriptor, called semicircle local binary patterns structure correlation descriptor (SLBPSCD) is proposed, which is applied for image retrieval. Firstly, a novel semicircle local binary patterns structure texton is defined. Secondly, the structure textons are detected in different color quantization levels. Finally, the spatial distribution and contrast features of new structure texton are extracted. The proposed descriptor gets much more discriminative structure than conventional texton-based methods by taking more structure texton into consideration. Experimental results for different image databases verify the effectiveness of the proposed method.

local binary patterns; texton frequency feature; color difference feature; image retrieval

1000-8608(2016)05-0532-07

2016-04-23；

2016-06-25．

國家自然科學基金資助項目(61173163,61370200).

李 莉(1984-)，女，博士生，E-mail:hdlili@126.com；馮 林*(1969-)，男，博士，教授，E-mail:fenglin@dlut.edu.cn.

TP391

A

10.7511/dllgxb201605014