基于興趣點檢測的視覺關鍵詞提取新方法研究

陳曉寧　趙健　楊潤豐

摘 要： 基于內容的圖像檢索的一個突出問題是提取整幅圖像的全局特征，而用戶通常只關注一幅圖像中的局部區域。對于如今海量的數據庫，提取圖像的全局特征使得數據庫的信息量變得非常大。這樣，從巨大的圖像特征庫中查找匹配的圖像特征時檢索準確率將大大降低。針對用戶感興趣的局部區域，提出視覺關鍵詞的概念。一幅圖像用若干個視覺關鍵詞替代，這樣一幅圖像的特征量將大大減小。視覺關鍵詞是用戶感興趣的圖像區域，這樣使得檢索更加具有針對性。實驗結果表明檢索準確率有明顯提高。

關鍵詞： 圖像檢索； 興趣點； 感興趣區域； 視覺關鍵詞

中圖分類號： TN911.73?34； TP391 文獻標識碼： A 文章編號： 1004?373X（2017）21?0062?04

Study on visual keywords extraction new method based on points of interest detection

CHEN Xiaoning1， ZHAO Jian2， YANG Runfeng1

（1. Department of Electronic Engineering， Dongguan Polytechnic， Dongguan 523808， China；

2. School of Information Science and Technology， Northwest University， Xian 710069， China）

Abstract： The content?based image retrieval has a prominent problem of extracting the global feature of the whole image， however the users usually pay close attention to the local region in an image. For the massive database， the extraction of the image′s global feature makes the information quantity of the database increase greatly， which can reduce the retrieval accuracy while the matched image feature is searched in the enormous image feature database. Aiming at the local region of the users′ region of interest， the concept of visual keyword is put forward， with which an image is replaced by several visual keywords to reduce the characteristic quantity greatly. The visual keyword is regarded as the image region interested by users to make the retrieval more targeted. The experimental results show that the retrieval accuracy is improved significantly.

Keywords： image retrieval； points of interest； region of interest； visual keyword

0 引 言

人工標注是基于文本的圖像檢索技術的核心工作，人工標注必然存在很強的主觀性且需要花費大量的人力，那么面對如今海量的數據庫，使用傳統的文本檢索將不能滿足用戶的需求。因此，出現了基于內容的圖像檢索技術，其原理是先獲得圖像底層特征，進行特征匹配得到檢索結果。面對如今海量的數據庫，圖像的底層信息量將非常巨大，那么，使用基于內容的檢索技術在速度上已經不能很好地滿足用戶的需求。綜合考慮兩種不同的檢索技術，得到啟示，將圖像通過對其局部內容的提取，形成視覺關鍵詞，然后利用成熟的文本關鍵詞檢索技術實現對圖像的檢索。

1 感興趣區域的特征提取

1.1 感興趣區域的提取

基于內容的圖像檢索技術通常是對圖像的全局特征進行分析計算。在多數情況下，用戶并不關心整幅圖像，而是只對自已感興趣的局部區域關注，然而，圖像的局部細節部分并不能通過圖像的全局特征來很好的描述。因此，不用去考慮圖像的全局特征而是僅對用戶感興趣的局部區域特征進行提取。

興趣點通常是含有豐富圖像內容且具有較高信息量的點，這些點是一幅圖像中最有代表性的點。那么，由此可以得到興趣點周圍的局部小區域也一定具有較高的信息量，含有豐富的圖像內容。因此，選擇興趣點周圍局部作為感興趣區域是非常合適的。它忽略了全局特征，信息量將大大減少，通過含有豐富信息量的感興趣區域就能夠很好地描述圖像的局部內容。

1.1.1 興趣點檢測

興趣點就是圖像中具有較高信息量的那些點，這些點是一幅圖像中最有代表性的點。一般來說，對于整幅圖像的像素點而言，提取到的興趣點數目是極少的，因此，相對提取整幅圖像特征來說，使用興趣點來描述一幅圖像將會使得圖像特征提取的復雜度大大縮減。

興趣點周圍局部小區域要盡可能完整地描述整幅圖像特征，所以，這些興趣點應該在不同視角或者不同的亮度等變化下都能檢測到這些點，也就是說這些點應該具有可重復性。endprint

興趣點也稱為角點（Conner point），它是能夠用來表達圖像的一個很重要的特征，因為興趣點集中描述了圖像上很多非常重要的形狀信息。

Harris角點檢測算法是一種改進的角點算法，目前來說是一種較好的方法。因此，本次研究中，對圖像興趣點的檢查采用性能優越的Harris算子。

利用Harris算子提取圖像興趣點的一個難點在于對圖像興趣點數目的確定。興趣點是圖像中那些邊緣突出的點，因此，一般來說，不同圖像的邊緣必然不同，也就是說不同圖像提取的興趣點數目也會不同。同時存在一些極端的情況，一幅圖像中沒有檢查到那些邊緣突出的點，即興趣點數目為零。但是能夠確定感興趣區域的前提是必須有相應的興趣點存在，所以，興趣點的數目不允許為零。參考相關研究，并經過實驗對比，得出每幅圖像采取的興趣點數目過多或者過少都不合適，取興趣點的數目為50～80個是比較合適的。

1.1.2 感興趣區域的確定

有了興趣點，就可以基于興趣點來確定感興趣區域。感興趣區域的選擇方法有很多，感興趣區域的選擇品質直接影響到是否能夠完美地描述圖像特征。

經實驗研究，最后對感興趣區域的確定如下：

以得到的50～80個興趣點為基礎，應得到50～80塊感興趣區域，每一個感興趣區域的確定是以該興趣點為中心，根據經驗值取興趣點周圍41×41像素塊為一個感興趣區域，實現對感興趣區域的提取。

1.2 感興趣區域內圖像的特征提取

1.2.1 感興趣區域內的顏色特征提取

本文采用HSV（hue，saturation，value） 顏色模型實現顏色特征的提取。

（1） 首先將圖像的顏色空間由RGB轉換為HSV顏色模型。將彩色信息表示為三種屬性，即色調、飽和度和亮度。

（2） 對于一幅圖像來說，它的顏色種類信息很多，也就是說顏色直方圖矢量維數非常龐大。龐大的維數矢量將會使得計算變得非常復雜和低效。因此，為了提高計算效率，需要對HSV空間進行量化。研究證明這種方法對于彩色圖像和灰度圖像同樣適用。

將量化后的最終結果用[T]表示，公式計算如下：

[T=0，v<0.2（v-0.2）×0.70.8，v>0.2，s<0.24H+2S+V+8，other] （1）

式中[?]表示不小于“[?]”的最小整數。最終在HSV空間中得到了36維顏色直方圖。

基于式（1）計算將得到一系列[T]值，并對其進行歸一化處理。最后，圖像的感興趣區域的顏色特征將用這個歸一化后的值來表達。

1.2.2 基于感興趣區域的紋理特征提取方法

紋理特征是圖像灰度等級在空間上分布的一種描述，它能夠在一定程度上對圖像中的空間信息進行定量描述。Gabor濾波器是其中一種已經被廣泛應用的比較理想的濾波器，原因在于它能夠最大程度地減小空間域和頻域內的聯合二維不確定性，最接近人對形狀的視覺感受。因此本文采用Gabor小波變換實現對圖像的紋理特征提取。

如果[I（x，y）]為給定的一幅圖像，那么對圖像的Gabor小波變換可以定義為：

[Wmn（x，y）=I（x1，y1）g（x，y）dx1dy1] （2）

式中[g（x，y）]表示Gabor小波的基函數，在式（2）的描述下，能夠彌補顏色直方圖不能描述對象位置的不足，其表明了對象所在的空間位置。

采用均值[μmn]和標準方差[σmn]對一幅圖像進行紋理特征的描述，其中[μmn]和[σmn]的數學計算公式分別如下：

[μmn=Wmn（x，y）dxdy] （3）

[σmn=Wmn（x，y）-μmn2dxdy] （4）

利用Gabor濾波器得到的特征向量表示為：[g=μ00，σ00； μ01，σ01； …； μ35，σ35]。然而這樣得到的特征向量中各個分量的物理意義和取值是不相同的，必須對其進行優化處理，在后續的應用中，對其進行了歸一化處理。

2 視覺關鍵詞的生成

2.1 提取特征向量

（1） 由上面顏色特征向量的提取方法得到一系列歸一化后的[T]值，用來表達圖像感興趣區域的顏色特征。從而獲得了在HSV空間下具有36維的顏色直方圖。

（2） 經過對紋理特征的提取可以得到特征向量表示為：[g=μ00，σ00； μ01，σ01； …； μ35，σ35]。式中包含了兩個物理意義和取值均不相同的分量，需要將其處理為具有一致性的分量。采用高斯歸一化方法對這兩個分量進行歸一化處理，使得他們具有相同的權重。并且使用高斯歸一化方法進行歸一化處理后的值具有如下的特性：少數突出的元素對其將產生非常小的影響。基于以上原因，本文對特征向量歸一化的處理采用高斯歸一化方法。

經過高斯歸一化處理后，[g]的取值就是[-1，1]區間的一個數值，不僅使得紋理特征變得非常簡單，而且各個物理量有了相同的權值。因此，經過歸一化后，得到了36維的紋理特征向量。

2.2 K均值聚類形成視覺關鍵詞

利用72維（36維顏色特征向量和36維紋理特征向量）的特征向量來代表一個興趣點的局部區域。然而，對于如今海量的數據庫，尤其是當今規模龐大的高維向量來說，整個圖像庫的圖像特征都被提取后，圖像特征向量庫將會無比巨大。因此，必須先對特征向量庫進行優化處理。經試驗對比，采用改進型K均值算法對特征向量進行聚類。因此，那些具有相似特征的向量經過聚類處理后被聚為一類，距離最近為其聚類原則。檢索到的圖像其每個描述子被歸放到一個最近的聚類之中，這樣就能在整個圖像庫中很快地生成對所有圖像的匹配。

改進型K均值算法的描述如圖1所示。

所以，這些具有相同特征的向量為一個聚類中心，將這個聚類中心稱為一個視覺關鍵詞。那么，視覺關鍵詞實際上就是一個數字，代表這個聚類的中心。因此，一幅圖像可看成由視覺關鍵詞庫中的若干關鍵詞組成的“文本”關鍵詞。因此，原本要描述的區域需要72維的特征向量，在通過聚類處理后，現在只需要用這個視覺關鍵詞來表示即可。一幅圖像實際上就可以用一系列的視覺關鍵詞來表示。因此，使用視覺關鍵詞將大大降低后面的計算復雜度，使后期圖像的檢索效率將會大幅提高。endprint

3 研究結果及分析

3.1 視覺關鍵詞效果

采用以上方法對圖像庫的特征向量聚類后，那些具有相同特征向量的圖像區域歸類為一個視覺關鍵詞。因此，數據庫中的所有圖像將用一個個視覺關鍵詞來代替。如圖2所示的兩個視覺關鍵詞，是從本次實驗的圖像庫中隨機選取的，可以看出視覺關鍵詞是圖像的一個局部小區域，本文采用感興趣區域內的圖像特征，也就是本文所說的視覺關鍵詞。視覺關鍵詞是一幅圖像內信息豐富的圖像局部小區域，因此具有很好的鑒別力。從視覺關鍵詞的提取過程可知，視覺關鍵詞都是一些具有明顯變化的區域。

同一個視覺關鍵詞所包含的一幅圖像的局部小區域是非常相似的，如圖2所示為兩個視覺關鍵詞。

3.2 實驗檢索結果及分析

經過聚類后，利用關鍵詞的匹配替代原來的相似度度量來實現圖像之間的匹配，因此，可以借鑒傳統文本成熟的技術對圖像進行檢索。

本文選擇的研究對象是Corel圖像庫中的1 000幅圖像。如圖3所示，兩個檢索圖例為本次實驗的檢索結果。

圖3（a）和圖3（b）是分別利用視覺關鍵詞進行檢索的結果圖，每幅圖的左上方是目標圖像，緊接著的一系列圖像為檢索到的結果圖像。從圖3可以看出檢索結果有這樣的特性：越是靠前的圖像和目標圖像越是接近，從左往右，從上往下，圖像的相似性逐漸減小。

實驗對比了基于顏色的圖像檢索技術、基于顏色和紋理的圖像檢索技術，從最終的實驗結果來看，對圖像庫中不同類別的圖像，應用本文算法其平均檢索準確率都有明顯提高。利用平均檢索準確率來衡量本系統的性能，對比基于全圖顏色和紋理及基于興趣點的圖像檢索兩種方法，其結果如圖4所示。

從圖4得到的平均檢索準確率圖像可以看出，利用本系統的檢索方法均優于另外兩種算法。

4 結 論

本文以傳統的基于文本的檢索技術為依據，結合圖像的內容特征的提取技術，提出基于視覺關鍵詞的圖像檢索方法。詳細介紹了視覺關鍵詞的概念及生成。基于視覺關鍵詞的圖像檢索方法具有很好的適應性和可擴展性，檢索的準確性也有所提高。對于大容量、高維數據庫來說具有很好的前瞻性和一定的應用價值。

參考文獻

[1] 黃元元，劉寧鐘.一種新的基于顏色特征的圖像檢索方法[J].小型微型計算機系統，2012，33（3）：88?92.

[2] 楊學志，徐勇，方靜，等.結合區域分割和雙邊濾波的圖像去噪新算法[J].中國圖象圖形學報，2012，17（1）：40?48.

[3] LIU Guanghai， YANG Jingyu. Content?based image retrieval using color difference histogram [J]. Pattern recognition， 2013， 46（1）： 188?198.

[4] 畢國玲，趙建，續志軍，等.基于角點和局部特征描述子的快速匹配算法[J].光電工程，2014（9）：63?68.

[5] 侯剛.基于內容的圖像檢索中特征表示與檢索策略研究[D].長春：吉林大學，2014.

[6] 楊世沛，陳杰，周莉，等.一種基于SIFT的圖像特征匹配方法[J].電子測量技術，2014（6）：50?53.

[7] 郭海鳳，李廣水，仇彬任.基于融合多特征的社會網上圖像檢索方法[J].計算機與現代化，2013（12）：159?163.

[8] 孫亮.內容圖像檢索的特征及策略分析[J].桂林航天工業學院學報，2016（2）：159?162.

[9] WANG Feng， LIN Lanfen， TANG Min. A new sketch?based 3D model retrieval approach by using global and local features [J]. Graphical models， 2013， 76（3）： 128?139.

[10] VERMA G K. A computer vision based framework for visual gun detection using Harris interest point detector [C]// Proceedings of the Eleventh International Conference on Communication Networks. Bangalore， India： Elsevier， 2015： 703?712.endprint