基于內容圖像檢索的關鍵技術

左玉龍

（1. 山東大學 計算機科學與技術學院，山東 濟南 250100；2. 臨沂大學 費縣分校，山東 費縣 273400）

基于內容圖像檢索的關鍵技術

左玉龍1,2

（1. 山東大學 計算機科學與技術學院，山東 濟南 250100；2. 臨沂大學 費縣分校，山東 費縣 273400）

基于內容的圖像檢索（CBIR）系統是目前國內外研究的一個熱點問題，簡要介紹了CBIR技術的發展歷程以及主要的原理，重點論述了基于內容的圖像檢索的關鍵技術之一——圖像像視覺特征的描述與提取。并且通過具體的例子討論了圖像檢索性能評價的準則。

基于內容；圖像檢索；視覺特征；相關反饋；檢索性能

隨著多媒體技術及互聯網的飛速發展，圖像、視頻等多媒體的數據層出不窮，圖像的應用與傳播也越來越廣泛，圖像已經成為描述和存儲信息的一種內容豐富、表現直觀的數據形式，各行業都產生了大量的圖像數據庫，可是圖像信息自身的無序化問題也越來越顯現出來，怎樣從海量的數據中精確的查找出圖像的技術顯得尤為迫切，對于圖像的檢索由此成為研究的熱點。

1 “圖像檢索”的發展歷程及原理

自從20世紀70年代開始，大量有關圖像檢索的研究就已開始，早期主要是基于文本的圖像檢索技術（Text based Image Retrieval，簡稱TBIR），它是利用文本來描述圖像的特征。20世紀90年代以后，才出現了對圖像的內容語義，例如對圖像的顏色、紋理、形狀等進行分析與檢索的圖像檢索技術，也即基于內容的圖像檢索[1]（Content based Image Retrieval，簡稱CBIR）。

基于內容圖像檢索的原理主要包括以下三個方面：（1）首先對用戶的需求進行分析和轉化，形成可檢索索引數據庫的提問；（2）進行圖像資源的收集與加工，提取圖像特征，進行分析并標引，從而建立圖像的索引數據庫；（3）最后根據相似性度量算法，計算用戶和索引數據庫中記錄的相似度的大小，提取出滿足閾值的圖像記錄作為結果，按照圖像相似度大小降序進行輸出。由此可知，我們進行圖像檢索的目的就是為了解決圖像數據庫和用戶需求的匹配與選擇問題。

2 基于內容的圖像檢索的關鍵技術——圖像視覺特征的描述與提取

2.1 圖像顏色特征的提取

圖像顏色特征是在圖像檢索中應用最為廣泛的視覺特征。面向圖像檢索的顏色特征的表達涉及到若干問題。第一，要選擇合適的圖像顏色空間來描述顏色的特征；第二，要通過一定的量化方法將顏色特征表達為向量的形式；第三，還要定義一種相似性度量的標準來衡量圖像之間在顏色上的相似性。

圖像的顏色內容包括兩個一般的概念，一個對應于全局顏色的分布，一個對應于圖像局部顏色信息。依據圖像全局顏色分布來索引圖像，可通過計算每種顏色像素的個數，并構造顏色的灰度直方圖來實現，這對檢索具有相似的總體顏色內容的圖像是一個非常好的途徑。圖像局部顏色信息是指局部相似的顏色區域，它考慮了圖像顏色的分類和一些初級的幾何特征。例如Smith與Chang提出了顏色集合（Color Set）方法來抽取空間局部顏色的信息，并提供圖像顏色區域的有效索引。

圖像顏色特征是圖像最直觀而明顯的特征，一般采用直方圖來進行描述。圖像顏色直方圖[2]是表示圖像中顏色分布的一種方法，其橫軸表示圖像顏色等級，縱軸表示在某一個顏色等級上具有該顏色的像素在整幅圖像中所占的比例，直方圖顏色空間中的每一個刻度表示了顏色空間中的一種顏色。

2.2 圖像紋理特征的提取

圖像可以被看成由不同紋理區域的組合，紋理通常被定義為圖像的某種局部性質，或是對局部區域中像素之間關系的度量。

紋理[3]是和物體表面材質有關的圖像的內在特征，它包括表面結構組織及和周圍環境關系。一般說來，圖像紋理是在某個給定的區域中局部模式的重復出現，所以可利用對這些局部模式以及它們之間排列規則的描述來進行紋理的分析。通常對紋理圖像特征的描述主要有兩種[4]：一種是Haralick提出的共生矩陣法，該法從數學角度研究了圖像紋理中灰度級的空間依賴關系。另一種是Tamura提出的圖像視覺特征法，這種方法更多的是強調視覺效果。表示的所有紋理性質都具有直觀的視覺意義。

近年來，有大量的研究集中在應用隨機場模型表達圖像的紋理特征，Markov的隨機場模型取得了很大成功，它的典型應用是自回歸紋理模型（Simultaneous Auto_ Regressive，簡稱SAR）。另外一種常用的紋理分析與分類方法是小波變換（Wavelet Transform）[5]，小波變換表示的是圖像的紋理特征，可利用每個波段的每個分解層次上能量分布的均值與標準方差。Gabor過濾法能最大程度地減少空間與頻率的不確定性，而且還能夠檢測出圖像中不同方向和角度的邊緣與線條。由于圖像紋理的描述比較困難，一般對紋理的檢索都采用示例查詢的方式。用戶通過給出示例的全部或部分區域特征，從而查找到類似的圖像。

2.3 圖像形狀特征的提取

圖像中物體和區域的形狀是圖像表達和圖像檢索中的另一重要特征。圖像形狀特征的表達必須以對圖像中物體或區域的劃分作為基礎。利用該特征進行圖像檢索時，用戶采用勾勒圖像的形狀或輪廓，從圖像庫中檢索出形狀類似的圖像。在通常情況下，圖像的形狀特征有兩種表示的方法，一是輪廓特征表示方法，二是區域特征表示方法。作為前者利用的是物體形狀的外邊界，后者利用的是整個形狀區域。這兩類圖像形狀特征的最為典型方法是傅立葉形狀描述符與形狀無關矩[6]。傅立葉形狀描述符是采用物體邊界的傅立葉變換作為其形狀的描述；形狀無關矩是基于圖像區域的物體形狀表示法。另外，還有有限元法、旋轉函數法和小波描述符等方法。

2.4 相關反饋技術

現在，基于內容的圖像檢索技術中所提取的圖像特征大多是圖像的低層視覺特征[7],它們和圖像的實際語義是脫節的，圖像低層視覺特征目前尚不能辨別出圖像中所包含的物體。因此，為了解決這個問題，一方面需要研究出更好且有效的圖像表示方法，另一方面可通過人機交互的方式來捕捉與建立低層特征和高層語義間的關聯，這就是我們所說的相關反饋技術。相關反饋是提高系統查詢效果的一種很好的方法，相關反饋的目標是從用戶和查詢系統的實際交互過程中進行學習，從而發現并捕捉用戶的實際查詢意圖，以此來修正系統的查詢策略，從而得到與用戶實際需求盡可能吻合的查詢結果。

基于內容的圖像檢索系統中的相關反饋技術大體可分為4種類型[8]：參數調整方法、概率學習方法、聚類分析方法以及神經網絡方法。

3 圖像檢索性能的評價準則

查準率、查全率和響應時間是幾個較好的圖像檢索算法的評價準則。排除用戶主觀的因素，基于內容的圖像檢索的準確率和圖像數據庫本身具有非常大的關系，同一算法依據相同的評價方法在不同的圖像數據庫中，計算出的檢索準確度也會有較大的不同。

對檢索有效性的評價準則我們可利用信息檢索中的傳統方法，假設測試平臺包括：

（1）包含M個圖像的圖像集；

（2）N個基準查詢的樣本圖像；

（3）圖像集合中的每一個圖像相對基準查詢樣本圖像的相關值；

（4）若干行之有效的度量方法。

我們對系統發布一個基準查詢的樣本，圖像檢索系統列出經過排序的檢索結果。對每一個截止值k，計算下面的值：

檢索出的相關數目為：

誤檢的數目為：

漏檢的數目為：

未檢索出的非相關數目為：

其中m是檢索結果排序的序數，Vn是序數為n的圖像和基準查詢圖像的相關值，Vm∈(0,1)。

從以上幾個值可計算出兩個信息檢索度量的主要標準，查準率與查全率。

（1）查準率

查準率指的是返回的結果集中有效圖像所占的比值，常用于測量系統排除無關圖像的能力。

查準率：

（2）查全率

查全率指返回結果中有效圖像所占數據庫中所有相似圖像的數量的比值，用來測量系統檢索相關圖像的能力。

查全率：

從大量的檢索評價看出，查全率與查準率存在著一定的關系，在某個檢索系統中，當查準率與查全率達到特定的程度后，兩者將會呈現非線性的反變關系，即我們不可能使兩者同時都達到最高。

4 結束語

現代社會，CBIR應用的領域越來越廣泛，如：Web的電子商務方面的相關應用、數字圖書館、公安系統領域、醫學領域CT、以及國防軍事領域等，雖然我們在圖像檢索領域的諸多研究方面已取得了較大進展，可是基于內容的圖像檢索系統中很多具有普遍性的問題還遠遠沒有得到很好的解決，仍然有許多問題有待更深入的研究，比如，圖像視覺特征的提取、人機交互的方式以及多維索引等等。假若我們能很好地解決這些問題，必將使基于內容圖像檢索技術得到更好的推廣。

[1]姜蘭池.基于內容的圖像檢索關鍵技術研究[D].杭州:杭州電子科技大學,2009:18-19

[2]梁晶.基于顏色特征的圖像檢索技術研究[D].廈門大學,2009.

[3]馬繼紅.基于內容的圖像檢索方法與關鍵技術研究[D].西安:陜西師范大學,2009:22-23

[4]周明全,耿國華,韋娜.基于內容的圖像檢索技術[M].北京:清華大學出版社,2007.

[5]黃博士.網絡環境下的圖像檢索技術[J].中國計算機用戶,2003(12).

[6]周文昭,夏定元,等.基于內容的圖像檢索系統的最新進展[J].計算機工程與應用,2003(26).

[7]劉倩.基于內容的圖像檢索中的相關反饋技術[J].華東交通大學學報,2003(8).

[8]章毓晉.圖像處理和分析技術[M].北京:高等教育出版社,2008.

（責任編輯、校對：田敬軍）

Content- Based Image Retrieval Key Techniques

ZUO Yu-long1,2
(1. Computer Science and Technology College of Shandong University, Jinan 250100, China; 2. Feixian College of Linyi University, Feixian 273400, China)

Content- based Image Retrieval (CBIR) has been an active research area in recent years. The paper introduced the development and the theory of CBIR briefly, and discussed the important techniques of the representation and extraction of image vision feature. And through specific examples, it discussed the image retrieval performance evaluation criterion.

content-based; image retrieval; vision feature; relevant feedback; retrieval performance

TP391.3

A

1009-9115(2012)05-0047-03

2012-04-01

左玉龍（1981-），男，山東費縣人，在職碩士，助教，研究方向為計算機軟件與理論。