Ｉｎｔｅｒｎｅｔ圖像檢索技術的研究

摘要：提出了一種在Internet上進行圖像檢索的新方法。該方法把基于關鍵字的檢索和基于內容的檢索相結合，并引入了用戶的相關反饋來優化檢索結果。

關鍵詞：圖像；信息；檢索

中圖分類號：TP311文獻標識碼：A文章編號：1009-3044(2008)34-1827-02

Study of the Internet Picture Retrieving Technology

TANG Ji-ling

(Kaifeng Information Research Institute， Kaifeng 475002， China)

Abstract: This article puts forward a new picture retrieving method on the Internet. The new method combines the retrieval basing on the keywords and the retrieval basing on the contents together， and puts in the user’s corresponding feedback to better the retrieval results.

Key words: picture; information; retrieval

1 引言

隨著Internet的高速發展，網上的多媒體信息也急劇增加，因此人們對多媒體信息的檢索需求也就隨之而來。傳統的信息檢索主要集中于文字的檢索，在多媒體方面的研究并不是很多。Internet上的多媒體以圖像為主，因此圖像的檢索就成為了目前研究的熱點。

2 圖像檢索技術的兩個階段

Internet上圖像的檢索經歷了兩個階段：第一階段是以關鍵字為基礎的檢索，第二階段是以圖像自身的內容為基礎的檢索。

2.1 以關鍵字為基礎的檢索

在基于關鍵字的圖像檢索系統中，需要先對所有的圖像進行關鍵字標注，然后才能使用全文檢索技術對圖像進行搜索。這種方法存在兩個方面的問題：

1）該方法需要較多的人工參與，而且隨著圖像數目的增加，這種方法很難實現；

2）由于圖像所包含的信息量很大，不同的人對于同一張圖像的理解也不相同，這就導致對圖像的標注沒有一個統一的標準，因而檢索的結果不能很好地符合用戶的需求。

2.2 以圖像自身的內容為基礎的檢索

基于內容的檢索不同于基于關鍵字的檢索，它不需要過多的人工參與，而利用圖像自身的特征（如顏色、紋理、形狀等）來進行檢索，具有較強的客觀性。但是，由于這些特征并不代表圖像真正的語義信息，基于內容的檢索結果往往不能讓人滿意。因此，目前大多數系統還是基于關鍵字的檢索，如AltaVista、Yahoo!、Ditto等。

本文將基于關鍵字的檢索和基于內容的檢索相結合，并引入了用戶的相關反饋來優化檢索結果。

3 Internet上的圖像檢索

要建立Internet上的圖像檢索系統，需要解決三個方面的問題。首先是如何從Internet上獲取圖像，其次是如何對獲取的圖像建立相應的索引，最后是如何根據用戶的需求在圖像數據庫中進行檢索。

3.1 圖像的獲取

Internet上存在各式各樣的圖像，我們需要收集一些用戶最感興趣的、具有代表性的圖像以供用戶使用。

1) 首先，根據目前一些流行的搜索引擎的分類，建立相應的圖像分類的層次結構；然后針對每個類別選擇一些熱門的、具有代表性的站點作為候選。例如，體育方面的http://www.nba.com，政治方面的http://www.whitehouse.gov，娛樂方面的http://www.disney.com，新聞方面的http://www.cnn.com等站點均可被選擇為下載圖像的站點。

2) 然后，設計一個高效率的軟件工具（Crawler），針對選定的代表性站點自動進行圖像的收集。站點內所有的頁面都將送給頁面分析器進行分析，頁面內所有的圖像都將以鏈接的方式存儲到相應的數據庫中。同時，一些啟發式信息，如圖像的尺寸、文件類型、文件名、圖像的顏色直方圖等，將用來對圖像進行簡單的分類。把廣告條、背景、圖標、按鈕等無語義信息的圖像與用戶真正需要的圖像區別開，以供用戶查詢。

3.2 圖像特征的抽取及索引

對收集到的圖像，需要進行特征抽取，并建立相應的索引，以提高檢索的效率。圖像的特征分為兩種：一種是圖像的低層特征（如圖像的顏色、紋理及其形狀等），另一種是圖像的語義特征。

3.2.1 圖像的低層特征

對于圖像的低層特征，主要采用的是圖像的顏色、紋理及其形狀等特征。其中，顏色特征和圖像的大小、方向無關，而且對圖像的背景顏色不敏感，因此顏色特征被廣泛應用于圖像檢索。顏色特征中包括顏色直方圖、顏色相關圖、顏色矩等。紋理特征代表了物體的視覺模式，它包含了物體表面的組織結構以及與周圍環境之間的關系。常用的方法有相關矩陣法，粗糙度、對比度等紋理表示方法，以及小波變換等。形狀特征則包括兩種，一種是基于邊界的形狀特征，另一種則是基于區域的形狀特征。最成功的表示方法有傅利葉變換和不變矩等。這些低層的特征將通過各種方法抽取出來，并形成一組特征向量，建立相關索引并存儲到數據庫中。

3.2.2 圖像的語義特征

由于低層的特征并不直接代表圖像的語義信息，因此我們還將抽取圖像的語義特征。我們采用在網頁中與圖像相關的文字信息來表征圖像的語義特征，其中使用到的相關信息有：

1) 圖像的文件名及其網址。大多數作者直接通過文件名來表示圖像的內容，如redflower.jpg、cat.jpg、clinton.jpg等，就直接把圖像的內容體現在文件名中。同時，圖像的網址信息也提供了一些相關的語義信息，如http://www.ditto.com/images/animals/anim_birds.jpg就提供了圖像所屬的類別信息及其語義信息。

2) 圖像的替代文字（Alternate Text）。替代文字在網頁中通常用來表示圖像的語義信息，而且也是最為準確的一個特征。不過，并不是所有的作者都愿意提供這個信息。

3) 圖像周圍的文字（Surrounding Text）。在網頁中圖像周圍的文字是最可能表達圖像所有包含的內容的，雖然有些文字可能與圖像并不相關，不過這些文字在一定程度上還是表達了圖像的語義信息，因此被選擇成為語義特征之一。

4) 圖像所在頁面的標題。有些圖像用來加強作者的意圖，因此有些圖像的內容同頁面的標題內容直接相關。頁面的標題也就成為語義特征之一。

5) 圖像的超鏈接（Hyperlink）。圖像的超鏈接信息在一定程度上與圖像的內容相關。因此一些語義特征可以通過對超鏈接的分析計算得到。

6) 圖像所在網頁彼此間的鏈接（Link-Structure）?；趯W頁與網頁間的鏈接分析（Link Analysis），網頁內所包含的圖像彼此間語義上的相似性可以在一定程度上計算得到。這些信息可以用來加強圖像檢索的效果。

所有這些特征，都將通過頁面分析器從網頁中自動抽取出來，并被賦予不同的重要性，并按照傳統的文本信息檢索技術，建立圖像的語義特征向量。向量的每個分量都對應一個關鍵字，它的值取決于該關鍵字在與圖像有關的網頁中的分布。如果一個關鍵字在一個網頁中出現很多次，對應的分量就會大一些:另一方面，如果這個關鍵字出現在很多網頁中，對應的分量就會小一些。這種方法在文本檢索中被廣泛采用，也適用于圖像檢索。

3.3 圖像的檢索

用戶提交的查詢，可以是關鍵字的查詢，也可以是一張用戶感興趣的圖像，系統將根據提交的查詢，在圖像數據庫中找到一些最相似的圖像返回給用戶。提交的查詢將首先轉換成為一個由低層特征和高層特征結合的向量，然后分別與數據庫中圖像的向量計算相似度。相似度的計算分類兩步完成：一是計算低層特征的相似度，二是計算高層語義特征的相似度，然后采用線性組合的方法得到最后的相似度。相似度高的圖像成為檢索的結果。

4 相關反饋提高檢索效果

雖然低層特征和高層的語義特征相結合，在一定程度上提高了圖像檢索的效果，不過檢索系統的性能還是不太令人滿意，其主要原因有以下幾個方面：

1) 從目前一些流行的搜索引擎來看，用戶提交的查詢的平均長度為2～3個關鍵字，這種短查詢難以完全表達用戶的需求，導致檢索結果與用戶的需求差異較大。

2) 在數據庫中存儲的索引都是根據收集到的圖像的各種相關文字來建立的，這些文字是從作者的角度來描述的，與用戶所使用的詞之間存在一定的差異。

3) 由于一張圖像中存在很多信息，而且不同的用戶對同一張圖像的認識差異也很大;這就使得即使是相同的查詢，不同用戶希望得到的結果差異也很大。

4) 由于低層特征并不反映圖像真正的語義信息，因此當用戶提交一張圖像作為查詢時，系統很難找到用戶真正想要尋找的圖像。

這些問題導致自動的圖像檢索效果不能令人滿意。因此，許多系統都引入了人的交互，通過用戶的相關反饋，即通過選擇一些正確/錯誤的例子作為反饋，來逐漸提高檢索的結果。借鑒文本信息檢索的方法，在系統中也可引入相關反饋來修改用戶提交的查詢，使得修改后的查詢逐步接近用戶真正的需求，來提高系統的性能。

通過相關反饋對用戶提交的查詢的修改，檢索的性能比原先有了一定的提高。不過，大多數相關反饋并不具有記憶能力，每次反饋后的結果只能提高本次查詢結果。因此可以引入了語義網絡，把每次反饋的結果記錄到語義網絡中，使得系統的效果隨著使用次數的增加而逐步提高。

5 結束語

圖像檢索技術給用戶提供了一個在Internet上搜索感興趣圖像資源的有效手段，它不僅利用圖像自身的特征，如顏色、紋理和形狀等，而且還利用到圖像所處的網頁中與其相關的文字信息作為該圖像的語義特征，來提高圖像檢索的效果。另外，還引入了用戶的相關反饋來改善用戶的查詢質量，使得查詢的結果更加貼近用戶的需求。最后，通過語義網絡，記錄用戶查詢的過程，為其他用戶的查詢提供指導作用。

參考文獻：

[1] 溫泉徹，彭宏，黎瓊.基于內容的圖像檢索關鍵技術研究[J].微計算機信息，2007，23(3):11-13.

[2] 龔松春.基于內容的圖像檢索技術綜述[J].科技資訊，2008(3):20-21.

[3] 盧章平，朱科鈐.基于形狀特征和用戶反饋的商標圖像檢索技術[J].農業機械學報，2007，38(5):18-20.

[4] 張素芳，李劍中，馮剛.基于內容的圖像檢索技術概述及其發展趨勢[J].儀器儀表學報，2006，27(z1):29-31.