數(shù)字圖書館中的CBIR系統(tǒng)構建研究

基金項目：國家社科基金重大資助項目“圖書、博物、檔案數(shù)字化服務融合研究”（項目編號：10&ZD134）。

作者簡介：師文（１９８４－），男，博士研究生，研究方向：計算機視覺、模式識別、多媒體信息處理。?信息資源開發(fā)與利用?

〔摘要〕分析了CBIR系統(tǒng)的結構模式，探討了基于形狀特征的圖像檢索系統(tǒng)構建問題。重點研究了形狀描述、特征向量索引以及特征相似性度量及匹配等相關技術，應用輪廓點與興趣點之間的空間分布關系構造形狀描述函數(shù)并提取圖像特征。實驗結果表明，系統(tǒng)在動物形狀測試集中具有較高的檢索效率。

〔關鍵詞〕數(shù)字圖書館；基于內容的圖像檢索；形狀分析；系統(tǒng)構建

ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１００８－０８２１．２０１４．０５．０１６

〔中圖分類號〕Ｇ２５０７６〔文獻標識碼〕Ａ〔文章編號〕１００８－０８２１（２０１４）０５－００７９－０４

System Construction for CBIR in Digital LibraryShi Wen

（School of Information Management，Institute of Multimedia Information Processing，

Nanjing University，Nanjing 210093，China）

〔Ａｂｓｔｒａｃｔ〕In this paper,the structure pattern of CBIR was analyzed,and the construction of shape-based retrieval system was discussed.The research mainly focused on the technologies of shape description,feature vector index and similarity measure and match.The contour and feature points were used in constructing the description function and extract the shape features.Retrieval results in the animal shape dataset showed the effectiveness of the system.

〔Ｋｅｙｗｏｒｄｓ〕digital library;content-based image retrieval;shape analysis;system construction

隨著當今人們對信息資源共享要求的不斷提高，以及互聯(lián)網技術的快速發(fā)展，數(shù)字圖書館成了社會經濟文化發(fā)展的必然產物。自20世紀70年代圖書館開始將計算機技術融入日常信息管理，到20世紀80年代圖書館自動化系統(tǒng)投入應用，圖書館正式開啟了數(shù)字化改革的進程。隨著當今網絡通信技術的普及，數(shù)字圖書館的重要性日益凸顯，其系統(tǒng)構成也向著分布式管理的高級階段不斷進步。在圖書館的數(shù)字化過程中，信息載體的數(shù)字化和信息傳播的網絡化是兩個直接的技術動因。其中信息載體的數(shù)字化首先需要對各種形式的信息資源進行編輯、加工、組織以及存儲，并在此基礎上運用數(shù)字通信技術進行傳遞和共享。在數(shù)字化信息資源中，圖像不僅是除文本之外使用最廣泛的信息資源，而且是用來表示和檢索視頻等多媒體信息資源的基本要素［１］。這種情況下，數(shù)字圖書館中圖像信息資源的檢索技術［２－３］由于其廣泛的應用領域和較高的應用價值，已成為國內外學者關注的熱點和難點問題。

基于內容的圖像檢索（CBIR，content-based image retrieval）技術自上世紀末提出以來，就受到國內外學者的廣泛關注［４］。美國國家科學基金會于1994年正式發(fā)布了一項為期4年、耗資2 440萬美元的“數(shù)字圖書館創(chuàng)始”（DLI，digital library initiative）計劃，其目標是推動收集、存儲和組織數(shù)字信息的技術快速進步，并使數(shù)字信息得以通過網絡被查詢、檢索和處理［５］。此舉掀起了全球性的數(shù)字圖書館研究熱潮，基于內容的圖像檢索技術也在其推動下迅速成了相關研究的熱點。在基于內容的圖像檢索技術中，系統(tǒng)將圖像的視覺內容作為圖像特征用于匹配和檢索，以獲得更為完整和精確的檢索結果。常用的圖像底層視覺特征有顏色、紋理和形狀［６－８］，其中圖像的形狀特征能夠有效地描述人類視覺系統(tǒng)對圖像內容的感知，并能夠在相似圖像的區(qū)分識別中提供具有重要價值的視覺線索［９］。

向用戶提供基于內容的圖像檢索服務，作為數(shù)字圖書館現(xiàn)代化服務的基本內容之一，具有重要的研究價值。由于基于內容的圖像檢索系統(tǒng)涉及了多個學科的綜合交叉，具有較高的復雜性，因此對系統(tǒng)構建問題進行研究是當今數(shù)字圖書館領域的重要課題。在上述討論基礎上，本文對CBIR系統(tǒng)的結構模式進行了分析，探討了基于形狀特征的圖像檢索系統(tǒng)構建。重點研究了形狀描述、特征向量索引以及特征相似度匹配及度量等相關技術。基于上述研究，本文應用輪廓點與興趣點之間的空間分布關系構造形狀描述函數(shù)，通過傅立葉變換提取圖像特征，并構建了圖像檢索實驗系統(tǒng)。仿真結果表明，該實驗系統(tǒng)在動物形狀測試集中具有較高的檢索效率。

１CBIR系統(tǒng)構建

作為人們傳遞信息的主要媒介，圖像數(shù)據直觀的映射了客觀世界，具有極強的表現(xiàn)力并包含豐富的信息量，因此也是最難以獲取、傳輸、處理與描述的信息表示形式之一。CBIR作為一種應用于數(shù)字圖像的檢索技術，由于其較強的學科綜合性，成了一項及重要性與復雜性于一身的多媒體信息處理技術。在典型的CBIR系統(tǒng)結構中，檢索行為主要通過圖像視覺特征的匹配來完成在典型的CBIR系統(tǒng)結構中，檢索行為主要通過圖像視覺特征的匹配來完成。用戶選擇符合檢索行為預期的示例圖像作為檢索條件，系統(tǒng)通過對檢索條件的特征進行分析和匹配，查找與示例圖像相似度較高的圖像及相關內容作為檢索結果，并按照相似度從大到小的原則返回用戶。而且，由于人機交互的檢索模式以及可視化的檢索界面在CBIR系統(tǒng)中的廣泛應用，用戶檢索行為的發(fā)起變得更為便捷，并能用戶能夠實時地的對檢索結果進行評估和改進。CBIR作為一種集成技術，其研究內容涉及了圖像預處理，形狀特征描述及提取，特征向量索引，形狀相似度匹配及度量等相關技術環(huán)節(jié)。圖１顯示了基于形狀特征的CBIR系統(tǒng)結構。

圖１基于形狀特征的CBIR系統(tǒng)結構圖

１１基于興趣點的形狀描述

在圖像內容描述的研究中，圖像的局部視覺特征在近年來逐漸成了該領域的研究熱點［１０－１１］。研究表明，在圖像內容的描述過程中，圖像的局部特征具有優(yōu)良的緊湊性以及魯棒性。圖像局部特征的提取通常由兩個步驟組成，首先在圖像中提取若干興趣區(qū)域或者興趣點，然后基于興趣區(qū)域或者興趣點建立用于描述圖像特征的特定機制。其中，圖像的興趣區(qū)域與興趣點可定義為圖像中具有代表性且對各種圖像變換有較強不變性的特殊像素點或者像素點集合。在基于興趣點特征的檢索算法中，算法首先應用興趣點檢測規(guī)則獲取符合檢索目的的興趣點，并在此基礎上應用局部特征描述函數(shù)獲取興趣點對應的圖像特征。這些興趣點通常是形狀邊界上的特殊輪廓點，常見的有：角點、曲率極值點、滿足仿射不變性的點等。

endprint

１２特征向量索引

傳統(tǒng)的特征向量索引技術包括Hash索引、B-tree索引、B+-tree索引等。數(shù)據庫中的不同特征具有獨立的屬性值，如果在某一特定時間只有少部分屬性值被數(shù)據庫調用，那么此時較適合使用hash索引。應用hash索引的尋址技術具有較高的檢索實時性，在大數(shù)據量環(huán)境下，該類技術通常使用開放地址法和拉鏈法來避免數(shù)據沖突。Hash索引適合于檢索某個位置確定的記錄，當需要檢索某個范圍內的記錄時，Hash索引則不能較好的發(fā)揮作用。此時，通常使用B-tree索引與B+-tree索引來滿足檢索需求。B-tree指多路平和檢索樹，作為一種常見的數(shù)據結構，B-tree能夠明顯加快定位記錄時的中間過程，從而提高存取效率。該方法適用于磁盤等存儲設備，能夠有效組織動態(tài)查詢表，而且已經廣泛地應用于關系型數(shù)據庫中。在B-tree中，除了根節(jié)點以外的所有節(jié)點都可以作為數(shù)據點，與此不同，B+-tree只將葉節(jié)點判定為數(shù)據點，因此B+-tree較適合與只關注一種屬性的圖像索引。R-tree及其改進方法R+-tree和R*-tree是一類能夠檢索具有多維屬性圖像的索引方法。R-tree方法中的重疊率對高維特征較為敏感，當R-tree檢點中出現(xiàn)過多的空間重疊和死區(qū)時，該類方法的檢索性能會顯著下降。

傳統(tǒng)的樹形索引技術并未將非歐氏距離度量問題作為研究的重點，然而在CBIR中存在著許多非歐氏距離度量的相似度算法，因此傳統(tǒng)的特征向量索引技術并不能完全適用于CBIR系統(tǒng)。這種情況下的在CBIR系統(tǒng)構建中，可以在模式識別領域中的神經網絡以及聚類方法中尋求解決方案。在相關研究基礎上，研究者提出了諸如M-tree、Slim-tree等度量空間的索引結構，從而解決了非歐氏距離度量的問題。為了將圖像內容檢索轉化為高維空間點集的最近鄰檢索，研究者還提出了高維索引技術。當前CBIR系統(tǒng)多基于大規(guī)模的圖像數(shù)據庫，單一的線性檢索方法難以滿足實時檢索的需求，因此在特征庫中應用相似索引技術構建特征索引結構，可以實現(xiàn)基于相似性的高維特征向量檢索。

常用的高維索引技術可以分為兩種：（１）控制圖像特征的維度［１２］；（２）控制訪問數(shù)據集［１３］?？刂茍D像特征維度可以通過降維和向量近似（VA，vector approximation）技術［１４］來實現(xiàn)。基于降維的索引方法首先通過對數(shù)據集的降維操作來減少數(shù)據維度，然后利用多維索引技術在降維數(shù)據基礎上生成索引。向量近似技術使用緊致性較高的近似向量來表述初始特征，并對近似向量進行過濾處理，使得查詢過程只需訪問少量初始特征向量就能夠完成，有效提高了檢索效率?？刂圃L問數(shù)據集可以通過限定語義范圍或者聚類索引的方法來實現(xiàn)。限定語義范圍法需要查詢者對數(shù)據庫的語義標注信息有一定了解。在聚類索引法中，某一聚類中的特征向量能夠存儲在連續(xù)的磁盤空間中，從而顯著地提高檢索效率。

１３形狀相似性度量及匹配

CBIR系統(tǒng)的核心環(huán)節(jié)圖像特征的相似性度量及匹配是決定了整個系統(tǒng)的檢索效率。形狀匹配是通過度量形狀間的特征來實現(xiàn)的，是形狀檢索的重要環(huán)節(jié)之一。在形狀相似性度量的過程中，應針對形狀特征以及應用環(huán)境的不同，選擇相適應的相似性度量方法。在匹配算法中，基于內容的圖像檢索系統(tǒng)通過相應的相似性度量方法對查詢形狀特征以及數(shù)據庫中的形狀特征進行運算，對于得到的結果進行排序，并將與結果對應的形狀序列返回給查詢用戶。因此，形狀的相似性度量問題從本質上說，是探討如何用數(shù)值來表征形狀相關程度的問題。在常見的圖像檢索系統(tǒng)中，形狀的特征相似性度量方法主要分為距離度量和相似系數(shù)度量兩大類。

距離是評估圖像間差異度最直觀的測度之一，形狀間的距離度量方法應用距離函數(shù)來計算兩個形狀特征的距離相關性。如果設ｄｉｊ表示第ｉ個樣本與第ｊ個樣本間的距離，則對于任意ｉ，ｊ和ｋ，ｄｉｊ需滿足如下條件：

Ⅰ．自相似性：ｄｉｉ＝ｄｊｊ＝０

Ⅱ．非負性：ｄｉｊ≥ｄｉｉ＝０，當且僅當ｉ＝ｊ時，ｄｊｊ＝０；

Ⅲ．對稱性：ｄｉｊ＝ｄｊｉ；

Ⅳ．三角不等性：ｄｉｊ＜ｄｉｋ＋ｄｋｊ。

上述條件共同組成了距離公理的內容，應用于圖像距離度量的公式，一般需滿足距離公理的要求。

２系統(tǒng)實現(xiàn)中的算法分析

在系統(tǒng)設計中，查詢接口是與用戶直接互動的系統(tǒng)模塊，基于內容的圖像檢索技術無須用戶通過個體認知來描述檢索目標的含義，而只需用戶提供檢索圖像，由系統(tǒng)理解并提取圖像特征，以此作為檢索條件來取代關鍵字檢索。由于機器提取特征具有較強的客觀性強，且能夠與數(shù)據庫中的圖像特征提取準則高度統(tǒng)一，因此更符合圖像信息資源檢索的需求。在形狀特征的描述過程中，通過建立興趣點和輪廓點之間的分布特征函數(shù)，來提取目標的特征。應用基于特征向量索引技術的特征相似性度量方法，計算示例圖像與數(shù)據庫中圖像間的歐氏距離，并最終返回檢索圖像序列。本文的系統(tǒng)框架如圖２所示。圖２系統(tǒng)框架圖

本文系統(tǒng)框架中所涉及的技術流程可描述如下：

Step 1：應用用戶上傳示例圖像的方式構建用戶查詢模塊。

Step 2：在圖像描述模塊中，應用圖像的形狀特征描述方法實現(xiàn)基于內容的圖像檢索，在目標輪廓提取的基礎上掃描輪廓像素點｛Ｘｉｉ＝１，２，…ｎ｝，其中n為輪廓像素點總數(shù)。通過分析輪廓的曲率特性獲取反應目標形狀特征的興趣點｛Ｐｉｉ＝１，２，…ｍ｝，其中m為輪廓興趣點數(shù)，并建立輪廓點與興趣點間的位置關系函數(shù)Ｆ（Ｘｉ，Ｐｉ）。

Step 3：應用Fourier描述方法提取圖像的匹配特征。

Step 4：在匹配環(huán)節(jié)中，采用歐式距離進行圖像特征的相似度測量，完成圖像的形狀特征信息匹配，最后按照特征相似度的降序排列返回數(shù)據庫中的相關圖像序列，作為最終的查詢結果。

３系統(tǒng)實驗分析

實驗平臺采用Intel Core2 Duo 226 GHz處理器、4GB內存的PC機，以及MATLAB 71開發(fā)環(huán)境下完成。實驗系統(tǒng)搜集了30個不同類別的動物標本圖像，對搜集到的標本圖像進行50%～100%的尺度規(guī)格化，平移定長距離圖，旋轉0～360度的角度圖。經上述仿射變換后，得到了600幅圖像的數(shù)據集，其中每種標本包含20個類間圖像。在此基礎上，實驗中還從MPEG-7標準數(shù)據集中選取了5個與標本圖像相關的類，每類包含20個類間圖像。圖３顯示了部分來自于實驗數(shù)據集的圖形樣本。

圖３系統(tǒng)數(shù)據集中的部分樣本

系統(tǒng)參數(shù)設置中，為了提高算法實時性，實驗圖像被統(tǒng)一采樣為128個像素點。通過特征向量的維度控制，減少傅里葉高頻系數(shù)帶來的噪聲干擾，并實現(xiàn)目標整體形狀細節(jié)的描述。在本文系統(tǒng)中，測試了3種圖像描述方法，包括興趣點空間關系，以及經典算法中的Zernike矩和Hu矩方法。圖４顯示了3種圖像描述方法算法在檢索實驗中的P-R（Precision、Recall）曲線。

圖４系統(tǒng)P-R曲線測試結果

圖５顯示了以horse類中的一幅圖像作為檢索圖像時，實驗系統(tǒng)檢索得到的結果圖像?？梢钥吹?，在前20幅返回結果圖像中，與檢索圖像相似的為15幅，出現(xiàn)了5幅誤檢現(xiàn)象，并由深色檢索框進行標記。進一步分析可知，在結果返回的前10幅結果圖像中，只有第2幅為誤檢圖像，且前3幅返回結果均為正確檢索圖像，體現(xiàn)了實驗系統(tǒng)較高的檢索效率。圖５系統(tǒng)實例測試結果

４結束語

本文分析了基于內容的圖像檢索系統(tǒng)的結構模式，并進一步討論了基于形狀特征的圖像檢索系統(tǒng)構建。在形狀檢索系統(tǒng)涉及的相關技術中，重點研究了形狀描述、特征向量索引以及特征相似度匹配及度量等。在技術研究的基礎上，通過建立輪廓點與興趣點之間的空間分布關系來進行圖像內容描述，應用傅立葉變換提取圖像特征，實現(xiàn)了圖像檢索實驗系統(tǒng)的構建。在動物標本圖像測試集中，本文方法較之兩種經典檢索方法效果更優(yōu)，顯示了較高的檢索效率。

endprint

參考文獻

［１］熊回香.Internet上的圖像信息檢索技術［Ｊ］.情報學報,2005,24（2）:222-227.

［２］朱學芳.數(shù)字圖像信息資源開發(fā)及管理［Ｊ］.中國圖書館學報，2002，（6）:36-38.

［３］Premachandran V,Kakarala R.Perceptually motivated shape context which uses shape interiors［Ｊ］.Pattern Recognition，2013，46（8）:2092-2102.

［４］Aptoula E,Lefèvre S.Morphological description of color images for content-based image retrieval［Ｊ］.IEEE Transactions on Image Processing，2009，18（11）:2505－2517.

［５］朱強.數(shù)字圖書館：21世紀圖書館的原型——美國“美國圖書館傳世計劃”簡介［Ｊ］.大學圖書館學報，1995,（4）:50-54.

［６］Datta R,Joshi D,Li J,Wang J-Z.Image retrieval:ideas,influences,and trends of the new age［Ｊ］.ACM Computing Surveys，2008，40（2）:1－60.

［７］Van De Sande K-E-A.,Gevers T,Snoek C-G-M.Evaluating color descriptors for object and scene recognition［Ｊ］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32（9）:1582－1596.

［８］Manjunath B-S,Ma W-Y.Texture features for browsing and retrieval of image data［Ｊ］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1996，18（8）:837－842.

［９］Wang B.Shape retrieval using combined Fourier features［Ｊ］.Optics Communications，2011，284（14）:3504-3508.

［１０］Shu X,Wu X-J.A novel contour descriptor for 2D shape matching and its application to image retrieval［Ｊ］.Image and Vision Computing,2011,29:286-294.

［１１］王斌.一種用于形狀描述的拱高半徑復函數(shù)［Ｊ］.電子學報,2011,39（4）:831-836.

［１２］Weber R,Schel H,Blott S.A quantitative analysis and performance study for similarity-search methods in high-dimensional spaces［Ｃ］.Proceedings of the ACM Very Large Data Bases,New York,1998:194-205.

［１３］Ferhatosmanoglu H,Tuneel E,Agrawal D,et al.Vector Approximation based indexing for non-uniform high dimensional data sets［Ｃ］.proceedingsof the 9th ACM International Conferenee onI nformation and Knowledge Management,MeLean,Virginia,USA,2000:202-209.

［１４］Ye H-J,Xu G-Y.Fast Search in large-seale image database using vector quantization［Ｃ］.Proceedings of the International Conference on Image and Video Retrieval,Lecture Notes in Computer Science,Urbana,USA,2003:458-467.

endprint