基于多中心卷積特征加權的圖像檢索方法

朱 杰,張俊三,吳樹芳,董宇坤,呂 琳

(1.中央司法警官學院 信息管理系,河北 保定 071000; 2.中國石油大學 (華東) 計算機與通信工程學院,山東 青島 266580;3.河北大學 管理學院,河北 保定 071000)(*通信作者電子郵箱shufang_44@126.com)

0 引言

在互聯網技術高速發展的今天,基于內容的圖像檢索越來越受到人們的關注。圖像檢索過程主要分為圖像表示階段、過濾階段和二次重排序階段[1-2]。圖像表示階段主要通過對圖像的局部或者全局特征的加工生成代表圖像內容的向量；過濾階段用于計算待查詢圖像與圖像庫中所有圖像的相似度,并按照相似度排序返回查詢結果；二次重排序階段主要用于對返回的相似度高的結果再次提純。圖像內容表示的優劣直接決定著圖像檢索的性能,因此長久以來為研究者所重視[3]。

詞袋模型(Bag of Words, BoW)[4]在相當長的一段時間內成為了圖像檢索問題的主流算法，其成功主要取決于局部不變性特征[5]與大規模的字典訓練[6]。在隨后的工作中,局部特征匹配、空間特征的引入以及局部特征描述子的選擇成為了圖像檢索領域的熱點問題。

隨著深度學習算法在ImageNet挑戰賽圖像分類任務中取得了優秀的結果[7-8],以深度學習為基礎的算法在對象識別[9]、語義分割[10]等眾多計算機視覺領域得到了廣泛的應用。利用卷積神經網絡(Convolutional Neural Network, CNN)提取多層次特征,并用激活特征向量作為圖像表示的方法在圖像檢索領域逐漸成為主流[11-12]。與圖像分類任務不同,圖像檢索沒有訓練集的參與,所以通常情況下直接采用預訓練網絡對圖像特征進行提取。一些算法嘗試通過對象區域的發現,從而生成有針對性的圖像表示。Tolias等[11]提出了通過圖像子區域對圖像進行編碼的方法,由于激活映射中的最大值位置通常對應著對象區域,所以算法將不同尺度的圖像子區域特征用該區域在不同特征映射內的極大值池化結果來表示。卷積特征映射中,響應值高的區域更有可能是對象區域,所以,依據響應值對卷積層激活加權的方式可以在圖像表示的過程中更加突出對象內容；但是,極大池化的方法無法準確刻畫出對象區域。Babenko等[13]提出的跨維度加權(Cross-dimensional Weighting, CroW)算法利用對象通常出現在圖像幾何中心的特點,將靠近中心的局部特征賦予較高權值,并將加權的局部特征進行聚合用于生成壓縮的圖像特征；但是,這種方法并沒有選擇出對象的特征,生成的圖像表示仍然是全局表示方法。Wei等[14]首先發現對象的粗略區域,并將區域內深度特征進行聚合用于圖像的細粒度檢索問題，此方法將激活映射響應的均值作為圖像區域的判斷標準,所以,無法準確發現對象區域;其次,該方法將激活映射內大于均值位置在不同特征映射中的響應當作對象特征描述子,并沒有嘗試區分不同響應在對象描述中的重要性。

卷積層激活特征的池化可以將局部特征進行有效合并,生成較低維度的圖像表示,一些算法從圖像的全局表示出發,嘗試利用不同的特征聚合方式進行圖像表示。 Azizpour等[15]提出卷積層的激活在極大池化后的結果能夠生成非常有效的圖像表示。在隨后的工作中,Babenko等[13]提出對于經過白化的圖像進行表示,使用卷積特征的和池化(sum pooling)比極大池化(max pooling)有更好的檢索效果。

與以上方法不同,Kalatidis等[16]提出的跨維度(CroW)算法利用卷積層激活的空間權重和通道權重為可能出現的對象區域賦予高權值。然而,空間權重的計算方式只考慮了激活映射中不同位置響應的重要性,沒有考慮到不同位置特征映射之間的關系。圖像中的對象通常是多個位置組成的連續區域,將不同位置之間的近鄰關系融入到權重的計算中,對于圖像內容的合理表示有著重要的意義。卷積特征的高響應值位置在這些工作中用于發現原圖像中的對象區域,但是如何將多個高響應值位置之間的關系融入到對象的深度特征加權中仍然沒有得到解決。

本文提出了基于多中心的卷積特征加權(Multi-center based Convolutional Feature Weighting, MCFW)方法,這種方法根據對象區域的連續性特點,從激活映射中選取一些高響應值位置作為中心,通過計算其他位置與中心點的距離來給所有位置的深度特征描述子賦權值。圖像表示的流程如圖1所示,首先,提取出最后一個卷積層的激活;其次,對激活內不同通道的特征映射進行求和獲得激活映射;然后,從激活映射中選擇出響應值高的一些位置作為中心,將不同位置的高斯權重與尺度權重作為激活中對應位置描述子的權重;最后,通過加權特征的池化生成圖像表示。

圖1 圖像表示流程Fig. 1 Flowchart of image representation

1 多中心特征加權

由于深層卷積特征擁有更接近于語義的特征描述,所以利用最后一個卷積層特征進行圖像表示的方法在圖像檢索中得到了廣泛的應用。圖像I通過預訓練卷積神經網絡,在最后一個卷積層生成了C個高和寬分別是H和W的特征映射S,對應卷積層的激活為三維張量T,其包含H×W×C個元素。描述子d是特征映射中任意位置在T中對應的C維向量。

不同通道卷積特征映射的疊加對于發現對象區域有著重要的作用[14],將C個卷積特征映射S疊加后生成T的激活映射A為:

(1)

其中:A∈R(W×H)。在A中任意位置的響應值越大,此位置對應的圖像I中的區域越有可能是對象的區域。

為了在激活映射中突出對象所在的位置,算法在A中選擇了前N個響應值最大的位置P={p1,p2,…,pN}作為中心,其中pk位置在A中對應的坐標為(xk,yk),則A中任意位置(x,y)對應pk的高斯權重為:

(2)

其中:βkN為pk響應值在A中歸一化后的結果。與文獻[13]相同,σ的值為中心點到激活映射最近邊界的1/3。計算任意位置相對于所有中心的權重,并選擇其中的最大值作為N中心情況下,則當前位置對應描述子的權重為αkN(x,y)。

空間金字塔[17]將圖像劃分為大小相同的細胞單元(cell),并對不同尺度細胞單元內的特征進行表示,從而給圖像表示提供多尺度的空間信息,空間金字塔的層次越高,對應的特征權重越大。受此方法啟示,將中心的數量N作為劃分尺度的標準,那些在較少中心情況下獲得高權值的位置更有可能對應著對象區域，則尺度權重表示為:

LN=exp(-N)

(3)

最終,N中心情況下的特征加權為:

wN(x,y)=akN(x,y)LN

(4)

2 圖像表示

通過使用wN(x,y)對T中描述子d(x,y)加權,可以反映出當前位置的描述子對于描述對象特征的重要性。與文獻[14]相同,本文通過設置閾值的方法選擇一些描述子用于圖像表示：

(5)

其中:閾值γ為A中所有位置權重的平均值。在N中心情況下的圖像表示為加權描述子的和池化,如式(6)所示：

(6)

最終的圖像表示為不同中心數量情況下圖像表示的連接。假設選擇了M組不同的最大激活中心數量,則最終圖像表示的維度為MC。

3 實驗與分析

3.1 實驗數據

圖像集1是INRIA Holiday圖像集[18],此圖像集主要由一些私人的假期照片組成,共包含500種場景或物體,共1 491幅圖像,其中每組圖像的第一個作為查詢,其他的作為查詢結果。

圖像集2是Oxford圖像集[6]。本文選擇Oxford 5K、Oxford 100K、Oxford 105K作為實驗用數據集。其中：Oxford 5K包含從Flickr上找到的5062幅共11種牛津地標性建筑的圖像，并從每種地標中選出5個作為查詢；Oxford 105K是由Oxford 5K加上干擾圖像圖像集Oxford 100K(共100071幅圖像)形成。

圖像集3是Paris圖像集[19],共收集了Flickr中6 412幅巴黎地標性的建筑,如凱旋門和盧浮宮等。需要注意的是建筑物可能出現在圖像的任意位置。

表1 MCFW與其他算法的mAP比較Tab.1 mAP comparison between MCFW and other algorithms

3.2 實驗設計

在Oxford 5K、Oxford 105K與Paris圖像集中,查詢圖像的對象區域已經給定,實驗中采用標準的方法,即把裁剪后的圖像作為神經網絡的輸入用于提取特征。對于Holiday、Oxford 5K、Oxford 105K和Paris圖像集,實驗采用平均精度均值(mean Average Precision, mAP)來衡量檢索的性能。與文獻[13,16]相同,本文以預訓練VGG16模型為基礎,用于提取圖像深度特征。隨著模型層次的深入,卷積層特征擁有更好的語義表示能力,所以實驗選擇最后一個卷積層的激活用于特征加權以及圖像表示。實驗中,選擇的劃分尺度及中心數量分別為1、2和3三種尺度。圖像表示的維度為1 536，MCFW算法采用歐氏距離衡量圖像之間的相似性。查詢擴展(Query Expansion, QE)能夠有效地提高檢索性能,對于查詢圖像按照MCFW方法進行檢索,將第一次查詢的結果按照相似性從高到低排序,將最相似的前5個查詢結果的圖像表示進行平均池化與L2歸一化,并將其作為二次查詢的輸入,與所有圖像進行相似度計算,并按照相似性進行排序。

圖2為Paris圖像集中不同最大激活組數M對應的mAP,從中可以發現,隨著最大激活組數的增加,平均精度均值也隨之增加,當組數為4時mAP達到最大值。此外,圖中不同曲線對應著VGG16模型中不同卷積層特征通過MCFW方法得到的mAP,由于深層次的卷積層特征擁有對圖像更好的語義描述,利用conv5-3層的特征得到了最好的檢索結果。

圖2 不同最大激活組數下Paris圖像集mAP的比較Fig. 2 mAP comparison for different groups of maximum activations in Paris

表1為MCFW與其他算法在圖像庫中檢索結果的mAP值比較。可以發現在不采用QE的情況下,MCFW在所有圖像庫中都取得了令人滿意的檢索效果。和池化卷積(Sum-Pooled Convolutional, SPoC)[20]利用對象通常情況下出現在圖像幾何中心的特點,將高權值賦予幾何中心的特征,遠離中心的特征則賦予了較低的權值。圖像中對象位置的不確定性導致其檢索性能低于MCFW。與MCFW相似,CroW[16]通過發現卷積層激活映射的響應值大小來確定對象位置,但是,這種方法沒有考慮到對象區域的連續性特點,所以,單純依靠響應值的Crow方法無法給對象區域賦予合理權值。由于CroW考慮到了同層次中不同特征映射在求和過程中的重要性比對,所以仍然取得了優秀的結果。增加QE可以顯著提高檢索性能,通過實驗比對可以發現,在同時增加QE的情況下,MCFW的結果仍然優于CroW。

圖3為MCFW在Paris圖像集中不同查詢對應的前5的檢索結果，圖像查詢中的對象區域用綁定框標出。從檢索結果中可以發現,MCFW提取出的圖像特征對于不同角度和光照下的圖像表示有較好的魯棒性,此外,由于MCFW對象的中心選擇不依賴于圖像的幾何中心,所以檢索結果中許多對象的中心點并不在圖像的中心。

4 結語

本文基于卷積層激活映射的特點,提出了基于多中心的卷積特征加權方法MCFW。本文方法將激活映射中較大響應個數定義為尺度,并將這些響應的位置作為中心點,通過高斯加權的方式對激活中的描述子進行重要性分析,最后,通過特征聚合生成圖像表示,用于圖像檢索。本文方法在一些圖像檢索任務中取得了令人滿意的結果。在未來的工作中,將設計將基于特征加權的圖像表示方法融入圖像哈希算法中,用于提高檢索性能與速度。

圖3 MCFW在Paris圖像集中的檢索結果對比Fig. 3 Retrieval results of MCFW in dataset Paris