基于SURF和VLAD特征編碼的面料圖案檢索研究

趙文浩, 向 軍, 張 寧, 潘如如

(江南大學 紡織科學與工程學院, 江蘇 無錫 214122)

隨著快時尚時代的到來,消費者對紡織品的需求更加多元化,這也導致紡織服裝生產企業的產品也隨之變得更加多元化[1]。其中,面料在這種趨勢下表現得更為明顯,而面料多元化的同時為企業的倉儲、管理帶來了不小的挑戰。如何從萬級的面料庫快速精準地挑出想要的圖案面料對企業來說具有重要意義。目前,面料的相似圖案檢索主要采用基于內容的圖像檢索技術,并取得一定的效果。

基于內容的圖像檢索技術主要有二大類特征:低階特征和高階特征[2]。高階特征需要通過網絡模型進行訓練提取相應特征,然而,訓練模型需要覆蓋面較廣的數據,相對低階特征需要的時間和計算資源要求更高[3]。低階視覺特征從圖像的平面屬性來劃分,有紋理、顏色、形狀等特征,現有將不同的特征進行結合互補來實現對圖像的有效內容進行表征,其不需要像高階特征那樣進行人為標注訓練數據,提取消耗時間短,針對性較強。近幾年國內基于低階特征進行面料圖像檢索的研究主要有:康鋒等[4]通過提取特定范圍的SURF(speeded up robust features)特征對織物圖案進行檢索;向忠等[5]結合顏色和形狀特征有效地在分辨印花圖案形狀的同時兼顧顏色特征;曹霞等[6]采用灰度共生矩陣、灰度梯度共生矩陣和局部二進制算子進行結合的方法對蕾絲圖案有不錯的檢索效果。以上的研究針對少量且簡單的面料圖案有不錯的效果,但不適用于企業級應用。因為面料企業的面料種類多種多樣,數據庫超過萬級,這對檢索算法的要求更加嚴格。劉穎等[7]通過SIFT與VLAD(vector of locally aggregated descriptors)聚合特征和全局特征結合對海量的現勘圖像分類有著不錯的效果,這對于同樣海量的面料檢索有著較好的參考價值[8]。

因此,本文針對大批量、結構復雜的面料圖案的檢索問題,提出了基于SURF和VLAD特征編碼的面料圖案檢索算法并對其進行研究。

1 圖像預處理

本實驗采用從企業收集的面料樣本建立數據集,共選取1 000張圖案不同的面料圖片作為原始數據圖像庫,對原始圖像進行裁切、旋轉、放縮等處理獲得10張面料圖片以擴充圖像數據庫。原始圖像為 605像素×605 像素,分辨率為96像素/(2.54 cm),對原始圖像進行旋轉、裁切、放縮等一系列處理后,保存的圖像尺寸為512 像素×512 像素。每張原始圖像經過裁切并放大生成4張子圖;分別經過旋轉30°、60°、90°、120°、150°并在原始圖像中取300 像素×300 像素的圖片,統一放大到512 像素×512 像素,由一張原始圖片獲得9張子圖,構建圖片數為10 000張的數據庫。

2 特征提取及相似性度量

2.1 SURF特征提取

SURF算法是由Herbert等[9]提出的一種圖像局部特征描述算子,其采用了Hessian矩陣對積分圖像中的每個像素點進行處理,構建尺度金字塔檢測局部極值點,然后基于二維Haar小波變換定位特征點的主方向,并形成特征矢量,如圖1所示。

圖1 尺度空間的構建與特征點的定位Fig. 1 Construction of scale space and location of feature points

構建圖像金字塔時,常常使用盒式濾波器來近似卷積,每個像素的Hessian矩陣行列式近似值可由下式計算所得。

det(H)=Dxx×Dyy-(0.9×Dxy)2

(1)

SURF特征具有旋轉不變性,其對圖像的偏移、旋轉有較好的適應性。其特征向量的計算方式為:1)確定主方向。通過統計以特征點為圓心,6 s為半徑的水平和垂直方向的Haar小波響應,然后以60度為一個區間進行旋轉,計算各個區間的Haar小波特征總和及特征值,選取最大的區間方向作為該特征點的主方向;2)計算特征向量。通過確定的主方向對特征點進行旋轉使其保持一致,區域大小為 20 s×20 s, 再進一步均勻劃分為16個子區域,分別對子區域的水平和垂直方向的小波響應求和及絕對值加和。如圖2所示,一個子區域得到一個分向量V,因此16個區域總共能得到64維的向量。

圖2 特征描述子的生成Fig. 2 Generation of feature descriptor

2.2 VLAD特征

2.2.1 碼本的生成

VLAD的碼本是由聚類生成的,本文所采用的Mini Batch K-Means算法[10]是K-Means的一種優化方案,其適用于數據規模較大的聚類。該方法將大規模的數據通過每次只采取小部分少量的數據進行中心節點的更新,不斷迭代至中心節點達到穩定或者達到設定次數,才會生成碼本。該方法相較于K-Means節省了大量的計算資源和計算時間,對于海量數據有較好的效果。圖3示出碼本的訓練流程。

圖3 碼本的生成Fig. 3 Generation of codebook

2.2.2 VLAD的生成

通過NN近鄰法將待檢面料的SURF特征si,j與碼本類比,將特征點與碼本的類別進行歸類,i是類別號,j是該特征點在這個類別的排序,進而計算殘差值ri,j。殘差值計算如式(2)所示。

ri,j=si,j-ci

(2)

每個類別中,對待檢圖像的所有SURF描述符計算殘差,所以每個類別的VLAD特征通過式(3)計算可得。因此,每張圖像的VLAD向量就是計算k個類別,即長度為k×64。VLAD的特征算法生成過程如圖4所示。

(3)

圖4 VLAD特征算法的生成Fig. 4 Generation of VLAD

對于面料圖像來說,其圖案復雜多變,結構差異大,且重復性結構較多,導致在特征提取時其特征點數量較多,且大都為重復,不利于檢索迅速響應。因此本文采用主成分分析法(PCA)對VLAD進行降維,VLAD的特征矩陣為V(V1,V2, …,Vk) 。通過優化得到式(4)目標函數。

YP=WTV

(4)

式中:V表示提取訓練正樣本VLAD特征向量;YP表示降維后的VLAD特征向量;W為協方差矩陣。

2.3 相似性度量

相似性度量一般直接通過計算待檢圖像特征與數據庫中圖像特征之間的距離實現,由于數據庫的圖片數量龐大,特征維度高,在檢索過程中計算會耗費大量計算資源,檢索效率低下。為解決這個問題,通常采用最近鄰的快速計算,常用的3種算法是暴力計算、KD-tree、Ball-tree。對于D維度中的N個樣本來說,暴力計算的復雜度為O[DN2],隨著樣本數N的增加,暴力計算的復雜度迅速增大,使用其用來構建索引和查詢都不切合實際;KD-tree結構為二叉樹結構,其查詢時間的變化是很難精確描述的,對于低維度(D<20)的近鄰搜索非常快,其成本大約是O[Dlog2(N)],但當D增大到很大時,其成本的增加接近O[DN],且由于樹結構引起的開銷導致查詢的效率比暴力計算還要低;不同于KD-tree的沿笛卡爾坐標軸分割數據,Ball-tree是在一系列嵌套的超球體上分割數據,雖然在構建數據花費上超過KD-tree,但在高維數據上的表現很高效[12],其查詢時間大約以O[Dlog2(N)]增長。對于稀疏的數據,Ball-tree和KD-tree的查詢效果幾乎一樣。本文中樣本數為10 000,經過VLAD編碼并降維后的數據維度為512,且數據稀疏,所以綜合考慮,選用Ball-tree更為合適。圖5示出了Ball-tree結構,每個節點代表1個球。

圖5 數據集的球樹結構Fig. 5 Spherical tree structure of data set

使用Ball-tree查詢時,用來搜索目標點P的K個最近鄰。假設DS是目標節點與最近鄰點的最小距離,DS=maxx∈pin∣x-t∣,t和當前節點的距離可通過式(2)～(4)定義,其中pin表示發現的最近鄰點。若DS

DN=max{DN.parent,|t-center(N)|-radius(N)}

(5)

3 檢索算法流程與評價標準

3.1 檢索算法流程

本實驗通過SURF算法提取面料的圖案特征,將圖案特征進行聚類構建視覺碼本,將面料庫里圖像的SURF描述子找到與碼本中最近的聚類中心計算殘差,最終得到VLAD特征;由于得到的VLAD特征維數比較高,采用PCA[13]進行降維,降維后的VLAD通過Ball-tree算法構建索引。當輸入待檢索圖像時,首先對其提取SURF特征,然后根據碼本生成VLAD并降維,將降維后的VLAD特征在構建好的Ball-tree中查詢,按相似度的大小進行排序并返回結果,實現對圖案類面料的檢索。整個檢索流程如圖6所示。

圖6 圖案類面料檢索算法流程Fig. 6 Flow chart of pattern fabric retrieval algorithm

3.2 評價標準

本文利用查準率(P)、召回率(R)以及每張照片的檢索精度(PAP)和平均檢索精度(PmAP)作為實驗性能評價指標。計算公式如下所示。

(6)

(7)

(8)

(9)

式中:S為檢索結果中與待檢索圖像相似的圖像數量;U為檢索結果中與待檢索圖像不相似圖像的數量;V為未檢索到的與待檢索圖像相似的圖像數量;P(K)為截止點K處的精確率;r(K)為指示函數。當圖像在K處是待檢索圖像的相似圖像,則r(K)等于1,否則等于0。K和n分別表示截止點和檢索的圖像數目;NR表示相似圖像的數量;Q表示檢索次數即檢索的圖片總量。

4 結果與分析

為驗證本文算法對圖案類面料檢索的有效性和可行性,實驗在Pycharm 2021.3軟件運行實現。計算機硬件配置為Intel Core i5-7300HQ處理器,CPU主頻2.50 GHz,16 GB內存,操作系統為Windows10,從面料數據集中隨機挑選5 000張圖片作為待檢索圖像,在包含10 000張圖像的數據集上進行實驗,對本文算法進行論證。

4.1 參數優選

4.1.1 評估不同視覺詞典規模的影響

當Mini Batch K-means算法采用不同的視覺詞典規模(K),選取前10張返回圖片計算查準率,查準率和時間的變化如表1所示。

從表1可以看出,在一定范圍內,隨著字典規模K的增加,面料的查準率有所提升,然而,當K增長到1 024時,查準率增幅較小,檢索所耗時間翻倍增長。這是因為當視覺詞典規模較小時,視覺單詞較少,生成的VLAD編碼不能很好的描述圖像的特征,而當視覺詞典規模較大時,在聚類生成詞典時會出現分類過度,產生一些噪聲單詞,導致生成的VLAD編碼的分辨能力有所降低,減弱了查準率的提升。由于隨著視覺詞典規模的增大,訓練視覺詞典的復雜度和時間成本大大提升,所以綜合考慮,本文后續的實驗中取K=512。

表1 不同視覺詞典規模下的查準率和時間對比Tab. 1 Comparison of retrieval precision and time under different visual dictionary sizes

4.1.2 評估不同維度下VLAD特征的影響

對于面料圖像來說,其圖案復雜多變,結構差異大,且重復性結構較多,這導致了在特征提取時其特征點數量較多,且多為重復,不利于檢索迅速響應。因此,采用主成分分析(PCA)對VLAD特征進行降維生成P-VLAD,選取前10張返回圖片計算查準率,保留后的特征維度數(D)對查準率和時間的變化如表2所示。

從表2可以看出,隨著維度的降低,面料的查準率不斷降低,當維度降到64時,面料的查準率下降幅度大大提升,檢索時間下降幅度緩慢。這是因為當VLAD維度減少較少時,可有效去除冗余信息,但當維度下降較多會導致VLAD的有效信息部分丟失,不利于有效地表達圖像特征,維度的適度下降可有效地降低計算成本,節省檢索時間。綜合考慮算法的有效性和時間復雜度,在本文后續的實驗中取D=512。4種典型紡織面料圖案檢索效果如圖7所示。前3張檢索結果理想,第4張的檢索結果最后一張出現了誤檢。誤檢原因是圖像之間的相似度較高,而本文為了提高檢索的效率,降低了視覺詞典的規模和VLAD的維數,忽略了圖像的部分細節。

表2 維度對查準率和時間的影響Tab. 2 Influence of dimension on retrieval precision and time

注:數字1～10代表檢索結果返回順序。圖7 檢索效果展示Fig. 7 Display of retrieval effect

4.2 不同算法比較

顏色矩(CM)和灰度共生矩陣(GLCM)是圖像檢索中常用的顏色和紋理提取方法,ORB,HOG通常用來提取圖像的形狀、紋理特征。為驗證本文算法對圖案類紡織面料的優越性,對比“ORB+VLAD”、“HOG+VLAD”、“顏色矩”、文獻[14]中的“CM+GLCM”和文獻[15]中的“分塊顏色直方圖+GLCM”方法進行檢索驗證。其中,“ORB+VLAD”、“HOG + VLAD”的參數與本文保持一致,特征組合類算法的特征權值均為0.5,相似性度量方法采用歐氏距離。表3示出對上述算法的平均檢索精度和單張圖片檢索時間的對比。可以看出,本文的算法模型對該數據集有著較好的檢索效果,其平均檢索精度高達83.5%,明顯優于其它算法。在檢索時間上面,由于CM只計算了顏色矩所以速度明顯快于其它算法,而文獻[15]方法計算了分塊顏色直方圖,導致檢索時間增加,其余幾種算法的檢索時間差異不大,檢索效率大致相同。本文主要關注檢索精度,綜合來看本文的算法是有效的。

表3 不同算法的平均檢索精度和檢索時間對比Tab. 3 Comparison of mean average precision and retrieval time of different algorithms

在紡織企業的實際生產中,面料的花紋大小以及采集面料的角度和尺寸具有一定的隨機性,這就要求使用的算法具有一定的尺寸不變性和旋轉不變性。為驗證本文提出算法的尺寸不變性和旋轉不變性,選用文獻[14]和文獻[15]的算法作為對照組。如圖8所示,文獻[14]算法的檢索效果較差,從檢索結果來看,只有第1張,第3張,第6張是與待檢面料相關的,這3張圖片均相較于待檢圖像而言只是旋轉了30°的范圍,而其余經過尺寸放縮的圖片未檢出一張,說明文獻[14]算法不適用于圖片尺寸放縮變換、旋轉角度大的情況,不具有旋轉不變性和尺寸不變性。文獻[15]算法是分塊顏色直方圖和灰度共生矩陣的結合,由圖8的檢索結果來看略好于文獻[14]的算法,檢索結果中前五張和第九張待檢圖像相關,與文獻[14]相比,分塊顏色直方圖相較于傳統的顏色直方圖在關注全局顏色特征的同時聯系了顏色之間的空間局部特征,具有一定的尺寸不變性,所以前5張檢出了經過旋轉處理的圖片,但由于灰度共生矩陣不具有旋轉不變性和尺寸不變性,所以經過放縮變換的圖片只在檢出一張。由圖8可知,本文算法檢出的10張圖片均與待檢圖片相關,本文提出的算法對于圖片的旋轉、放縮均有較好的檢索效果,證明了本文所提算法具有良好的尺寸不變性和旋轉不變性。

注:a—待檢圖像;b—本文算法檢索結果;c—文獻[14]算法檢索結果;d—文獻[15]算法檢索結果。數字1～10為檢索結果返回順序。圖8 不同算法的檢索效果Fig. 8 Retrieval effect of different algorithm

圖9示出不同檢索算法的查準率-召回率(P-R)曲線。可以看出,本文的算法在所建數據集上表現最好,“HOG+VLAD”略好于“ORB+VLAD”,這表明了SURF相較于ORB和HOG能夠更好地描述圖案類面料的特征,文獻[14]和CM在所建數據集上表現較差,這表明CM、文獻[14]和文獻[15]方法不適用于復雜結構的面料圖案檢索。

圖9 不同算法的P-R曲線圖Fig. 9 P-R curves of different algorithms

5 結 論

本文針對數據量大、圖案多元化的面料圖案檢索問題,提出了一種基于SURF和VLAD特征編碼的紡織面料檢索算法,討論了在視覺詞典規模(K)和主成分分析法(PCA)保留維度數(D)對檢索效果的影響。實驗結果表明,在視覺詞典規模為512,保留維度數為512時,該算法對面料圖案檢索的平均檢索精度達到了83.5%,平均檢索時間為 0.488 s, 且具有良好的尺寸不變性和旋轉不變性,這對紡織企業的實際運用有著一定的現實意義。