結合顯著區域檢測和手繪草圖的服裝圖像檢索

吳傳彬， 劉 驪,2， 付曉東,2， 劉利軍,2， 黃青松,2

(1. 昆明理工大學 信息工程與自動化學院， 云南 昆明 650500；2. 昆明理工大學 云南省計算機技術應用重點實驗室， 云南 昆明 650500)

隨著時尚服裝的發展和移動終端設備的普及，網上購買服裝已成為主流。然而，由于網上商店提供用來檢索服裝的關鍵詞數量和類別有限，用戶很難從海量圖像中獲得自己想要的服裝款式；因此，“以圖搜圖”[1-2]的服裝檢索技術出現。目前在各大電子商務平臺上應用基于拍照購物的方式進行服裝檢索時，并不是所有用戶都能隨時隨地拍到想要檢索的圖片，加之拍照圖片極大地受到光照、場景以及設備性能的影響，導致檢索準確率不高。相反，基于手繪草圖的服裝圖像檢索可以不受任何限制，簡單的手繪草圖更容易表達出服裝款式且沒有任何歧義。此外，常用圖像通常包含了豐富的色彩、紋理，檢索中需要對這些特征信息進行匹配或估計，導致檢索實時性差。而在服裝檢索中，用戶主要關心的是服裝款式，并不是色彩、紋理等特征，因此，研究人員提出不使用任何顏色和紋理特征，只用形狀特征的方法來進行服裝圖像匹配，即基于手繪草圖的服裝圖像檢索[3]。不同于自然圖像，草圖只有單純的黑白線條，二者間存在很大的差異，難以與真實自然圖像直接匹配。Tseng等[3]采用Jseg的分割方法提取服裝圖像的輪廓特征，然后進行草圖與服裝圖像輪廓匹配，但Jseg分割方法只針對背景清晰且服裝圖像平整的情況。Kondo等[4]采用多種算子對服裝圖像進行特征提取，通過平衡不同算子的權重作為檢索依據獲得檢索結果。由于不同服裝款式對不同的算子敏感度差異很大，通過調節權重來改善檢索結果并不是很理想。文獻[5]通過形態學的預處理并結合Canny算子邊緣檢測提取服裝輪廓，該方法只提取了服裝外部輪廓，丟失了服裝款式中的重要內部細節。文獻[6]提出利用相關反饋技術的服裝圖像檢索算法，然而，該方法只考慮了相似性，忽略了整個數據集中圖像之間的相關性。Li K等[7]通過強監督的可變形部件模型(DPM)[8]檢測器對屬性進行檢測，利用支持向量機(SVM)對屬性分類得到檢索結果，該方法要求數據需經大量人工標注，無法適應大規模數據的應用。

為有效解決上述問題，Zhang Y等[9]提出利用顯著區域檢測提取目標對象的輪廓。顯著區域檢測通常應用在圖像分割中，可較好去除背景噪聲的干擾，有效地得到目標區域，從而提高了檢索準確率。在此研究基礎上，本文提出基于視覺顯著區域的手繪草圖服裝圖像檢索方法。區別于上述方法，本文通過超像素分割后的服裝圖像首先去除錯誤邊界，采用正則化隨機漫步模型生成的服裝顯著區域并結合邊緣信息加權得到服裝顯著邊緣，更加注重服裝的完整性，而文獻[9]側重于利用局部區域來提高仿射變換的性能，并沒有注重對象自身特點。在圖像檢索過程中，為提高檢索的效率和魯棒性，引入重排序策略[10]，本文提出的圖像重新排序方法首先根據距離相關系數來測量任何2個圖像的相似度分布的對應關系；其次，通過1次聚類而不是多次迭代來更新相似性分數；使用距離相關系數以自適應方式更新分數。

1 方法概述

本文方法流程如圖1所示，由離線階段和在線階段組成。離線階段： 1)首先采用正則化隨機漫步算法對輸入的服裝圖像進行服裝顯著區域檢測和采用globalPb[11]算法提取圖像的輪廓信息，通過二者加權得到服裝顯著邊緣；2)對輸入服裝顯著邊緣圖像進行HOG特征提??；3)通過量化特征來構建特征索引庫。在線階段：針對給定的查詢草圖，首先通過提取用戶草圖的HOG特征，量化成視覺詞匯；然后計算查詢草圖特征與數據集之間的相似性圖像，得到初始的檢索列表；最后采用基于距離相關系數的重排序算法對其相似度進行排序并輸出結果。

圖1 本文方法流程圖

Fig.1 Process flow diagram of proposed method

2 顯著區域檢測方法

為解決草圖和真實服裝圖像間的差異，需要將真實服裝圖像轉換成類似服裝草圖的圖像，并消除其他噪聲的干擾，從而有利于檢索。

2.1 顯著區域檢測

采用簡單線性迭代聚類[12]算法對服裝圖像過分割為超像素，分割完成后，所有超像素的每個邊界作為1個連通區域，利用下式計算每個邊界的歸一化顏色(RGB)直方圖：

(1)

式中：b∈{top,bottom,left,right}表示4條邊的位置；l表示服裝區域總像素數，r=0,,255；Iq表示像素q的強度值；δ(·)為單位沖激函數。計算4個邊界直方圖中任意2個的歐氏距離：

(2)

式中：b1,b2表示任意2條不同的邊界，將直方圖差值最大的邊界確定為服裝區域邊界。它作為前景估計，其剩余的3個邊界為不屬于服裝區域的錯誤邊界，將作為背景估計。用S(i)表示顯著估計結果，i=1,,n；n為超像素的總數量。

(3)

(4)

2.2 服裝顯著邊緣

由于服裝圖像自身的特性(如褶皺、陰影等帶來的噪聲)，一般的邊緣檢測算法不能很好地應用于服裝圖中。本文采用globalPb算法[11]對服裝圖像進行語義邊緣檢測。該方法利用切割高曲率的點將邊緣圖轉化成多個邊緣片段V={v1,v2,,vi}。通過計算邊緣輪廓片段之間的距離和長度的比率來得到主邊緣輪廓。本文進一步定義了一個能量函數來計算邊緣片段之間的平滑程度，只有平滑度較高的片段才會保留為生成的邊緣。對于一組邊緣片段Vi∈V，通過能量函數對邊緣進行平滑，得到初始的邊緣檢測圖，用F2(x,y)表示：

(5)

式中：E(Vi)表示能量函數；|U|表示Vi中高曲率折點的數量；L表示Vi中所有曲線段的總長度。

最后將服裝顯著區域圖與初始的邊緣檢測圖進行逐像素相乘，得出服裝顯著邊緣圖像，并形成服裝顯著邊緣圖像庫，服裝顯著邊緣圖可表示為

F(x,y)=F1(x,y)×F2(x,y)

(6)

3 手繪草圖的服裝檢索算法

3.1 特征提取與表示

為加強方向梯度直方圖(histogram of oriented gradient，HOG)[13]描述子的位置和空間方向的描述能力，文獻[14]以一組稀疏筆畫(草圖)構造了一個密集的邊緣方向場，并在多個尺度上計算梯度直方圖，得到梯度場的HOG(gradient field HOG，GF-HOG)特征。基于該方法，本文首先將輸入的草圖和服裝顯著邊緣圖進行了GF-HOG特征提取，部分實驗結果如圖2所示。其次將得到的GF-HOG特征通過K-means生成單個視覺詞匯字典。每個服裝邊緣圖構建頻率直方圖HI′，它表示出現在該圖像中的GF-HOG特征的視覺詞的分布，然后對直方圖歸一化。對待檢索的服裝草圖，使用相同碼本從服裝草圖中提取GF-HOG特征，得到歸一化的直方圖Hs。

圖2 GF-HOG特征提取圖

Fig.2 GF-HOG feature extraction map. (a) Salient edge; (b) Salient edge feature; (c) User sketch; (d) User sketch feature

3.2 相似度計算

基于得到的特征庫O，本文構建了一個特征索引庫，采用直方圖相交方法計算草圖s和服裝顯著邊緣圖像I′之間的特征相似度，進行特征匹配。Sim(Hs,HI′)可表示為

(7)

式中：wij=1-|H(i)-H(j)|，Η(i)是第i個bin的歸一化計算，i={1,,k}?？紤]到服裝圖像款式多樣性特點，初始的檢索結果包含了很多部分相似的圖像，這些結果并不準確，導致檢索魯棒性差，因此，需要對初始的檢索結果進行排序優化。

3.3 距離相關系數

為從數學角度表示2幅圖像的相似關系，本文引入距離相關系數[15](distance correlation coefficient，dCor)。設Ms和Mi分別表示向量形式的草圖和服裝圖像的相似矩陣。Mi∈O，則距離相關系數可以表示為

(8)

(9)

式中：w為閾值參數(參數大小將會在實驗中討論)。根據賦值函數的定義，可將初始的檢索列表分成2個部分：

如果φ(Is,Ii)=1，則Ii在第1個部分p1中；

如果φ(Is,Ii)=0，則Ii在第2個部分p2中。

其中：p1表示與檢索草圖高度相似的圖像；p2表示與檢索草圖可能相似的圖像。

3.4 重排序

設Sl為給定檢索草圖Is和服裝圖像Il∈Sl生成的初始檢索列表，則通過自適應方式應分成3個簇，如下所示：

如果Il∈P1，則Il被分在C1聚簇；

如果Ir∈P2，則Il被分在C2聚簇；

如果Il?C1,Il?C2，則Il被分在C3聚簇。

通過定義的3種不同的更新規則來計算C1，C2和C3組圖像的相似性分數。設Siminit(Ip,Iq)表示手繪草圖與服裝圖像初始的相似度分數，則通過以下規則計算優化后的分數：

1)若(Ip,Iq)∈C1，則Sfinal(Ip,Iq)=Siminit(Ip,Iq)×dCor(Ip,Iq)；

4 實驗與分析

實驗選用Intel Core i7 7700K CPU, 4.20 GHz，32 GB RAM 的硬件平臺以及Ubuntu 16.04系統下MatLab R2016a版本進行測試，所有實驗都在統一環境下進行。

4.1 數據集

實驗數據集來源于2部分。一個是由Liu Z等提出的DeepFashion[2]服裝圖像數據集，是目前公開規模最大的服裝圖像數據集。本文選用其數據集中的一部分服裝圖像，共包含20多類服裝，主要有連衣裙7 849張、夾克4 500張、長款大衣3 845張、吊帶5 560張、長褲4 721張、短褲4 564張、連衣褲5 957張、女裙褲4 090張、針織衫5 592張、衛衣4 495張、背心5 532張、襯衫4 385張、T恤6 548張、披肩3 234張、長袍2 584張、斗篷989張以及其他款式5 856張，共計80 301張圖像。

另一個為服裝草圖數據集，來源于阿里巴巴的眾包平臺，本文從服裝圖像數據集中選取了120張服裝圖像進行手繪。服裝草圖數據的收集遵循以下2個規則：1)草圖都是由沒有繪畫基礎的人員在觸摸設備上繪制，這與平常大部分人使用手機繪制是相同的情況；2)數據集中的圖像涵蓋了日常生活中經常見到的大部分服裝類別。通過以上規則的篩選，共收集了360張服裝草圖，每款服裝草圖均來自3個不同的人員，其目的是為了保證每款服裝草圖的具有不同的手繪風格，大小均為256像素×256像素。圖3展示了本文使用的部分草圖數據。

圖3 草圖數據

Fig.3 Sketch data. (a) Dress; (b) Overcoat; (c) Jersey; (d) Kilt; (e) Shorts; (f) Trousers

4.2 實驗結果與性能分析

4.2.1 檢測結果分析

式中：ri為正確檢測到的服裝像素；si為利用算法檢測到的服裝總像素；gi為圖像i中真實的服裝總像素。檢測實驗中所輸入的服裝圖像區域來自手工標注，以此作為計算依據。為更好地說明本文方法的性能，與其他同類方法MR[16]以及文獻[9]中所采用的RC[17]方法進行了對比，比較結果如表1所示。MR采用流行學習方法生成服裝顯著區域，流行矩陣維度高，計算量大，要求硬件性能高；RC則是利用局部區域和全局對比度差異的方法進行顯著區域檢測。從表1看出，本文方法有明顯優勢，綜合指標F值最優。部分實驗結果見圖4。其中：圖4(a)為原始圖像；圖4(b)示出服裝顯著區域檢測結果；圖4(c)為邊緣檢測圖；圖4(d)示出最終加權得到的顯著邊緣結果。

表1 檢測結果對比

Tab.1 Comparison of detection results

方法 召回率精確率F值MR0.8520.6580.745RC0.5960.9210.728本文方法0.8130.8210.826

圖4 顯著區域檢測結果

Fig.4 Results of salient detection. (a) Clothing image; (b) Salient detection; (c)Edge detection; (d) Salient edge

4.2.2 檢索結果分析

考慮到檢索結果的排名情況，本文使用2個指標來衡量檢索的性能。一是top-K的檢索精度，假設1次有效的檢索中，檢索列表中發現前K個完全相同的服裝圖像，則表示命中的top-K檢索精度。二是采用歸一化折損累計增益(normalized discounted cumulative gain，NDCG)指標，定義如下：

(10)

式中：relq(j)表示查詢草圖q的檢索結果列表中j圖像位置排名的相關性分數；K表示檢索列表中排名前K個結果。

實驗中，隨機選用了120張不同的服裝草圖作為查詢圖像，來檢驗本文方法的實驗效果。輸入1張服裝草圖，檢索到K個圖像，在這K個圖像中存在相似的服裝圖像，則說明檢索成功。圖5示出本文所提的方法對檢索準確率的影響。圖中，GF-HOG指的是不采用任何優化方法得到的檢索結果；VSR+GF-HOG曲線指的是采用視覺顯著區域檢測后得到的檢索結果；RK+GF-HOG曲線指的是只考慮重排序的檢索結果；VSR+RK+GF-HOG曲線指的是基于視覺顯著區域和重排序二者優化得到的檢索結果。由圖可知，基于視覺顯著區域檢測的方法相比經典的GF-HOG有了很大的提升，重排序對檢索性能也有了進一步的提升。其主要原因在于：通過顯著區域檢測后得到的顯著邊緣有效地解決了圖像與草圖之間的差異；其次采用基于距離相關系數的重排序策略對整個圖像數據庫首先進行子集劃分，再對初始的檢索列表進行優化排名，提高了檢索的性能。

圖5 本文方法與其他方法的比較

Fig.5 Comparison with other methods

4.2.3 實驗參數設置的影響

為展示重要參數對整個檢索性能的影響，分別在本文數據集上比較了2個參數，包括構建聚類中心的字典大小和閾值w大小對檢索性能的影響，如圖6、7所示。

圖6 字典大小的影響

Fig.6 Influence of codebook size

圖7 參數w大小的影響

Fig.7 Influence of size of parameterw

從圖6可以發現：隨著字典大小從100增長到500，K=5，10，20的準確率都有了快速的提升；在字典大小為500時達到最大值；之后隨著字典大小的增長而開始下降；當字典大小大于800時，趨于穩定?？梢缘贸?，當在字典大小為[400，600]時，可以得到最佳的檢索性能，在本文的數據集上，字典大小為500最為合適。由于草圖的編碼信息本身比圖像稀疏多，可有效提升檢索效率，加之視覺顯著區域檢測能夠有效地抑制除服裝以外的噪聲干擾，因此本文的字典大小要比同類的詞包模型(bag-of-features，BoF)方法小很多，更有利于檢索。

參數w是距離相關度量的閾值，這個參數影響了最后排名分數的情況。在改變w的大小時，檢索準確率如圖7所示。由圖可知：當w值從0.2增長到0.4時，檢索準確率有了明顯的提高；從0.6到0.8時，檢索準確率有所下降。主要原因是初始檢索結果列表中的排序分數隨著參數w的增長重排序的影響將增大，當w=1時，表示重排序分數確定最終的檢索列表，初始檢索結果被丟棄。圖8示出部分檢索實例，是沒有應用重排序的檢索結果，其中包含一些相似的圖像，但也包含一些部分相似的圖像，這些部分相似的圖像并不是用戶所要的結果。而在圖9中，采用本文提出的重排序策略后，不僅去除了部分相似的圖像，而且提高了檢索性能。

圖8 沒有使用重排序的檢索結果

Fig.8 Retrieval results without re-ranking. (a) Retrieve images; (b) Top 10 of search results

圖9 使用重排序后的檢索結果

Fig.9 Retrieval results with re-ranking. (a) Retrieve images; (b) Top 10 of search results

4.2.4 檢索對比實驗結果

本文方法在NDCG(K20)(表示檢索結果排名前20的比較情況)上明顯要優于其他方法，如表2所示。文獻[9]通過改進的AROP算子對草圖進行角分區表示，相比文獻[10]，檢索性能提升很大；文獻[10]在檢索匹配上根據最近鄰的相似度分數的相關性來更新圖像之間的距離以提升檢索性能，該方法對噪聲敏感，其表現一般；基于傳統的HOG[13]特征與基于邊緣像素匹配的Edgel[18]方法檢索準確率有限；HLR[19]方法利用草圖線的關系直方圖，有效降低了對象邊界的噪聲，準確率有了一定的提升，而本文方法結合視覺顯著區域檢測，減少了干擾信息，通過對初始結果進行優化排序，對檢索結果有了很大的改善，相比RST-SHELO[20]方法提高了10%。

表2 幾種算法的NDCG(K20)比較

Tab.2 Comparison with several algorithmson NDCG(K20)

方法 NDCG(K20)時間/s文獻[9]0.6583.18文獻[10]0.3915.56HOG[13]0.3676.53Edgel[18]0.2802.96HLR[19]0.5843.23RST-SHELO[20]0.6792.39本文方法0.7852.42

4.2.5 檢索效率對比

在檢索效率方面，從表2可以看出，本文算法與其他幾種算法的平均時間成本對比。其中，文獻[9]計算成本相對于文獻[10]和HOG[13]并不是很高,耗時3.18 s；文獻[10]采用的是多次迭代方式得到最后的排序結果，計算時間成本高，而本文采用1次迭代方式，效率上具有明顯優勢；Edgel[18]采用的是構造邊緣像素字典進行匹配，有效提升了檢索速度，但準確率有限；HLR[19]方法采用稀疏方式對草圖進行描述,相比Edgel[18]方法略差；RST-SHELO[20]采用角度直方圖作為描述草圖和圖像的特征，特征維度相對其他方法要小很多，所以時間成本最低。而本文方法在效率上相對RST-SHELO[20]略高，但在準確率上要比其高出近10%。

4.2.6 魯棒性分析

用戶在手繪輸入時，手繪草圖可能存在筆畫冗余、聚點交叉等[21]問題，導致手繪草圖質量不高，從而影響檢索準確率和效率。類似筆畫較輕、長度較小、轉折處內聚集，首先通過計算每個筆畫前后端點處的曲率，如果該點是曲率最大的點，則去除從該點起至距離其最近端終點的冗余筆畫；其次采用滑動窗口(參照文獻[21],大小設置為8)依次采樣檢查圖中是否存在重復相同的點，如果有，則消除該聚點。消除不需要的筆畫冗余和聚點可提高手繪草圖的質量，同時減少匹配計算時間，從而降低由于手繪草圖質量不高帶來檢索性能下降的問題。

此外，每個用戶的手繪技巧是不統一的，因此，用戶草圖存在很大的差異，主要在于對服裝圖像的細節有不同的表達。為了解不同手繪風格對服裝圖像檢索的影響，本文進一步驗證了方法的魯棒性。在創建本文實驗數據時，隨機線下邀請了15名手繪人員，將其分成5組，每組由3人完成。每組都給予相同的服裝圖像并由他們繪制服裝草圖，然后分別進行檢索實驗。圖10示出一組實驗結果，從總體來看，基于手繪草圖的服裝圖像檢索性能會因不同手繪風格的輸入而導致檢索結果有所變化。一般情況下，對服裝的細節描述越好，準確率越高。

圖10 手繪連體褲在不同風格下的檢索結果

Fig.10 Retrieval results of connected pants in different drawn styles; (a) Drawn style 1; (b) Top 5 of search results of drawn style 1; (c) Drawn style 2; (d) Top 5 of search results of drawn style 2; (e) Drawn style 3; (f) Top 5 of search results of drawn style 3

5 結束語

本文提出了一種基于視覺顯著區域和手繪草圖的服裝圖像檢索方法，即通過顯著區域檢測對輸入的服裝圖像提取服裝顯著邊緣信息，采用基于距離相關系數的重排序算法對其相似度進行排序優化，并輸出檢索結果。該方法能夠采用手繪草圖較準確地檢索出相應的服裝圖像，相比已有方法而言，較好地解決了服裝圖像背景或者服裝款式內部細節信息丟失而帶來的檢索不準確的問題，可較好地應用到服裝圖像檢索中；但還存在由于人體姿態的遮擋或者背景色彩重疊而導致服裝區域的檢測結果不理想以及不同手繪風格影響檢索準確率的問題，后續將著重圍繞這些問題展開進一步研究。