基于膨脹卷積殘差網(wǎng)絡(luò)的服裝圖像檢索

陳 佳 張 毅 彭 濤* 何儒漢

1(武漢紡織大學(xué)數(shù)學(xué)與計(jì)算機(jī)學(xué)院 湖北 武漢 430000) 2(湖北省服裝信息化工程技術(shù)研究中心 湖北 武漢 430000)

0 引 言

隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展,網(wǎng)上購(gòu)衣已成一種趨勢(shì)。這種服裝電子商務(wù)推動(dòng)了服裝圖像檢索技術(shù)的發(fā)展。圖像檢索主要分為基于文本的圖像檢索(Text-based Image Ret2rieval,TBIR)[1]和基于內(nèi)容的圖像檢索(Content-based Image Retrieval,CBIR)[2]。服裝圖像檢索是圖像檢索的一個(gè)重要分支,已被廣泛地應(yīng)用于電商領(lǐng)域。當(dāng)前,大多數(shù)電商主要采用TBIR,但TBIR高度依賴文本標(biāo)注,存在加注信息低效、文本描述主觀等缺點(diǎn)。

針對(duì)TBIR的缺點(diǎn),CBIR方案得到廣泛的關(guān)注。CBIR的關(guān)鍵是圖像特征的描述和特征的索引機(jī)制。CBIR的索引方法主要依賴于提取服裝圖像的特征向量和計(jì)算該特征向量的空間距離。傳統(tǒng)的特征提取方法,如SIFT[3-4]等,雖然能提取服裝的紋理和顏色等淺層細(xì)節(jié)信息,但不能有效描述圖像深層語(yǔ)義信息,且不適合光照變換的背景。不同于傳統(tǒng)的描述符,深度學(xué)習(xí)不僅可以提取淺層特征,而且可以提取深層特征,例如圖像的語(yǔ)義信息。服裝是一種包含時(shí)尚、品位、個(gè)性的多屬性復(fù)合載體,服裝圖像既包括領(lǐng)型、褶皺、花邊、顏色等淺層信息,也包含類別、風(fēng)格、樣式、款式等深層次信息。服裝也是典型的柔性物體,具有高度可變性,對(duì)光照、視角、尺度都很敏感。因此,基于深度學(xué)習(xí)的特征提取非常適合提取服裝特征。

受深度學(xué)習(xí)和度量學(xué)習(xí)的啟發(fā),本文提出一種基于殘差網(wǎng)絡(luò)的服裝圖像特征提取模型和檢索算法。在服裝圖像數(shù)據(jù)集DeepFashion[5]上,該方法首先利用膨脹卷積[5]較大感受野的優(yōu)勢(shì)以及殘差網(wǎng)絡(luò)提取深層語(yǔ)義特征的優(yōu)勢(shì),將膨脹卷積和殘差網(wǎng)絡(luò)相融合,有效提取服裝圖像特征;隨后,通過(guò)計(jì)算余弦距離和馬氏距離之和,提出一種混合距離度量算法(MD)來(lái)計(jì)算所提取的特征之間的距離。由于余弦距離能穩(wěn)定地計(jì)算向量間的空間距離,同時(shí)馬氏距離的度量學(xué)習(xí)在不同類型樣本中擁有很強(qiáng)的泛化能力,因此,本文所提出的MD利用余弦距離和馬氏距離進(jìn)行度量學(xué)習(xí)的互補(bǔ)優(yōu)勢(shì)來(lái)穩(wěn)定、高效地對(duì)特征向量進(jìn)行距離計(jì)算從而進(jìn)行服裝檢索。綜合來(lái)看,本文方法有效地利用了膨脹卷積強(qiáng)大的表現(xiàn)力、殘差網(wǎng)絡(luò)良好的特征提取能力、度量學(xué)習(xí)的距離學(xué)習(xí)能力,提高了服裝特征提取的效率和檢索的精度。

1 相關(guān)研究

1.1 服裝圖像的特征提取

在服裝檢索系統(tǒng)中,服裝的特征抽取是非常重要的一環(huán),特征提取的準(zhǔn)確度影響到服裝檢索的最終結(jié)果。在傳統(tǒng)的特征提取中,吳傳彬等[6]使用方向梯度的直方圖(HOG)提取了服裝圖像的邊緣特征,但該方法對(duì)服裝的形狀等其他淺層信息考慮不足。Weng等[7]在顏色特征中加入位置信息形成顏色矩。然后,通過(guò)級(jí)聯(lián)顏色矩得到級(jí)聯(lián)顏色矩特征,該算法改善了傳統(tǒng)顏色矩算法精度低的問(wèn)題,但是運(yùn)算效率低。李松等[8]通過(guò)判別條件提取局部二值的閾值,然后,計(jì)算差分幅值和領(lǐng)域的二值模式,從而得到圖像的紋理特征。雖然該方法提升了模型在椒鹽噪聲下的分類性能,但是其他背景下魯棒性還是有待提高。

在傳統(tǒng)的特征提取發(fā)展的同時(shí),基于深度神經(jīng)網(wǎng)絡(luò)(DNN)的特征提取方法也取得了豐碩的成果。而其中的卷積神經(jīng)網(wǎng)絡(luò)(CNN)是一種高效的深度學(xué)習(xí)框架。在眾多的特征提取應(yīng)用中,CNN都取得了很好的效果。Krizhersky等[9]的開(kāi)創(chuàng)性工作之后,基于CNN的方法開(kāi)始逐漸占據(jù)主導(dǎo)地位。王振等[10]利用可變卷積實(shí)現(xiàn)服裝特征提取,該方法的優(yōu)勢(shì)在于精度高,但其泛化能力較差。王志偉等[11]通過(guò)YOLOv3模型提取服裝的全局、主體和部件的特征,然后,通過(guò)稠密網(wǎng)絡(luò)疊加這三種服裝特征,有效提高了特征提取準(zhǔn)確度,但也大幅度地增加了時(shí)間消耗。Schuster等[12]利用膨脹卷積獲取較大的接收野,然后通過(guò)疊加卷積融合多層次的圖像特征,該方法有效地提升了特征提取的準(zhǔn)確率,但在網(wǎng)絡(luò)深度上還有待提高。

針對(duì)以上的問(wèn)題,本文提出基于膨脹卷積殘差網(wǎng)絡(luò)(Dilated Convolutional Residual Networks,DCRN)模型的服裝圖像特征提取方法,該網(wǎng)絡(luò)融合膨脹卷積較大感受野的優(yōu)勢(shì)以及殘差網(wǎng)絡(luò)提取深層語(yǔ)義特征的優(yōu)勢(shì)。實(shí)驗(yàn)充分證明,DCRN模型提升了特征提取的準(zhǔn)確度和魯棒性。

1.2 特征向量的距離計(jì)算

在服裝圖像檢索中,特征向量的距離計(jì)算同樣非常重要。陳倩等[13]利用顏色直方圖中的特征值表示向量的空間距離,該方法提升了圖像檢索的準(zhǔn)確率,但復(fù)雜背景下圖像檢索的魯棒性較低。Huang等[14]使用融合服裝類型、顏色、外觀等特征的稀疏編碼框架的方法實(shí)現(xiàn)了服裝檢索。該方法提升了檢索的準(zhǔn)確度,但耗時(shí)過(guò)長(zhǎng)。吳傳彬等[6]采用距離相關(guān)系數(shù)的方法計(jì)算向量的空間距離,提高了服裝檢索的魯棒性和泛化能力,但對(duì)于復(fù)雜的服裝圖像檢索準(zhǔn)確率不高。Zhou等[15]使用了一種基于顏色、紋理、形狀的混合模型來(lái)度量特征向量的空間距離。Chang等[16]提出了一種新的基于圖遍歷的圖像檢索方法,通過(guò)交替使用Exploit和Explore算法,更好地捕獲底層流形,并檢索視覺(jué)上不同的語(yǔ)義強(qiáng)相關(guān)圖像,然而該方法過(guò)于注重收斂的效率,探索可能就終止了,影響最終的檢索精度。Wang等[17]通過(guò)類中心表示全局信息,然后通過(guò)約束數(shù)據(jù)點(diǎn)與類中心之間的距離來(lái)生成有區(qū)別的二進(jìn)制代碼同約束數(shù)據(jù),最后,峰度損失(KT loss)使實(shí)值特征更接近二進(jìn)制,該方法對(duì)于復(fù)雜背景圖像,難以產(chǎn)生好的效果。由于使用傳統(tǒng)距離度量方法,對(duì)于背景復(fù)雜的圖像,該方法泛化性能較差。在樣本的種類改變時(shí),傳統(tǒng)的距離函數(shù),需要重新訓(xùn)練參數(shù)。馬氏距離的泛化能力較強(qiáng),但計(jì)算效率低,即在計(jì)算過(guò)程中,由于協(xié)方差矩陣可能不存在,單純馬氏距離的度量學(xué)習(xí)存在一定的局限性。

針對(duì)以上問(wèn)題,本文提出混合距離度量算法(MD)。余弦距離擅長(zhǎng)穩(wěn)定的距離計(jì)算,同時(shí)馬氏距離的度量學(xué)習(xí)在不同類型樣本中擁有很強(qiáng)的泛化能力。因此,本文所提出的MD能利用余弦距離和馬氏距離度量學(xué)習(xí)的互補(bǔ)優(yōu)勢(shì)來(lái)穩(wěn)定、高效地對(duì)特征向量進(jìn)行排序。

2 方法設(shè)計(jì)

2.1 服裝圖像檢索框架

本文基于膨脹卷積模型和殘差網(wǎng)絡(luò),提出一種新的服裝圖像檢索方法,如圖1所示。該方法通過(guò)并聯(lián)不同膨脹率的膨脹卷積。即利用低膨脹率卷積對(duì)細(xì)節(jié)提取的優(yōu)勢(shì)和高膨脹率對(duì)語(yǔ)義理解的特點(diǎn),多層次提取服裝圖像的特征從而進(jìn)行服裝圖像的檢索。具體步驟如下:

Step1輸入一幅待檢索的服裝圖像,對(duì)其進(jìn)行預(yù)處理,包括:圖像降噪、切割和增廣處理。

Step2通過(guò)Stem模塊提取服裝細(xì)節(jié)信息,例如服裝的紋理、顏色等底層信息。

Step3將這些細(xì)節(jié)信息通過(guò)膨脹卷積殘差網(wǎng)絡(luò)模塊(DCRN)得到相應(yīng)的深層次語(yǔ)義特征,例如服裝部件的形狀和圖像中的相對(duì)位置。

Step4對(duì)上步所獲得的特征經(jīng)過(guò)二值檢索向量模塊生成高維向量。

Step5采用PCA(Principal Components Analysis)將高維向量進(jìn)行降維。通過(guò)混合距離度量算法(MD)計(jì)算特征向量的空間距離,然后進(jìn)行相似性排序。在triple損失函數(shù)中,通過(guò)反向傳播學(xué)習(xí)MD中的度量矩陣。

圖1 服裝圖像檢索框架

2.2 Stem模塊

Stem模塊主要提取服裝的邊緣、轉(zhuǎn)角、顏色等信息。如圖2所示,將229×229的待檢索服裝圖像輸入Stem模塊,該模塊從第1層卷積Conv1到第7層池化MaxPool_2是多個(gè)小尺寸的卷積串聯(lián),從而起到了中等感受野的效果,同時(shí)前7層池化層填充padding設(shè)置為“valid”,目的是為了逐步提取細(xì)節(jié)圖。第8層卷積組是并行提取多個(gè)感受野,其中第1水平層采用最大池化層MaxPool_3進(jìn)行特征融合,從而更多地保留了服裝圖像的背景信息;第2、3、4水平層是分別提取尺寸為1、5、3的感受野的特征圖,其中第3水平層中,采用1×5的非對(duì)稱卷積Conv8和5×1的非對(duì)稱卷積Conv9,從而減小了參數(shù)個(gè)數(shù)和計(jì)算耗時(shí)。通過(guò)第8層這種同層堆疊concat,提高了對(duì)不同像素尺寸特征的識(shí)別率,例如服裝轉(zhuǎn)角、領(lǐng)口和袖口。

圖2 Stem模塊結(jié)構(gòu)

2.3 膨脹卷積殘差網(wǎng)絡(luò)(DCRN)模塊

CNN能高效提取服裝圖像的淺層信息。然而,對(duì)于服裝的深層語(yǔ)義信息,CNN只能逐步增大卷積核尺寸提高感受野。該方法的弊端在于參數(shù)量急劇增加、訓(xùn)練時(shí)間增長(zhǎng)和過(guò)擬合問(wèn)題。本文通過(guò)膨脹卷積尋找新的方法,增大感受野。

該膨脹卷積殘差網(wǎng)絡(luò)模塊,由4個(gè)串聯(lián)的膨脹卷積殘差網(wǎng)絡(luò)單層DCRN1、DCRN2、DCRN3、DCRN4構(gòu)成,如圖3所示。本文在不同層級(jí)的膨脹卷積殘差網(wǎng)絡(luò)層引入跳線結(jié)構(gòu),該結(jié)構(gòu)能夠讓反向傳播的信號(hào)到底層,從而優(yōu)化了梯度消失問(wèn)題,同時(shí)也增加了不同層級(jí)的特征圖的復(fù)用性。為了保證跳線的可行性,膨脹卷積殘差網(wǎng)絡(luò)單層都使用“padding=same”模式。在膨脹卷積殘差網(wǎng)絡(luò)層內(nèi),通過(guò)兩個(gè)1×1卷積的瓶頸結(jié)構(gòu)從而提高計(jì)算效率、減少參數(shù)數(shù)目。

圖3 膨脹卷積殘差網(wǎng)絡(luò)(DCRN)模塊結(jié)構(gòu)

本文提出的膨脹卷積殘差網(wǎng)絡(luò)拋棄了傳統(tǒng)殘差單元中的普通卷積模塊,使用膨脹卷積殘差網(wǎng)絡(luò)單層進(jìn)行構(gòu)建,如圖4所示。通過(guò)Bottleneck結(jié)構(gòu)降低了輸入維度,簡(jiǎn)化了計(jì)算。首先將上個(gè)模塊的輸出通過(guò)1×1的卷積,然后再通過(guò)4個(gè)并聯(lián)的膨脹卷積Conv1、Conv3、Conv5、Conv7。4層膨脹卷積組合的優(yōu)點(diǎn)是,在計(jì)算量不變的前提下,獲得大尺寸的感受野且不易過(guò)擬合。為了保證卷積核的連續(xù)性,設(shè)計(jì)遵循了混合膨脹卷積框架的設(shè)計(jì)原則(Hybrid Dilated Convolution),膨脹率設(shè)計(jì)為r=1,2,3,4。由式(1)可知,通過(guò)運(yùn)用膨脹卷積,大幅度地提高了感受野,從而提高了空間信息利用率。最后,對(duì)結(jié)果進(jìn)行疊加concat,并經(jīng)過(guò)1×1卷積Single-Conv8,該卷積是bottleneck結(jié)構(gòu)一部分,通過(guò)1×1卷積,使得維度升高到與輸入維度相同。其結(jié)果和shortcut短接的特征圖相加進(jìn)入下個(gè)模塊。

outputSize=dilationRate×(inputSize-1)+1

(1)

式中:outputSize為輸出卷積核尺寸;inputSize為輸入卷積核尺寸;dilationRate為膨脹率。

圖4 膨脹卷積殘差網(wǎng)絡(luò)(DCRN)單層結(jié)構(gòu)

2.4 二值檢索向量模塊

該模塊最終輸出是服裝圖像的高維特征。模塊中,全局平均池化層(Global Average Pooling,GAP)[18]的優(yōu)勢(shì)是更好地保留原始特征的空間信息,如圖5所示。由于提取全局特征,DCRN模塊對(duì)服裝的風(fēng)格和款式更加敏感。

圖5 二值檢索向量模塊結(jié)構(gòu)

2.5 相似度排序

本文開(kāi)創(chuàng)性地提出混合距離度量算法(MD),使用MD方法實(shí)現(xiàn)特征向量的距離計(jì)算,然后使用LP范數(shù)查詢感知的局部敏感哈希算法(Query-aware locality-sensitive hashing scheme for LPnorm)[19]進(jìn)行相似度排序。

距離函數(shù)是定義集合中的元素距離。經(jīng)典的距離函數(shù)僅僅適合單一類型的樣本,而不適用混合類型樣本,即根據(jù)不同任務(wù)構(gòu)造不同的距離函數(shù)。針對(duì)這種問(wèn)題,本文提出混合距離度量算法(MD),公式如下:

dist(x,y)=distC(x,y)+distM(x,y)

(2)

式中:distC為余弦距離公式;distM為馬氏距離公式。馬氏距離的度量矩陣M是監(jiān)督學(xué)習(xí)要訓(xùn)練的對(duì)象。

(3)

式中:x、y表示2個(gè)n維向量;M是度量矩陣,通過(guò)監(jiān)督學(xué)習(xí)訓(xùn)練度量矩陣M。

余弦距離是計(jì)算兩個(gè)向量之間夾角的余弦值,用余弦值度量二者之間的距離遠(yuǎn)近,進(jìn)而評(píng)價(jià)二者相似度,余弦距離公式如下:

(4)

式中:x、y表示2個(gè)n維向量。

本文模型首先對(duì)于訓(xùn)練集的樣本信息建立優(yōu)化函數(shù),計(jì)算出能夠反映樣本空間特性的度量矩陣,然后利用算法進(jìn)行訓(xùn)練。馬氏距離考慮到了各種屬性的相關(guān)性和尺度的無(wú)關(guān)性,彌補(bǔ)了余弦距離泛化能力差的缺點(diǎn)。余弦距離也彌補(bǔ)馬氏距離計(jì)算過(guò)程中協(xié)方差矩陣可能無(wú)解的缺點(diǎn)。

2.6 損失函數(shù)

在反向傳播的訓(xùn)練中,triple損失函數(shù)是:

(5)

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集與實(shí)驗(yàn)設(shè)置

為了驗(yàn)證本文方法的效果,本文選用了DeepFashion的跨域服裝檢索數(shù)據(jù)集。該數(shù)據(jù)集包含30萬(wàn)組不同場(chǎng)景和姿態(tài)下的服裝圖像,涵蓋了21個(gè)常用服裝類別,例如衛(wèi)衣、連體褲、連衣裙等。其中每幅圖片都附帶1個(gè)類別標(biāo)簽、1 000個(gè)屬性標(biāo)簽、boundingbox邊框和landmarks。

實(shí)驗(yàn)環(huán)境設(shè)置:基于Ubuntu 16.04.6-LTS的64位操作系統(tǒng),采用TensorFlow 2.0深度學(xué)習(xí)框架,CPU為3.70 GHz Intel(R) Core(TM) i7-8700k,GPU為NVIDIA GeForce GTX 1080Ti。

實(shí)驗(yàn)參數(shù)設(shè)置:圖像特征提取模塊的參數(shù)設(shè)置如表1至表4所示,本文選擇ADAM作為優(yōu)化器,以32個(gè)批量進(jìn)行訓(xùn)練,開(kāi)始學(xué)習(xí)率為0.01,每105次迭代以0.7的冪次遞減。訓(xùn)練106次迭代后,模型收斂。

表1 Stem模塊的結(jié)構(gòu)參數(shù)設(shè)置

續(xù)表1

表2 DCRN模塊的結(jié)構(gòu)參數(shù)設(shè)置

表3 DCRN單層的結(jié)構(gòu)參數(shù)設(shè)置

表4 二值向量檢索模塊的結(jié)構(gòu)參數(shù)設(shè)置

3.2 評(píng)價(jià)指標(biāo)

為了評(píng)估本文模型的效果,本文采用標(biāo)準(zhǔn)如下。

3.2.1Top-k分類精度(precision)

結(jié)合待檢索服裝圖像q和一個(gè)相似性度量,本文為每個(gè)數(shù)據(jù)圖像分配一個(gè)等級(jí)。通過(guò)分類精度(precision)函數(shù),評(píng)估前k個(gè)圖像的排名:

(6)

式中:R(i)是待檢索服裝圖像q與第i個(gè)最近鄰圖像之間的相關(guān)性。檢索結(jié)果R(i)∈{0,1}。在前k個(gè)最近鄰圖像的標(biāo)簽中,只要有一個(gè)標(biāo)簽與檢索圖像標(biāo)簽相同,則R(i)=1。反之,則R(i)=0。本文實(shí)驗(yàn)中,只考慮用類別標(biāo)簽來(lái)度量相關(guān)性。

3.2.2查全率、查準(zhǔn)率和準(zhǔn)確率

在圖像檢索系統(tǒng)中,性能指標(biāo)要考慮所檢索系統(tǒng)的數(shù)量和排序。我們使用查全率(recall)、查準(zhǔn)率(precision)和準(zhǔn)確率(accuracy),如下:

(7)

(8)

(9)

其中,式(7)到式(9)中對(duì)應(yīng)參數(shù)如表5所示。

表5 混淆矩陣

在查準(zhǔn)率(precision)的基礎(chǔ)上,平均查準(zhǔn)率均值(Mean Average Precision,mAP)增加了對(duì)位置信息的評(píng)價(jià)。mAP公式如下:

(10)

3.3 總體實(shí)驗(yàn)結(jié)果和方法對(duì)比

3.3.1實(shí)驗(yàn)結(jié)果

在DeepFashion數(shù)據(jù)集中,本文的膨脹卷積殘差網(wǎng)絡(luò)(DCRN)的特征提取模塊+混合度量(MD)方法取得了良好的效果。圖6是DCRN+MD方法的Top-5檢索效果。可以看出,本文DCRN特征提取模塊不僅能提取服裝的細(xì)節(jié)信息,還能提取語(yǔ)義信息;MD模塊能有效地計(jì)算特征距離并排序。

圖6 本文DCRN+MD的Top-5檢索效果

3.3.2基于mAP指標(biāo)的橫向比較

本文將該方法與WTBI、DARN、FashionNet和FushionCNN+Kmeans[20]檢索算法進(jìn)行實(shí)驗(yàn)對(duì)比。

這里用mAP指標(biāo)驗(yàn)證DCRN+MD模型的有效性。如表6所示,在重要的mAP評(píng)價(jià)指標(biāo)上,本文DCRN+MD方法較其他方法有明顯優(yōu)勢(shì),較WTBI、DARN、FashionNet和FushionCNN+Kmeans方法分別提高了0.746、0.607、0.246、0.153。WTBI通過(guò)Alex網(wǎng)絡(luò)提取服裝的圖像特征,然后通過(guò)余弦距離進(jìn)行相似性排序。DARN則是通過(guò)NIN網(wǎng)絡(luò)(Network in Network)提取服裝的圖像特征,然后使用triple方法進(jìn)行相似性排序。FushionCNN+Kmeans通過(guò)提取服裝圖片的淺層細(xì)節(jié)信息和深層語(yǔ)義信息,然后將二者融合后作為特征表示,最后利用K-means對(duì)特征進(jìn)行聚類檢索。由于DARN使用了NIN網(wǎng)絡(luò)做特征提取,DARN檢索結(jié)果的mAP高于WTBI的對(duì)應(yīng)值。由于WTBI、DARN和FashionNet三者僅僅只注重紋理等細(xì)節(jié)特征,相比之下,FushionCNN+Kmeans和DCRN+MD方法額外地加入了對(duì)位置信息的描述,所以利用了位置信息的FushionCNN+Kmeans和DCRN+MD的mAP值遠(yuǎn)遠(yuǎn)高于WTBI和DARN方法的對(duì)應(yīng)值。這證明WTBI、DARN和FashionNet只能提取局部和具體的服裝圖像特征,不能有效提取總體和抽象的特征,例如袖長(zhǎng)屬性。而加入位置信息的特征向量具有更好的區(qū)分度和良好的表達(dá)能力。

表6 Top-10幅圖片mAP的比較

3.3.3基于top-k準(zhǔn)確率指標(biāo)的橫向比較

top-10、top-20準(zhǔn)確率是工程上廣泛應(yīng)用和重要的評(píng)價(jià)指標(biāo)。如表7所示,在top-10、top-20準(zhǔn)確率評(píng)價(jià)指標(biāo)上,DCRN+MD方法較其他方法有明顯優(yōu)勢(shì)。DCRN+MD方法的top-20準(zhǔn)確率比第二名高出0.088,top-10準(zhǔn)確率比第二名領(lǐng)先0.067。實(shí)驗(yàn)結(jié)果表明,在服裝檢索中,本文方法優(yōu)于其他方法。

表7 不同方法的準(zhǔn)確率比較

圖7中,折線圖展示了不同方法下的檢索準(zhǔn)確率。該實(shí)驗(yàn)充分說(shuō)明:在不同k值下,DCRN+MD方法均保持優(yōu)勢(shì)。

圖7 不同檢索算法top-k準(zhǔn)確率的對(duì)比

3.3.4檢索效率指標(biāo)的橫向比較

為了驗(yàn)證本文算法在時(shí)間復(fù)雜度上的優(yōu)越性,設(shè)計(jì)時(shí)間對(duì)比實(shí)驗(yàn)。在DeepFashion數(shù)據(jù)集上,本文DCRN+MD方法較其他方法有明顯優(yōu)勢(shì),較WTBI、DARN、FashionNet、FushionCNN+Kmeans方法分別降低了12.682、3.433、1.094、24.678 s。

表8 不同方法的檢索效率比較

3.4 消融實(shí)驗(yàn)

3.4.1特征提取模塊(DCRN)的消融實(shí)驗(yàn)

為了驗(yàn)證DCRN模塊的有效性,在使用相同的帶余弦值的混合距離度量算法MD模塊的前提下,本文比較5種主流的特征提取模塊。如圖8所示,DCRN+MD模塊的檢索結(jié)果最優(yōu),最優(yōu)準(zhǔn)確率為0.860;而ResNet50+MD模塊的檢索準(zhǔn)確率為0.276。當(dāng)k=20時(shí)候,DCRN+MD模塊組合具有最大的優(yōu)勢(shì),其準(zhǔn)確率比第二名多出0.08。這證明傳統(tǒng)卷積構(gòu)成的殘差網(wǎng)絡(luò)ResNet50和InceptionV3不能有效地提取服裝深層次的語(yǔ)義信息,而DCRN+MD模塊能夠有效提取服裝的語(yǔ)義特征。

圖8 特征提取模塊消融實(shí)驗(yàn)的對(duì)比

為了進(jìn)一步分析DCRN模塊語(yǔ)義提取的優(yōu)勢(shì),本文從袖長(zhǎng)、領(lǐng)型、顏色、衣長(zhǎng)的角度進(jìn)行對(duì)比實(shí)驗(yàn)。在眾多的對(duì)比實(shí)驗(yàn)中,我們隨機(jī)地截取一段實(shí)驗(yàn)的效果,如圖9所示。實(shí)驗(yàn)表明:DCRN模塊對(duì)于袖長(zhǎng)屬性的特征提取明顯優(yōu)于其他方法。在圖9中,檢索服裝是一件Blouses Shirt款式長(zhǎng)袖服裝。待檢索結(jié)果中,YOLOv3[21]和EfficientDet7[22]排第5位的白色中袖服裝,在本文方法排序中上升到第2位,而ResNet50和InceptionV3未能提取該語(yǔ)義特征。結(jié)果表明,DCRN網(wǎng)絡(luò)對(duì)于服裝的袖長(zhǎng)屬性這一語(yǔ)義的特征提取性能明顯地優(yōu)于其他方法。進(jìn)一步分析,得知在DCRN單層部分中,并行多膨脹率的膨脹卷積對(duì)服裝語(yǔ)義特征有良好的提取效果。

圖9 特征提取模塊消融實(shí)驗(yàn)的檢索效果

3.4.2混合距離度量模塊(MD)的消融實(shí)驗(yàn)

為了驗(yàn)證帶余弦值的混合距離度量MD模塊將馬氏距離和余弦距離結(jié)合的有效性。在使用相同的DCRN特征提取模塊前提下,實(shí)驗(yàn)使用下列不同的相似度排序的模塊,設(shè)計(jì)如下實(shí)驗(yàn)。

從圖10中可以看出基于MD方法將馬氏距離與余弦距離融合的策略取得了不錯(cuò)的效果,用MD方法提高檢索效果的設(shè)想,從top-10準(zhǔn)確率(accuracy)這個(gè)評(píng)價(jià)指標(biāo)看來(lái),基于馬氏距離的度量學(xué)習(xí)方法擁有較好檢索效果,而加入余弦距離的方法后,進(jìn)一步增加了排序的準(zhǔn)確率。另外,新方法MD優(yōu)化了特征距離,增大了類間的距離,減小了類內(nèi)距離,一定程度上減小了語(yǔ)義漂移,增強(qiáng)了模型的穩(wěn)定性。

圖10 混合距離度量模塊top-k準(zhǔn)確率的對(duì)比

4 結(jié) 語(yǔ)

本文提出基于膨脹卷積殘差網(wǎng)絡(luò)(DCRN)的服裝檢索方法,通過(guò)融合膨脹卷積和殘差網(wǎng)絡(luò)提取特征,并采用混合距離度量算法(MD)對(duì)圖像進(jìn)行檢索。實(shí)驗(yàn)充分證明本文方法對(duì)于服裝語(yǔ)義方面提取和排序精確度優(yōu)于現(xiàn)有其他方法。后續(xù)優(yōu)化中,可以加入Web頁(yè)面讓系統(tǒng)能在線廣泛地應(yīng)用。