一種面向商品檢索的多尺度度量學(xué)習(xí)方法

行陽(yáng)陽(yáng),張索非,宋 越,吳曉富,周 全

(1.南京郵電大學(xué),江蘇 南京 210003;2.95958部隊(duì),上海 200120)

0 引 言

隨著互聯(lián)網(wǎng)技術(shù)和電子商務(wù)的飛速發(fā)展,人們的購(gòu)物方式逐漸從傳統(tǒng)的線下購(gòu)物轉(zhuǎn)變?yōu)榫€上購(gòu)物。為了充分滿足客戶海量、多樣化的網(wǎng)上購(gòu)物需求,人工智能零售系統(tǒng)需要快速、自動(dòng)地從圖像和視頻中識(shí)別出存貨單元(Stock Keeping Unit,SKU)級(jí)別的商品類別。與此同時(shí),深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)領(lǐng)域取得了突破性進(jìn)展,特別是在大型圖像分類任務(wù)方向如ImageNet。大規(guī)模商品識(shí)別是計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)新興課題。但是,許多SKU級(jí)商品都是細(xì)粒度的,并且它們?cè)谝曈X(jué)上是相似的。如何正確并快速地通過(guò)深度神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行快速識(shí)別仍面臨技術(shù)挑戰(zhàn)。

網(wǎng)上購(gòu)物平臺(tái)上的商品種類繁多。如圖1所示,為了方便商品的管理,很多商品的子類別根據(jù)不同的用途或儲(chǔ)存方法被劃分在不同的父類別中。換句話說(shuō),一個(gè)父類別包含許多子類別。一種商品既屬于某個(gè)子類別,同時(shí)也屬于某個(gè)父類別。不同語(yǔ)義下的類別信息即商品圖像多尺度標(biāo)簽信息。需要注意的是,商品的層級(jí)分類并不完全迎合商品的視覺(jué)相似性。不同父類別下的商品圖像也可能具有相似的外觀。例如,如圖1所示,以“護(hù)手霜”為父類別的第三行第四列商品與以“洗面奶”為父類別的第四行第二列商品外觀較為相似。造成這種現(xiàn)象的原因是商品并不是按照外觀進(jìn)行分類。這種現(xiàn)象會(huì)給商品圖像的標(biāo)簽帶來(lái)噪音并給檢索出正確的商品類別帶來(lái)技術(shù)挑戰(zhàn)。

此外,在商品識(shí)別任務(wù)中,手動(dòng)標(biāo)記標(biāo)簽并收集所有類別商品圖像的數(shù)據(jù)集總是費(fèi)時(shí)且昂貴的。首先,要在網(wǎng)上購(gòu)物平臺(tái)上識(shí)別不同商品的數(shù)量可能是巨大的。對(duì)于每一類商品,需要數(shù)百?gòu)堄?xùn)練圖像,通常從幾個(gè)不同的角度拍攝。其次,商品零售平臺(tái)需要定期上架新的商品類型,現(xiàn)有商品的外觀也會(huì)不時(shí)發(fā)生變化。在實(shí)際部署過(guò)程中,更新不斷增加的訓(xùn)練圖像是一個(gè)棘手的問(wèn)題。由于上述原因,如果沒(méi)有這些新商品類別的訓(xùn)練樣本,傳統(tǒng)的圖像分類模型往往無(wú)法獲得令人滿意的性能。相比之下,度量學(xué)習(xí)方法更適合于商品檢索,因?yàn)樗梢詫⑤斎雸D像嵌入到一個(gè)緊湊但有分辨能力的特征空間中。這種嵌入可以很容易地推廣到未知類別,而不需要任何額外的訓(xùn)練成本。因此,將網(wǎng)絡(luò)購(gòu)物平臺(tái)中的商品圖像識(shí)別問(wèn)題轉(zhuǎn)化為大規(guī)模度量學(xué)習(xí)任務(wù)有利于問(wèn)題的解決。目前,許多SKU級(jí)別的商品圖像數(shù)據(jù)集已經(jīng)進(jìn)行了公開(kāi)。例如,AliProducts-Challenge[1]數(shù)據(jù)集包含近300萬(wàn)張圖像,覆蓋5萬(wàn)個(gè)SKU級(jí)商品類別;Products-10K[2]數(shù)據(jù)集包含近15萬(wàn)張圖像,覆蓋1萬(wàn)個(gè)SKU級(jí)商品類別。

綜上所述,商品檢索問(wèn)題可以看作是一個(gè)多尺度度量學(xué)習(xí)問(wèn)題。商品類別的標(biāo)簽通常符合一種層級(jí)結(jié)構(gòu)。許多公開(kāi)可用的商品圖像數(shù)據(jù)集還包含多尺度的標(biāo)簽信息,而不是只包含單尺度的標(biāo)簽信息。利用多尺度標(biāo)簽信息進(jìn)行模型訓(xùn)練,可以使得網(wǎng)絡(luò)充分挖掘商品圖像不同尺度特征的關(guān)系并更可能滿足不同尺度下的識(shí)別需求。

該文提出了一種充分利用商品圖像的多尺度監(jiān)督信息的MSML(Multi-Scale Metric Learning)模型。在大規(guī)模商品圖像檢索數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,該方法是有效的,與傳統(tǒng)的單尺度度量學(xué)習(xí)相比,顯著提高了識(shí)別的綜合性能。

1 相關(guān)工作

1.1 商品識(shí)別

在過(guò)去的十年中,深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)領(lǐng)域取得了巨大的成功。近年來(lái),基于深度學(xué)習(xí)的商品識(shí)別得到了廣泛的研究,關(guān)于這一領(lǐng)域已經(jīng)有了大量的工作。在文獻(xiàn)[3]中,作者提出了一個(gè)多任務(wù)級(jí)聯(lián)的卷積神經(jīng)網(wǎng)絡(luò)(MTCD-CNN)進(jìn)行商品圖像檢測(cè)并采用分層頻譜聚類進(jìn)行層級(jí)的圖像分類。文獻(xiàn)[4]提出了一種對(duì)商品模型進(jìn)行無(wú)標(biāo)簽半監(jiān)督的商品識(shí)別方法。該方法基于Self-training訓(xùn)練兩個(gè)目標(biāo)檢測(cè)模型,提高了無(wú)標(biāo)簽預(yù)測(cè)的準(zhǔn)確性。文獻(xiàn)[5]報(bào)道了通過(guò)AlexNet學(xué)習(xí)到的特征被用于雜貨商品識(shí)別。該研究表明,深度學(xué)習(xí)方法在復(fù)雜場(chǎng)景下更有效。此外,文獻(xiàn)[6]提出了一種基于YOLOX模型的商品檢索算法。該算法采用輕量級(jí)網(wǎng)絡(luò)MobileNet-V2作為主干網(wǎng)并使用改進(jìn)的相似度檢索方法進(jìn)行推理,使得網(wǎng)絡(luò)在不增加檢索速度的情況下增加識(shí)別準(zhǔn)確度。文獻(xiàn)[7]融合商品圖像的圖像特征和文本特征的識(shí)別算法,利用商品的圖像和文本進(jìn)行多模態(tài)融合,提高了識(shí)別系統(tǒng)魯棒性。文獻(xiàn)[8]提出了一種融合金字塔池化策略并使用一種名為哈希網(wǎng)絡(luò)的SHN模型提高了模型對(duì)于圖像形變帶來(lái)的負(fù)面影響。

1.2 深度度量學(xué)習(xí)

深度度量學(xué)習(xí)(DML)廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)任務(wù),包括人臉識(shí)別、行人重識(shí)別、車輛再識(shí)別和商品識(shí)別。通常,這些任務(wù)的目標(biāo)是檢索與查詢圖像最相似的所有圖像。近年來(lái),深度度量學(xué)習(xí)取得了顯著的進(jìn)展。這些方法主要分為兩類,即成對(duì)樣本計(jì)算嵌入特征度量差異的方法和基于分類區(qū)分嵌入特征的方法。基于樣本對(duì)的方法在深度嵌入的特征空間中優(yōu)化樣本對(duì)之間的相似性,例如,Triplet Loss[9],N-pair Loss[10],Multi-Simi Loss[11]。相比之下,基于分類的方法通過(guò)在訓(xùn)練集上訓(xùn)練各種分類模型來(lái)學(xué)習(xí)嵌入,例如Cosface[12],ArcFace[13],NormSoftmax[14]和Proxy NCA[15]。最近的一項(xiàng)工作[16],考慮從統(tǒng)一的角度結(jié)合這兩種方法。通過(guò)對(duì)兩種損失進(jìn)行加權(quán),給出了一般的損失函數(shù)。與傳統(tǒng)的度量學(xué)習(xí)只利用單一尺度的監(jiān)督信息不同,該文提出的方法充分利用了多個(gè)語(yǔ)義尺度的監(jiān)督信息來(lái)對(duì)模型進(jìn)行訓(xùn)練。

2 基于多尺度度量學(xué)習(xí)的商品檢索

使用商品多個(gè)尺度的標(biāo)簽信息用于度量學(xué)習(xí)模型的訓(xùn)練即為多尺度度量學(xué)習(xí)。在多尺度度量學(xué)習(xí)中,會(huì)考慮商品圖像的多個(gè)尺度。例如,該文考慮了商品標(biāo)簽的兩個(gè)尺度,即粗粒度的組別和細(xì)粒度的類別。組標(biāo)簽和類標(biāo)簽符合層次結(jié)構(gòu),其中一個(gè)組別包含多個(gè)類別。根據(jù)實(shí)際的應(yīng)用場(chǎng)景,不妨假設(shè)類級(jí)別的任務(wù)是開(kāi)集識(shí)別任務(wù),組級(jí)別的任務(wù)是閉集識(shí)別任務(wù)。網(wǎng)絡(luò)設(shè)計(jì)的目標(biāo)即同時(shí)完成組級(jí)分類任務(wù)和類級(jí)檢索任務(wù),并使兩者盡可能沒(méi)有干擾。文中模型采用了三個(gè)分支網(wǎng)絡(luò)來(lái)滿足這兩個(gè)層次的識(shí)別需求。特別地,該方法利用協(xié)同注意力分支將組別級(jí)特征與類別級(jí)特征相結(jié)合,充分利用了圖像標(biāo)簽的層次性信息。

2.1 總體方案

如圖2所示,所提網(wǎng)絡(luò)模型是一個(gè)以ResNet50作為骨干網(wǎng)的三個(gè)分支網(wǎng)絡(luò)。三個(gè)分支分別是粗粒度特征提取分支、細(xì)粒度特征提取分支和融合特征提取分支。粗粒度特征提取分支和細(xì)粒度特征提取分支分別對(duì)商品圖像進(jìn)行粗粒度和細(xì)粒度特征的提取。融合特征提取分支則對(duì)另外兩個(gè)分支提取到的特征以一定方式進(jìn)行融合形成新的融合特征并最終用于商品圖像的檢索。

圖2 所提出的MSML深度神經(jīng)網(wǎng)絡(luò)模型架構(gòu)

MSML可以采用任何用于圖像分類的深度網(wǎng)絡(luò)作為主干網(wǎng),例如谷歌Inception和ResNet。考慮到ResNet50的競(jìng)爭(zhēng)性能和相對(duì)簡(jiǎn)潔的架構(gòu),該文主要采用ResNet50作為主干網(wǎng)。在文獻(xiàn)[17]的基礎(chǔ)上,去掉了ResNet的Stage4(包括框架中的Stage4a和Stage4b)中最后一個(gè)空間向下采樣操作,以增加特征圖的大小。

為了更好地提取粗粒度和細(xì)粒度級(jí)別的特征,MSML使用了Stage4a和Stage4b從骨干網(wǎng)將兩個(gè)級(jí)別所優(yōu)化的特征空間分開(kāi)。Stage4a和Stage4b都是從原始ResNet中的Stage4復(fù)制而來(lái),并在Stage3后面并行連接。Stage4a和Stage4b在結(jié)構(gòu)上是相同的,但是在網(wǎng)絡(luò)訓(xùn)練過(guò)程中網(wǎng)絡(luò)參數(shù)的更新是不同的。從Stage4a派生的分支用于粗粒度級(jí)別的特征提取并在經(jīng)過(guò)全連接層用于商品組別的分類,從Stage4b派生出的分支用于細(xì)粒度級(jí)別特征的提取。對(duì)Stage4a和Stage4b的輸出進(jìn)行GAP(Global Average Pooling)運(yùn)算,可以得到兩個(gè)2 048維的特征向量。不同粒度的特征提取使用不同的分支網(wǎng)絡(luò)可以緩解粗粒度特征和細(xì)粒度特征在一個(gè)特征空間提取所造成的相互干擾。此外,利用協(xié)同注意模塊將粗粒度和細(xì)粒度特征相結(jié)合,充分利用了圖像標(biāo)簽的層次信息。

圖3 協(xié)同注意力模塊結(jié)構(gòu)示意圖

2.2 融合特征提取分支

融合特征提取分支使用協(xié)同注意力機(jī)制將粗粒度和細(xì)粒度特征進(jìn)行融合形成新的融合特征。注意力模塊已被證明是多種機(jī)器學(xué)習(xí)場(chǎng)景下的有效機(jī)制[18],并廣泛應(yīng)用于自然語(yǔ)言處理(NLP)、圖像處理(CV)、語(yǔ)音信號(hào)識(shí)別等各類機(jī)器學(xué)習(xí)任務(wù)中。注意力機(jī)制利用特征之間的相關(guān)性,迫使網(wǎng)絡(luò)更加關(guān)注有用的信息。

在商品圖像識(shí)別的情況下,對(duì)于同一個(gè)樣本,網(wǎng)絡(luò)在粗粒度級(jí)別和細(xì)粒度級(jí)別學(xué)習(xí)的特征應(yīng)該是不同的。為了更好地使網(wǎng)絡(luò)挖掘到圖像的重要特征,該文使用一種協(xié)同注意機(jī)制,將粗粒度級(jí)別的特征引入細(xì)粒度級(jí)別的特征中,如圖3所示。這兩個(gè)協(xié)同注意模塊由一個(gè)空間注意力模塊(PAM)和一個(gè)通道注意模塊(CAM)組成。設(shè)Stage4a和Stage4b的輸出特征Xc,Xg∈RC×(H×W)為協(xié)同注意模塊的輸入特征,其中C,H,W分別為特征圖的通道數(shù)、高度和寬度。PAM將每個(gè)位置的特征Xg映射重塑到兩個(gè)低維子空間上,這些子空間是由核大小為1×1的二維卷積實(shí)現(xiàn)的。經(jīng)過(guò)重塑降維操作最終得到查詢Q∈RC/r×S,鍵K∈RC/r×S。其中S=H×W為特征圖的空間大小,r為控制子空間維數(shù)的超參數(shù)。該文將遵從注意力機(jī)制一般的實(shí)驗(yàn)配置,簡(jiǎn)單的將其設(shè)置為8。與自注意模塊不同的是,協(xié)同注意中的值V并不是來(lái)自與鍵相同的特征圖,而是來(lái)自另一個(gè)特征圖。在所提出的模型中,直接將Stage4b的輸出Xc經(jīng)過(guò)大小重排作為值V∈RC×S。那么Xc和Xg的經(jīng)過(guò)空間注意力的輸出可以由查詢Q、鍵K和值V計(jì)算為:

Z'=attentionp(Xc,Xg)=Vσ(Ap)=Vσ(QTK)

(1)

其中,σ(·)為Softmax函數(shù),Z'∈RC×(H×W)為PAM的輸出,Ap為位置權(quán)重矩陣,可以度量Xg不同位置特征之間的相關(guān)性。與PAM類似,同樣使用了通道注意力模塊(CAM),從通道角度賦予網(wǎng)絡(luò)關(guān)注關(guān)鍵信息的能力。CAM直接從PAM的輸出Z'中獲取鍵K和查詢Q。最終融合特征分支可表示為:

(2)

2.3 損失函數(shù)

在MSML中,最終的總損失是三個(gè)單獨(dú)損失的加權(quán)和,即:

(3)

在訓(xùn)練階段,ResNet的Stage1,Stage2和Stage3會(huì)同時(shí)被這三個(gè)損失函數(shù)進(jìn)行優(yōu)化,網(wǎng)絡(luò)的其余部分僅由相應(yīng)的損失函數(shù)進(jìn)行優(yōu)化。基于以上分析,任何分支的優(yōu)化都可以通過(guò)影響公共部分Stage1,Stage2和Stage3來(lái)影響其他分支的優(yōu)化。

3 實(shí) 驗(yàn)

在本節(jié)中,設(shè)置了一些對(duì)比神經(jīng)網(wǎng)絡(luò)模型與文中模型進(jìn)行比較,并使用多個(gè)基于分類的損失函數(shù)來(lái)證明所提MSML模型的有效性。此外,文獻(xiàn)[17]商品識(shí)別的冠軍方案模型和文獻(xiàn)[19]基于自注意力模塊(S-A based)的圖像檢索方法將應(yīng)用于商品檢索任務(wù),并與文中模型進(jìn)行了性能比較。

3.1 數(shù)據(jù)集

實(shí)驗(yàn)所采用的數(shù)據(jù)集是來(lái)自公開(kāi)數(shù)據(jù)集Products-10k[2],為便于實(shí)驗(yàn),進(jìn)行了重新分割,最終形成新的商品檢索數(shù)據(jù)集MSML-Product。其中,源商品數(shù)據(jù)集Products-10k是一個(gè)基于商品識(shí)別應(yīng)用場(chǎng)景的開(kāi)放數(shù)據(jù)集。Product-10k包含在線零售平臺(tái)頻繁購(gòu)買(mǎi)的10 000種商品,涵蓋時(shí)尚、3C、食品、保健及家居等所有品類。所有SKU級(jí)別的商品都被組織到一個(gè)層次結(jié)構(gòu)中,總共有近19萬(wàn)張圖片。在實(shí)際應(yīng)用場(chǎng)景中,圖像數(shù)量的分布并不均衡。所有圖像都由生產(chǎn)專家團(tuán)隊(duì)手動(dòng)檢查和標(biāo)記。

對(duì)Product-10k的所有圖像進(jìn)行重新分布,使數(shù)據(jù)集符合一般圖像檢索數(shù)據(jù)集的形式。將處理后的數(shù)據(jù)集MSML-Product分為三組:訓(xùn)練集、查詢集和待查詢集。查詢集和待查詢集用于測(cè)試模型,訓(xùn)練集用于訓(xùn)練模型。

MSML-Product中的每個(gè)圖像都有兩個(gè)標(biāo)簽:類別和組別。這兩個(gè)標(biāo)簽滿足一個(gè)層次結(jié)構(gòu),即一個(gè)組別包含多個(gè)類別。對(duì)于類別而言,MSML-Product保持開(kāi)集設(shè)置,即訓(xùn)練集和測(cè)試類別沒(méi)有交集。測(cè)試集中的類別對(duì)于網(wǎng)絡(luò)來(lái)說(shuō)是全新的。對(duì)于組別而言,MSML-Product保持閉集設(shè)置,即測(cè)試的所有類別均已在訓(xùn)練集出現(xiàn)過(guò)。MSML-Product數(shù)據(jù)集的詳細(xì)信息如表1所示。

表1 數(shù)據(jù)集類別分布和樣本數(shù)量

3.2 評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)基于圖像檢索常用的三種評(píng)價(jià)指標(biāo),即累積匹配特征(Cumulative Matching Characteristics,CMC)、平均精度均值(mean Average Precision,mAP)和準(zhǔn)確率。CMC表示在前k排序列表中存在真匹配的概率(如Rank-1表示第一位匹配正確的概率)。準(zhǔn)確率(Precision)考慮在被模型判斷為真的樣例中,實(shí)際為真的樣例比例。本次實(shí)驗(yàn)考慮將模型返回的前10個(gè)最相似的樣本去計(jì)算準(zhǔn)確率,并記為Prec-10。相比之下,mAP同時(shí)考慮了檢索結(jié)果的精度和查全率。當(dāng)一個(gè)查詢有多個(gè)正確匹配時(shí)(這是常見(jiàn)的情況),mAP強(qiáng)調(diào)識(shí)別所有正確匹配的能力,特別是那些困難的樣本。

3.3 實(shí)驗(yàn)細(xì)節(jié)

該模型的訓(xùn)練主要采用典型的度量學(xué)習(xí)方法并重點(diǎn)參考了行人重識(shí)別領(lǐng)域的相關(guān)技術(shù)。在訓(xùn)練網(wǎng)絡(luò)之前,先從ImageNet加載預(yù)訓(xùn)練的骨干網(wǎng)絡(luò),用于權(quán)重參數(shù)初始化。需要注意的是圖2中主干網(wǎng)Stage4a和Stage4b參數(shù)初始化相同。它們都使用預(yù)訓(xùn)練模型的Stage4作為初始化。訓(xùn)練中采用標(biāo)準(zhǔn)的圖像增強(qiáng)方法,包括隨機(jī)水平翻轉(zhuǎn)、隨機(jī)裁剪、隨機(jī)擦除。每張圖像大小調(diào)整為224×224像素。訓(xùn)練方面使用了Adam優(yōu)化器,其初始學(xué)習(xí)率為3.5e-5,并在30和50個(gè)epoch時(shí)將學(xué)習(xí)率縮小0.1倍,直到收斂。實(shí)驗(yàn)在Intel E5-2680CPU 2.4 GHz的硬件環(huán)境下進(jìn)行,4張NVIDIA Tesla P100 GPU。該模型每個(gè)批量包含16個(gè)細(xì)粒度類別在內(nèi)的256個(gè)訓(xùn)練樣本。對(duì)于損失函數(shù)權(quán)重參數(shù)kc,kg和kx,所提模型中先固定其中兩個(gè)權(quán)重參數(shù),每隔0.2對(duì)另外一個(gè)權(quán)重進(jìn)行每次增大或縮小0.2,直到取最優(yōu)值。經(jīng)測(cè)試,權(quán)重參數(shù)最佳配置為1∶1∶1。所有的實(shí)驗(yàn)其損失的權(quán)重均設(shè)置為1∶1∶1。

3.4 實(shí)驗(yàn)結(jié)果

3.4.1 所提模型的消融實(shí)驗(yàn)結(jié)果

為便于比較,實(shí)驗(yàn)共設(shè)置了三種對(duì)照模型,以突出文中模型各個(gè)模塊的有效性。首先采用基線網(wǎng)絡(luò)作為第一個(gè)對(duì)照模型,然后在基線網(wǎng)絡(luò)的基礎(chǔ)上,在模型的基礎(chǔ)上逐個(gè)添加一些模塊,以構(gòu)建其他模型。原始基線模型采用ResNet50骨干網(wǎng)將原始輸入圖像映射到特征空間。類別和組別共享一個(gè)Stage4提取特征。然后在ResNet50后直接連接兩個(gè)FC層,并使用兩個(gè)交叉熵?fù)p失函數(shù)進(jìn)行優(yōu)化。

表2 與對(duì)照模型的實(shí)驗(yàn)結(jié)果比較 %

與基線模型相比,第二個(gè)對(duì)照模型在GAP操作后只增加了一個(gè)BN層。第三個(gè)對(duì)照模型與第二個(gè)對(duì)照模型相比增加了Stage4復(fù)制操作。該模型通過(guò)使用Stage4a和Stage4b分離粗粒度和細(xì)粒度特征空間。所提模型可以通過(guò)在第二個(gè)對(duì)照模型中添加協(xié)同注意模塊來(lái)獲得。實(shí)驗(yàn)將所提方法與所有對(duì)照方法進(jìn)行了比較。為了充分證明所提模型的有效性,在已知組標(biāo)簽的情況下也進(jìn)行了類別檢索的相關(guān)實(shí)驗(yàn)。在表2中列出了這些模型在Softmax損失函數(shù)優(yōu)化下的實(shí)驗(yàn)結(jié)果。可以看出,在損失函數(shù)相同的情況下,所提方法的綜合性能最好。從第一個(gè)基線模型到所提模型,組別標(biāo)簽未知時(shí),mAP從36.6%上升到43.0%,組別標(biāo)簽已知時(shí),mAP從54.2%上升到57.9%。

對(duì)比對(duì)照模型的實(shí)驗(yàn)結(jié)果,可以得出結(jié)論,Stage4的復(fù)制分離了粗粒度和細(xì)粒度級(jí)別的特征空間,緩解了不同尺度之間的沖突。此外,協(xié)同關(guān)注模塊融合了類級(jí)和組級(jí)的層級(jí)關(guān)系信息,提高了模型的性能。

3.4.2 與相關(guān)文獻(xiàn)方法對(duì)比實(shí)驗(yàn)結(jié)果

除了與設(shè)計(jì)的對(duì)照模型比較外,實(shí)驗(yàn)還包括與文獻(xiàn)[18]中最先進(jìn)的(SOTA)模型與文獻(xiàn)[17]中基于自注意力機(jī)制的檢索模型的比較。SOTA模型是為了解決商品分類問(wèn)題而設(shè)計(jì)的。該SOTA模型同樣采用ResNet作為骨干網(wǎng),并使用一種特殊的池化操作——廣義均值(GeM)對(duì)ResNet輸出的特征圖進(jìn)行池化。在池化之后,使用兩個(gè)BN和FC層分別對(duì)組和類進(jìn)行分類。文獻(xiàn)[17]使用將主干網(wǎng)提取到的局部特征經(jīng)過(guò)自注意力模塊得到局部融合特征并加在原來(lái)的局部特征之后得到最終融合特征進(jìn)行圖像的檢索。

為了進(jìn)一步驗(yàn)證所提方法的有效性,實(shí)驗(yàn)在每個(gè)模型上分別使用了不同的基于分類的損失函數(shù),即Softmax損失,Cosface和Arcface。從表3可以看出,所提模型與文獻(xiàn)[18]中SOTA模型和文獻(xiàn)[17]中基于自注意力模塊的方法相比性能是最好的。在測(cè)試階段,SOTA模型最后一個(gè)FC層將被移除用于圖像檢索,與所提方法進(jìn)行比較。實(shí)驗(yàn)結(jié)果表明,在使用Softmax損失函數(shù)進(jìn)行訓(xùn)練時(shí),所提模型和SOTA模型的性能都是最好的。在使用Softmax損失函數(shù)的情況下,無(wú)論組別標(biāo)簽是否已知,所提模型總是表現(xiàn)最佳。

表3 與SOTA模型的實(shí)驗(yàn)結(jié)果比較 %

此外,在檢測(cè)速度上,所提方法的檢索速度與文獻(xiàn)[18]與文獻(xiàn)[17]相差不大。所提方法的檢索速度為5.4e-4s/張,文獻(xiàn)[18]和文獻(xiàn)[17]的檢索速度分別為4.0e-4s/張和5.3e-4s/張。可以看到,所提方法在沒(méi)有顯著增加檢索時(shí)間的基礎(chǔ)上顯著提高了性能。

4 結(jié)束語(yǔ)

利用多尺度度量學(xué)習(xí)的方法,解決了大規(guī)模商品識(shí)別中使用有限類別的圖像識(shí)別新增類別商品圖像的問(wèn)題。重點(diǎn)提出了一種充分利用商品圖像多尺度信息的MSML模型。在大規(guī)模商品圖像檢索數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,該方法是有效的,顯著提高了商品識(shí)別的綜合性能。