結(jié)合特征學(xué)習(xí)與注意力機(jī)制的服裝圖像分割

顧梅花， 劉 杰， 李立瑤， 崔 琳

(西安工程大學(xué) 電子信息學(xué)院， 陜西 西安 710048)

電子商務(wù)飛速發(fā)展的時(shí)代，網(wǎng)店商家與買家群體越來(lái)越多，人們更傾向于在線上選購(gòu)心儀服裝。網(wǎng)購(gòu)服裝逐漸成為一種主流消費(fèi)趨勢(shì)，各大購(gòu)物平臺(tái)推出了“以圖搜圖”的服裝檢索功能[1-3]，服裝圖像分割作為服裝檢索的前期工作，其分割精度在很大程度上影響著檢索結(jié)果的準(zhǔn)確性[4-6]。然而，實(shí)際應(yīng)用中服裝圖像大多來(lái)源于網(wǎng)絡(luò)、廣告片段、影視截圖、實(shí)景拍攝等，服裝的款式與風(fēng)格繁多，背景復(fù)雜，對(duì)服裝圖像分割的干擾較為明顯，且因拍攝的距離、角度與著裝人體姿態(tài)的不同，容易產(chǎn)生衣物小尺寸、皺褶以及遮擋等問(wèn)題，會(huì)使得服裝圖像分割準(zhǔn)確率較低，針對(duì)這些問(wèn)題，國(guó)內(nèi)外學(xué)者從不同角度展開(kāi)了研究工作。

文獻(xiàn)[7]采用形態(tài)學(xué)預(yù)處理方法結(jié)合Canny算子對(duì)服裝圖像進(jìn)行輪廓提取，但由于服裝本身內(nèi)容細(xì)節(jié)復(fù)雜，提取的服裝輪廓信息準(zhǔn)確率較低。文獻(xiàn)[8]提出一種Fashion-16模型，采用卷積神經(jīng)網(wǎng)絡(luò)提取服裝特征，依據(jù)softmax函數(shù)處理劃分服裝類別，結(jié)合局部敏感哈希思想實(shí)現(xiàn)同類別檢索，提取目標(biāo)服裝的區(qū)域特征與類別屬性；文獻(xiàn)[9]提出了一種融合自適應(yīng)局部特征與改進(jìn)模糊C均值(FCM)的服裝圖像分割算法，通過(guò)減少內(nèi)部區(qū)域噪聲提高了服裝圖像的分割精度，但這2種方法只考慮了簡(jiǎn)單背景下的服裝圖像分割，無(wú)法保證復(fù)雜背景下的服裝圖像分割效果。文獻(xiàn)[10]提出一種基于先驗(yàn)知識(shí)融合顏色和紋理特征的無(wú)監(jiān)督分割算法，對(duì)服裝圖像進(jìn)行分塊處理，提升圖像分割的準(zhǔn)確性，但該方法未解決遮擋對(duì)圖像分割造成的影響問(wèn)題。文獻(xiàn)[11]提出一種結(jié)合標(biāo)簽優(yōu)化和語(yǔ)義分割的服裝圖像檢索方法，通過(guò)構(gòu)建視覺(jué)風(fēng)格分析概率模型進(jìn)行標(biāo)簽優(yōu)化，提升了對(duì)少數(shù)民族服裝圖像分割性能，但并不適合于一般服裝目標(biāo)的分割。文獻(xiàn)[12]提出一種基于超像素融合和姿態(tài)估計(jì)相結(jié)合的服裝圖像分割方法，采用一種層次超像素融合策略，提升了服裝的分割性能，但未考慮服裝發(fā)生形變對(duì)分割準(zhǔn)確度的影響。

為解決上述問(wèn)題，文獻(xiàn)[13]采用Mask R-CNN[14]模型訓(xùn)練DeepFashion2數(shù)據(jù)集，經(jīng)ResNet網(wǎng)絡(luò)獲取圖像中的服裝信息，結(jié)合區(qū)域建議網(wǎng)絡(luò)(RPN)與感興趣區(qū)域?qū)R(RoIAlign)處理將特征輸入不同的預(yù)測(cè)分支，可實(shí)現(xiàn)不同場(chǎng)景下服裝圖像的檢測(cè)、分割與檢索，但未對(duì)小尺寸服裝與遮擋服裝的分割問(wèn)題給出解決方案。本文在文獻(xiàn)[13]的研究基礎(chǔ)上，通過(guò)對(duì)Mask R-CNN模型的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行優(yōu)化，改善復(fù)雜背景下小尺寸服裝與遮擋服裝圖像分割準(zhǔn)確率低的問(wèn)題。首先采用增強(qiáng)特征金字塔網(wǎng)絡(luò)優(yōu)化Mask R-CNN模型對(duì)圖像中多尺度服裝特征的學(xué)習(xí)能力，提升對(duì)小尺寸服裝的分割準(zhǔn)確度；其次在類別分支、邊界框回歸分支與掩膜預(yù)測(cè)分支分別引入通道注意力模塊以及空間注意力模塊，結(jié)合圖像的上下文特征與空間信息，強(qiáng)化各分支對(duì)圖像中服裝區(qū)域特征的關(guān)注度，提升遮擋服裝的分割準(zhǔn)確度。

1 方法概述

Mask R-CNN[14]通過(guò)在Faster R-CNN模型[15]的網(wǎng)絡(luò)頭部添加一個(gè)用于預(yù)測(cè)目標(biāo)掩膜(Mask)的分支，與邊界框回歸和類別預(yù)測(cè)并行處理，完成對(duì)圖像中目標(biāo)區(qū)域的實(shí)例分割任務(wù)。Mask R-CNN模型主要包括ResNet+FPN主干網(wǎng)絡(luò)、RPN、RoIAlign處理、網(wǎng)絡(luò)頭部(Head)共4個(gè)部分，將其應(yīng)用于服裝圖像分割任務(wù)中，整體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 Mask R-CNN服裝圖像分割模型結(jié)構(gòu)示意圖Fig.1 Model structure image of Mask R-CNN garment segmentation

由圖1可知，Mask R-CNN將特征金字塔網(wǎng)絡(luò)FPN[16]與ResNet50結(jié)合，主干網(wǎng)絡(luò)提取輸入服裝圖像特征，融合多層特征信息后，經(jīng)RPN獲得感興趣的區(qū)域，通過(guò)RoIAlign處理將所有感興趣區(qū)域(RoI)都池化成相同大小的特征圖，最后進(jìn)行分類、回歸和掩膜預(yù)測(cè)，實(shí)現(xiàn)對(duì)服裝圖像的實(shí)例分割，圖2示出Mask R-CNN模型對(duì)服裝圖像的分割效果。

從圖2可看出，Mask R-CNN能夠檢測(cè)出不同場(chǎng)景下的服裝圖像，并生成對(duì)應(yīng)掩膜覆蓋服裝區(qū)域，提取出圖像中感興趣的服裝目標(biāo)，但仍然存在以下問(wèn)題：1)圖2(a)中短袖的右上部受非目標(biāo)物遮擋無(wú)法有效分割，且長(zhǎng)褲區(qū)域?qū)?yīng)掩膜的邊緣擬合性不是很好；2)圖2(b)中吊帶連衣裙的框選未能將連衣裙整體納入預(yù)測(cè)區(qū)域，丟失部分服裝信息；3)圖2(c)中左側(cè)背心裙因拍攝角度造成服裝區(qū)域的不規(guī)則形變，影響模型的分割效果。

圖2 Mask R-CNN服裝圖像分割效果Fig.2 Clothing image segmentation of Mask R-CNN. (a) Occlusion target segmentation；(b) Small target segmentation；(c) Multi-objective segmentation

通過(guò)分析，Mask R-CNN在特征學(xué)習(xí)過(guò)程中存在3個(gè)缺陷：1)融合過(guò)程未考慮多層特征之間的語(yǔ)義差異，導(dǎo)致服裝特征表達(dá)能力較低；2)頂層高級(jí)特征降維后造成服裝特征信息的丟失；3)根據(jù)目標(biāo)大小啟發(fā)式選擇不同層級(jí)生成對(duì)應(yīng)的RoI特征，忽略了不同層級(jí)特征對(duì)于同一RoI的描述。另外，Mask R-CNN直接通過(guò)全連接層將輸入的特征信息用于目標(biāo)預(yù)測(cè)任務(wù)，忽略了服裝圖像的空間相關(guān)性，在多目標(biāo)檢測(cè)與分割任務(wù)中，對(duì)存在相互遮擋的目標(biāo)處理效果略有欠缺。

針對(duì)上述問(wèn)題，本文提出一種結(jié)合改進(jìn)多尺度特征學(xué)習(xí)策略與雙重注意力機(jī)制的服裝圖像分割方法，提取豐富的多尺度服裝特征信息，并加強(qiáng)對(duì)重要服裝區(qū)域的關(guān)注度，可明顯改善小尺寸與遮擋對(duì)服裝圖像分割精度的影響，且能較為準(zhǔn)確地提取圖像中的服裝區(qū)域。

2 改進(jìn)多尺度特征學(xué)習(xí)策略

本文采用增強(qiáng)特征金字塔網(wǎng)絡(luò)(AugFPN)[17]優(yōu)化Mask R-CNN模型對(duì)服裝圖像多尺度特征的學(xué)習(xí)能力，通過(guò)一致監(jiān)督策略縮小特征融合前不同尺度服裝特征的語(yǔ)義差距；在融合過(guò)程中通過(guò)增強(qiáng)殘差特征，提取比例不變的上下文信息，減少最高層級(jí)服裝特征在映射過(guò)程中出現(xiàn)的信息缺失；最后采用軟RoI選擇，使模型在特征融合后能夠自適應(yīng)地獲取更優(yōu)的RoI特征，通過(guò)自適應(yīng)空間融合改善服裝目標(biāo)區(qū)域邊界特征的擬合問(wèn)題，優(yōu)化模型對(duì)不同尺寸服裝圖像的識(shí)別與分割效果。AugFPN模塊的整體網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 AguFPN模塊網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Module network structure of AugFPN

特征融合前，AugFPN通過(guò)對(duì)多尺度服裝特征執(zhí)行同一規(guī)則進(jìn)行監(jiān)督，縮小不同層級(jí)間語(yǔ)義特征的差異。{C2,C3,C4,C5}表示用于構(gòu)建特征金字塔的特征，首先，輸入服裝圖像經(jīng)主干網(wǎng)絡(luò)處理，生成多尺度特征{M2,M3,M4,M5}；然后在特征金字塔{P2,P3,P4,P5}上使用RPN生成RoIs，并采用RoIAlign方法獲取各RoI在不同層級(jí)上的特征映射；再對(duì)特征結(jié)果進(jìn)行分類、回歸和掩膜預(yù)測(cè)處理，獲取對(duì)應(yīng)的輔助損失；最后通過(guò)共享不同層級(jí)的預(yù)測(cè)參數(shù)，促使特征映射過(guò)程在相同監(jiān)督下學(xué)習(xí)相似的語(yǔ)義信息。損失函數(shù)計(jì)算公式如下：

式中：LRCNN為Mask R-CNN的損失，Lcls,M、Lbox,M與Lmask,M分別為特征圖{M2,M3,M4,M5}經(jīng)分類、回歸與掩膜預(yù)測(cè)處理的輔助損失；Lcls,P、Lbox,P與Lmask,P為對(duì)應(yīng)于金字塔特征層{P2,P3,P4,P5}的輔助損失；pM、dM和qM分別表示特征圖上的預(yù)測(cè)結(jié)果；pP、dP和qP為對(duì)應(yīng)于金字塔特征的預(yù)測(cè)結(jié)果；t*、b*和e*分別表示目標(biāo)分類、邊界框回歸和掩膜的真實(shí)標(biāo)注；引入的λ用于平衡輔助損失與原始損失之間的權(quán)重，β和γ分別用于平衡邊界框回歸、掩膜預(yù)測(cè)與分類之間的權(quán)重；其中，對(duì)[t*>0]的定義如下：

輔助分支僅存在于模型的測(cè)試階段，預(yù)測(cè)過(guò)程僅采用特征金字塔上的分支進(jìn)行預(yù)測(cè)，這種訓(xùn)練方式可避免額外參數(shù)的引入，使計(jì)算量的增加僅存在于推理階段。

對(duì)于原FPN存在的因高層特征降維造成信息丟失的問(wèn)題，AugFPN引入殘差特征增強(qiáng)(RFE)模塊，結(jié)合服裝圖像的空間上下文信息優(yōu)化最高層級(jí)的特征表示，從而減少特征融合過(guò)程中對(duì)高層特征的信息損失，殘差特征增強(qiáng)原理如圖4所示。

圖4 殘差特征增強(qiáng)原理Fig.4 Principle of residual feature enhancement

圖4中，RFE模塊直接采用C5層作為輸入，避免了因特征降維造成的信息損失，C5的尺度為S=h×w，首先對(duì)輸入的C5層特征進(jìn)行比率不變的自適應(yīng)池化處理，生成不同規(guī)模的上下文特征圖{a0S,a1S,…,an-1S}；然后采用1×1卷積保持通道數(shù)為256，再經(jīng)過(guò)上采樣處理恢復(fù)至原尺寸；最后融合上下文特征生成新的特征層M6，其中自適應(yīng)空間融合模塊對(duì)每個(gè)特征生成對(duì)應(yīng)的空間權(quán)重，依據(jù)模型在訓(xùn)練過(guò)程中學(xué)習(xí)到的權(quán)重信息相加；將M6與M5求和更新M5；最后將更新后的M5繼續(xù)與其他低層信息融合，構(gòu)建新的特征金字塔。

原FPN中RoI對(duì)應(yīng)的特征根據(jù)RoI的尺度選擇對(duì)應(yīng)提取的層，小尺寸服裝目標(biāo)對(duì)應(yīng)在低層級(jí)特征圖上獲取特征，而大尺寸服裝目標(biāo)在高層級(jí)特征圖上獲取特征，這種單一的映射關(guān)系會(huì)導(dǎo)致2個(gè)尺寸非常接近的服裝目標(biāo)被映射到不同的特征層級(jí)上。AugFPN采用軟RoI選擇在特征融合后自適應(yīng)地學(xué)習(xí)更好的RoI特征，首先對(duì)建議對(duì)應(yīng)的所有層級(jí)上的特征進(jìn)行池化，然后對(duì)池化之后的特征進(jìn)行自適應(yīng)特征融合，即對(duì)于任意RoI，在不同層級(jí)上選擇性捕獲對(duì)應(yīng)的RoI特征，通過(guò)訓(xùn)練調(diào)整空間權(quán)重，并依據(jù)權(quán)重信息融合同一RoI的多尺度特征作為最優(yōu)特征。該方法補(bǔ)償了從單層金字塔中獲取RoI特征產(chǎn)生的信息損失，改善了Mask R-CNN對(duì)不同尺寸服裝圖像分割的邊緣擬合效果。

3 雙重注意力機(jī)制

本文在Mask R-CNN的預(yù)測(cè)分支中引入注意力機(jī)制，增強(qiáng)各分支對(duì)圖像中服裝區(qū)域特征的關(guān)注度，其中，類別分支加入通道注意力模塊，加強(qiáng)特征圖之間的相關(guān)性，邊界回歸框與掩膜預(yù)測(cè)分支分別引入空間注意力機(jī)制，提升關(guān)鍵區(qū)域的特征表達(dá)能力，從而增強(qiáng)模型對(duì)服裝區(qū)域的特征提取能力。

在Mask R-CNN模型的類別預(yù)測(cè)分支添加通道注意力模塊[18]，結(jié)合通道權(quán)重調(diào)整分支對(duì)服裝目標(biāo)的關(guān)注度，確定特征圖上需要重點(diǎn)關(guān)注的內(nèi)容，強(qiáng)化預(yù)測(cè)過(guò)程中對(duì)特征信息的理解能力，以及模型對(duì)服裝目標(biāo)的關(guān)注度，從而提高模型對(duì)不同服裝類別的辨識(shí)能力。改進(jìn)后的類別預(yù)測(cè)分支流程如圖5所示，首先將輸入特征X通過(guò)通道注意力模塊加強(qiáng)服裝目標(biāo)的關(guān)注度；然后將得到的輸出特征與輸入特征X進(jìn)行結(jié)合，融合為表征服裝圖像的特征；最后通過(guò)全連接層與softmax函數(shù)對(duì)服裝類別進(jìn)行預(yù)測(cè)。

圖5 結(jié)合通道注意力的類別預(yù)測(cè)分支流程圖Fig.5 Flow chart of category prediction branch combined with channel attention

在Mask R-CNN模型的邊界框回歸與掩膜預(yù)測(cè)分支分別引入空間注意力模塊[19]，依據(jù)服裝目標(biāo)的存在感知度生成與特征層同等大小的掩膜信息，其中每個(gè)元素分別對(duì)應(yīng)于原特征中各個(gè)像素上的權(quán)重，通過(guò)不斷學(xué)習(xí)調(diào)整模型對(duì)服裝目標(biāo)區(qū)域的關(guān)注度，確定需要重點(diǎn)關(guān)注的位置，強(qiáng)化模型分支的特征理解能力，改善因服裝間的遮擋問(wèn)題所產(chǎn)生的目標(biāo)區(qū)域不規(guī)則形變對(duì)服裝檢測(cè)與分割精度造成的影響。處理流程分別如圖6、7所示。

圖6首先將輸入的特征X通過(guò)空間注意力模塊強(qiáng)化特征信息，然后將得到的輸出特征與輸入特征X進(jìn)行相乘獲得表征服裝邊界框的最終特征，最后經(jīng)過(guò)全連接層將特征映射到樣本標(biāo)記空間，通過(guò)邊界框的回歸對(duì)邊界框進(jìn)行預(yù)測(cè)。圖7將所獲得的特征向量Y首先通過(guò)空間注意力模塊使得低分辨率的服裝圖像輸入特征轉(zhuǎn)換為高分辨率的特征對(duì)，然后經(jīng)過(guò)上采樣輸入到全連接網(wǎng)絡(luò)中，最后對(duì)服裝圖像的掩模進(jìn)行預(yù)測(cè)。

圖6 結(jié)合空間注意力的邊界框回歸分支流程圖Fig.6 Flow chart of bounding box regression branch combined with spatial attention

圖7 結(jié)合空間注意力的掩膜預(yù)測(cè)分支流程圖Fig.7 Flow chart of mask prediction branch combined with spatial attention

4 實(shí)驗(yàn)與分析

4.1 實(shí)驗(yàn)條件

4.1.1 數(shù)據(jù)集

本文選用DeepFashion2[13]數(shù)據(jù)集，其中包含49.1萬(wàn)張圖片與80.1萬(wàn)個(gè)服裝實(shí)例，劃分為13種服裝類型，樣本分布情況如表1所示。DeepFashion2通過(guò)改變服裝圖像的尺寸、遮擋、縮放和視角變量，豐富數(shù)據(jù)集中服裝圖像標(biāo)注信息，可支持服裝識(shí)別、分割與檢索、關(guān)鍵點(diǎn)標(biāo)記、姿態(tài)估計(jì)等任務(wù)。

表1 DeepFashion2數(shù)據(jù)集樣本分布情況Tab.1 The sample distribution of DeepFashion2 dataset

4.1.2 實(shí)驗(yàn)環(huán)境與設(shè)置

實(shí)驗(yàn)在Intel(R) Core(TM) CPU 2.90GHz、Nvidia GeForece RTX 2070 Super顯卡，RAM為16 G的硬件環(huán)境下進(jìn)行，編譯環(huán)境為Python3.7，實(shí)驗(yàn)工具為Microsoft Visual Studio 2018。選用Pytorch框架搭建Mask R-CNN模型，訓(xùn)練過(guò)程采用遷移學(xué)習(xí)的方法，將Mask R-CNN在COCO數(shù)據(jù)集下得到的權(quán)重應(yīng)用于服裝圖像分割的初始訓(xùn)練。以8:2的比例從DeepFashion2數(shù)據(jù)集中選取訓(xùn)練集與測(cè)試集，訓(xùn)練集包含39.2萬(wàn)張圖片，測(cè)試集包含9.8萬(wàn)張圖片。

針對(duì)訓(xùn)練過(guò)程中存在數(shù)據(jù)格式不匹配的問(wèn)題，即DeepFashion2數(shù)據(jù)集的json文件不能直接用于Mask R-CNN模型，通過(guò)數(shù)據(jù)類型轉(zhuǎn)換的方法將json文件轉(zhuǎn)換為COCO格式。設(shè)置初始學(xué)習(xí)率為0.000 01，每經(jīng)過(guò)2 000次迭代附加0.1倍，繼續(xù)學(xué)習(xí)調(diào)整權(quán)重參數(shù)，獲取適用于提取圖像中服裝區(qū)域的分割模型。

4.2 結(jié)果分析

為了驗(yàn)證本文算法在服裝圖像分割任務(wù)中的有效性，采用Mask R-CNN[13]、FCIS[20]作為對(duì)比算法，從定性、定量2個(gè)方面對(duì)所提算法進(jìn)行評(píng)估。

(二)現(xiàn)實(shí)中出現(xiàn)的一系列問(wèn)題也使得全額撥款事業(yè)單位進(jìn)行資產(chǎn)管理成為一項(xiàng)必然的活動(dòng)。中國(guó)地緣遼闊，政府機(jī)構(gòu)龐雜，事業(yè)單位在數(shù)量上較之別的國(guó)家要多很多。如果不能從資金的角度對(duì)事業(yè)單位活動(dòng)進(jìn)行提前管理，出現(xiàn)問(wèn)題以后再追責(zé)，那么就已經(jīng)造成了對(duì)社會(huì)的傷害。而且隨著改革的深入，資產(chǎn)管理過(guò)程中出現(xiàn)了一系列的問(wèn)題，包括：資金使用不規(guī)范，資金去向不明，國(guó)有資產(chǎn)大量流失，這些問(wèn)題迫使加強(qiáng)全額撥款事業(yè)單位的資產(chǎn)管理成為一項(xiàng)必然的活動(dòng)。

4.2.1 定性分析

圖8示出各種分割算法對(duì)小尺寸、多目標(biāo)、仰角服裝圖像的實(shí)例分割效果比較以及本文算法對(duì)應(yīng)的服裝區(qū)域提取結(jié)果。其中，Mask R-CNN+表示在Mask R-CNN中采用AugFPN優(yōu)化后的模型，本文算法表示在Mask R-CNN+中引入注意力機(jī)制后的模型。

由圖8可知，4種模型均能提取出圖像中的服裝目標(biāo)區(qū)域。如圖8小尺寸圖像所示，F(xiàn)CIS算法僅保留了圖中吊帶裙的中心區(qū)域；Mask R-CNN的分割效果優(yōu)于FCIS，但丟失了吊帶部分，易產(chǎn)生類別混淆問(wèn)題；與之相比，Mask R-CNN+檢測(cè)到更多吊帶裙的上半身區(qū)域，整體效果略優(yōu)于原Mask R-CNN，同樣未包含吊帶部分；本文算法引入注意力機(jī)制優(yōu)化Mask R-CNN+，保留了吊帶裙的上半身特征，包含吊帶部分，在小尺寸服裝圖像分割任務(wù)中能獲得較為豐富的服裝實(shí)例區(qū)域。

圖8中多目標(biāo)圖像分割結(jié)果中，F(xiàn)CIS與Mask R-CNN都能檢測(cè)到多個(gè)目標(biāo)的存在，但對(duì)于左側(cè)的背心連衣裙分割效果不佳，未能保留短袖上衣的左邊袖口部分；Mask R-CNN+與本文算法彌補(bǔ)了上述缺陷，補(bǔ)償了短袖皺褶袖口與領(lǐng)口部分的信息；本文算法在模特手臂的影響下依然能提取到較為完整的皺褶袖口區(qū)域，實(shí)現(xiàn)了多目標(biāo)服裝實(shí)例分割任務(wù)。

圖8仰角圖像展示了仰角服裝圖像的分割結(jié)果，F(xiàn)CIS算法對(duì)在圖像中面積占比較大的服裝區(qū)域保留較好，但短褲折邊處未能得到有效檢測(cè)；Mask R-CNN的分割效果略好于FCIS，且在短袖上衣領(lǐng)口與左肩處的分割效果較好，但受拍攝角度影響，右肩部分未能入鏡，使得模型在處理過(guò)程中出現(xiàn)錯(cuò)誤分割；Mask R-CNN+與本文算法在領(lǐng)口與右肩部分的上衣保留了較多的區(qū)域信息；此外，本文算法對(duì)短褲區(qū)域的處理效果較好，能夠識(shí)別到短褲的折邊區(qū)域，雖然在左側(cè)腰部出現(xiàn)部分未能分割的服裝區(qū)域，但根據(jù)圖8中第5列對(duì)應(yīng)的實(shí)例分割提取結(jié)果，能夠直觀判斷服裝類別。

圖8 各算法對(duì)小尺寸、多目標(biāo)以及仰角服裝圖像的分割效果比較Fig.8 Comparison of segmentation effect for clothing image with small size (a), multi-target (b) and elevation angle (c) using different algorithms

圖9示出了不同算法對(duì)非目標(biāo)遮擋、多目標(biāo)間相互遮擋、多人互相遮擋情況下的服裝圖像分割效果比較以及本文算法對(duì)應(yīng)的服裝區(qū)域提取結(jié)果。

考慮到不同服裝間存在的遮擋問(wèn)題，觀察圖9的多目標(biāo)間相互遮擋子圖，可知Mask R-CNN對(duì)衣領(lǐng)與短褲的分割效果略優(yōu)于FCIS，但兩者均丟失了部分衣領(lǐng)區(qū)域；Mask R-CNN+與本文算法在分割結(jié)果中保留了服裝的衣領(lǐng)部分，在上衣左上角受人體遮擋的區(qū)域，左側(cè)衣袖的分割效果得到了明顯改善；本文算法能夠檢測(cè)并分割出短褲的折邊部分，對(duì)互相遮擋的服裝圖像有較好的分割效果。

圖9多人相互遮擋情況圖所示的多人服裝圖像分割結(jié)果中，F(xiàn)CIS算法與Mask R-CNN受圖中左側(cè)人物頭發(fā)的影響，未能將左袖納入預(yù)測(cè)的服裝區(qū)域中，而Mask R-CNN+能夠避免人物發(fā)型的干擾，提取到上衣左袖的部分區(qū)域，本文算法在Mask R-CNN+基礎(chǔ)上引入注意力機(jī)制，進(jìn)一步降低了遮擋問(wèn)題對(duì)服裝圖像分割準(zhǔn)確性的影響，提取到信息更加豐富的服裝實(shí)例分割結(jié)果。

圖9 各算法對(duì)遮擋服裝圖像的分割效果比較Fig.9 Comparison of segmentation effect for occlusion clothing image using different algorithms. (a) NON target occlusion; (b) Multi target occlusion; (c) People target occlusion

4.2.2 定量分析

為進(jìn)一步評(píng)估本文算法的性能，采用掩膜交并比Iou、平均精度AP以及平均精度均值MAP3個(gè)常用的圖像分割評(píng)價(jià)指標(biāo)分析算法精度。

將本文算法的服裝圖像分割精度與Mask R-CNN[13]、FCIS[20]，Mask R-CNN+進(jìn)行對(duì)比，結(jié)果如表2所示。評(píng)價(jià)指標(biāo)AP50和AP75分別表示Iou值取50%和75%所對(duì)應(yīng)的AP值。

表2 各算法分割精度對(duì)比Tab.2 Comparison of each model segmentation precision

由表2可知，由于多尺度特征的引入，Mask R-CNN通過(guò)解耦實(shí)現(xiàn)對(duì)服裝分類、邊界框和Mask的同步預(yù)測(cè)，與經(jīng)典分割模型FCIS相比優(yōu)勢(shì)較為明顯；結(jié)合AugFPN強(qiáng)化模型對(duì)多尺度服裝特征的學(xué)習(xí)能力后，Mask R-CNN+的各項(xiàng)指標(biāo)均獲得進(jìn)一步提升，MAP提升了約2.3%；引入注意力機(jī)制后，本文算法在Iou等于50%與75%的情況下的AP值均明顯優(yōu)于原模型，平均精度MAP比Mask R-CNN+提高了1.5%，比Mask R-CNN提高了3.8%。

綜上所述，本文算法能夠有效實(shí)現(xiàn)多尺寸服裝圖像與遮擋服裝圖像的分割任務(wù)，改善了Mask R-CNN模型在小尺寸服裝圖像分割方面存在的漏檢、漏分割現(xiàn)象；在遮擋情況下能夠預(yù)測(cè)出豐富的特征信息，提取到效果較好的服裝區(qū)域，有效提升了不同場(chǎng)景下服裝圖像分割的準(zhǔn)確度。

5 結(jié)束語(yǔ)

本文提出了一種基于改進(jìn)特征學(xué)習(xí)與注意力機(jī)制的服裝圖像分割方法。該方法采用增強(qiáng)特征金字塔網(wǎng)絡(luò)優(yōu)化Mask R-CNN模型對(duì)多尺度服裝圖像特征的學(xué)習(xí)能力，通過(guò)統(tǒng)一監(jiān)督策略縮小特征融合前不同尺度特征之間的語(yǔ)義差距，在融合過(guò)程中通過(guò)增強(qiáng)殘差特征，提取比例不變的上下文信息，減少金字塔最高層級(jí)特征在映射過(guò)程中的信息缺失，通過(guò)軟RoI選擇，使模型在特征融合后能夠自適應(yīng)地獲取更優(yōu)的RoI特征，有效提升了模型對(duì)不同尺寸服裝圖像的識(shí)別與分割效果；另外，通過(guò)引入雙重注意力機(jī)制，增強(qiáng)各預(yù)測(cè)分支對(duì)圖像中服裝區(qū)域特征的關(guān)注度，有效改善了遮擋對(duì)分割效果的不利影響，實(shí)現(xiàn)了多尺寸服裝圖像與遮擋服裝圖像更精確的實(shí)例分割。