一種域增強(qiáng)和域自適應(yīng)的換衣行人重識別范式

張培煦,胡冠宇,楊新宇

(西安交通大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院,陜西 西安 710049)

1 引 言

行人重新識別(Re-ID)任務(wù)的目標(biāo)是從不同地點(diǎn)和時間的視頻數(shù)據(jù)中搜索目標(biāo)人物。由于在監(jiān)控系統(tǒng)中被廣泛應(yīng)用,行人重識別技術(shù)長期受到學(xué)術(shù)界和工業(yè)界的青睞。隨著深度學(xué)習(xí)方法的發(fā)展,不同的行人重識別算法性能迅速提高,但是在長時間的視頻數(shù)據(jù)中重新識別一個目標(biāo)人物,換衣服問題帶來的挑戰(zhàn)是無法忽視的。隨著季節(jié)和溫度的變化,衣服厚度的變化會導(dǎo)致人的輪廓發(fā)生巨大的變化,給重識別任務(wù)帶來一定程度的阻礙。同時,在一些短期的現(xiàn)實(shí)場景中也存在換衣問題,例如,嫌犯為了逃避追捕通常會更換衣服以避免被識別和追蹤。因而,穿不同衣服的同一人和穿相同衣服的不同人就可能造成較大的類內(nèi)差異和較小的類間差異,造成行人重識別算法的失效。

目前大多數(shù)行人重識別方法是對短期內(nèi)穿相同衣服的同一目標(biāo)人物進(jìn)行識別[1],很大程度上依賴于衣服顏色、款式等外觀特征。由于衣服的外觀特征在換衣行人重識別任務(wù)中變得不可靠,模型很可能會將穿不同衣服的同一人歸為不同類而導(dǎo)致準(zhǔn)確率的下降,因此學(xué)習(xí)與衣服無關(guān)的特征是至關(guān)重要的。GU等人[2]發(fā)現(xiàn)在原始的RGB圖像中還有豐富的與衣服無關(guān)的信息沒有被使用,并且現(xiàn)有的方法并沒有合理地設(shè)計適合行人重識別任務(wù)的損失函數(shù),進(jìn)而提出在行人重識別網(wǎng)絡(luò)中增加一個服裝分類器和衣服對抗損失函數(shù)CAL,來懲罰模型對衣服的分辨能力,使得模型專注于與衣服無關(guān)的特征。盡管CAL極大地提升了模型關(guān)注與衣服無關(guān)特征的能力,但該方法未考慮數(shù)據(jù)集中域單一的問題,特征缺乏泛化性。

換衣行人重識別的數(shù)據(jù)收集十分復(fù)雜,在數(shù)據(jù)標(biāo)注上需要投入大量的人工成本,相關(guān)的數(shù)據(jù)集通常在規(guī)模和種類上受到限制,因此使用有限的數(shù)據(jù)和人工成本對擴(kuò)充數(shù)據(jù)集進(jìn)行擴(kuò)充是十分必要的。目前主流的數(shù)據(jù)增強(qiáng)分為同類和混類的方式,基于同類增強(qiáng)的方法例如水平隨機(jī)翻轉(zhuǎn)、縮放、模糊、移位、抖動、旋轉(zhuǎn)等是在單個圖像上操作的基礎(chǔ)增強(qiáng)。CutOut[3]先隨機(jī)選擇一個固定大小的正方形區(qū)域,然后采用全0填充;Random-erasing[4]隨機(jī)選擇一個區(qū)域,采用隨機(jī)值進(jìn)行覆蓋,模擬遮擋場景,并為新樣本被賦予其原始樣本標(biāo)簽。除了同類增強(qiáng)的方法,基于混類增強(qiáng)的方式也被廣泛應(yīng)用于計算機(jī)視覺任務(wù)。Mixup[5]將不同類之間的圖像以線性插值的方式進(jìn)行混合,從而構(gòu)建新的訓(xùn)練樣本;CutMix[6]方法從樣本中提取補(bǔ)丁,并隨機(jī)粘貼到訓(xùn)練圖像中,標(biāo)簽也與補(bǔ)丁標(biāo)簽成比例分配。但是以上這些數(shù)據(jù)增強(qiáng)的方法都沒有對語義信息作限制,會破壞目標(biāo)人物的身份語義信息;例如,換衣行人重識別模型需要重點(diǎn)關(guān)注人臉部位的語義信息,而生成的圖像很可能會遮擋或缺失面部的信息,造成模型性能的下降。所以需要使用更有效的數(shù)據(jù)增強(qiáng)策略,在不破壞人物身份語義信息的情況下豐富樣本空間。

域自適應(yīng)[7]是一種在豐富且多變的不同域的數(shù)據(jù)中學(xué)習(xí)通用特征表示的方法,能夠使模型在不同域數(shù)據(jù)上表現(xiàn)得更魯棒,這與換衣行人重識別的要求相吻合。針對上述問題,筆者將域自適應(yīng)的思想引入換衣行人重識別任務(wù)當(dāng)中,提出了一種基于域增強(qiáng)和域自適應(yīng)的換衣行人重識別范式。筆者通過語義感知的域數(shù)據(jù)增強(qiáng)方法,在語義信息的引導(dǎo)下,不使用額外數(shù)據(jù)和標(biāo)注成本,生成保留人物身份信息且更換人物衣服顏色圖像,構(gòu)建新的換衣域數(shù)據(jù)來豐富訓(xùn)練數(shù)據(jù)。并且基于增強(qiáng)的域數(shù)據(jù),筆者提出了一個新的基于域自適應(yīng)的多正類損失函數(shù),使得多域數(shù)據(jù)充分發(fā)揮作用,促使模型在有限的數(shù)據(jù)中充分挖掘與衣服無關(guān)的信息,提高了模型換衣行人重識別的性能。

2 方法概述

筆者提出了一種基于域增強(qiáng)和域自適應(yīng)的換衣行人重識別范式,整體如圖1所示,主要由服裝語義感知的域數(shù)據(jù)增強(qiáng)和基于域自適應(yīng)的多域行人重識別兩部分組成。首先進(jìn)行語義感知的域數(shù)據(jù)增強(qiáng),對換衣行人重識別數(shù)據(jù)中缺乏的同人同衣不同色的域數(shù)據(jù)進(jìn)行補(bǔ)充;接著使用預(yù)訓(xùn)練的人體解析模型SCHP[8]提取訓(xùn)練集中圖像的人體的語義結(jié)構(gòu),根據(jù)語義信息將上衣和褲子部分的圖像提取出來并使用LUT查找表對圖像進(jìn)行亮度增強(qiáng);再將其轉(zhuǎn)換至HSV顏色空間,改變衣服和褲子的色調(diào);最后對域增強(qiáng)后的數(shù)據(jù)集進(jìn)行翻轉(zhuǎn)、裁剪等基礎(chǔ)增強(qiáng)操作。這種方法不需要新的數(shù)據(jù)標(biāo)注,生成的域數(shù)據(jù)與原始數(shù)據(jù)共同組成域增強(qiáng)后的數(shù)據(jù)集并共享相同的標(biāo)簽。

在基于域自適應(yīng)的多域行人重識別部分中,筆者提出多正類域自適應(yīng)損失函數(shù)(Multi-Positive-class Domain Adaptive Loss,Lmpda),綜合考慮多域數(shù)據(jù)在模型訓(xùn)練時做出的貢獻(xiàn),使得模型在不同的域中學(xué)習(xí)通用的與衣服無關(guān)的身份特征,如臉部、腳部、體型和步態(tài)等,提升了模型的魯棒性和泛化性。模型的訓(xùn)練分為兩步:在第1步中,使用基于域增強(qiáng)后的數(shù)據(jù)對服裝分類器進(jìn)行訓(xùn)練,服裝分類損失函數(shù)為Lc,此時多域數(shù)據(jù)在Lc中使用相同的權(quán)重,域增強(qiáng)數(shù)據(jù)的加入使得服裝分類器學(xué)習(xí)了更豐富的樣本。在第2步中,利用第一步中訓(xùn)練的服裝分類器來計算多正類域自適應(yīng)損失Lmpda,筆者將Lmpda定義為包含多正類的分類損失函數(shù);其中,同人同衣定義為硬正類,同人同衣不同色定義為軟正類,同人不同衣定義為偽正類,不同人定義為負(fù)類。根據(jù)不同類分別為其在損失函數(shù)Lmpda中賦予不同的權(quán)重,利用域?qū)箤W(xué)習(xí)的方法,通過最小化Lmpda和身份損失Lid來聯(lián)合優(yōu)化身份分類器和主干網(wǎng)絡(luò),懲罰模型區(qū)分衣服的能力,使得模型專注于與衣服無關(guān)的特征。

圖1 域增強(qiáng)和域自適應(yīng)的換衣行人重識別范式

3 基于域增強(qiáng)和域自適應(yīng)的換衣行人重識別范式

3.1 服裝語義感知的域數(shù)據(jù)增強(qiáng)

為了彌補(bǔ)原始數(shù)據(jù)集中同人同衣不同色域的數(shù)據(jù)缺失,筆者提出服裝語義感知的域數(shù)據(jù)增強(qiáng)方法來豐富樣本域空間。該方式不使用額外的人工成本或數(shù)據(jù)(如衣服模板[9]或其他數(shù)據(jù)集[10-11]),極大地提升了模型構(gòu)建效率。

由于很多衣服的顏色太深,RGB的值都接近0,因此需要改變衣服圖像的亮度且不影響衣服圖像的明暗變化。首先計算衣服圖像Xt和Xu的像素值的均值Rmean,Gmean,Bmean并使用LUT查找表對圖像進(jìn)行亮度調(diào)整,將增強(qiáng)系數(shù)Bf定義為

(1)

其中,增強(qiáng)系數(shù)由圖像素值大小所決定,像素值越低,增強(qiáng)系數(shù)越大;像素值越高,增強(qiáng)系數(shù)越小。遍歷衣服圖像像素值并與增強(qiáng)系數(shù)Bf相乘,并限制像素最大值為255,當(dāng)像素值大于255時向下取255。

由于HSV色彩空間更符合人類對色彩的感知情況,因此首先將調(diào)整亮度后的Xt和Xu轉(zhuǎn)換至HSV顏色空間再進(jìn)行顏色變換操作。根據(jù)經(jīng)驗,人們通常不會穿顏色過于鮮艷的褲子,所以針對衣服和褲子部分分別設(shè)計了不同的增強(qiáng)策略。對于衣服部分,在0°～360°中隨機(jī)取值賦給Xt的色調(diào)Ht,獲得換色圖像Xtf達(dá)到改變衣服顏色但不影響衣服款式信息的效果;對于褲子部分,由于人們通常不會穿紅色或綠色的褲子,所以隨機(jī)取30°～90°的黃色區(qū)域和210°～270°的藍(lán)色區(qū)域的值賦給Xu的色調(diào)Hu,獲得換色圖像Xuf,達(dá)到模擬牛仔褲和休閑褲的目的。

如圖2所示,將Xuf、Xtf按位置與Xb合并,得到新的同人同衣不同色域數(shù)據(jù)Xnew。Xnew和X共享同樣的標(biāo)簽,但是會作為軟標(biāo)簽參與模型的訓(xùn)練,在不同損失函數(shù)中占不同的比重。為了盡可能提升模型的性能,如圖1的基礎(chǔ)數(shù)據(jù)增強(qiáng)部分所示,還需要將域增強(qiáng)后的數(shù)據(jù)經(jīng)過水平翻轉(zhuǎn)、隨機(jī)裁剪和隨機(jī)擦除等基礎(chǔ)增強(qiáng)操作。

圖2 服裝感知域數(shù)據(jù)增強(qiáng)流程

3.2 多正類域自適應(yīng)損失函數(shù)

筆者考慮不同域數(shù)據(jù)對模型學(xué)習(xí)身份特征時所做出的貢獻(xiàn)不同,基于服裝語義感知增強(qiáng)后的多域數(shù)據(jù)設(shè)計了一種多正類域自適應(yīng)損失函數(shù),通過對多正類賦予不同的損失權(quán)重來訓(xùn)練模型。首先將同一身份的人的所有樣本定義為正類,將同人同衣定義為硬正類,將同人同衣不同色定義為軟正類,將同人不同衣定義為偽正類。

提升換衣行人重識別模型性能的核心是懲罰其學(xué)習(xí)與衣服有關(guān)的信息,使得模型更加關(guān)注與衣服無關(guān)的特征,但服裝作為行人重識別人物中重要的特征,懲罰對其的識別能力相當(dāng)于降低了行人重識別模型的性能。所以需要合理設(shè)計損失函數(shù),讓其在關(guān)注目標(biāo)身份的同時,去關(guān)注部分的衣服特征。 而為了達(dá)到這一目的,筆者拋棄現(xiàn)階段行人重識別算法常用的交叉熵和三元損失函數(shù),借鑒CAL[2]的方法和域自適應(yīng)思想設(shè)計了一種多正類域自適應(yīng)損失函數(shù)Lmpda。 與CAL不同的是,Lmpda增加了針對同人同衣不同色域數(shù)據(jù)的損失分量,將同人同衣數(shù)據(jù)劃分為同人同衣域和同人同衣不同色域。Lmpda的數(shù)學(xué)形式為

(2)

(3)

圖3 Lmpda中各域權(quán)重示意圖

3.3 基于域自適應(yīng)的多域行人重識別

基于域自適應(yīng)的多域行人重識別模型結(jié)構(gòu)如圖1所示,首先訓(xùn)練一個服裝分類器Dc,待其收斂后固定參數(shù),利用域自適應(yīng)中的對抗思想,將Lmpda通過梯度反轉(zhuǎn)層實(shí)現(xiàn)對多域間差異的消除,迫使模型專注于提取與衣服無關(guān)的身份特征。

在第1階段,為了獲得每件衣服特有的特征,需要優(yōu)化Dc來增強(qiáng)其判別性。 服裝分類損失函數(shù)Lc定義為

(4)

在第2階段,當(dāng)服裝分類器訓(xùn)練完成后,主干網(wǎng)絡(luò)B和人員分類器Did使用Lmpda和Lid進(jìn)行聯(lián)合優(yōu)化。利用域自適應(yīng)梯度反轉(zhuǎn)層,懲罰模型學(xué)習(xí)衣服款式顏色的能力,迫使模型學(xué)習(xí)與衣服款式顏色無關(guān)的特征,提升模型在換衣行人重識別任務(wù)上的準(zhǔn)確性和泛化性。 而在訓(xùn)練時,如果過早加入Lmpda,讓模型基于Lmpda和Lid兩個損失函數(shù)同時進(jìn)行優(yōu)化,可能會導(dǎo)致陷入局部最小值,使模型難以收斂。 于是先由身份損失Lid訓(xùn)練模型,使得模型首先學(xué)習(xí)容易獲得的特征,當(dāng)模型擁有了基本的識別人員身份的能力后,再使用最終的域自適應(yīng)多域行人重識別損失Ltotal進(jìn)行訓(xùn)練。其數(shù)學(xué)形式為

Ltotal=Lmpda+Lid。

(5)

4 實(shí)驗方法及結(jié)果分析

4.1 數(shù)據(jù)庫和評價標(biāo)準(zhǔn)

為了驗證文中所提出范式的有效性,筆者分別在PRCC[13]和CCVID[2]兩個數(shù)據(jù)集上分別訓(xùn)練并評估了算法的性能。它們都是基于換衣數(shù)據(jù)的行人重識別數(shù)據(jù)集。PRCC數(shù)據(jù)集在換衣和非換衣的測試集上進(jìn)行性能評估;CCVID數(shù)據(jù)集在換衣測試集和由換衣圖像和非換衣圖像混合的測試集上進(jìn)行性能評估。使用行人重識別模型評價中常用的首位命中率(Rank-1)、平均精度均值(mean Average Precision,mAP)作為評價指標(biāo),這兩個值越高,表示模型的性能越好。

4.2 實(shí)施細(xì)節(jié)

模型在PyTorch平臺上實(shí)現(xiàn),在一個NVIDIA RTX3090 GPU上運(yùn)行。對于模型訓(xùn)練部分,使用應(yīng)用最為廣泛的ResNet-50[14]作為模型的主干網(wǎng)絡(luò),使用BatchNorm對視頻特征進(jìn)行歸一化。模型使用adam[15]優(yōu)化器進(jìn)行訓(xùn)練。初始學(xué)習(xí)率為0.000 35,τ設(shè)置為1/16,ε設(shè)置為0.1,λ2設(shè)置為0.05。

對于PRCC這樣基于圖片的數(shù)據(jù)集,對增強(qiáng)后的訓(xùn)練集使用隨機(jī)水平翻轉(zhuǎn)、隨機(jī)裁剪和隨機(jī)擦除[8]用于基礎(chǔ)數(shù)據(jù)增強(qiáng)。每個批次包含8人,每人包含8張,共64張圖像。將輸入圖像的大小調(diào)整為384×192,共訓(xùn)練70輪,25輪后使用Lmpda進(jìn)行訓(xùn)練,學(xué)習(xí)率在第20、35輪后除以10。

對于視頻數(shù)據(jù)集CCVID,為了不破壞視頻幀間語義的連續(xù)性,只對增強(qiáng)后的訓(xùn)練集使用水平翻轉(zhuǎn)用于基礎(chǔ)數(shù)據(jù)增強(qiáng)。在訓(xùn)練過程中,遵循CCVID的方法。對于每個原始視頻,模型隨機(jī)采樣8幀,步幅為4,形成一個視頻剪輯。每個輸入幀大小被調(diào)整到256×128。每個批次包含8人,每人包含4個,共32個視頻剪輯。共訓(xùn)練150輪,Lmpda用于第50輪之后的訓(xùn)練,學(xué)習(xí)率每40輪后除以10。

4.3 性能評估

為了驗證文中算法的有效性和優(yōu)越性,本節(jié)將文中算法與其他具有代表性的算法進(jìn)行比較,有基于傳統(tǒng)行人重識別算法的PCB[16]、IANet[17];專為換衣行人重識別任務(wù)而誕生的RCSANet[18]、FSAM[19]和CAL[2];還有最新流行的Swin Transformer[20]。可以發(fā)現(xiàn),文中所提出算法在換衣行人重識別任務(wù)上有很好的表現(xiàn),與最先進(jìn)的算法相比,mAP和Rank-1均有較大的改進(jìn)。根據(jù)換衣或非換衣任務(wù)不同,可以調(diào)整式(3)中的λ2的值來訓(xùn)練不同的模型。表1、2的數(shù)據(jù)為筆者在換衣和非換衣任務(wù)之間達(dá)到性能平衡時選擇的λ2所得到的結(jié)果。

表1 在 PRCC 數(shù)據(jù)集上與其他算法的對比 %

在表1中可以觀察到,在使用PRCC數(shù)據(jù)集訓(xùn)練模型并使用換衣圖像進(jìn)行測試時,文中算法的Rank-1和mAP分別達(dá)到了約59.5%和60.0%。而最新的CAL[2]算法約為55.2%(mAP)和55.8%(Rank-1),文中算法性能提升了約4.3%(mAP)和4.2%(Rank-1)。由于損失函數(shù)添加了改變衣服顏色的分量,模型對非換衣的行人重識別性能有輕微的下降,Rank-1下降了約0.1%。但這對實(shí)際應(yīng)用的影響很小。

有別于PRCC數(shù)據(jù)集的評價模式,此數(shù)據(jù)集除了在換衣數(shù)據(jù)上做評估外,還在換衣與非換衣混合數(shù)據(jù)上評估了算法的性能。表2為文中所提出算法與CAL在CCVID數(shù)據(jù)集上的性能表現(xiàn),結(jié)果表明,由于文中算法使用服裝語義感知的數(shù)據(jù)增強(qiáng)擴(kuò)充了域數(shù)據(jù),并且在損失函數(shù)中添加了同人同衣不同色域的損失分量,在換衣、混合數(shù)據(jù)上可以達(dá)到約88.0%(Rank-1)/84.5%(mAP)和89.2%(Rank-1)/86.2%(mAP)。相比CAL分別提升了約6.3%(Rank-1)/4.9%(mAP)和6.6%(Rank-1)/4.9%(mAP)。這說明文中方法在視頻數(shù)據(jù)集CCVID中依然有優(yōu)秀的表現(xiàn)。混合模式中Rank-1和mAP的大幅提升,證明了文中算法在實(shí)際場景中的應(yīng)用價值。

表2 在CCVID數(shù)據(jù)集上與CAL算法的對比 %

4.4 參數(shù)分析

為了研究λ2的大小對算法性能的影響,模型固定了其他的參數(shù),只改變λ2的值。圖4顯示了模型在選擇不同λ2時在CCVID數(shù)據(jù)集上的首位命中率Rank-1。

圖4 模型性能與λ2的關(guān)系

當(dāng)λ2=0時,損失函數(shù)就變成了CAL這樣沒有領(lǐng)域增強(qiáng)分量的損失函數(shù)。隨著λ2的增加,換色數(shù)據(jù)在損失函數(shù)公式(3)中所占的比重越大,模型對換色數(shù)據(jù)就越加敏感;在0.05時,混合數(shù)據(jù)和換衣數(shù)據(jù)的首位命中率Rank-1達(dá)到了最高。當(dāng)λ2的值超過0.05后再增加,模型的性能開始下降,這是因為換色增強(qiáng)數(shù)據(jù)的隨機(jī)性很強(qiáng),只能在損失函數(shù)中作為小權(quán)重進(jìn)行訓(xùn)練。當(dāng)權(quán)重過大時,模型在換衣數(shù)據(jù)上的性能提升會小于其在非換衣數(shù)據(jù)上性能的下降,這種情況體現(xiàn)為模型在混合數(shù)據(jù)中性能的下降。所以筆者將λ2設(shè)置為 0.05,作為模型性能最優(yōu)時的參數(shù)。

5 結(jié)束語

筆者提出了一種域增強(qiáng)和域自適應(yīng)的換衣行人重識別范式。通過語義分割提取上衣或褲子部分并改變色調(diào),在不需要額外數(shù)據(jù)和人工成本的情況下對數(shù)據(jù)中缺乏的同人同衣不同色的域數(shù)據(jù)進(jìn)行補(bǔ)充。與多正類域自適應(yīng)損失函數(shù)相結(jié)合,使得模型在不同的領(lǐng)域中學(xué)習(xí)通用的身份特征,提升了模型在換衣行人重識別任務(wù)上的性能。文中所提出的算法和大多數(shù)算法不同的是,其損失函數(shù)與領(lǐng)域增強(qiáng)相結(jié)合,對域增強(qiáng)后的數(shù)據(jù)依據(jù)不同的域類別在損失函數(shù)中賦予不同的權(quán)重,訓(xùn)練方式更加靈活,模型的泛化性也更好,實(shí)驗證明了所提出的方法在換衣行人重識別任務(wù)中的有效性。而換衣人重新識別仍然是一項具有挑戰(zhàn)性但重要的任務(wù),希望文中工作可以為未來的研究提供一些參考價值。