基于局部特征融合的行人重識(shí)別方法

涂園園，賀 松，姚紹華

（貴州大學(xué) 大數(shù)據(jù)與信息工程學(xué)院，貴陽(yáng) 550025）

0 引 言

隨著互聯(lián)網(wǎng)技術(shù)的不斷進(jìn)步，行人重識(shí)別在視頻監(jiān)控、智能商業(yè)、智能安防等領(lǐng)域具有廣泛的應(yīng)用價(jià)值和研究意義。行人重識(shí)別是指在已知來(lái)源與無(wú)重疊攝像機(jī)拍攝到的圖片或視頻的資料庫(kù)中識(shí)別出已知行人的技術(shù)，即一個(gè)攝像頭（a）拍攝到某行人的圖像或視頻，利用計(jì)算機(jī)視覺(jué)技術(shù)在攝像頭（b）拍攝的圖像或視頻中準(zhǔn)確找到該行人。在實(shí)際監(jiān)控環(huán)境中，由于光照、攝像頭視角、行人姿態(tài)、遮擋及背景雜亂等復(fù)雜干擾，出現(xiàn)不同身份的行人圖片很相似，而同一身份的行人圖片卻差異大的問(wèn)題，如何對(duì)行人圖片提取魯棒性更強(qiáng)的特征是當(dāng)前行人重識(shí)別研究亟需解決的問(wèn)題。

行人重識(shí)別技術(shù)流程主要有兩個(gè)步驟：第一步，利用特征表達(dá)方法從目標(biāo)圖像中提取魯棒的行人圖像特征；第二步，根據(jù)提取到的圖像特征對(duì)行人圖像進(jìn)行相似度度量，行人圖像對(duì)經(jīng)過(guò)該距離度量函數(shù)能夠準(zhǔn)確反映出無(wú)重疊視域攝像頭下的行人身份差異［1］。行人重識(shí)別研究主要方法有基于傳統(tǒng)方法和基于深度學(xué)習(xí)方法，傳統(tǒng)的行人重識(shí)別方法是從基于特征設(shè)計(jì)和基于距離度量學(xué)習(xí)兩方面研究。基于特征設(shè)計(jì)的方法是通過(guò)設(shè)計(jì)魯棒的、隱含的特征行人外觀模型，提取圖像任務(wù)當(dāng)中的底層特征，比如顏色、紋理、光建點(diǎn)等特征，來(lái)減少光照條件、視角變化、姿態(tài)不同、遮擋等因素對(duì)圖像對(duì)的影響，而且對(duì)身份異同具有識(shí)別能力。2006 年，Gheissari 等人首次提出利用H－S 直方圖和邊緣直方圖提取行人特征［2］；2008 年，Douglas Gray 等人針對(duì)攝像頭視角不同，提出在不同的攝像頭中運(yùn)用特征學(xué)習(xí)的方式來(lái)挑選一組最優(yōu)的特征，進(jìn)而提高行人圖像特征的整體魯棒性［3］；2015 年，Liao 等人針對(duì)視覺(jué)變化問(wèn)題，提出一種局部最大發(fā)生率（Local Maximal Occurrence，LOMO）的特征表達(dá)算法，首先在水平條帶上提取HSV 顏色直方圖特征和SILTP（Scale Invariant Local Ternary Pattern）紋理直方圖特征；其次，將水平條帶上各個(gè)特征維度的最大出現(xiàn)頻率特征作為該條帶特征；最后，級(jí)聯(lián)條帶特征作為行人圖像特征表達(dá)，取得了較好的識(shí)別效果［4］。而基于度量學(xué)習(xí)的方法是通過(guò)學(xué)習(xí)找到一個(gè)距離度量標(biāo)準(zhǔn)，用來(lái)計(jì)算圖像對(duì)之間的距離或者相似度，使計(jì)算結(jié)果能夠更準(zhǔn)確地反映行人身份異同，研究方向側(cè)重以歐式距離、馬氏距離為核心思想提出的各種度量方法。但是傳統(tǒng)的識(shí)別方法識(shí)別性能不佳，在海量、行人類別多的大數(shù)據(jù)集中無(wú)法使用。基于深度學(xué)習(xí)的方法與傳統(tǒng)的行人重識(shí)別不同，其把特征提取和度量學(xué)習(xí)兩個(gè)模塊聯(lián)合在一個(gè)網(wǎng)絡(luò)中訓(xùn)練。2013年，LeNet－5 的發(fā)明者Lecun 基于AlexNet 提出了OverFeat，提出了學(xué)習(xí)邊框的概念，引起了界內(nèi)學(xué)者的研究熱潮［5］；2014 年，Yi 等人基于Siamese 網(wǎng)絡(luò)模型，把行人分割成3 個(gè)重疊的局部塊，每個(gè)局部塊用兩個(gè)卷積層和一個(gè)全連接層獲得特征向量，再計(jì)算余弦相似度［6］；2015 年，鄭良等人提出第一個(gè)行人重識(shí)別的大數(shù)據(jù)集Market1501 后，深度學(xué)習(xí)的性能逐年大幅度提高［7］。

由于學(xué)習(xí)全局特征模型不夠全面表征行人，對(duì)于衣著、外觀等全局特征相似的目標(biāo)，局部細(xì)節(jié)信息往往是區(qū)分不同行人的關(guān)鍵。本文提出一種多支路的全局和局部特征學(xué)習(xí)模型，ResNeXt50 作為基礎(chǔ)的骨干網(wǎng)絡(luò)，采用兩個(gè)分支發(fā)掘高質(zhì)量的局部特征，第一個(gè)支路采取傳統(tǒng)的水平分割得到局部特征，每個(gè)局部特征以加權(quán)求和的方式進(jìn)行融和；第二個(gè)支路采用批特征擦除（Batch Feature Model）模型。度量距離時(shí)使用聯(lián)合交叉熵?fù)p失函數(shù)和三元組損失函數(shù)，增加網(wǎng)絡(luò)性能。本文所提網(wǎng)絡(luò)模型在Market1501 數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，結(jié)果表明所提取的特征具有良好的表征能力和泛化能力。

1 基于局部特征融合的行人重識(shí)別網(wǎng)絡(luò)模型

本文提出的網(wǎng)絡(luò)模型結(jié)構(gòu)如圖1 所示，主要有ResNet－50 基本主干網(wǎng)絡(luò)、全局特征提取分支模塊、局部特征提取模塊和批特性擦除模塊組成，將3 個(gè)模塊的特征進(jìn)行融合，最后采用交叉熵?fù)p失函數(shù)與三元組聯(lián)合訓(xùn)練。ResNet－50 由6 個(gè)小模塊組成，Conv1模塊為卷積層，Conv2－Conv5 為殘差模塊，每個(gè)殘差塊包含多個(gè)卷積層、BN 層和激活函數(shù)［8］。本文對(duì)ResNet－50 網(wǎng)絡(luò)進(jìn)行修改：把Conv4模塊引出分成局部特征提取模塊（z1）和批特性擦除模塊（z3），之前的網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)保持不變，把Conv5層輸出的特征經(jīng)過(guò)全局平均池、降維得到全局特征f2，該分支（z2）用于監(jiān)督局部特征提取模塊和特性擦除模塊學(xué)習(xí)。經(jīng)過(guò)3 個(gè)分支融合得到最終的行人特征，運(yùn)用交叉熵?fù)p失函數(shù)與三元組聯(lián)合訓(xùn)練。

圖1 網(wǎng)絡(luò)模型圖Fig.1 Network model diagram

1.1 局部特征提取模塊

如圖1 所示，由于Conv4 所提取到的特征語(yǔ)義較高，對(duì)其水平分割得到3 個(gè)局部特征提取支流，經(jīng)過(guò)全局平均池化得到3 個(gè)局部特征描述子（fP1、fP2、fP3），由于圖片存在不對(duì)齊現(xiàn)象，因此通過(guò)局部特征融合更能表達(dá)支流重要性，通過(guò)對(duì)3 個(gè)支流經(jīng)過(guò)3×1 卷積核、實(shí)例正側(cè)化IN（Instance Normalization）和激活函數(shù)，得到局部特征權(quán)重向量，對(duì)3 個(gè)局部特征加權(quán)求和，得到融合后的特征f1。

1.2 批特性擦除模塊

批特征擦除網(wǎng)絡(luò)（Batch Feature Erasing，BFE）是由阿里智能實(shí)驗(yàn)室Zuozhuo Dai 等人在2018 年的CVPR 會(huì)議中提出。批特征擦除網(wǎng)絡(luò)對(duì)同一批次行人圖像的相同區(qū)域進(jìn)行隨機(jī)擦除，從而迫使網(wǎng)絡(luò)對(duì)剩余的細(xì)粒度特征學(xué)習(xí)，學(xué)習(xí)到更具有判別力的局部特征。BEF 網(wǎng)絡(luò)結(jié)構(gòu)有兩個(gè)特征提取分支，Global Branch 和Feature Erasing Branch［9］。Global Branch 提供了全局特征表示，同時(shí)對(duì)Feature Erasing Branch 的訓(xùn)練進(jìn)行監(jiān)督，本文同樣增加一條全局特征提取支流，對(duì)特征擦除分支和局部特征提取分支進(jìn)行監(jiān)督。根據(jù)設(shè)置擦除的矩形高度比he和寬度比we，計(jì)算擦除矩形區(qū)域的高HBFE和寬WBFE，式（1）所示：

其中，H和W分別表示特征圖的高和寬。

擦除后學(xué)習(xí)到具有判別力的局部特征。最后，通過(guò)平均池化得到特征f3。

1.3 損失函數(shù)

本文的網(wǎng)絡(luò)模型采用交叉熵?fù)p失函數(shù)（Cross Entropy Loss）與三元組損失函數(shù)（Triplet Loss）聯(lián)合訓(xùn)練。交叉熵?fù)p失函數(shù)表示真實(shí)概率與預(yù)測(cè)概率分布之間的差異，交叉熵的值越小，說(shuō)明模型預(yù)測(cè)效果越好，常用于分類問(wèn)題。模型訓(xùn)練過(guò)程中采用交叉熵?fù)p失函數(shù)，不同的行人身份作為不同的類別標(biāo)簽［10］。對(duì)于一個(gè)含有M個(gè)樣本訓(xùn)練的數(shù)據(jù)集D＝{（x1，y2），…，（xi，yi），…，（xM，yM）}來(lái)說(shuō)，xi表示樣本集中第i個(gè)樣本，yi表示該樣本的標(biāo)簽，如式（2）所示：

其中，pi表示第i個(gè)樣本被分類為第j類標(biāo)簽的概率。

三元組損失函數(shù)可以發(fā)掘樣本之間的相對(duì)相似度，從而使正樣本對(duì)之間的距離減小，負(fù)樣本對(duì)之間的距離增大。輸入三幅圖片到網(wǎng)絡(luò)中，正樣本、負(fù)樣本和錨樣本，其中正樣本與錨樣本為同一身份組成正樣本對(duì)，負(fù)樣本與錨樣本為不同身份組成負(fù)樣本對(duì)。網(wǎng)絡(luò)經(jīng)過(guò)訓(xùn)練后使得同一身份的行人圖片在特征空間的距離比不同身份的行人圖片小［11］，如公式（3）所示：

其中，d（a，p）為錨樣本和正樣本之間的距離；d（a，n）為錨樣本與負(fù)樣本之間的距離；m為設(shè)定的閾值。

因此，本文采用聯(lián)合損失函數(shù)訓(xùn)練，對(duì)網(wǎng)絡(luò)進(jìn)行更好的優(yōu)化，保證模型學(xué)習(xí)到具有判別力的特征，如式（4）所示：

2 實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)環(huán)境與參數(shù)設(shè)置

本實(shí)驗(yàn)環(huán)境為64 位windows10 操作系統(tǒng)，2080Ti 顯卡，內(nèi)存64GB，基于python3.8 的深度學(xué)習(xí)框架pytorch1.6 編程。初始化行人圖片大小為258×128，利用ImageNet 預(yù)訓(xùn)練得到初始權(quán)重，批量大小為32 張，60 次迭代，使用ADAM 優(yōu)化器更新梯度參數(shù)，初始學(xué)習(xí)率為3.5×10－4。

2.2 數(shù)據(jù)集與評(píng)價(jià)指標(biāo)

Marketl501 數(shù)據(jù)集是用6 個(gè)不同的攝像頭拍攝1 501個(gè)行人的32 668張圖像，其中訓(xùn)練集有751 個(gè)行人身份，共12 936張圖片，測(cè)試集有750 個(gè)行人身份，共19 732張圖片。實(shí)驗(yàn)中采用行人重識(shí)別中的首位匹配率Rank－1 和平均準(zhǔn)確率（mean Average Precision，mAP）作為評(píng)價(jià)指標(biāo)。

2.3 實(shí)驗(yàn)分析

2.3.1 網(wǎng)絡(luò)結(jié)構(gòu)的消融

本文在Market－1501 數(shù)據(jù)集上，設(shè)置損失函數(shù)為交叉熵?fù)p失函數(shù)和三元組損失函數(shù)，不同網(wǎng)絡(luò)結(jié)構(gòu)組合下的性能結(jié)果，見(jiàn)表1。首先，對(duì)每個(gè)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行實(shí)驗(yàn)；其次，兩個(gè)結(jié)構(gòu)融合；最后，進(jìn)行3 個(gè)網(wǎng)絡(luò)結(jié)構(gòu)的實(shí)驗(yàn)。通過(guò)實(shí)驗(yàn)可知，單個(gè)模塊相比與融合模塊精確程度低了6 個(gè)點(diǎn)左右，說(shuō)明不同的模塊放在同一個(gè)網(wǎng)絡(luò)，相比與原來(lái)的模塊性能得到提升，反映了不同模塊融合具有互補(bǔ)的作用。在單模塊實(shí)驗(yàn)中，批特性擦除模塊識(shí)別效果最好，在2 分支網(wǎng)絡(luò)實(shí)驗(yàn)中批特征擦除模塊與局部模塊組合的網(wǎng)絡(luò)結(jié)構(gòu)最好，可能是批特性擦除有助于網(wǎng)絡(luò)學(xué)習(xí)注意力和弱特征區(qū)域的原因。最后3 個(gè)模塊同時(shí)實(shí)驗(yàn)，在Market－1501數(shù)據(jù)集上mAP達(dá)到了84.12%，Rank－1 達(dá)到了95.16%，表明3 個(gè)模塊在網(wǎng)絡(luò)上相互監(jiān)督學(xué)習(xí)，提升網(wǎng)絡(luò)性能。

表1 不同模塊在Market－1501 數(shù)據(jù)集上的性能比較Tab.1 Performance comparison of different modules on Market－1501 dataset

2.3.2 損失函數(shù)的消融

本文在Market－1501 數(shù)據(jù)集上，設(shè)置在3 個(gè)分支融合的網(wǎng)絡(luò)結(jié)構(gòu)下，使用不同的網(wǎng)絡(luò)損失函數(shù)得到網(wǎng)絡(luò)性能結(jié)果，見(jiàn)表2。使用損失函數(shù)為交叉熵?fù)p失函數(shù)和三元組損失函數(shù)聯(lián)合訓(xùn)練網(wǎng)絡(luò)比單獨(dú)使用三元組損失函數(shù)在Market－1501 數(shù)據(jù)集上的mAP和Rank－1 分別高出了2.68%和1.29%，可見(jiàn)本文使用聯(lián)合損失函數(shù)一定程度上提高了模型的性能。

表2 不同損失函數(shù)在Market－1501 數(shù)據(jù)集上的性能比較Tab.2 Performance comparison of different loss functions on market－1501 dataset

2.3.3 與其他方法比較

本文模型在Market－1501 上與5 個(gè)主流模型的性能比較，見(jiàn)表3。本文模型在Market－1501 上mAP和Rank－1 分別達(dá)84.12%和95.06%，相比Tri－Net，mAP和Rank－1 分 別 提 升 了14.98%和10.14%，與BEF 相比，本文在Rank－1 上高出了0.66%，與目前DG－Net 優(yōu)質(zhì)模型相比，Rank－1 提高了0.26%。

表3 Market－1501 數(shù)據(jù)集上各方法比較Tab.3 Comparison of methods on market－1501 dataset

2.3.4 可視化分析

本文模型在Market－1501 上行人圖像檢索結(jié)果如圖2 所示，每張query 有10 張按準(zhǔn)確率遞減排序的查詢結(jié)果，綠色數(shù)字為正確結(jié)果，紅色數(shù)字為錯(cuò)誤查詢結(jié)果。可以看出與query 具有狀態(tài)一致性的圖像匹配更準(zhǔn)確；與query 角度不同的圖像通過(guò)局部特征提取也能查詢出來(lái)；對(duì)背景復(fù)雜，圖像噪聲大的圖像匹配效果基本準(zhǔn)確，驗(yàn)證本文所提模型具有較好的效果。

圖2 圖像檢索結(jié)果Fig.2 Image retrieval results

3 結(jié)束語(yǔ)

本文采用ResNet50 作為基礎(chǔ)模型，通過(guò)3 個(gè)分支，即融合局部特征提取分支、全局特征提取分支和批特征擦除分支進(jìn)行局部特征融合。提取具有鑒別性的行人特征，并加入交叉熵?fù)p失函數(shù)和三元組損失函數(shù)聯(lián)合訓(xùn)練模型。通過(guò)在Market－1501 實(shí)驗(yàn)，表明局部提取具有有效性，得到細(xì)粒度特征，有利于提升網(wǎng)絡(luò)對(duì)行人判別能力，提高精確度。