基于行人分割與部位對齊的行人再識別

耿樹澤　于明　岑世欣　劉曉亮

摘要 為了解決行人再識別中由于視角變化和背景干擾造成的錯位匹配（未對齊）問題，提出一種基于行人分割的部位對齊網絡（SegPAN）的方法，該網絡由3部分組成：1） 構建一種基于RefineNet的行人分割網絡（TL-RefineNet），以獲得多個局部對齊部位;2）基于分割的行人部位，提出一種行人部位對齊網絡，以提取多個局部對齊特征;3）通過一種加權融合的策略將提取的局部對齊特征融合，提高視覺特征的判別能力。在此基礎上利用特征之間的相似度實現行人再識別。實驗在Market-1501和DukeMTMC-reID數據集上進行測試，R1的性能分別達到90.5%和80.3%。結果證明該方法不僅有效的緩解了錯位匹配問題，而且減少了背景的干擾，提高了再識別性能。

關 鍵 詞 行人再識別;行人分割;部位對齊網絡;加權融合

中圖分類號 TP391.41? ? ?文獻標志碼 A

A segmentation-based part alignment network for person re-identification

GENG Shuze1， YU Ming1， 2， CEN Shixin2， LIU Xiaoliang3

（ 1. School of Electronic and Information Engineering， Hebei University of Technology， Tianjin 300401， China; 2. School of Artificial Intelligence and Data Science， Hebei University of Technology， Tianjin 300401， China; 3. State Grid Shandong Electric Power Company Weifang Power Supply Company， Weifang， Shandong 261000， China ）

Abstract In order to solve the problem of misalignment caused by view changes and background interference in person re-identification， a Segmentation-based Part Alignment Network （SegPAN） is proposed. SegPAN includes three main parts： 1） A RefineNet-based segmentation network （TL-RefineNet） is developed to obtain multiple local alignment parts; 2） A part alignment network is put forward based on the segmentation of human body parts to extract the local alignment features; 3） A weighted fusion strategy is applied into the local alignment features to improve the discrimination of visual features， on which the similarity measure is leveraged to achieve person re-identification. Experiment shows that R1 performance achieves 90.5% and 80.3% respectively on Market-1501 and DukeMTMC-reID datasets. The proposed method not only alleviates the problem of misalignment effectively， but also reduces the interference of background and improves the re-ID performance.

Key words person re-identification; person segmentation; part alignment network; weighted fusion

0 引言

行人再識別是指在非交疊的視頻監控中尋找與目標一致的行人，該技術可以應用于行人檢索、交叉攝像機跟蹤等視頻監控領域[1-5]，是視頻智能分析的一個重要組成部分。但由于光線、姿勢和視角的多樣性，使得跨場景中的行人匹配極具挑戰性。眾多的影響因素中，錯位匹配是導致行人再識別失敗的一個重要因素，究其原因可分為兩類：1）行人檢測不準確。例如，當圖像中包含大量的背景或行人部位不全時[6-8]，很容易造成局部背景與行人某區域之間的錯誤匹配（圖1 a））;2）不同視角中行人姿態的變化。例如，同一行人在騎車與行走時產生的對應匹配，也會造成錯位匹配（圖1 b））。

為了解決行人再識別中的錯位匹配，Zhang等[9]提出一個多分枝網絡，每個分支對應行人圖像中一個水平條區域，通過匹配對應的水平區域實現行人部位對齊，但當背景較大時，匹配效果并不理想。Su等[10]構建了一個深度對齊網絡，網絡不僅提取全局特征，同時對整個行人進行重定位，利用重定位的行人進行相似度比較以實現行人的對齊，但該方法并沒有對行人部位進行細分，導致算法對行人姿態的魯棒性會受到影響。此外，許多方法借助于行人關鍵點實現行人部位對齊[11-18]。Zheng[13]將行人劃分為14個關鍵點，利用這些關鍵點把行人劃分為若干個區域，同時為了提取不同尺度上的局部特征，還設定了3個不同的PoseBox組合進行映射矯正對齊。與方法[13]不同的是，Zhao[15]并沒有用仿射變換來實現局部對齊，而是直接利用行人關鍵點來摳出多個行人部位，然后將這些區域和原始圖像一并輸入到對齊網絡進行特征匹配。由于該方法的摳取方式過于簡單使得算法無法獲取精確的部位區域，不可避免地引入無關背景，并且關鍵點的檢測并不可靠[19]。

為了解決行人未對齊，提高算法對姿態變化的魯棒性，本文提出一種新的再識別方法，該方法不僅提取全局特征，同時還對行人的各個部分進行了區域劃分，通過對應部位之間的匹配實現行人對齊，與其他方法[11-15]不同的是，本方法并沒有采用行人關鍵點進行行人區域劃分，而是采用一種行人分割的策略完成圖像中行人各部分的有效分割（頭部、軀干、腿等），在此基礎上進一步構建行人部位對齊網絡實現行人部位對齊。此外，在融合部位對齊特征時，采用一種加權的策略以提高特征魯棒性。通過該方法不僅能實現行人與背景的分離，消除背景的干擾，而且能有效地提高行人對齊效果（圖2）。

本文主要的貢獻可歸納為以下3點：

1）提出基于行人部位分割對齊的再識別網絡，網絡的輸入不僅包含分割的行人區域，而且包含對應區域置信特征，該特征可以對分割的效果進行有效反饋，提高局部特征的可靠性。

2）為了獲取良好的行人分割效果，提出基于過渡層（Transition Layer）的RefineNet網絡（TL-RefineNet），以實現對行人部位的精確分割。

3）提出一種加權融合的方法，將提取的多個區域特征進行加權，實現多個對齊特征的有效融合，進一步提高特征的可區分性。

為了驗證提出方法的有效性，在兩個標準行人再識別數據集進行驗證，分析其有效性及各部分的作用，并與其他主流方法進行性能比較。

1 本文方法

本文方法主要包括3個部分：行人分割、行人部位對齊以及行人對齊特征的融合（圖2）。首先利用提出的TL-RefineNet網絡將行人圖像進行分割，得到多個行人分割區域，例如，行人上半區域和行人下半區域。然后基于分割的行人區域，構建行人部位對齊網絡，提取部位對齊特征。最后通過加權融合的方式將提取的對齊特征進行融合，提高特征的魯棒性。在該基礎上計算特征之間的相似性，獲得最終結果。

1.1 TL-RefineNet與行人部位分割

本研究目標是分割出行人對齊部位，然后將其應用到行人部位對齊網絡，以解決行人錯位匹配問題。但直接對re-ID數據集中的行人進行分割將面臨兩個主要問題：1）由于re-ID數據集沒有語義分割標簽，很難直接在re-ID數據集上訓練分割網絡;2）直接利用在非re-ID數據集（如Person Parts Dataset [20]）訓練的分割模型，用在re-ID數據集上進行分割，并不能獲得理想的分割效果。其主要原因在于：在re-ID數據集中，行人圖像的分辨率太低（尺寸小），使得圖像分割目標過小，許多細節特征不足。但是，在re-ID數據集中，行人已被裁剪好，并且他們在圖像中占據了絕大部分區域。因此一個合適的放大操作不僅能放大分割目標，而且因放大而導致的背景干擾也是有限的。基于此思路，本文提出一個過渡層嵌入到RefineNet分割網絡中，以實現圖像中行人各部位的良好分割。

具體的，過渡層由一個雙線性差值構成，設插值像素值f （m， n）如公式（1）所示：

[fm，n=θ1θ2Q11Q12Q21Q22θ3θ4][，] （1）

式中：[θ1=m2-m，][θ2=m-m1，][θ3=n2-n，][θ4=n-n1，][Q11=m1，n1，][Q12=m1，n2，][Q21=m2，n1，][Q22=m2，n2]表示[fm，n]的4個近鄰坐標。放大尺度參數設為α，該參數可通過網絡訓練獲得。首先在Person Parts 數據集上訓練基礎的RefineNet，然后將T-Layer層嵌入到訓練好的RefineNet（如圖3所示）。最后通過固定RefineNet網絡的其他參數，利用部分分割結果訓練尺度參數。行人分割網絡的輸出為預定義的分割標簽，即行人上半部分（包括行人頭部、上臂和軀干）和行人下半部分（包括行人軀干以下及腿部，如圖2所示）。

1.2 基于分割的行人部位對齊網絡

為了緩解行人未對齊問題，本文基于分割的行人區域構建一個行人部位對齊網絡。該網絡針對每個行人部位構建一個分支網絡，從而提取部位對齊特征。

此外，考慮到，當行人被嚴重遮擋時，行人的分割效果會受到一定的影響。為了彌補這一影響，本文將原始圖像單獨作為一個網絡分支，合并到整個行人對齊網絡中，共構建3個網絡分支。每個網絡分支的基本結構為Resnet50網絡的pooling5層及以前的所有網絡層結構。特別的，每個網絡分支的輸入除了分割后的RGB圖像，由分割獲得的對應的置信特征也被輸入到對齊網絡中，以提高分割結果的可靠度。將每個網絡分支輸出的1×1×2 048維特征作為部位對齊特征。具體結構如圖2所示。

在訓練時，由于不同數據集的行人數目不同，本文增加了一個全鏈接層以調整輸出結果的維度變化。Softmax用來將每一個行人的預測值[ak]歸一化到[0， 1]：

[pkx=expakk=1Kak][，] （2）

式中[K]表示數據集中行人的類別數目 （Person ID）。通過交叉熵來迭代獲取每個分支網絡的最小損失值：

[lossi=-k=1K（log（p（k|x））q（k|x））][，] [qy|x=1，y=k0，y≠k]， （3）

式中：x表示網絡輸入特征;i =1，2，3對應3個網絡分支;y為類別標簽。此外，當行人圖像檢測不準確或者存在大量背景時，在輸入對齊網絡之前，本文通過雙線性差值對分割結果進行裁剪、尺寸調整，從而實現行人初步對齊，如圖4所示。

1.3 局部對齊特征的加權融合

為了反映不同部位在再識別過程中的重要程度，本文提出一種特征加權融合方法，來提高行人特征的魯棒性。在此過程中，使用3個（1×1）加權卷積核對提取的3個對齊特征進行加權融合，然后通過一個全連接層，來調整融合后特征的輸出維度（不同數據集中行人數目不同）。

考慮到單個線性權重層可能會對某些部位的特殊特征產生過大的響應[2]， 為此，一個非線性函數被加入以均衡部位特征向量的響應。

具體的經過非線性變換的特征[hwi]以通過公式（4）計算：

[hwi=tanh（hi⊙Wi+Bi）][，] （4）

式中：[Wi]代表權重參數;[Bi]表示偏置向量，其維度與特征向量一致;符[號][⊙]表示2個向量的阿達瑪積。輸出的向量[hwi]為提取的加權特征。

同樣的，在訓練時，用Softmax將每個行人的預測值[ak]歸一化到[0， 1]。網絡中，3個網絡分枝的損失之和作為特征融合網絡的損失函數，通過交叉熵來計算融合網絡的最小損失值：

[ losssum=-i=13k=1K（log（p（k|x））q（k|x））][，] [qy|x=1，y=k0，y≠k]， （5）

式中：x表示網絡輸入特征;i =1，2，3對應3個網絡分支;y為類別標簽。融合后的特征作為最終的行人再識別特征，利用歐式距離計算特征之間的相似度，獲取最終的再識別結果。

2 實驗結果及分析

本文在兩個行人再識別數據集上對提出的算法進行驗證，并與當前主流算法進行對比。測試的數據集包括DukeMTMC-reID（Duke）和Market1501（如圖5所示）。這些數據集的視角、光照、場景以及遮擋情況各不相同，能較好的反映行人再識別的真實場景。在訓練測試時，隨機選取數據集中一半行人進行訓練，剩下一半行人進行測試。為了增加測試結果的可靠性，取10次測試結果的平均結果作為最終的測試結果。測試的評價指標采用累積匹配特性曲線（Cumulative Match Characteristic， CMC）和平均準確精度（Mean Average Precision， mAP）來評估模型性能。

Market-1501數據集包括（由6個攝像頭拍攝到的）1 501個行人、32 668個檢測到的行人圖像。每個行人至少包含2個視角，并且在一個視角中可能具有多張圖像。訓練集有751人，包含12 936張圖像，測試集有750人，包含19 732張圖像。

DukeMTMC 數據集是一個大規模標記的多目標多視角行人跟蹤數據集，一共有1 404個行人，36 411 張圖像。其中測試集702人，共17 661張圖像;訓練集702人，共16 522張圖像，驗證集2 228張圖像。

2.1 實驗分析

2.1.1 TL-RefineNet的有效性分析

由于行人再識別數據集沒有語義分割標簽，不能直接利用交并比（Intersection over Union， IOU）指標進行性能測試，但是分割效果仍然可以通過視覺對比進行比較，具體結果如圖6所示。

從結果可以看出，提出的TL-RefineNet能夠有效的完成復雜場景中的行人部位分割。與RefineNet相比，TL-RefineNet的行人分割效果得到很大的提高，不僅提取到更多的行人細節，而且降低了的額外噪聲。這表明，T-Layer對行人的分割是有效的，一方面可以提高局部區域的細節信息，另一方面為部位對齊網絡提供了良好的對齊區域。

2.1.2 特征加權融合的有效性分析

為了驗證特征加權融合的有效性，本文首先采用加權模型進行特征加權融合（SegPAN），在兩個數據集上進行實驗，然后去掉加權模型，將提取的對齊特征直接拼接組成行人特征（SegPAN-W），作為對比實驗，實驗結果如圖7所示。具體來說，在Market1501數據集上，SegPAN在R1（CMC曲線中，排名第1時的正確率）上的性能為90.5%，與SegPAN-W相比提高了1.4%。同樣的，在Duke數據集中，加權融合后R1的性能相比沒有加權融合的性能高1.1%。進一步，從整體性能（前R10和mAP）上看， SegPAN的性能也都高于SegPAN-W的性能。這些性能的提高主要歸結于加權融合策略能根據行人姿態、場景等情況來分配不同的權重以提高特征的魯棒性。

2.1.3 對齊效果的分析

為了驗證本文方法對錯位匹配的有效性，本文不僅對比了基本網絡ResNet50[24]，同時還對比了3個經典的解決錯位對齊的方法：PSE[12]、PIE[13]和Pose-T[14]， 具體結果如表1所示。

從結果可以看出本文方法的性能在R1和mAP上都取得了最好的效果，特別地，與ResNet50相比，本文提出方法有著更大的性能優勢，在Market1501數據集上，SegPAN的性能分別為90.5% （R1）和73.7%（mAP），分別比基礎網絡ResNet50的性能提高了7.9%和14.6%。同樣，在Duke數據集上，SegPAN的性能為80.3%（R1），相比ResNet50的識別率提高了8%，這些性能的提高可以充分說明本文方法對錯位匹配的有效性，不僅避免了背景的干擾，而且能有效的實現了各個部位的對齊匹配，提高了再識別性能。

進一步，與對齊方法PSE（基于關鍵點構建的）相比，本文方法在R1和mAP上仍然有2.8%和4.7%的優勢（Market1501）。主要原因在于相比基于行人關鍵點構建的對齊方法，本文方法能夠更準確的獲得行人的對齊區域，提高部位對齊效果。

2.2 與主流方法的對比

1）Market1501。在Market-1501中，SegPAN表現出最佳的再識別率：R1 = 90.5%，mAP = 73.7%。與Pose-T[14]相比，分別提高2.9%和4.8%。造成這些差距的主要原因是Pose-T是基于行人部位關鍵位姿點進行對齊，很容易將額外的背景引入到對齊區域中。相反，本文方法是基于分割策略來實現行人對齊，并提出了TL-RefineNet來提高分割性能。

2）Duke。在該數據集中，選擇6種主流方法來對比。與Market1501數據集相比，Duke數據集具有更多的遮擋和更大的場景變換。從結果可以看出，SegPAN的性能依然是最好的，在R1和mAP上，相比方法PSE[12]的性能分別高0.5%和1.1%。此外，相比基于級聯網絡的T-S+d-II[23]有著4.8%的優勢（R1），這些結果充分說明本文方法的有效性。

3 結束語

本文提出一種新的再識別方法來解決行人再識別中的未對齊問題，該方法采用一種分割的策略來獲取行人對齊部位，不僅有助于行人部位的有效對齊，而且降低了背景的干擾。在特征融合方面進一步采用加權融合的方法，來提高對齊特征的魯棒性。實驗表明，在Market1501和Duke數據集中，本文方法分別獲得了90.5%和80.3%的再識別率（R1），高于其他主流方法。

通過該研究，本文對行人未對齊問題有了更深入的認識，一方面通過行人分割對齊可以有效緩解行人未對齊現象;另一方面行人分割的準確性對再識別結果有著一定的干擾。特別是當行人圖像出現嚴重遮擋或分辨率過低時，行人的對齊效果會受到更大的影響，該不足也將會成為我們未來研究的重點。

參考文獻：

[1]? ? 李幼蛟，卓力，張菁，等. 行人再識別技術綜述[J]. 自動化學報，2018，44（9）：1554-1568.

[2]? ? 譚飛剛，黃玲，翟聰，等. 一種用于大型交通樞紐的跨攝像機行人再識別算法研究[J]. 鐵道學報，2017，39（1）：76-82.

[3]? ? 王沖，王洪元. 基于跨場景遷移學習的行人再識別[J]. 計算機工程與設計，2018，39（5）：1457-1462.

[4]? ? GENG S，YU M，GUO Y，et al. A Weighted center graph fusion method for person re-identification [J]. IEEE Access，2019，7：23329- 23342.

[5]? ? 蔣建國，楊寧，齊美彬，等. 區域塊分割與融合的行人再識別[J]. 中國圖象圖形學報，2019，24（4）：513-522.

[6]? ? GENG S，YU M，LIU Y，et al. Re-ranking pedestrian re-identification with multiple metrics[J]. Multimedia Tools and Applications，2019，78（9）：11631-11653.

[7]? ? GUO Y，CHEUNG N M. Efficient and deep person re-identification using multi-level similarity[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City，UT. New York，USA：IEEE，2018：2335-2344.

[8]? ? CHEN Y，ZHU X，GONG S，et al. Person re-identification by deep learning multi-scale representations[C]// 2017 IEEE International Conference on Computer Vision Workshops （ICCVW）. Venice. New York，USA：IEEE，2017：2590-2600.

[9]? ? ZHANG Z，SI T. Learning deep features from body and parts for person re-identification in camera networks [J]. Journal on Wireless Communications and Networking，2018 （1）：39-52.

[10]? SU C，LI J，ZHANG S，et al. Pose-driven deep convolutional model for person re-identification[C]// 2017 IEEE International Conference on Computer Vision （ICCV）. Venice. New York，USA：IEEE，2017：3980-3989.

[11]? ZHENG Z，ZHENG L，YANG Y. Pedestrian alignment network for large-scale person re-identification [J]. IEEE Transactions on Circuits and Systems for Video Technology，2018，4：1-11.

[12]? SARFRAZ M S，SCHUMANN A，EBERLE A，et al. A pose-sensitive embedding for person re-identification with expanded cross neighborhood re-ranking [C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City，UT. New York，USA：IEEE，2018：420-429.

[13]? ZHENG L，HUANG Y，LU H C，et al. Pose invariant embedding for deep person re-identification [J]. IEEE Transactions on Image Processing，2019，28（9）：4500-4509.

[14]? LIU J，NI B，YAN Y，et al. Pose transferrable person re-identification [C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City，UT，USA. New York，USA：IEEE，2018：4099-4108.

[15]? ZHAO H，TIAN M，SUN S，et al. Spindle net：Person re-identification with human body region guided feature decomposition and fusion[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu，HI. New York，USA：IEEE，2017：1077-1085.

[16]? YAO H T，ZHANG S L，HONG R C，et al. Deep representation learning with part loss for person re-identification [J]. IEEE Transactions on Image Processing，2019，28（6）：2860–2871.

[17]? ZHANG W S，YAO H，GAO W，et al. Glad：Global-local-alignment descriptor for pedestrian retrieval[C]// ACM International Conference on Multimedia. Silicon Valley，USA，2017：420-428.

[18]? 田萱，王亮，丁琪. 基于深度學習的圖像語義分割方法綜述[J]. 軟件學報，2019，30（2）：440-468.

[19]? XIAO T，LI S，WANG B C，et al. Joint detection and identification feature learning for person search[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu，HI. New York，USA：IEEE，2017：3376-3385.

[20]? LIN G，ANTON M，SHEN C，et al. Refinenet：Multi-path refinement networks for high-resolution semantic segmentation[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu，HI. New York，USA：IEEE，2017：1925-1934.

[21]? ZHANG Y，XIANG T，TIMOTHY M，et al. Deep mutual learning[C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City，UT. New York，USA：IEEE，2018：4320-4328.

[22]? YU R，DOU Z，BAI S，ZHANG Z，et al. Hard-aware point-to-set deep metric for person re-identification [C]// European Conference on Computer Vision. Munich，Germany，2018：196-212.

[23]? HUANG Y，XU J，WU Q，et al. Multi-pseudo regularized label for generated data in person re-identification [J]. IEEE Transactions on Image Processing，2019，28（3）：1391-1403.

[24]? HE K，ZHANG X，REN S，et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Las Vegas，NV，USA. New York，USA：IEEE，2016：770-778.

[25]? ZHONG Z，ZHENG L，ZHENG Z，et al. Camstyle：A novel data augmentation method for person re-identification [J]. IEEE Transactions on Image Processing，2019，28（3）：1176-1190.

[責任編輯 田 豐]