基于多分支關系網絡的行人重識別

蔡歡歡

（濟寧職業技術學院，山東 濟寧 272000）

0 引言

行人重識別（Person Re-identification）是利用計算機視覺技術判斷視頻中是否存在特定行人的問題。在行人重識別研究的初期，提取數據集樣本圖像的全局特征是重要的研究方法，但僅提取全局特征不能準確檢索出所有目標行人，因此一部分行人重識別研究者將目標轉向局部特征。在遮擋、姿態變化等情況下，利用局部特征能夠幫助網絡學習到更魯棒性的模型[1]。在未利用姿態估計模型情況下，提出均勻切分的策略，將特征圖水平切分為6 塊，該方法稱為PCB。另外又提出了RPP來使水平切塊劃分得更準確。雖然這種水平切塊的方式比全局特征較好地考慮了細節信息，但是缺乏水平切塊之間的聯系，不利于網絡模型提取有判別性特征。為解決水平切塊和其他的水平切塊之間缺乏關聯性的問題，研究者提出了一種關系網絡結構RRID，由于沒有同時考慮全局特征、局部特征以及局部特征之間的關系，同時進行多任務訓練，因此不利于更進一步提升網絡模型的性能。

為了解決上述問題，該文設計了一種基于多分支關系的行人重識別網絡結構，包括全局分支、局部分支以及局部關系分支，可提取有區分力的特征，以實現網絡模型的優化。

1 多分支網絡

1.1 基于多分支的關系網絡

行人重識別是指在行人圖像庫中利用計算機視覺技術檢索該目標行人的問題，如圖1 所示。圖1 中的待查詢圖像表示目標行人，候選圖像表示數據集中待查詢圖像，網絡提取目標行人和候選圖像的特征，返回度量學習后獲得結果。PCB 利用Resnet-50 對輸入圖片提取特征圖，并將獲取到的特征圖在水平方向上均勻劃分為6 個水平切塊，如圖2 所示。這樣的劃分方式雖然考慮了水平切塊的細節特征，但是由于沒有涉及水平切塊之間的關系，因此在面對數據集光照變化、行人姿勢變化以及攝像頭角度變化等現象時，不能提取區分性的特征。RRID 網絡結構充分考慮某個局部切塊和其他剩余水平切塊之間的聯系，彌補了PCB 缺乏水平切塊之間聯系的不足，但是沒有將全局特征和局部特征結合起來考慮。

圖1 行人重識別應用示例

圖2 PCB 的網絡結構圖

為了解決上述問題，該文設計了局部關系多分支網絡，總體結構圖如圖3 所示。先利用Resnet-50 提取初始特征圖，再將提取后的特征圖送到不同的分支，即全局分支和局部分支，局部分支又分為2 個分支，即局部分支GCP（Global contrastive feature）和局部關系分支。全局特征是為了提取全局信息的特征，如數據集中行人不同顏色的衣服、衣服的不同紋理等底層特征。但是全局特征對數據集中存在的噪聲以及行人姿態不對齊的問題不能有效提取顯著性信息，因此該文設計了2 個局部分支。第一個局部分支GCP 是在水平切塊PCB 的基礎上，使用全局最大池化和平均池化的和，有利于集中行人有效的特征信息，強調了行人顯著性特征，不會因噪聲的存在而降低模型性能。另外一個局部關系分支涉及水平切塊與剩余其他水平切塊之間的關系[2]，作為局部分支的補充，給網絡訓練過程增加約束，增強網絡挖掘更多顯著性信息的能力。該文在訓練過程中還同時考慮了分類損失和三元組損失，以提高網絡模型的性能。

圖3 多分支網絡結構圖

1.2 算法結構

該文利用ImageNet 數據集在Resnet-50 預訓練網絡結構，并且不保留最后的全連接層。該文先將圖片輸入Resnet-50 預訓練的網絡結構中，得到初始特征圖。然后將初始特征圖分別送入3 個通道，全局分支用于提取全局特征，進行分類訓練。局部分支用于提取局部特征，即6 個水平切塊的局部特征，并且對6 個水平切塊特征進行平均池化和最大池化，因此能夠去除一些噪聲的干擾。局部關系分支由于考慮了水平切塊與剩余水平切塊之間的關系，因此在模型訓練過程中能夠補充PCB 水平切塊之間缺乏聯系的不足。最后將水平切塊特征和全局特征進行融合，共同參與網絡模型的優化過程。

1.2.1 全局分支

在行人重識別研究的初期，提取數據集樣本圖像的全局特征是重要的研究方法，即提取行人的全局特征向量。全局特征提取的是顏值、紋理和形狀等數據集中圖像整體的屬性特征，全局分支提取全局特征，計算分類損失，參與網絡模型的優化，利用卷積神經網絡提取行人樣本圖像的特征。但面對復雜多變的監控環境，如攝像機位置不同、拍攝角度不同、分辨率不同、行人姿態變化、遮擋以及光線變化等，僅提取全局特征不能準確地檢索出目標行人所有圖像，因此一部分行人重識別研究者將目標轉向局部特征。局部特征顧名思義是提取局部區域的特征，局部特征在遮擋、姿態變化等情況下比全局特征更有魯棒性，更能提高網絡的判別能力。

1.2.2 局部分支GCP

當面對復雜數據集中存在的遮擋、姿勢變化、光照變化和攝像機視角變化的情況，全局特征不能有效提取有區分力的特征，因此在未利用姿態估計模型情況下，有研究者提出均勻切分的策略。將特征圖水平切分為6 塊，該方法稱為PCB，如圖2 所示。另外又提出RPP，來使水平切塊劃分得更準確，進而提升網絡的泛化性能。面對數據集中存在的復雜環境，這種基于水平切塊的局部特征的方式比全局特征較好地考慮了細節信息，因此該文也結合了局部特征，并且對局部特征進行了處理。如圖4 所示，首先將6 個水平切塊進行最大池化操作，獲得最大池化特征Px，6 個水平切塊經過平均池化，得到平均池化特征Pavg。最大池化特征想通過只考慮行人的特征來降低背景、遮擋物等影響，但可能存在特征過于核心的缺陷，因此該文將平均池化特征和最大池化特征做了一個加法，即Px+Pavg=Pcont。Pcont表示在重視核心特征的基礎上，也考慮平均特征，這樣的設置可在背景復雜、遮擋情況下能夠提取更具有魯棒性的特征。

圖4 局部分支GCP

1.2.3 局部關系分支

每個水平切塊相對剩余的其他水平切塊都是獨立的，由于不同身份的行人可能存在相同的局部信息，僅考慮局部信息會導致預測錯誤，不利于提高網絡模型的泛化能力。因此，同時考慮局部特征與其他剩余局部特征之間的關系，使網絡能夠區分相似局部特征的行人，在網絡訓練的過程中增強了特征的表示。

該文考慮水平切塊與剩余其他水平切塊之間的關系，設置了局部關系分支，進而對數據集中存在的遮擋問題、姿勢改變和攝像機視角變化等問題，網絡依然可以提取有區分力的特征。作為網絡模型優化的補充，有利于降低監控環境遮擋局部特征帶來的影響，幫助網絡提取有區分力的特征，進而提高網絡模型的魯棒性。

2 損失函數

該文設計的多分支關系網絡為有監督學習，即數據集樣本有標簽，并且使用交叉熵損失和三元組損失共同參與網絡模型的優化，如公式（1）所示。

式中：Lce為交叉熵損失；Ltriplet為三元組損失。

交叉熵損失也稱為分類損失或ID 損失，網絡最后一個全連接層節點數為行人身份的數量，并且計算交叉熵損失。交叉熵損失廣泛應用于計算機視覺領域中。在行人重識別任務中，分類函數作為分類器實現行人身份分類，計算交叉熵損失。該文在網絡訓練過程中通過不斷迭代訓練，減少交叉熵損失，提升預測行人身份的準確性。三元組損失也是廣泛應用于行人重識別領域中的另一種方法。三元組損失使網絡模型在訓練過程中不斷縮短正樣本之間的距離，增加負樣本之間的距離。在訓練過程中，三元組損失每次都選擇特征距離較遠的正樣本和特征距離最近的負樣本，因此不僅能準確識別區分度高的樣本，還能準確識別身份不同卻外觀相似的負樣本。網絡訓練過程中同時結合交叉熵損失和三元組損失，能夠提取更有效的細節特征，進而能夠迭代訓練，獲得更有泛化能力的網絡模型。

3 結論

在行人重識別任務中，僅提取全局特征進行網絡訓練，不能有效考慮細節特征，而局部特征PCB 提出的將樣本水平劃分為6 塊的水平切塊方式，缺乏水平切塊之間的聯系，因此該文結合局部特征PCB 和局部關系網絡，考慮了全局特征、局部特征和局部特征之間的關系，設計了多分支關系網絡結構。多分支關系網絡包括全局分支、局部分支和局部關系分支，全局分支用于提取圖像的整體特征，即全局特征；局部分支是將行人樣本在水平方向進行均勻切割，提取行人細節特征；局部關系分支考慮了不同水平切塊之間的聯系。該網絡結構的設計能夠降低由遮擋、姿勢改變和攝像機角度變化等帶來的影響，幫助網絡模型提取更魯棒性的特征。