基于卷積注意力模塊和無錨框檢測網絡的行人跟蹤算法

張紅穎 賀鵬藝

(中國民航大學電子信息與自動化學院 天津 300300)

1 引言

多目標跟蹤是計算機視覺領域的一個熱點，主要應用于智能監控、行人跟蹤、人機交互、虛擬現實等方面。其中，行人跟蹤是多目標跟蹤研究的難點和重點，通過對視頻中的行人目標進行跟蹤，能夠獲得行人的數量、位置、運動軌跡等信息，從而解決公共場所(如交通樞紐、商場、廣場)下的人群擁堵、安全隱患、客流統計等問題[1]。

隨著深度學習廣泛應用于計算機視覺領域，基于深度學習的多目標跟蹤算法漸漸在行人跟蹤領域中占據主體地位。目前多數行人跟蹤算法的主體思路為將多目標跟蹤問題劃分為檢測和跟蹤兩個部分，通過檢測網絡獲取行人位置，然后使用數據關聯技術匹配前后幀進行跟蹤，因此目標檢測網絡的優良大體上決定了跟蹤性能。大部分跟蹤算法都是基于anchor-based檢測網絡來訓練提取特征，因此算法的參數冗雜、實時性低下。經研究發現，anchor-based檢測模型中作為候選區域的錨框僅有小部分為正樣本，大部分為負樣本，訓練中樣本失衡并且產生大量的計算消耗，Law等人[2]針對此問題提出了第1個無錨 (anchor-free)類檢測網絡Corner-Net，該網絡通過回歸物體邊界框的左上角點和右下角點確定檢測框替代錨框，實時性大幅提高，但無法反映物體內部特征。因此Zhou等人[3]提出了CenterNet，使用角點和高斯分布找到物體的中心點，并返回目標的內部特征信息。同年，Wang等人[4]基于YOLOV3引入多任務學習，使目標的檢測和目標重識別 (Re-IDentification, Re-ID)兩個步驟1步完成，開創了第1個近實時的多目標跟蹤算法JDE，但身份嵌入特征無法與對象中心對齊，導致大量的目標身份切換(IDentity switch, IDs)。2020年Zhan等人[5]基于CenterNet框架和JDE的多任務學習方式，通過提取高分辨率特征從而更好地定位中心點，提出了FairMOT。該方法彌補了JDE的缺陷，同時驗證了anchor-free方法相比anchor-based方法的有效性，但一方面，FairMOT使用CenterNet確定中心點時，若不同目標下采樣后中心點重疊則會被判斷為一個目標，從而導致在目標密集區域仍會產生較多ID switch，如圖1所示。

圖1為FairMOT在MOT16-03序列上的跟蹤可視化效果圖及對應的檢測熱圖，可以看出左上角區域目標較密集，多個目標互相遮擋，所提取的熱圖中多個目標中心點重疊，跟蹤過程中產生過多的ID switch，導致跟蹤失敗并為目標重新分配新的ID。因此，若能降低ID switch數量，能夠直接減少跟蹤軌跡中斷次數，從而有效提高跟蹤的成功率。另一方面，FairMOT算法使用的anchor-free檢測網絡模型參數量眾多，仍未將其運行速度快的優點發揮至極致，具有較大的提升空間。

圖1 FairMOT在MOT16-03上可視化效果圖及對應的中心點熱圖

綜上，本文認為針對anchor-free目標檢測網絡，可以通過提取更適合關鍵點檢測的特征、增強目標跟蹤中斷后的重識別性能等方法，來減少ID switch、軌跡中斷出現的頻率；通過采用輕量化網絡結構的方法提高算法運行速度。注意力機制是解決目標遮擋問題的有效手段之一，本文通過引入參數量較低的CBAM注意力模塊[6]，提取在通道、空間上更具表達力的高分辨率特征，增強重識別分支的性能，以減少漏檢測目標數量和目標遮擋時目標身份切換的次數，從而提高多目標跟蹤算法的準確率；同時對檢測網絡的頭網絡進行改進，進一步減少網絡的參數量，提高網絡模型的運行效率。

2 網絡模型

2.1 模型框架

本文框架如圖2所示，主要由3部分組成，分別為用于提取高分辨率特征的特征提取網絡，獲取目標中心點熱圖、長寬及偏移量的檢測部分和嵌入ID的重識別部分。其中檢測部分和重識別部分同時共享特征提取網絡提取到的特征，并同時進行訓練學習。本文分別針對特征提取網絡部分、檢測部分和重識別部分的網絡結構進行改進。

圖2 框架結構

2.2 高分辨率特征提取網絡

目標中心點的位置預測任務，對特征的空間精度較敏感。高分辨率深度神經網絡(High-resolution network Version 2, HrnetV2)[7]在提取高分辨率特征過程中，通過在并行的低分辨率子網絡上重復進行信息融合，在整個過程中能夠保持高分辨率，不需從低到高恢復分辨率，避免了上采樣操作帶來的空間信息損失，能夠使預測的熱圖在空間上更精確。本文基于HrnetV2進行改進，改進后的特征提取網絡結構如圖3所示。其中斜向上箭頭表示上采樣操作、斜向下箭頭表示用于下采樣的跨步卷積；bottleneck和basicblock為殘差塊，conv表示卷積，bn表示批歸一化層，ca和sa表示CBAM模塊。從圖3可以看出，此網絡在進行特征提取時分為5個階段：stem, stage1, stage2, stage3, stage4。其中stem為主干網絡，首先通過兩個步長為2的3×3的卷積將圖像的高寬變為原來的1/4，然后使用4個bottleneck進行特征提取，并將輸出的特征圖輸入stage1中；stage1～stage3 3個階段執行特征提取和融合操作，都是在上一階段的基礎上產生一個低分辨率分支，然后每個分支使用4個殘差塊進行特征提取，最后將得到的特征圖進行重復多尺度融合并輸入下一階段；stage4為頭網絡，首先將3個并行的低分辨率分支輸出的特征圖通過雙線性插值方法上采樣為高分辨率分支的尺寸大小，然后通過拼接操作和全連接層得到最終的輸出特征圖用于檢測和重識別。本文通過訓練后獲得的網絡模型的主干網絡及頭網絡部分權重參數如表1所示。

表1 本文網絡部分權重參數

圖3 本文網絡結構

為了提高關鍵點檢測的精度、增強檢測和重識別分支性能以減少目標身份切換數目，本文在主干網絡中加入注意力機制模塊(Convolutional Block Attention Module, CBAM)，CBAM由通道注意力模塊和空間注意力模塊兩部分組成，該模塊相較于其他注意力機制具有更輕量、計算成本低、性能提升明顯等優點[6]。本文網絡結構中使用了大量的Resnet中的殘差塊結構，此結構采用了shotcut跨域方式，因此原則上在網絡結構中的每個殘差塊之后或結構內部添加CBAM能獲得最大化的性能收益，但通過實驗發現由于網絡分支及殘差塊數目眾多，犧牲了將近2/3的速度性能，且在關鍵點檢測上并沒有較高的精度性能提升。通過分析本文認為一些特征信息的損失主要在網絡初始的stem階段產生，stage階段由于重復進行特征融合，添加注意力機制的作用不明顯，還會帶來額外的參數量和計算量。在相同實驗設置下，經實驗尋找CBAM在stem階段插入的合適位置，如表2所示。其中IDF1, IDP, IDR分別反映網絡檢測時對目標的識別F1分數、識別精確度、識別召回率，(a), (b),(c)分別表示CBAM加在HrnetV2-w18網絡stem階段中第2層卷積及殘差塊后、第1層和第2層卷積后、第1層卷積后和殘差塊后。可以看出CBAM添加位置的不同對于網絡F1分數、識別精確度及召回率的影響也不同，其中(c)方案相較于原網絡在F1分數和召回率上都有明顯的提升，因此本文將CBAM添加至stem階段，并確定(c)方案作為添加策略，如圖4所示。

表2 不同CBAM添加策略下的檢測性能對比(%)

圖4中conv代表卷積操作、bn代表正則化、Layer1表示4層維度為64的bottleneck結構，ca和sa分別表示CBAM中的通道注意力模塊和空間注意力模塊，在conv1和Layer1的后面各添加1個CBAM。本文骨干網絡的特征提取效果示意圖如圖5所示。圖5(a)-圖5(d)分別為conv1、第1個CBAM, layer1、第2個CBAM后輸出的所有特征圖按1:1融合后的整體特征圖?？梢钥闯?，通過CBAM模塊后得到的特征圖相較于卷積層輸出的特征圖更加顯著。

圖4 CBAM添加策略

圖5 特征可視化效果圖

2.3 檢測與重識別

目標檢測網絡主要由backbone, neck以及head 3部分組成。Backbone部分主要負責特征的提取，使提取出的特征更適合目標檢測任務；neck部分接在backbone之后，作用為更好地融合或提取由backbone輸出的特征；head部分則負責從提取到的特征中檢測目標的位置和類別。經過HrnetV2網絡提取后，輸出特征并行接入檢測與重識別分支。其中檢測分支(Detection)為3個并行的head結構，分別用于回歸目標中心點位置、目標的長寬以及中心偏移量，每個head均視為一個需要學習特征的任務分支并需要相應的損失約束。重識別分支(Re-ID)用于對目標身份進行分類和匹配，通過學習相應的分類損失實現數據關聯。由于在FairMOT中檢測分支和重識別分支同時進行，因此可把該過程視為一個多任務學習過程，4個分支共享由stage4輸出的特征且4個分支網絡結構均為conv3×3-reluconv1×1。

Backbone部分的好壞很大程度上決定了檢測的性能，因此大部分研究者通過提高backbone部分網絡的性能來為檢測漲點；同時head部分就是用作分類和定位的，結構簡單且對檢測性能影響較小，因此這方面的研究較少。本文認為在backbone部分進行減參會較大程度上影響檢測的性能，因此針對head部分在通道上進行減參，將兩層普通卷積替換為參數量更少的深度可分離卷積結構[8]，以達到提高運算速度的效果，head部分結構圖如圖6所示。其中左側為FairMOT的head結構，右側為本文改進結構；括號中的數字依次表示輸入通道數、輸出通道數、卷積尺寸和步長，classes表示不同任務分支的輸出類別數。此處將第1層卷積的個數由256降為64即第1層卷積層的輸出通道數和第2層卷積層的輸入通道數減少為原來的1/4，FLOPs數量也約降為原來的1/4。為直觀體現減參效果，對HrnetV2-w18網絡模型和本文改進后模型的總計算量和參數量、頭網絡計算量和參數量進行對比如表3所示。

圖6 head結構圖

表3 不同網絡的計算量和參數量對比

3 損失函數與訓練策略

檢測和重識別分為4個任務分支，目標中心點定位分支、長寬尺寸預測分支、長寬偏移量預測分支、重識別分類分支，每個任務分支都需要一個損失函數來進行約束。

本文的目標中心點損失函數使用變形的focal loss[5]，計算預測的熱圖和實際真實的熱圖之間的損失，該損失函數能夠有效處理中心點和周圍各點樣本不平衡的問題，公式為

其中，si表示目標的真實尺寸，oi表示目標尺寸的真實偏移量，s?i和o?i分別表示尺寸和偏移量的預測值，Lbox表示由兩個分支的損失相加得到的定位損失。

重識別實質上是一個分類任務，因此本文選擇softmax損失，在獲取的熱圖上的目標中心點位置處提取一個身份特征向量進行學習并將其映射為一個類分布向量p(k)，將GT類標簽中的one-hot表示記為Li(k)，將類別數記為K，計算重識別分類損失為

本文選擇CUHK-SYSU[9], PRW[10], MOT16[11]數據集的訓練集數據作為訓練集，2DMOT15[12]數據集的訓練集作為訓練過程當中的驗證集。驗證epoch設為1，即每訓練1個輪次后驗證1次，以及時對模型參數進行調整。相較于FairMOT訓練30個epoch，本文通過實驗發現重識別分類損失相較于其他3種損失需要更多的迭代輪數以達到收斂，為加強對重識別分支的訓練，制定出更合適的訓練策略：將訓練epoch設置為36輪次，其中前31輪學習率設置為1e-4，隨后4輪學習率為1e-5，最后一輪使用1e-6的學習率訓練達到擬合。訓練過程中輸入圖片尺寸為(1088, 608)，批尺寸設為6，利用Adam優化器進行模型優化，使用relu作為激活函數，設置正則化系數為0.001。

4 實驗結果與分析

4.1 實驗細節

本文實現和測試算法使用計算機硬件配置為Intel Xeon(R) Silver 4112 CPU@2.60 GHz×16，GPU版本為GeForce RTX 2080 Ti/PCle/SSE2；計算機軟件配置為CUDA10.0, pytorch1.2.0, python3.7.9。采用deep-sort策略[13]進行跟蹤，該策略使用級聯匹配算法為每一個檢測器分配一個跟蹤器，并通過馬氏距離與余弦距離對運動信息與外觀信息進行計算。在測試時，選擇2DMOT15[12],MOT20[14], MOT17[11]數據集的訓練集數據，對本文算法和FairMOT進行測試比較；然后對測試后的結果進行可視化，并分析性能。

4.2 測評指標

為了使得測評結果更加準確客觀并方便與其他算法進行比較，采用多目標跟蹤領域通用的測評體系，本文使用到的指標如表4所示，其中上箭頭表示數值越高性能越好，下箭頭表示數值越低性能越好。

表4中，跟蹤準確率(Multiple Object Tracking Accuracy, MOTA)為最主要的評價指標，直接反映算法性能的好壞，由式(5)計算而來，其中GT表示目標真實數量。MOTA取值范圍為負無窮到1，若為負值代表跟蹤失敗，若為正值且越趨近于1代表跟蹤效果越好

表4 測評指標及其解釋說明

4.3 結果與分析

為了驗證本文改進算法的效果，在測試集上與基于HrnetV2-w18網絡的FairMOT算法進行了性能指標對比，將conf_thres設置為0.6，測試結果如表5所示。由表5可知，本文算法相比于FairMOT在2DMOT15數據集上的定位精度不變，但跟蹤準確度高出1.1%，fps高出0.82，IDS次數減少了17次；在MOT20數據集上本文算法相比FairMOT在跟蹤準確度上高0.2%，fps高出0.41，IDS次數減少了91次；在MOT17數據集上本文算法較FairMOT準確度高1.1%，fps高出0.88，IDS次數顯著減少。同時，相較于FairMOT，本文算法在3個數據集上定位精度分別不變、下降0.6%、上升3.4%，檢測失敗次數(誤檢測和漏檢測數目之和)明顯減少，表明本文模型的性能優于HrnetV2-w18。

表5 本文算法與FairMOT的測試結果

為了更直觀地說明和對比本文算法與FairMOT的跟蹤性能，圖7-圖9給出了兩種算法在測試集上的部分可視化跟蹤結果。圖7為兩種算法在視頻序列ADL-Rundle-8上的一段跟蹤結果。該視頻由移動的攝像機設備拍攝，場景處在夜晚燈光較強的街道上，背景復雜，行人數目眾多且密集。其中行人框中的數字為算法分配給每個目標的ID。從圖7可以看出，圖片中間的黃色上衣男性從眾多行人中穿過的過程中FairMOT首先為該目標分配ID號為50、顏色標識為深紅色的行人框，該目標行進過程中被多個行人遮擋，導致跟蹤軌跡中斷，隨后該目標穿過多個目標后重新被分配了ID號為53、顏色標識為深綠色的行人框，即發生了ID切換；而本文算法對該目標初始分配ID號為678、顏色標識為綠色的行人框，到中途被多個目標遮擋再到最后穿過行人目標密集區域，一直保持著準確穩定的跟蹤，并沒有發生ID切換。

圖7 ADL-Rundle-8跟蹤結果

圖8為兩種算法在視頻序列PETS09-S2L1上的一段跟蹤結果。該視頻主要拍攝了8位行人在一個視野開闊場景下的行走過程，其中部分行人以不尋常的行走方式進行行進，并且由于拍攝距離問題背景目標對行人目標的遮擋干擾也較嚴重?？梢钥闯鯢airMOT對目標進行跟蹤時軌跡中斷，同時目標穿過電線桿后發生ID切換，而且在第104幀中不同行人目標重疊時產生了漏檢現象；而本文算法在目標被電線桿遮擋后能夠準確地對目標進行重識別，沒有給目標分配新的ID序號，并且在第104幀未出現漏檢現象，檢測性能有一定的提升。

圖8 PETS09-S2L1跟蹤結果

圖9為兩種算法在視頻序列ETH-Pedcross2上的一段跟蹤結果。該視頻在擁擠的街道上拍攝而來，由于距離和視角問題，背景遮擋物對目標的遮擋及不同目標之間的遮擋都非常嚴重。從圖9可以看出，當車輛行駛而來時，圖片中心處的行人目標完全被遮擋住，在第57幀中兩種算法均跟丟了該目標，但當車輛駛過后，FairMOT為該目標重新分配了新的ID，發生了ID切換，而本文算法仍能對該目標進行準確的重識別，無ID切換產生。

圖9 ETH-Pedcross2跟蹤結果

為了綜合評價本文算法的性能，與基于DLA-34和HrnetV2-w18骨干網絡的FairMOT[5]及幾種主流跟蹤算法Tube_TK[15], CSTracker[16], TransCenter[17]在MOT17[11]訓練集上進行測試對比，如表6所示，其中Time elapsed代表網絡推理時間，單位為s。由表6可知本文算法的MOTA和MOTP排第3，漏檢測數量和誤檢測數量相較于FairMOT及其他算法仍較多，ID切換次數和網絡推理時間最少，相較于FairMOT及其他算法有顯著的減少。

表6 本文算法與其他幾種模型及算法的測試結果對比

可以看出，本文網絡模型相較于Hrnet-18和DLA-34網絡模型最大的優勢在于重識別性能的提高，在檢測性能上的提升不明顯，仍待進一步研究。

綜合上述結果，本文算法相較于基于HrnetV2-w18網絡的FairMOT有更高的跟蹤準確率、更少的ID切換數，能夠更好地適應背景遮擋、多目標遮擋問題，具有較強的重識別性能；并且在運算推理速度上有一定的提高，有效地縮短了跟蹤時間；相較于其他幾種主流的行人跟蹤算法，本文算法的檢測效果較差，但ID切換數目最少，重識別效果較好。同時，由于各數據集的特殊性，本文算法的目標漏檢測和誤檢測數目在不同的數據集上呈現出不同的趨勢，仍待研究和分析。

5 結束語

本文提出一種基于CBAM和anchor-free檢測網絡的多目標跟蹤算法，分別針對網絡的backbone和head，加入注意力機制，并進行了降維減參的操作。實驗結果表明，本文設計的網絡模型相較于HrnetV2-w18參數量和計算量更少，模型的運算推理時間得到了縮短；本文算法相較于FairMOT及幾種主流的行人跟蹤算法，在多目標跟蹤過程中，能夠明顯地減少ID切換、跟蹤中斷等問題的出現頻率，更適合遮擋嚴重的場景。但同時，本文算法仍存在一些不足：一是并未對anchor-free解空間進行根本性的改進，無法根除ID切換眾多的問題，因此仍存在一定的局限性；另外，目標誤檢測和漏檢測數量的改進趨勢不明確，仍需進一步研究。