基于Fairmot的交通違法行為算法研究

摘 要：在監測交通違法行為的檢測任務中，傳統的人工監控與基礎傳感器方法因準確性和實時性存在局限而面臨挑戰。通過引入多目標跟蹤技術，可以顯著提升檢測效率和系統識別的準確性。文章提出了一種針對車輛信息的多目標跟蹤算法，使用MAU-DLA34（MixedAttentionUnit-DeepLayerAggregation34）作為主干網絡，替換傳統的DLA34主干網絡。在處理高密度交通和復雜交互情況下，該算法的表現出色，AP達到73.6%，MOTA為82.9%，IDF1為79.3%，明顯優于傳統方法和其他深度學習方法，如JDE、DeepSort、CenterTrack等。該算法有效減少了身份切換，確保了對交通參與者的精準且連續跟蹤。

關鍵詞：多目標跟蹤;目標檢測;Fairmot;交通違法行為

中圖分類號：TP391.41 文獻標志碼：A

0 引言（Introduction）

隨著城市交通系統的快速發展和機動車保有數量的急劇上升，交通違法行為已成為影響道路安全和交通秩序的重要因素。傳統的交通違法行為檢測方法依賴人工監控或基礎的自動化技術，不僅效率低下，而且難以應對復雜多變的交通環境[1]。多目標跟蹤（Multi-ObjectTracking，MOT）[2]技術能夠高效地在視頻序列中同時監測和分析多個移動目標的軌跡和行為。通過使用準確的多目標跟蹤技術，機器能夠實時捕捉并分析目標之間的相互作用和運動模式，從而做出更加智能的決策和反應。這不僅顯著降低了對人力資源的依賴性，減輕了監控人員的工作負擔，而且提高了交通違法行為管理的科學性和系統性，為確保道路交通安全、維護良好的交通秩序做出了重要貢獻[3]。

1 研究現狀（Researchstatus）

1.1 多目標跟蹤

多目標跟蹤的主要目標是在視頻序列中實時跟蹤多個移動對象。在這個過程中，系統需要初始化跟蹤對象的位置，然后持續跟蹤它們的運動軌跡，并在對象進入或離開視野時更新跟蹤狀態。當前，基于深度學習的多目標跟蹤技術主要分為兩種，即基于檢測后跟蹤（Tracking-by-Detection，TBD）的方法和基于聯合檢測跟蹤（JointDetectionandTracking，JDT）的方法。

（1）基于檢測后跟蹤的方法

TBD首先使用深度學習模型獨立地從每一幀視頻中檢測出所有感興趣的對象，其次將這些檢測到的對象與已存在的跟蹤軌跡進行關聯，從而實現對每個對象的持續跟蹤[4]。這種方法的關鍵在于檢測的準確性和后續的數據關聯策略，而如何有效地將當前幀的檢測結果與現有的跟蹤軌跡正確匹配，則是該方法面臨的主要挑戰。

（2）基于聯合檢測跟蹤的方法

與TBD不同，JDT嘗試通過一個統一的框架同時處理檢測和跟蹤任務。這種方法通常依賴于一個單一的深度學習模型，該模型不僅要學習如何識別對象，而且要學習如何跟蹤對象在視頻中的運動[5]。JDT的主要優勢是其內部的信息共享機制，即檢測和跟蹤共享特征與計算資源，這種機制可以帶來更高的運行效率和改進的跟蹤性能，特別是在對象被遮擋和相互作用頻繁的場景中。

1.2 國內外研究現狀

2016年，BEWLEY等[6]基于TBD的框架提出SORT（SimpleOnlineandRealtimeTracking）方法，首先利用獨立的目標檢測器從視頻幀中識別出各個目標，其次通過計算檢測得到的邊界框與已存在跟蹤目標的交并比（IoU）實現數據關聯。關聯過程采用匈牙利算法優化匹配結果，隨后應用線性卡爾曼濾波器對每個跟蹤目標的狀態進行預測和更新，以實現對目標的持續跟蹤。隨后，WOJKE 等[7] 對SORT 進行改進，并提出了DeepSORT方法，即使用深度學習生成的外觀特征，增強傳統的SORT算法。在檢測階段，DeepSORT使用卷積神經網絡提取目標的特征;在數據關聯階段，除了使用基于IoU的匹配策略，還引入了一個基于外觀特征的匹配策略，允許算法更準確地區分不同的目標，特別是在遮擋和交互頻繁的場景中。為了提高檢測效率，WANG 等[8]提出JDE（JointDetectionandEmbedding）方法，它通過單一的神經網絡同時執行目標檢測和外觀特征提取任務，以實現對目標的檢測和跟蹤。這種方法采用端到端的訓練策略，不僅能夠在每一幀視頻中識別出目標，而且能生成每個目標的特征嵌入，用于衡量不同目標之間的相似度。為了降低Anchor-Based基于錨框的方法帶來的誤差，ZHANG等[9]提出Fairmot方法，該方法使用Anchor-Free無錨框的檢測策略和混合式損失函數，使其在處理擁擠場景中的跟蹤任務時表現出色，有效地減少了身份切換和遮擋的問題。隨著Transformer[10]在視覺領域的不斷發展，Transformer也走進了多目標跟蹤領域。MEINHARDT 等[11]于2020年提出Trackformer，這是一種結合了Transformer架構的多目標跟蹤方法，該方法使用一個端到端的Transformer模型，在視頻幀中直接預測目標的邊界框和相應的ID，通過跟蹤每個目標的嵌入向量來管理跟蹤的身份，使用自注意力機制捕獲目標之間復雜的相互作用，從而實現精確且魯棒的多目標跟蹤，尤其是在動態變化和目標密集的場景中。

2 改進Fairmot模型（ImprovedFairmotmodel）

2.1 模型結構

改進Fairmot模型的總體網絡結構如圖1所示。首先，該模型將圖像傳入MAU-DLA34主干網絡中進行深度特征提取。其次，這些特征被傳入模型的最終階段，該階段包括3個檢測頭，它們綜合前述特征處理步驟提取的信息，產生最終的目標檢測結果。MAU-DLA34模塊是在DLA34的基礎上進行了網絡結構的改良。在執行目標檢測任務時，MAU-DLA34網絡通過改變其結構的方式以高效地提取目標特征。利用下采樣技術從不同層級捕獲目標特征，確保每個層級的關鍵信息被準確提取，同時利用全局池化在層與層之間傳遞信息，以最大限度地減少特征信息的丟失。

在特征上采樣的階段，MAU-DLA34采用了可變形卷積，而不是傳統的2D卷積，這一改進顯著擴展了模型的感受野，允許網絡更靈活地適應目標形狀和尺寸的變化。此外，結合了注意力機制的模塊進一步優化了特征提取過程，使得網絡能夠集中處理對檢測任務至關重要的目標特征。

MAU-DLA34網絡的最終階段包括Heatmap、Offset、BoxSize3個檢測頭。Heatmap使用熱圖來預估目標中心的位置，Offset用于計算對象中心的偏移程度，BoxSize負責錨定目標邊界框的高度與寬度，這種結構使得MAU-DLA34網絡在提取復雜圖像中的目標信息時，能獲得較高的準確性和效率，特別是在處理多尺度和變形目標方面展現出顯著的優勢。

2.1.1 優化模塊流程

MAU-DLA34整體框架圖如圖2所示，在MAU-DLA34網絡結構中，初始階段包括基礎層（base_layer）和第一層（level_1），這兩個部分負責對輸入圖像執行初步的特征提取;此外，在兩層結構中添加了CBAM 注意力機制模塊，旨在增強網絡對輸入圖像特征的細致捕捉能力。在base_layer中，CBAM 的引入讓網絡能夠從最初的輸入中區分出最有信息量的特征，并開始形成關于圖像內容的初步理解;在level_1中，CBAM 的引入進一步細化了特征的選擇過程，聚焦于增強對已識別初步特征的語義理解。

輸入圖像的高度為H ，寬度為W ，經過初步提取后，得到的特征圖維持與輸入圖像相同的空間尺寸，即高度和寬度不變，F1可用F1=H ×W 表示。

隨后，第一層級（level_1）的輸出特征圖會被傳遞到下一層級（level_2）。在這一過程中，特征圖會經歷一個下采樣操作，通常表示為S 操作。下采樣的目的是減小特征圖的空間維度，同時擴展了特征的感受野，從而能夠捕獲更廣泛的上下文信息。下采樣操作后，輸出特征圖的尺寸變為原來的1/S，如果下采樣率S 為2，則特征圖的空間尺寸會縮減為原始高度和寬度的一半，即輸出特征圖F2的尺寸為

F2=H／S ×W／S（1）

從level_2的輸出繼續向下傳遞，數據流動進入更深層的級別，即level_3到最終的level_5層。在這個過程中，每一層都會對其輸入進行下采樣處理，以捕獲更加抽象和全局的特征表示。輸出特征圖Fi的尺寸為

Fi= H／S×2i-2× W／S×2i-2 （2）

到達level_5時，我們采取了一個特別的策略：不同于之前的層級，其中上采樣步驟直接將特征圖的尺寸還原至最終大小，首先特征圖被上采樣到原尺寸的S 倍，這里S 等于2，即每個維度的大小變為原先的兩倍。上采樣后的特征圖被輸入一個高效的多尺度注意力模塊中，輸出O1。該模塊通過聚焦關鍵空間區域和多尺度信息，進一步細化和優化特征圖，增強網絡對特征的語義解析能力。這樣的處理能確保特征圖捕捉到不同層次的細節。其次將特征圖與O1進行融合，這一步驟能使模型整合多層次的內容，進一步豐富特征信息。最后采用另一個高效的多尺度注意力模塊進行處理，確保在輸出之前，模型能夠充分提取和利用圖像中的多尺度特征與全局上下文信息。

2.1.2 加入可變形卷積

在MAU-DLA34網絡中，采樣流程涉及迭代和分層的特征聚合。迭代深度聚合策略負責結合來自不同階段的特征，而分層深度聚合則整合各個階段內的基本模塊，確保了在語義和空間層面上的特征融合。在隨后的上采樣步驟中，使用可變形卷積取代傳統的2D卷積，這一變化增強了網絡上采樣后對目標形狀變化的適應性，并擴展了感受野。

在DLA結構中，DLAUP模塊用于執行網絡上采樣任務，而IDAUP模塊則用于上采樣過程中的多層次特征融合。通過上采樣和下采樣的交替進行，網絡最終輸出了經過多次調整后的特征圖。這些操作優化了網絡的特征提取和處理性能，為識別和分析任務提供了細致的特征表示，最后輸出的特征圖尺寸為

Ff =H／S ×W／S（3）

2.2 損失函數設計

2.2.1 Heatmap

Heatmap分支通常用于確定各類目標中心點的位置。每個標注框的坐標點為bi=（xi1，yi1，xi2，yi2），標注框的中心點位置為

2.2.2 Offset

Offset分支的主要作用是預測來自Heatmap的信息，以增強目標定位的精確性。模型采用L1損失函數度量預測中的中心點偏差，并以此構建損失函數，其計算公式為

其中：檢測框中心點的坐標用p 表示，p 是p 下采樣后的坐標，預測的Offset值為O^～p ，p／R -～p 表示中心點的誤差。

2.2.3BoxSize

BoxSize分支是負責預測關鍵點檢測框的寬度和高度，采用L1函數構建損失函數，其計算公式為

其中：s^pk 為預測的尺寸，對于每個標注框，目標k 坐標為（x1，y1，x2，y2），中心點坐標為pk =（（x1+x2）/2，（y1+y2）/2），Sk為目標的真實尺寸，用Sk=（x2-x1，y2-y1）計算。

2.2.4 總損失

綜合考慮檢測網絡的輸出，網絡的整體性能依賴于Heatmap、Offset、BoxSize3個方面預測的準確度。綜合3個方面的性能，研究人員分別為它們定義損失函數：Lossk、Losssize、Lossoff 。通過為這些損失賦予特定的權重并進行求和，可以形成網絡的綜合總損失，具體如公式（9）所示。采用加權損失的方法，使得模型在訓練階段能夠依據各預測任務的重要程度進行均衡考量，確保模型在目標檢測的各個方面都能獲得優化。

Lossdet=Lossk+λsizeLosssize+λoffLossoff （9）

3 實驗設計（Experimentaldesign）

3.1 數據集

UA-DETRAC是一個專為交通監控場景定制的公開數據集，廣泛應用于車輛檢測與跟蹤領域。該數據集收集了在中國北京和天津的24個不同地點通過攝像機拍攝的大量視頻素材，全面涵蓋了多樣化的真實交通環境，包括各種天氣狀況、交通密度和豐富的車輛類型等，為評估和比較不同的車輛檢測與跟蹤算法提供了一個具有挑戰性和代表性的基準。

該數據集涵蓋了多種交通場景，包括高速公路和十字路口，拍攝時間跨越白天和夜晚，并包含晴天、陰天和雨天等不同天氣條件。數據集包含超過10小時的視頻，總計超過14萬幀圖像，標注了大約8250輛車輛。每輛車都有詳細的標注信息，包括邊界框、車輛類型和遮擋情況。此外，數據集還提供了車輛的軌跡信息，非常適合用于評估跟蹤算法。

3.2 評價指標

實驗使用了3個關鍵的評估標準：AP平均精度指標、CLEAR指標[12]和ID度量[13]，這3個評估標準共同構成了對跟蹤算法表現的全方位評價。

實驗使用了3個關鍵的評估標準：AP平均精度指標、CLEAR指標[12]和ID度量[13]，這3個評估標準共同構成了對跟蹤算法表現的全方位評價。

AP=∫10P（R）d（R） （10）

CLEAR指標主要由兩個部分組成，即多目標跟蹤準確率（MOTA）和多目標跟蹤定位精度（MOTP），這兩者分別評估了跟蹤算法的準確性和目標定位的精確度。MOTA是通過綜合考量誤報、遺漏以及ID交換次數等多個因素來定義的，旨在全面反映跟蹤過程中的總體錯誤率。MOTA的計算公式如下：

其中：FNt、FPt和IDSt分別代表在時間t 的漏檢數量、誤檢數量和身份交換次數，GTt是時間t的真實目標數量。

ID度量主要由ID精確度（IDP）、ID召回率（IDR）和IDF1分數（IDF1）3個部分構成，這些指標專注于評價跟蹤算法在維持目標身份一致性方面的性能。IDF1由公式（12）表示，IDP由公式（13）表示，IDR由公式（14）表示：

3.3 訓練流程

數據集的圖像首先經過數據增強處理，包括隨機翻轉、隨機縮放（比例范圍為0.5～1.5）以及裁剪操作，隨后將圖像尺寸統一調整為1088×608。將數據集的80%作為訓練集，剩余的20%作為測試集進行實驗。在網絡訓練過程中，使用Adam作為優化算法，設置批處理大小為12，總共進行60個訓練周期，其中前30個周期的學習率為1e-4，第31到第60個周期的學習率調整為1e-5。實驗選用了UA-DETRAC數據集作為訓練基礎。

4 實驗結果（Experimentalresult）

4.1 對比實驗

將提出的MAU-DLA34算法與其他經典算法在UADETRAC數據集上進行對比實驗，采用評價指標主要有AP、MOTA、IDF1、FP、FN、IDS。在UA-DETRAC 數據集上，MAU-DLA34算法與其他經典算法在以上評價指標上的對比實驗結果見表1。

通過將JDE、DeepSort-YOLO、CenterTrack、Fairmot-Resnet、Fairmot-DLA34幾種不同的跟蹤方法與本文的方法進行比較分析，本文提出的方法在UA-DETRAC數據集上的表現突出。由表1中的數據可知，相較于Fairmot-DLA34版本，本文提出的方法在關鍵評估指標上取得了較好的結果：AP提升了2.3百分點，MOTA提升了1.2百分點，IDF1提升了0.8百分點，相較于Fairmot-Resnet版本，本文提出的方法AP提升了2.5百分點，MOTA提升了1.4百分點，IDF1提升了0.8百分點。在與CenterTrack進行比較時，盡管兩者的MOTA和IDF1相差不大，但是本文提出的方法在AP指標上有顯著的提升。相對于DeepSort-YOLO，盡管本文提出的方法在AP指標上略低，但在MOTA和IDF1兩個指標上顯示出優越性。從總體來看，本文提出的算法有效提升了車輛多目標跟蹤任務的準確性。

4.2 消融實驗

為了深入探究MAU-DLA34模塊通過融合DCN（DenselyConnectedNetworks）及其優化后的網絡架構對整體模型性能的增強效果，本研究選擇UA-DETRAC數據集進行驗證，對所提出算法進行消融實驗，并通過精度指標AP、MOTA、IDF1具體展示算法性能。在UA-DETRAC數據集上的評估結果見表2。

通過將注意力機制引入DLA34網絡的基礎層（base_layer）和第一層（level_1），使網絡對原始圖像特征的提取能力得到了增強，AP從67.2%增加至69.1%，MOTA提升了0.9百分點，IDF1提升了1.1百分點;對第五層（level_5）的網絡結構進行調整并引入高效的多尺度注意力模塊后，使網絡能更有效地關注感興趣的區域，進一步提升了對關鍵特征的捕獲，AP從69.1%提升至70.9%，MOTA提升了1.5百分點，IDF1提升了1.8百分點;將可變形卷積應用于網絡的上采樣過程中，提高了模型對遮擋形變目標的特征提取能力，擴大了上采樣感受野，AP由70.9%提升至73.6%，MOTA提升了3.2百分點，IDF1提升了3.3百分點。

將本文提出的算法與標準Fairmot進行了對比。其中，圖3（a）為本文提出的算法在T 時刻的跟蹤圖像，圖3（b）為Fairmot算法在T 時刻的跟蹤圖像。圖3（c）和圖3（d）則是T+1時刻時兩種算法的對比圖像，以此類推。通過對比相同時刻的圖片可以看出，本文提出的算法在處理快速移動目標方面具有優勢，并且在跟蹤的連續性和穩定性方面表現出色。在處理小目標車輛時，本文提出的算法在ID切換數方面表現較好。標準Fairmot在跟蹤小目標時，容易因目標外觀變化和被遮擋導致ID切換。此外，在車輛被遮擋時，兩種算法都出現了ID切換，但本文提出的算法的切換次數明顯更少，表明本文提出的算法在處理遮擋問題上更加穩健，能夠保持跟蹤的連續性。

5 結論（Conclusion）

本文對原有的Fairmot算法進行了深度改進，將骨干網絡從DLA34更換為MAU-DLA34。這一改進引入了更加高效的特征提取網絡和優化的數據關聯機制，顯著提高了多目標跟蹤的精確度。新算法在處理小目標和快速移動目標方面表現出色，尤其是在復雜的城市交通場景中，確保了高效穩定的目標跟蹤性能。但是，該算法仍存在一定的局限性，特別是在應對動態多變、復雜的交通環境，以及不同地區特有的交通狀況時，該算法的適應性和泛化能力尚需進一步提升。

參考文獻（References）

[1]牛筱涵.交警非現場執法優化研究[D].開封：河南大學，2022

[2]WANGGA，SONG ML，HWANGJN.Recentadvancesinembeddingmethodsformulti-objecttracking：asurvey [J/OL].（2022-05-22）[2024-03-12].https：∥arxiv.org/abs/2205.10766.

[3]陳佳.自動駕駛環境感知中的目標跟蹤與軌跡預測研究[D].北京：北京科技大學，2023.

[4]何星華.基于檢測的無人機多目標跟蹤算法研究及應用[D].成都：電子科技大學，2023.

[5]劉文強，裘杭萍，李航，等.深度在線多目標跟蹤算法綜述[J].計算機科學與探索，2022，16（12）：2718-2733.

[6]BEWLEYA，GEZY，OTTL，etal.Simpleonlineandrealtimetracking[C]∥IEEE.ProceedingsoftheIEEE：2016IEEE International Conference on Image Processing （ICIP）.Phoenix：IEEE，2016：3464-3468.

[7]WOJKEN，BEWLEY A，PAULUSD.Simpleonlineandrealtimetracking withadeepassociation metric[C]∥IEEE.ProceedingsoftheIEEE：2017IEEEInternationalConferenceonImageProcessing （ICIP）.Beijing：IEEE，2017：3645-3649.

[8]WANGZD，ZHENGL，LIUYX，etal.Towardsreal-timemulti-objecttracking[C]∥Springer.ProceedingsoftheSpringer：European Conference on Computer Vision.Cham：SpringerInternationalPublishing，Virtual：Springer，2020：107-122.

[9]ZHANGYF，WANGCY，WANGXG，etal.FairMOT：onthefairnessofdetectionandre-identificationinmultipleobjecttracking[J].Internationaljournalofcomputervision，2021，129（11）：3069-3087.

[10]VASWANI A，SHAZEERN，PARMARN，etal.Attentionisallyouneed[J].Advancesinneuralinformationprocessingsystems，2017，30：5998-6008.

[11]MEINHARDT T，KIRILLOV A，LEAL-TAIXéL，etal.Trackformer：multi-objecttrackingwithtransformers[C]∥IEEE.ProceedingsoftheIEEE：2022IEEE/CVFConferenceonComputerVisionandPatternRecognition.NewOrleans：IEEE，2022：8844-8854.

[12]BAIHX，CHENGWS，CHUP，etal.Gmot-40：abenchmarkforgenericmultipleobjecttracking[C]∥IEEE.ProceedingsoftheIEEE：2021IEEE/CVFConferenceonComputerVisionand Pattern Recognition.Virtual：IEEE，2021：6719-6728.

[13]RISTANIE，SOLERAF，ZOUR，etal.Performancemeasuresandadatasetformulti-target，multi-cameratracking[C]∥Springer.EuropeanConferenceonComputerVision.Cham：SpringerInternationalPublishing，Amsterdam：Springer，2016：17-35.

作者簡介：

施凱斌（1998-），男（漢族），湖州，碩士生。研究領域：計算機視覺，圖像處理。

李文書（1975-），男（漢族），杭州，教授，博士。研究領域：計算機視覺，圖像處理。