基于改進DeepSORT算法的摩托車頭盔佩戴檢測

冉險生，張之云，陳 卓，蘇山杰，陳俊豪

重慶交通大學 機電與車輛工程學院，重慶 400047

全球的交通機動化導致道路交通的死亡率持續升高。在一些發展中國家，摩托車作為普遍的交通工具，駕駛的安全問題備受關注，摩托車頭盔的佩戴對自身的安全十分重要[1]，人為監督的檢查方式工作量大、成本高，還會引發許多交通事故。隨著目標檢測算法的精度和速度的提升，基于檢測的多目標跟蹤算法成為交通管理系統智能化的熱門技術，可以有效地提高密集交通管理的效率和安全性。在監控視頻下對摩托車頭盔佩戴情況進行追蹤需要達到實時性的要求，跟蹤結果主要取決于目標檢測器性能的好壞[2]。取代傳統目標檢測算法的深度學習目標檢測算法可分為有候選區域的兩階段式算法和直接輸出檢測結果的一階段式算法[3]。兩階段以R-CNN系列[4-6]模型為代表，一階段以SSD[7]、YOLO系列[8-10]模型為代表。Espinosa等[11]通過一種基于Faster-RCNN的卷積神經網絡模型，進行摩托車檢測和分類。在60%以上的車輛遮擋的情況下評估該模型，mAP達到75%。在低遮擋數據集上進行評估，mAP高達92%。劉琛等人[12]基于SSD網絡引入視覺機制，實現了對摩托車駕乘者頭盔佩戴的檢測。Boonsirisumpun等人[13]使用SSD網絡進行兩次檢測，第一次檢測出摩托車駕駛者，第二次在所檢測出該駕駛者是否佩戴頭盔。

深度學習的多目標跟蹤方式是通過學習檢測物體的深度特征來進行跟蹤的，能夠達到較好的檢測性能。Mahmoudi等人[14]提出了一種新的二維在線環境分組法，基于CNN提取外觀特征，利用最后一幀的位置狀態對下一幀中每個目標的位置進行預測，得到運動位置特征，再將兩種特征進行數據關聯。與現有技術相比，使用CNNMTT方法實現了高質量的跟蹤效果，達到更低計算成本。Huo等[15]提出了一種基于RFB的多目標跟蹤算法，在多目標檢測部分，采用CenterNet作為檢測網絡。在特征提取部分，將RFBNet與重新識別網絡相結合，提高特征提取能力，DeepSORT算法用于多目標跟蹤。

多目標追蹤算法采用預先訓練好的網絡進行表觀特征的提取使跟蹤速度和精度都得到了改善。Deep-SORT算法在SORT算法的基礎上，增加外觀特征信息改善了物體遮蔽導致的ID switch現象，采用級聯匹配策略提高了匹配精度。為實現算法在邊緣設備上達到較好的實時目標檢測和多目標追蹤效果，本文提出輕量型的摩托車頭盔多目標跟蹤方法。首先對YOLOv3做了改進和對表觀特征區分網絡進行了優化。針對YOLOv3模型參數大、多尺度識別精度低的問題。通過引入MobileNetv3-Large對主干網絡進行替換，搭建MLYOLOv3網絡，降低模型復雜度、提升檢測速度。設計深淺語義融合增強模塊，增強網絡對輸入特征的深淺語義利用程度，提升了模型檢測精度。其次構建多任務學習框架，進行外觀特征識別模型優化，提升了多目標追蹤的準確率和精度，同時也實現了對摩托車駕乘者數量、位置、頭盔佩戴的分類，即NPH分類模型，以期實現摩托車頭盔佩戴的實時追蹤檢測。

1 多目標跟蹤方法

本文采用DeepSORT算法對摩托車進行追蹤，Deep-SORT[16]算法是對SORT[17]多目標追蹤算法的改進，在此基礎上利用卷積神經網絡對外觀信息特征進行提取來減少產生的ID switch次數。采用級聯匹配對頻繁出現的目標物賦予優先權，解決目標追蹤過程中的不連續問題。其算法流程如圖1所示。主要分為四個步驟：（1）基于原始視頻幀，使用目標檢測器獲得目標候選框，經非極大值抑制算法（non-maximum suppression，NMS）篩除多余的框，得出檢測結果。（2）使用卡爾曼濾波算法預測目標在下一幀所在位置及狀態，將預測框與檢測框進行IOU匹配并計算出代價矩陣。（3）使用匈牙利算法根據輸入的代價矩陣對檢測框進行最優匹配，利用重識別模型對物體的外觀特征進行提取，賦予確認狀態的跟蹤框優先的匹配權。（4）輸出跟蹤結果，卡爾曼濾波對跟蹤器進行參數的更新，再次循環算法流程直至視頻幀結束。

圖1 DeepSORT算法流程圖Fig.1 Flowchart of DeepSORT algorithm

1.1 前端目標檢測器的改進

YOLOv3是一種性能較為優越的單階段目標檢測算法，在檢測精度和速度上能達到較好的平衡，網絡結構如圖2所示。YOLOv3采用DarkNet53作為主干網絡，使用殘差網絡防止網絡加深過程中發生梯度消失，網絡構建了5個殘差塊，總共包含53個卷積層。同時對輸入的圖片進行了5次降采樣，采用多尺度融合的方式檢測不同大小目標的位置及類別。考慮到摩托車駕駛環境的復雜多變性，需要提高模型對小目標的檢測效果以及在邊緣設備上的實用性，對原始YOLOv3模型進行輕量化和深淺語義融合兩方面改進。

圖2 YOLOv3網絡結構示意圖Fig.2 Schematic diagram of YOLOv3 network structure

1.1 .1構建輕量化的ML-YOLOv3網絡

使用MobileNetv3-Large替換Darknet-53作為YOLOv3的特征提取網絡，其網絡結構如表1所示。表中N和Y分別代表未使用、使用NL表示激活函數（RE為Relu6激活函數，HS為h-swish激活函數），s為運算步長，SE（squeeze-and-excitation networks）為壓縮激勵模塊，Bneck為MobileNetv3的基本模塊結構，exp-size為經過Bneck中的膨脹層后的特征通道數。Bneck模塊結構如圖3所示。該模塊結構主要由1×1的卷積核、3×3或者5×5的深度卷積核、1×1的卷積核等3個網絡層組。同時還引入了SE模塊單獨添加到resnet層中并行使用。

圖3 Bneck模塊結構Fig.3 Bneck module structure

表1 MobileNetv3-Large網絡結構Table 1 MobileNetv3-Large network structure

如圖4所示，SE模塊為了獲得卷積核以外的感受野使用全局平均池化層，以此得到各個特征通道間的統計量，假設獲得的統計量為Y，空間維度被壓縮的特征圖為U，則在第i個通道C所獲得的統計值如式（1）所示。為利用通道間的關系，使用兩個全連層進行通道間信息的整合。第一個全連接層通過設置固定的縮減比率來降低網絡層數，然后第二個全連接層又將維度升至輸入特征維度，旨在通過輸入維度的變化動態調整輸入通道間的重要權值，突出網絡需要重點學習的特征通道，如式（2）所示。最后將模塊所求得特征權值乘以輸入特征圖做特征強度調整，進而提升了網絡特征表達能力，如式（3）所示。

圖4 SE模塊Fig.4 SE module

其中，H、W分別為特征圖的高寬。δ為Relu激活函數，σ為sigmoid函數，分別為第一個全連接層和第二個全連接層的權重。Fscale(?)指代的是權重值與所對應的特征通道的乘積。

1.1 .2深淺語義融合增強模塊

搭建深淺語義融合增強模塊（deep and shallow context fusion enhancement module，DSCFEM）的思想來自ThunderNet[18]語義增強模塊（context enhancement module，CEM），CEM模塊結構如圖5所示，將網絡中3個不同尺度的特征圖融合來獲取更有識別度的特征。其中Cglb為C5通過全局平局池化層所獲取的全局語義特征向量。不同大小的特征圖分別經過卷積、反卷積以及廣播機制得到對應大小和特征通道數相同的特征圖，結果分別記為C4_lat、C5_lat、Cglb_lat，最后將3個特征圖相加。但CEM使用的融合方式將深淺不同的語義信息視為同等重要，從而帶來一定的精度損失，故引入注意力機制以實現網絡對重要性不同的特征信息區分性學習。

圖5 CEM模塊結構Fig.5 CEM module structure

按照CEM模塊的方式在一定位置將YOLOv3的3個不同尺度的特征作為類似于CEM模塊的對應特征輸入，經過信息通道變換操作將獲取的特征信息作為YOLOv3的一個檢測分支的下一步的特征量輸入。為了避免上述CEM模塊所存在的不足，不再簡單地對3個不同尺度的特征進行特征量大小（特征通道數和特征圖尺寸）的等匹配融合，受SPP[19]模塊啟發將其替換為池化操作。SPP中的最大池化層，能增大網絡感受野、緩解訓練過程中的過擬合現象，但是容易忽視部分細節信息。為此，使用SoftPool對SPP模塊中的最大池化層進行改進。SoftPool[20]使用softmax實現指數加權方式累加池化，保留了更多輸入特征的基本屬性，其結構如圖6所示。在網絡訓練期間SoftPool不增加可訓練參數，同時梯度在反向傳播過程中是可微的，保證了每次反向傳播的梯度能夠更新，提升了網絡神經元的連接性。SoftPool可對每個池化核所對應的激活值賦予指數為底的權重，既保證了較大的激活值又實現了對每一個激活值非線性的特征信息的綜合利用，從而進一步提升網絡精度。

圖6 SoftPool結構圖Fig.6 SoftPool structure diagram

SoftPool的核心思想在于充分利用softmax作為池化核域內每個激活值的權重分配機制，如下式所示：

式中，R為池化核域，ai為R中的每個激活值，Wi為每個激活值所分配權重。在求得權重Wi后，將其作用到R中并求和，得到輸出值：

式中，a為SoftPool的輸出值，最終實現了對池化核域內所有激活因子的加權求和。

為了更加充分地利用深層語義信息和通道間的相互依存關系，將改進的YOLOv3網絡的深度特征經過SE模塊的作用得到深度特征權重值，再與改進CEM模塊特征值相乘，以深層語義信息促使網絡更好地學習淺層語義信息，并動態地增強淺層語義信息與深層語義信息融合。通過上述一系列改進，最終構建了深淺語義融合增強模塊（DSCFEM），模型結構如圖7所示。圖中，C5、C4、C3指代YOLOv3網絡3個尺度檢測分支，圖片大小假定為416×416像素值。

圖7 DSCFEM模塊結構Fig.7 DSCFEM module structure

YOLOv3結構與改進后的YOLOv3結構以及DSCFEM模塊對比如圖8所示。圖中（a）、（b）分別為YOLOv3和改進后的YOLOv3命名為ML-YOLOv3-DSCFEM。

圖8 YOLOv3改進前后結構對比Fig.8 Structure comparison before and after YOLOv3 improvement

1.2 構建多任務學習（MTL）框架

本文采用多任務學習[21]的方式實現DeepSORT算法對摩托車外觀特征信息的提取同時對摩托車駕乘人員的數量、位置以及頭盔佩戴進行檢測分類，文中將這三個元素稱為NPH。

1.2.1 MTL數據集構建

基于開源數據集，編寫腳本分別生成用于訓練的txt文本和圖片塊文件夾，txt文本總共包含圖片塊存儲路徑、追蹤ID及駕乘人員頭盔佩戴情況類別3類信息。數據集包括7 116個不同的摩托車共約10萬對圖片，分辨率為192×192，并調整數據集使得所有圖片對中來自于同一摩托車的數量占一半，平均每個摩托車約有28張圖片用于訓練集，5 000對圖片用于測試集。

1.2.2 NPH模型分析與建立

根據HELMET數據集，分析其數據中12個地點的圖片信息特點，可發現摩托車駕乘人數最多可達5人，為此構建了能夠反映駕乘人員數量、位置和頭盔使用情況NPH模型如圖9所示。圖中D為摩托車駕駛員，P0、P1、P2、P3為乘客，由此可知，構建的NPH分類模型能夠全面反映實際道路中可能存在的摩托車駕乘者的位置、數量和頭盔佩戴情況。

圖9 摩托車駕乘者信息示意圖Fig.9 Schematic diagram of motorcycle rider information

使用深度網絡對NPH模型進行分類，既要對每一類別駕乘者的位置做區分又要辨別出其對應位置的頭盔是否佩戴。對該模型分類進行類似于one-hot編碼，構建5+5位節點編碼的標簽向量，定義下式：

式中，yi為標簽值，取值為0和1。如圖10所示，第一個5位節點編碼表示駕乘者的位置，若有取值為1，反之為0，第二個5位節點編碼表示對應駕乘者位置是否佩戴頭盔，佩戴取值為1，未佩戴為0。通過對NPH模型的分析，將36種類別分類轉化為10個二分類問題，緩解了數據中類別不平衡問題。

圖10 NPH模型分類編碼示意圖Fig.10 Schematic diagram of classification and coding of NPH model

1.2.3 MTL框架搭建

為節省網絡訓練的時間，提高檢測系統的檢測速度，采用類似于Siamese[22]構建多任務學習框架，在深度模型權重共享的前提下，實現多個目標任務的學習。網絡模型的主體使用MobileNetXt[23]替換DeepSORT中的重識別網絡結構，保證了能實現分類任務同時，也使得整體檢測系統的大小和速度維持在一定范圍。將其后端平均池化層替換為全局平局池化層，以適應相似度學習。MTL框架如圖11所示，MTL網絡結構以雙倍通道的方式將大小為192×192兩張圖片同時輸入網絡中，使用MobileNetXt網絡進行特征提取，生成高維的特征向量，并經過GAP層，在新的空間中最終映射出離，得到相似度值y3，如下式所示：

圖11 MTL框架示意圖Fig.11 Schematic diagram of MTL framework

式中，x(A)、x(B)分別表示輸入圖片塊A、B，?(x(A);θ)、?(x(B);θ)表示的是A、B的1 280維特征向量，D(x(A),x(B))即為所求的相似度值。模型所映射出的1 280維特征向量，再經過1×1的卷積得到NPH分類信息的輸出值y1和y2，即10個由0或1組成的類別值。

1.2.4 多任務學習的迭代優化

相似度學習輸出值的優化：采用孿生網絡中較為經典的對比損失（contrastive loss）函數，如式（8）所示。引入兩個損失函數分界閾值λ1、λ2，通過比對兩張圖片的ID號來決定兩者的歐式距離D(x(A),x(B))的大小，若相同那么兩者的歐式距離D(x(A),x(B))應盡量得小，反之，則盡可能得大。根據實際需求將λ1、λ2的閾值分別設置為0.8、1.5，以此進行該任務的優化學習，如下式所示：

式中，S表示圖片塊A、B來自于同一個物體，D表示圖片塊A、B屬于不同物體。

NPH分類信息的輸出值的優化，采用交叉熵損失（cross-entropy loss）函數進行優化，其如式（9）中所示。根據NPH模型編碼規則，式中的n=10，那么對模型損失函數計算時這個10編碼點都需計算，這樣并不能提升分類精度反而增加了網絡模型反方向傳播的計算量。

因此，將10個編碼點分為兩類，則n=5。損失函數也分為兩部分，第一部分為駕乘者編碼位置的損失計算，第二部分為對應頭盔佩戴的損失計算，該部分由yi決定頭盔佩戴損失是否參與計算。

其中，LA和LB分別為y1、y2的優化損失函數，yi和pi分別為真實的駕乘者位置編碼值和模型預測值，yi+n和pi+n分別為真實的駕車者頭盔佩戴的編碼值和模型預測的編碼值。

綜合式（8）和式（10），即可得MTL框架總的損失函數，如式（11）所示，式中β為各部分損失函數的權重系數：

2 實驗與分析

本文基于優化后的DeepSORT算法提出了三個主要步驟：摩托車定位、追蹤以及NPH分類。追蹤檢測流程如圖12所示，首先使用改進YOLOv3算法實現對道路中行駛的摩托車進行定位，再使用卡爾曼濾波對目標定位框進行跟蹤預測。當目標框與預測框連續3次匹配成功時，對該目標框所屬區域圖片塊按照NPH方式進行分類，同時使用優化后的匈牙利算法對跟蹤框進行ID分配，具體的算法實現流程如下所示，對提出的算法進行跟蹤與分類實驗分析。

圖12 檢測流程示意圖Fig.12 Schematic diagram of detection process

輸入：像素值為M×N的圖片P，連續追蹤命中次數hit_count=0，多任務框架MTL：（1）MTL_1為NPH分類網絡；（2）MTL_2為相似度判定網絡，追蹤框編號T={1,2,…,N}，目標檢測器檢測目標編號D={1,2,…,M}，kf為卡爾曼濾波。

1.cap=cv2.videoCapture(0/path)#使用Opencv開啟相機記錄視頻流或讀取視頻

2.ret,P=cap.read()#從視頻中獲取圖像P

3.whileretdo #持續對獲取圖像進行處理

4.for 0 to 2 do #連續3次實現目標框與跟蹤框的匹配

5.D←P#目標檢測器獲取目標框

6.T←kf(D)#卡爾曼濾波實現對目標框的預測

7.forbiinDdo #對目標框進行遍歷

8.fortiinTdo #對預測框進行遍歷

9.ifiou(bi,ti)≥閾值then #判斷預測框與目標框十分匹配

10.hit_count←hit_count+1 #匹配成功則記錄一次

11.end for

12.ifhit_count=3 then

13.實現NPH分類←MTL_1(bi)#MTL實現對匹配成功的圖片進行分類預測

14.hit_count←0

15.end for

16.end for

17.級聯匹配（其中使用MTL_2進行相似度判定）#基于匈牙利算法實現跟蹤框ID分配

18.end

2.1 實驗準備

實驗環境：使用16 GB內存、Intel?Core?i7-10870H CPU@2.21 GHz和NVIDIA GeForce RTX 3060顯卡配置的電腦與深度學習框架Pytorch進行模型的搭建和訓練。

數據集與參數設定：目標檢測部分使用OSF網站中開源的HELMET數據集，共包含91 000張圖片，選用其中的63 600張作為訓練圖片和18 200張為測試集圖片。模型訓練時采用Adam作為訓練過程中的優化器，其中的一階矩估計指數衰減率β1和二階矩估計指數衰減率β2分別使用默認值為0.9、0.999。訓練學習率由0.001降至0.000 1，batch size設為16，每次輸入的圖片大小為1 920×1 080像素，訓練了26個epoch。MTL框架使用MTL數據集進行訓練，采用Adam優化器，batch size為32，學習率為由0.000 5降至0.000 01，總共訓練了10個epoch。DeepSORT算法中超參數分別設置為：非極大值重疊率設置為0.5，最大的歐式距離設置為1.4，軌跡刪除的最大幀數設置為20。

2.2 評價指標

目標檢測算法使用平均精度AP（IOU=0.5）、模型參數量、模型大小以及檢測速度四個指標對檢測效果進行評價。本文選用3個指標作為多目標跟蹤效果評價指標：多目標跟蹤準確率（multiple object tracking accuracy，MOTA）、多目標跟蹤精度（multiple object tracking precision，MOTP）和每秒處理圖片的幀數FPS。

2.3 結果與分析

2.3.1 目標檢測網絡loss可視化分析

原始算法和改進算法在訓練過程loss曲線可視化，如圖13所示。圖中（a）和（b）分別為YOLOv3和ML-YOLOv3-DSCFEM訓練過程中的loss變化曲線。

由圖13可知，原始算法的起始loss值遠大于改進算法，主要原因為原始YOLOv3算法網絡結構復雜、參數量較大。而ML-YOLOv3-DSCFEM與YOLOv3算法的loss收斂值分別為9.178、11.503，可定性出改進模型收斂速度更快，loss值更低。并且通過圖14網絡AP曲線圖可知，改進網絡有著更好的檢測精度，此性能的提升得益于特征骨干提取網絡的優化以及特征提取程度的增強等方面的改進。

圖13 Loss變化曲線Fig.13 Loss change curve

圖14 改進網絡AP曲線Fig.14 Improved network AP curve

2.3.2 目標檢測網絡的消融實驗和對比實驗分析

改進YOLOv3算法消融實驗結果如表2所示。在對YOLOv3網絡結構和特征提取等方面進行改進優化后，根據特定檢測任務重新使用k-means算法確定出更合理的先驗框（anchor），分別為（57，108），（76，135），（98，175），（121，150），（133，225），（178，200），（205，295），（293，370），（444，440）。

表2 改進YOLOv3模型在頭盔數據集上的消融實驗結果Table 2 Ablation experiment results of improved YOLOv3 model on helmet dataset

由表2可知，相比原始YOLOv3算法，ML-YOLOv3-DSCFEM的檢測精度達到88.27%提升了4.65個百分點，模型大小僅為原始模型的13.7%，參數量減少了86.17%，在GPU和CPU中的檢測速度分別提升了2.65倍和3.67倍。改進的模型不僅各個性能指標都有提高，也滿足了檢測速度實時性的要求。

對改進模型性能的進一步驗證，選用二階段檢測算法Faster R-CNN、一階段檢測算法SSD、ResNet50、RetinaNet、YOLOv3-tiny以及YOLOv3與其進行對比，實驗結果如表3所示。改進算法的檢測精度最高，模型最小僅為33 MB，遠小于所對比模型，同時檢測速度也遠高于同類型模型，相比ResNet50，本文算法降低了一部分運算速度，但檢測精度大有提升，仍能夠最大程度上滿足實時性的檢測要求。

表3 摩托車檢測的各類算法對比Table 3 Comparison of various algorithms for motorcycle detection

2.3.3 YOLOv3算法改進前后的目標檢測效果可視化

圖15展示了YOLOv3算法和本文優化YOLOv3算法在HELMET的測試數據上對摩托車檢測結果的可視化。從測試集1.8萬張圖片中隨機選取3張圖片作為對比，圖中第一列為原始圖片，第二列為YOLOv3檢測結果，第三列為本文所改進YOLOv3檢測結果。圖中第二行原始YOLOv3存在對景深較大的物體漏檢，第三行改進算法能夠很好區別出摩托車是否存在駕乘者和對景深較大目標的正確檢測。一方面引入的骨干網絡有著更好的特征提取效果，提升了檢測精度。另一方面構建的深淺語義融合增強模塊增強了特征融合，其中通過對CEM模塊進行改進并引入SPP模塊，同時對SPP模塊也進行了改進，由此擴大了模型的感受野。利用具有通道注意力機制的SE模塊促進了淺層信息與深層信息的融合，最終提高了模型對小目標的特征鑒別能力。從可視化圖中可定性出改進算法有著更好的檢測精度。

圖15 測試集摩托車檢測效果可視化圖Fig.15 Visualization of motorcycle detection effect in test set

2.3.4 MTL框架的訓練結果分析

（1）MTL框架對NPH模型的分類精度分析：在驗證集上進行準確率測試，分類精度的變化曲線如圖16所示。隨著模型的不斷優化學習，準確率不斷上升，在第10個epoch時趨于穩定，檢測精度為82.04%。驗證表明，綜合考慮駕乘者位置、數量以及頭盔佩戴情況下，模型仍能夠保證較高的準確率。

圖16 NPH模型訓練過程驗證集上分類精度的變化圖Fig.16 Changes in classification accuracy on validation set during training process of NPH model

（2）相似度學習結果分析：相似度區分性能使用ROC（receiver operation characteristic）曲線來評價該相似度學習的區分性能。ROC曲線形成是通過閾值的不斷變化，隨之改變正確正樣本率（true positive rate，TPR）和錯誤正樣本率（false positive rate，FPR）。由表4可知，閾值的增加，TPR不斷增加，當閾值設置為1.4時，深度網絡能夠實現對所有正樣本的正確判斷。圖17為通過表3中的閾值變化所繪制的ROC曲線，最終求得反映模型區分性能的ROC曲線的面積AUC（area under the ROC curve）為0.958。

表4 歐式距離閾值對ROC值影響Table 4 Influence of Euclidean distance threshold on ROC value

圖17 ROC曲線圖Fig.17 ROC curve

2.4 多目跟蹤結果分析

為進一步驗證改進算法在摩托車多目標跟蹤方面的表現，將本文算法的追蹤效果與YOLOv3-DeepSORT算法做了對比，結果如表5所示。相較YOLOv3-DeepSORT算法，本文算法在多目標跟蹤準確率提升了15.9個百分點，達到67.5%。在多目標跟蹤精度上提高了18.3個百分點，達到75.6%。視頻處理速度也由6 FPS提升到20 FPS。

表5 本文方法與YOLOv3-DeepSORT的實驗結果對比Table 5 Comparison of experimental results between this method and YOLOv3-DeepSORT

本文改進優化后的YOLOv3-DeepSORT算法，在復雜交通場景和遮擋交通場景下多目標追蹤結果分別如圖18和19所示。圖中左上角的編號為對應的視頻幀數，白色框為目標檢測框，其余色彩框為跟蹤器進行數據關聯后的結果框。

圖18中所測試的道路交通場景較為復雜，視頻中包含人橫穿馬路、汽車行駛以及大量的摩托車行駛等情況。從第62幀和72幀圖片可以看出，在摩托車外觀信息不斷變化的場景下，預測框仍然能夠和檢測框進行穩定的關聯并且避免ID切換。說明改進的追蹤算法在復雜多變的環境中能達到良好的跟蹤效果。

圖18 復雜交通場景可視化Fig.18 Visualization of complex traffic scene

圖19中為對摩托車行駛時易發生遮擋情況的跟蹤結果。在第3幀圖中，ID為13號的目標在第13幀中仍能被重新識別為ID為13號的目標，說明改進的追蹤算法具有一定的抗遮擋性。

圖19 遮擋交通場景可視化Fig.19 Visualization of occluded traffic scenes

3 結語

（1）引入MobileNet-Large模型替換YOLOv3的主干網絡，在此基礎上，采用CEM模塊思想，結合SoftPool池化層和SE模塊，設計出深淺語義融合增強模塊，搭建ML-YOLOv3-DSCFEM目標檢測網絡。在多任務學習MTL框架下對DeepSORT算法中外觀特征識別模型進行優化，實現對NPH模型的分類。提出一種基于多任務學習的ML-YOLOv3-DSCFEM摩托車頭盔多目標跟蹤算法。

（2）改進的YOLOv3網絡精度提升了4.56個百分點，達到了88.27%，模型大小縮小到13.7%。改進與優化后的YOLOv3-DeepSORT算法多目標跟蹤準確率提高到67.5%，多目標跟蹤精度提升到75.6%。檢測追蹤速度由6 FPS提升到了20 FPS，最終對NPH模型分類精度達到72.42%。本文所提出的改進算法，能夠對實際道路中摩托車駕乘者進行實時跟蹤并檢測出相應的駕乘者數量、位置和頭盔佩戴等3個重要的道路行駛安全信息，具有較強的實用價值。

（3）本研究主要使用的數據集為開源數據集，采集過程中使用相機高度和角度變化較為單一，通過該方式訓練出的網絡目標檢測魯棒性會有所下降，也將影響后續的目標跟蹤。在后續工作中，將會采集更多不同角度條件下的視頻流并制作出相應的數據集，以提升網絡的性能。