基于TBD策略的船舶交通流視覺圖像統計方法

關克平 韓笑 蔣宇

摘要：為提高在天氣惡劣、目標密集、目標被遮擋及其他復雜海況下船舶交通流統計的準確率，提出一種將目標檢測算法CenterNet、多目標跟蹤算法DeepSORT與凸包算法中優化逆時針（counter clockwise，CCW）判斷的單線法相結合的船舶交通流視覺圖像統計方法。使用Python對所選的數據和場景進行測試，結果表明：CenterNet在多場景檢測中比YOLOv3更優秀;基于目標檢測的多目標跟蹤算法具有良好實時性，能夠有效對抗因目標抖動、密集、被遮擋等所導致的目標丟失，繼而減少船舶交通流統計時常出現的漏檢、錯檢和重復統計等問題。

關鍵詞：

CenterNet; DeepSORT; 凸包檢測; 船舶交通流統計; 目標檢測

中圖分類號：? U692

文獻標志碼：? A

A visual image statistics method for ship traffic flow

based on TBD strategy

GUAN Keping， HAN Xiao， JIANG Yu

（

Merchant Marine College， Shanghai Maritime University， Shanghai 201306， China）

Abstract：

In order to improve the accuracy of ship traffic flow statistics under severe weather， dense targets， occluded targets and other complex sea conditions， a visual image statistics method for ship traffic flow is proposed， where the target detection algorithm CenterNet and the multi-target tracking algorithm DeepSORT are combined with the single-line method for the counter clockwise （CCW） judgment optimization in the convex hull algorithm. Python is adopted to test the selected data and scenes. The results show that： CenterNet is better than YOLOv3 in the multi-scene detection; the multi-target tracking algorithm based on target detection is of good real-time performance， and can effectively combat target loss caused by? target jitter， density and occlusion，

etc.， and then reduce the problems such as missed detection， false detection， and repeated statistics in traffic flow statistics.

Key words：

CenterNet; DeepSORT; convex hull detection; ship traffic flow statistics; target detection

收稿日期： 2020-08-23

修回日期： 2021-03-09

基金項目：

國家自然科學基金（51909155）

作者簡介：

關克平（1978—），男，福建寧德人，副教授，碩士，研究方向為航海仿真技術，（E-mail）kpguan@shmtu.edu.cn

0 引 言

隨著近年來水路運輸業的發展，水上交通狀況逐漸變得復雜。交通管理人員全面掌握船舶航行動態、及時統計船舶交通流，可降低航運事故的發生概率，減少事故損失。目前使用最廣泛的船舶交通流統計方法是基于船舶自動識別系統[1-3]（automatic identification system，AIS）的統計方法，如KIM等[4]利用背景估計實現船舶檢測并配合AIS實現了相關船舶信息匹配。

由于視頻能提供很多實時圖像細節，有學者提出一種基于虛擬線圈的船舶交通流檢測系統。CHEN等[5]在此基礎上增加了核化相關濾波器（kernelized correlation filter，KCF）算法對船舶進行跟蹤，較好地解決了漏檢和重復計數的問題。ZOU等[6]用深度學習SSD（single shot multibox detector）算法進行船舶交通流統計，可快速檢測出船舶，但該方法存在重復計數的問題。由于水上交通環境比陸上交通環境復雜，進行長期、穩健的船舶跟蹤非常具有挑戰性[7]。近年來，有學者將YOLOv2[8]和YOLOv3[9]算法應用到船舶交通流統計中，解決漏檢和重復計數等問題，但對于目標距離遠或能見度低等情況，這兩種算法處理效果并不理想。

針對以上問題，本文提出一種將目標檢測算法CenterNet、多目標跟蹤算法DeepSORT和凸包算法中優化逆時針（counter clockwise，CCW）判斷的單線法相結合的方法，實現對船舶交通流的精確統計。其中：CenterNet負責對目標進行分類和定位;DeepSORT負責對目標檢測后的視頻序列中多個感興趣的目標軌跡進行跟蹤并提取，再通過時域關聯分配跟蹤識別碼，解算目標的運動軌跡信息;凸包算法中優化CCW判斷的單線法負責完成船舶數量統計。該統計方法幾乎不占用計算資源，高效、可靠且兼容不同斜率線段的部署。通過以上3種算法的結合，可有效改善傳統船舶交通流統計中出現的漏檢、錯檢和重復計數等問題。

1 船舶檢測與跟蹤

1.1 CenterNet

CenterNet是無錨框類檢測網絡，在一定程度上借鑒了CornerNet[10]的整體框架和損失函數，并對其進行了改進，實現了檢測速度與檢測精度的權衡。其基本思想是：構建模型時，將對象視為由其中心而非邊界框表示的點，通過關鍵點估計找到中心點，并回歸其他屬性（如邊界框寬度和高度）來生成預測框。通過引用熱力圖構建CenterNet模型，根據預測點的高斯分布區域計算真實預測值。偏置預測被用來表示標注信息從輸入圖像被映射到輸出特征圖時由取整操作所導致的坐標誤差。CenterNet的網絡框架如圖1所示，其中檢測過程分為2個階段：下采樣階段和中心點生成階段。在下采樣階段，執行全卷積網絡DLA-34或Resnet-18、Hourglass-104等對圖像進行下采樣，同時提取圖像特征，獲得低4倍的特征圖。基于下采樣得到的特征圖生成目標中心點。在中心點生成階段，使用3個分支網絡（熱圖生成分支網絡、中心偏移回歸分支網絡和目標邊界框尺寸回歸分支網絡）預測目標邊界框。

1.2 DeepSORT

多目標跟蹤是對視頻序列中多個感興趣的目標軌跡進行跟蹤并提取，并通過時域關聯分配跟蹤識別碼，解算目標的運動軌跡信息。當前主流的多目標跟蹤算法[11]可分為2類：（1）基于相關濾波的多目標跟蹤算法。其代表為基于KCF的多目標跟蹤算法[12-13]，它使用多線程完成多個單目標跟蹤。算法對第一幀圖像進行采樣，由目標區域形成循環矩陣，通過快速傅里葉變換轉換到頻域進行求解，可降低時間復雜度;引入嶺回歸和核技巧，可有效提高跟蹤速度和精度。（2）DeepSORT。它是基于SORT的改進算法[14]，其優點是可以在整個視頻中跟蹤隨時出現的新目標，但前提是要有一個好的目標檢測算法。本文就是在DeepSORT前用CenterNet檢測出目標，從而實現基于目標檢測的多目標跟蹤。

DeepSORT分別使用馬氏距離和余弦距離作為運動特征和檢測框內深度特征的相似度度量標準，再通過對兩種相似度加權平均得到總體相似度來進行最近鄰匹配，通過遞歸卡爾曼濾波和級聯匹配逐幀優先匹配出近期活躍度較高的目標，以提高目標追蹤的魯棒性。

2 船舶交通流統計方法

2.1 優化CCW判斷的單線法

一般航道內呈現2種交通流向，即駛出流向和駛入流向，見圖2a。船舶交通流統計中存在的問題有：船舶（如觀光船、執法船等）重復往返造成重復計數;由各方面因素（如角度變化、涌動等）引起的特征變化使得檢測框發生抖動;水上交通監控通常采用遠距離攝影，這使得船舶在整個視頻畫面中移動較少。其中船舶反復跨越檢測線導致重復計數的問題尤為明顯，見圖2b。

基于上述情況和多種交通流統計方法（虛擬線框法、雙線法和目標鏈法等）的測試結果，采用凸包算法中優化CCW判斷的單線法完成船舶數量統計。

優化CCW判斷的單線法可用來判斷點線間的位置關系，本文對該方法進行改進后用來判斷船舶實時軌跡與檢測線相交的情況。該方法計數觸發機制為：已知近期某時刻歷史軌跡點A、當前軌跡點B和虛擬檢測線端點C、D，若點A、B分別位于檢測線CD的兩邊，分別在順時針和逆時針方向分布，則線段AB與CD相交，可視作船舶正跨越檢測線，觸發計數，見圖3。

2.2 TBD策略

聯合目標檢測的多目標跟蹤策略[15]，也稱為TBD （tracking-by-detection）策略，是當前業界研究熱點。本文采用的TBD策略為先用CenterNet進行目標檢測，再用DeepSORT進行多目標跟蹤。其實現過程分2步：①用目標檢測算法將每幀圖像中感興趣的目標檢測出來，得到目標的位置坐標、分類和可信度，這里假設檢測到的目標數量為M;②將上一步中檢測到的目標與上一幀中檢測到的目標（假設上一幀中檢測到的目標數量為N）一一關聯起來。換句話說，就是在M×N個配對中找出最相似的一對組合。

實際的智能海事監控系統包含多個子模塊，各子模塊負責不同的任務且相互協調，整個系統實現框架如圖4所示，其中交通流計數模塊處于目標檢測模塊和多目標跟蹤模塊之后，它基于這兩個模塊的處理結果進行交通流計數處理。

3 實驗與結果分析

3.1 模型數據構成

前沿的算法研究都是在通用的COCO等數據集上進行的。由于深度學習模型的訓練依賴大量數據，為使模型具有更大的適用性，算法需要一定規模的優質數據支持。本文研究主要面向內河或沿海水域的真實船舶，數據集以網絡圖片為主要來源，輔以公共船舶數據和上海黃浦江、吳淞口、港區等航拍視頻數據。

3.2 效果對比

為檢測目標檢測算法CenterNet的可靠性，選取部分數據作為測試數據，并選取部分典型場景進行船舶目標檢測，見圖5～8。

與YOLOv3的檢測結果對比可以看出：CenterNet對遠距離小船舶目標的檢測效果較好;平、俯視角檢測框緊實且定位準確;對復雜背景、光照變換和能見度不良等干擾情況魯棒性好;能有效捕捉船舶局部特征，當船舶處于圖片邊緣、進出視覺范圍時檢測框偏大;當船舶過近、被遮擋、密集或中心重疊時偶有漏檢情況。

由不同情況下的檢測結果對比可看出，YOLOv3對相似船型的檢測存在誤檢，而CenterNet對局部特征的檢測效果更好。整體看，CenterNet在多場景檢測中比YOLOv3更優秀，具有更強的定位、分割、

識別等能力，能夠滿足船舶目標檢測的精準要求和實時需求。

3.3 聯調實驗效果對比

本文船舶交通流統計是結合船舶目標檢測算法與多目標跟蹤算法實現的，采用以CenterNet為主的CenterNet-DeepSORT算法，其流程見圖9。

為驗證CenterNet-DeepSORT算法的性能，通過聯調對視頻進行跟蹤效果測試，部分輸出見圖10。

由圖10a和圖10c可以看出：利用CenterNet-DeepSORT算法能夠對密集船舶進行跟蹤;從跟蹤軌跡平滑度可以看出，加入跟蹤后檢測框更加穩定，僅在船舶姿態變化較大時出現抖動。圖10b中散

貨船被錯誤地分類為內河船，圖10d中部分船舶在某些時刻沒有被YOLOv3-DeepSORT算法檢測或跟蹤到，跟蹤算法刪除了跟蹤歷史軌跡信息，并重新分配跟蹤識別碼，這也導致了跟蹤識別碼的翻倍。圖10d與圖10c相比，跟蹤識別碼切換或丟失更嚴重。

實際使用時，虛擬檢測線須布置在大多數船舶都傾向或必須通過區域，結合航道背景設置檢測線與主體交通流方向接近垂直。檢測線實際效果見圖11。

利用CenterNet-DeepSORT算法實現了多目標跟蹤。經過聯調發現，該算法具有良好的實時性，能夠有效對抗檢測抖動、船舶密集或被遮擋所導致的目標丟失，同時能夠判斷不同視頻幀中的船舶是否為同一目標，進而對船舶交通流進行更準確的統計。

實驗中用到的測試數據包括 2 023張圖片，共包含6 423個船舶目標。表1分別給出了基于傳統YOLOv3-DeepSORT算法和CenterNet-DeepSORT算法的船舶交通流統計結果。

由表1可知，CenterNet-DeepSORT算法在多場景檢測中比YOLOv3-DeepSORT算法更優秀，具有更強的定位、分割、識別等能力，船舶交通流統計精度更高。

4 結 論

本文提出的將CenterNet和DeepSORT兩種算法與凸包算法中優化CCW判斷的單線法相結合的船舶交通流視覺圖像統計方法，基于網絡圖片和上海黃浦江、吳淞口、港區等航拍視頻數據進行目標檢測和跟蹤實驗，結果表明： CenterNet-DeepSORT算法能夠滿足目前實際水上交通監控場景的需要，

對多場景檢測的準確性和魯棒性均強于 YOLOv3-

DeepSORT算法。這類算法具有較強的實時性和擴展性，可用于降低海運事故發生概率，減少事故損

失。然而，該方法使用的TBD策略只是加強了目標檢測和跟蹤的準確度，并沒有完全消除復雜海況下

出現的漏檢、錯檢和重復計數的問題。本文采用基于目標檢測的多目標跟蹤算法能夠識別出船舶類型、識別碼和對應船舶運動軌跡，而如何更有效地利用以上信息，進一步提高跟蹤精度有待進一步深入研究。

參考文獻：

[1]何正偉， 劉力榮， 楊帆， 等. 基于AIS 實時數據的航道交通擁堵快速判定方法[J].中國航海， 2018， 41（2）： 113-118.

[2]VESECKY J F， LAWS K E， PADUAN J D. Using HF surface wave radar and the ship automatic identification system （AIS） to monitor coastal vessels[C]∥2009 IEEE International Geoscience and Remote Sensing Symposium. IEEE，2009（3）：761-764.DOI： 10.1109/IGARSS.2009.5417876.

[3]WAWRUCH R. Tests of the accuracy of indications by ARPA and AIS of the opposite vessel true course， true speed and CPA[C]∥2018 19th International Radar Symposium （IRS）.Bonn， Germany： DGON， 2018： 1-10.DOI： 10.23919/IRS.2018.8448220.

[4]KIM H T， PARK J S， YU Y S. Ship detection using background estimation of video and AIS informations[J]. Journal of the Korea Institute of Information and Communication Engineering， 2010， 14（12）： 2636-2641.DOI： 10.6109/jkiice.2010.14.12.2636.

[5]CHEN Xinqiang， XU Xueqian， YANG Yongsheng， et al. Augmented ship tracking under occlusion conditions from maritime surveillance videos[J].IEEE Access， 2020， 8： 42884-42897.DOI： 10.1109/ACCESS.2020.2978054.

[6]ZOU Yiyang， ZHAO Lining， QIN Shanxing. Ship target detection and identification based on SSD_MobilenetV2[C]∥Information Technology and Mechatronics Engineering Conference （ITOEC）.IEEE， 2020： 1676-1680.DOI： 10.1109/ITOEC49 072.2020.9141734.

[7]LI Yang， ZHU Jianke. A scale adaptive kernel correlation filter tracker with feature integration[C]∥European Conference on Computer Vision. Springer， Cham， 2014： 254-265.DOI： 10.1007/978-3-319-16181-518.

[8]REDMON J， FARHADI A. YOLO9000： better， faster， stronger[C]∥2017 IEEE Conference on Computer Vision and Pattern Recognition. IEEE， 2017： 6517-6525.DOI： 10.1109/CVPR.2017.690.

[9]劉博， 王勝正， 趙建森， 等. 基于Darknet網絡和YOLOv3 算法的船舶跟蹤識別[J]. 計算機應用， 2019， 39（6）： 1663-1668.DOI：10.11772/j.issn.1001-9081.2018102190.

[10]LAW H， DENG Jia. CornerNet： detecting objects as paired keypoints[J]. International Journal of Computer Vision， 2020， 128： 642-656.

[11]LEE C， YOO C D. Segment-wise online learning based on greedy algorithm for real-time multi-target tracking[C]∥IEEE International Conference on Image Processing. IEEE， 2015： 872-876.DOI： 10.1109/ICIP.2015.7350924.

[12]HENRIQUES J F， CASEIRO R， MARTINS P， et al. High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（3）： 583-596. DOI： 10.1109/TPAMI.2014.2345390.

[13]WANG Yangping， YONG Jiu， ZHU Zhengping， et al. Augmented reality tracking registration based on improved KCF tracking and ORB feature detection[C]∥International Conference on Information， Communication and Networks.IEEE，2019： 230-233.DOI： 10.1109/ICICN.2019.8834947.

[14]WOJKE N， BEWLEY A， PAULUS D， et al. Simple online and real-time tracking with a deep association metric[C]∥International Conference on Image Processing. IEEE， 2017： 3645-3649.

[15]BI Xin， DU Jinsong， ZHANG Qingshi， et al.Improved multi-target radar TBD algorithm[J]. Journal of Systems Engineering and Electronics， 2015， 26（6）： 1229-1235. DOI： 10.1109/JSEE.2015.00135.

（編輯 趙勉）