基于YOLOv4算法的集裝箱破損檢測方法

馬林 朱昌明 周日貴

摘要：針對港口集裝箱破損檢測的算法較少，并且存在檢測速度慢、檢測精度低的問題，本文提出一種基于改進的YOLOv4卷積神經網絡的集裝箱破損檢測方法。通過改進的K均值聚類算法獲取集裝箱數據集的錨點框，結合焦點分類損失函數，減少易分類樣本的損失;引入α平衡因子調節正負樣本的不均衡，使檢測結果更加精確。實驗結果表明，改進后的YOLOv4算法比目前流行的算法在明顯破損檢測及小目標破損檢測上具有更好的效果，且不會明顯增加檢測時間，在集裝箱破損檢測等方面具有較高的實用價值。

關鍵詞： 港口應用; YOLOv4; K均值聚類; 焦點分類損失函數; 破損檢測

中圖分類號： TP391.41 ? ?文獻標志碼： A

Abstract： There are few algorithms for port container damage detection， and there are problems of slow detection speed and low detection accuracy. Aimed at the problems， an improved YOLOv4 convolutional neural network is proposed for container damage detection. The anchor frame of the container dataset is obtained by an improved K-means clustering algorithm， and the focus classification loss function is combined to reduce the loss of easily classification samples. The α balance factor is introduced to adjust the imbalance between positive and negative samples， which makes the detection results more accurate. The experimental results show that， compared with the current popular algorithm， the improved YOLOv4 algorithm is of better effect on obvious damage detection and small target damage detection， and the detection time does not significantly increase， so it has a higher practical value in container damage detection.

Key words： port application; YOlOv4; K-means clustering; focus classification loss function; damage detection

0 引 言

隨著全球經濟一體化發展，越來越多的國際貿易貨物需經由港口運輸，港口作業的高效和安全變得越來越重要，而集裝箱的智能化管理是影響港口作業效率的主要因素之一。為此，一些學者提出了箱號識別，如：WANG等[1]采用一種基于深度學習的目標檢測算法Faster-RCNN對集裝箱箱號進行檢測識別;BU等[2]采用改進的區域生成網絡實現箱號檢測，再通過CNN對目標字符進行識別;馬欣欣等[3]將傳統的加權模板算法應用到集裝箱檢測上。針對破損檢測方面的研究，江南等[4]對單個絕緣子利用圖像處理技術進行定位檢測，楊鵬等[5]結合信息熵與低秩張量之間的差熵檢測破損區域。這些利用傳統機器學習檢測破損區域的方法有2個缺點：（1）無法達到實時檢測;（2）對復雜的自然場景的檢測準確率低。對比傳統學習方法，當前深度學習算法有更好的目標檢測效果。2017年，LIN等[6]提出焦點分類損失函數，解決了目標檢測中正負樣本不均衡的問題。本文基于已有的研究，結合集裝箱數據集和箱頂洞破損特征，采用YOLOv4[7]算法和焦點分類損失函數調整檢測類別的目標權重，使模型更注重對明顯破損區域和劃痕或小孔等區域的檢測;使用K均值聚類[8]生成集裝箱數據集的錨點框，提高檢測準確性。最后，通過實驗結果證明，本文方法可以同時提高集裝箱破損檢測的平均精度和速度。

1 YOLOv4算法

1.1 YOLOv4算法原理

YOLOv4[7]算法以YOLOv3算法為基礎，在特征提取網絡的修改、網絡訓練方法、激活函數運用、損失函數的改進以及數據預處理等各方面做出改進。該算法主要由特征提取層、特征融合層和預測層3個部分組成，具體結構見圖1。

圖1中，CBM塊為卷積層、歸一化和Mish激活函數的結合;CBL塊為卷積層、歸一化和Leaky激活函數的結合;Res為兩個CBM塊加上跳層連接組合;SPP是空間特征金字塔池化，由3個池化層組成。

1.2 YOLOv4算法核心

YOLO網絡是一種基于深度學習的單階段目標檢測算法，具有較快的檢測速度，在實際應用中也取得了較好的效果。YOLO網絡將輸入的圖片劃分為大小為N×N的網格，當破損區域落入某個網格中時，由該網絡負責檢測目標[9]。與其他單階段算法相比，YOLO能夠更加有效地檢測不同尺度的目標區域，同時YOLO在速度性能上表現突出，可以滿足港口集裝箱破損檢測的需求。

YOLOv4[7]的網絡結構比YOLOv3的更復雜，它主要是在YOLOv3的基礎上進行了以下改進：

（1）輸入端。對輸入圖像數據進行Mosaic數據增強，通過分別對4張圖片進行翻轉、縮放、色域改變等，并且按照4個方向位置擺好，進行圖像的組合，極大地豐富了檢測物體背景。

（2）主干特征提取網絡。在每個Darknet53中添加CSP模塊[10]，并且在主干網絡中使用Mish激活函數，同時使用Dropblock正則化方式隨機刪除神經元，防止過擬合。

（3）特征融合模塊。在特征提取網絡與最后的輸出層之間添加SPP[11]模塊和PANet[12]模塊，使網絡進行多尺度特征信息融合。

（4）預測模塊。在3個不同尺度的特征圖上分別對大、中和小目標進行檢測預測，在特征圖上應用錨點框，并生成帶有類概率、對象得分和包圍框的最終輸出向量[6]。

2 YOLOv4網絡模型改進

2.1 錨點框更新

錨點框的大小對于YOLOv4網絡十分重要，若初始邊界框參數更接近真實邊界框，則模型收斂速度會更快，并且預測邊界會更加貼合真實邊界框。

YOLOv4算法在訓練前可通過K均值聚類算法對相應標注集中的邊界框寬、高進行聚類，以獲得初始邊界框尺寸。由于在標準K均值聚類算法中用歐氏距離度量兩點間的距離，較大邊界框的尺寸誤差比較小邊界框的大。為提高檢測準確率，對K均值聚類算法進行優化。根據交并比的重疊度選取更適合的錨點框，采用如下距離公式[13]使邊界框交并比的大小與邊界框尺寸無關。

為驗證引入焦點分類損失函數的有效性，將原網絡結構與本文設計的網絡結構進行對比。其中焦點分類損失函數參數γ=2，α1、α2、α3分別設置為1、2、2。這里針對不同類別設置權重，可以使模型更加注重檢測明顯破損區域、小目標（劃痕或小孔）。由表3可知，本文設計的網絡結構比YOLOv3在槽、明顯破損區域的檢測精度上都有明顯提升，明顯破損區域的檢測平均精度由35.29%上升到73.46%，小目標的檢測平均精度則由22.60%上升到31.57%。本文設計的網絡結構比YOLOv4在檢測明顯破損區域和小目標上也有明顯的提升。另外，本文改進的算法比原算法在平均精度均值上提升了6.46%，這表示改進后的算法減少了小目標的漏檢、誤檢等情況，提高了算法性能。

運行時間增加是因為檢測到了更多的目標。對小目標檢測的平均精度不太高是因為數據集是人工標注的，可能存在對小目標區域漏標、多標等情況。另外，對于劃痕或小孔等小目標的檢測，自然場景數據集會產生許多的干擾，如集裝箱上的黑漆、銹跡、水漬、光照等[19-20]。

為驗證本文算法的有效性，表3展示幾個比較有名的算法的性能比較，其中：SSD512[15]采用不同的卷積對不同特征圖進行檢測;Efficientdet-d0、Efficientdet-d1[21]具有可擴展體系結構，其主要利用反復自上向下和自下向上的特征融合，將特征進行回歸和分類。

由表3可知，本文算法具有最優的表現。圖2展示的是算法改進前后目標檢測的效果圖，其中：藍色框表示槽（類別1）的部分;黃色框表示明顯破損部分（類別2）;紅色框是劃痕或小孔部分（類別3）;各個框的上方是對預測類別的置信度得分。由圖2可見，本文算法對集裝箱破損檢測的效果很好。

4 總結和未來工作

港口集裝箱破損智能化檢測將是大勢所趨，故本文針對集裝箱破損檢測設計了一種改進的YOLOv4算法。首先采用優化的K均值聚類算法獲得特定數據集合適的錨點框，接著對小目標分類損失函數權重進行修改，使正負樣本不平衡問題得到充分緩解。經測試發現，本文算法比目前流行的算法在明顯破損區域和小目標（劃痕或小孔）檢測方面具有較好的檢測效果，比未改進YOLOv4算法的平均精度均值提升了10%左右，其中對明顯破損區域和小目標的檢測平均精度分別上升了10.57%和13.53%。

本文以YOLOv4算法作為主要網絡架構，主要貢獻如下：（1）針對在集裝箱破損檢測中對明顯破損區域和小目標定位不準確問題，通過對數據集進行聚類處理，獲取更準確的錨點框。（2）對分類損失函數進行修改，使集裝箱破損正負樣本不均衡問題得到緩解，提高了檢測效果。

未來集裝箱破損檢測研究可以關注以下問題：（1）針對數據集標注問題、小目標檢測平均精度低的問題，劃分更規范的標注標準，減少檢測錯誤和誤檢測。（2）減少光照、雨水等對圖像的干擾。

參考文獻：

[1] WANG Zhiming， WANG Wuxi， XING Yuxiang. Automatic container code recognition via Faster-RCNN[C]//International Conference on Control， Automation and Robotics （ICCAR）. 2019： 870-874. DOI： 10.1109 / ICCAR.2019.8813401.

[2] BU Wanghui， YAN Shuang， CHEN Jing， et al. Visual recognition of container number with arbitrary orientations based on deep convolutional neural network[C]//2018 10th International Conference on Intelligent Human-Machine Systems and Cybernetics. IEEE， 2018： 204-207. DOI： 10.1109/IHMSC.2018.10153.

[3] 馬欣欣， 李小平. 集裝箱箱號字符識別關鍵技術的研究[J]. 現代電子技術， 2019， 42（14）： 131-134， 139. DOI： 10.16652/j.issn.1004-373x.2019.14.030.

[4] 江南， 李怡然， 黃毅標， 等. 基于絕緣子的高空電線桿損壞檢測技術[J]. 機械設計與制造工程， 2019， 48（3）： 107-111. DOI： 10.3969/j.issn.2095-509X.2019.03.025.

[5] 楊鵬， 劉德兒， 李瑞雪， 等. 結合信息熵與低秩張量分析的金屬零件破損檢測[J]. 激光與光電子學進展， 2019， 56（21）： 64-71. DOI： 10.3788/LOP56.211006.

[6] LIN T Y， GOYAL P， GIRSHICK R， et al. Focal loss for dense object detection[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2020， 42（2）： 318-327. DOI： 10.1109/TPAMI.2018.2858826.

[7] BOCHKOVSKIY A， WANG C Y， LIAO H Y M. YOLOv4： optimal speed and accuracy of object detection[EB/OL]. arXiv： 2004.10934[cs.CV]. https：//arxiv.org/abs/2004.10934v1.

[8] 王菲菲， 李秦， 張夢佳. k-means聚類算法的改進研究[J]. 甘肅科技縱橫， 2017， 46（3）： 68-70. DOI： 10.3969/j.issn.1672-6375.2017.03.021.

[9] 陳正斌， 葉東毅， 朱彩霞， 等. 基于改進YOLOv3的目標識別方法[J]. 計算機系統應用， 2020， 29（1）： 49-58. DOI： 10.15888/j.cnki.csa.007230.

[10] WANG C Y， LIAO H Y M， YEH I H， et al. CSPNet： a new backbone that can enhance learning capability of CNN[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. IEEE， 2020： 1571-1580. DOI： 10.1109/CVPRW50498.2020.00203.

[11] PURKAIT P， ZHAO Cheng， ZACH C. SPP-net： deep absolute pose regression with synthetic views[EB/OL]. arXiv：1712.03452[cs.CV]. https：//arxiv.org/abs/1712.03452v1.

[12] WANG Xiaolan， WANG Shuo， CAO Jiaqi， et al. Data-driven based tiny-YOLOv3 method for front vehicle detection inducing SPP-net[J]. IEEE Access， 2020， 8： 110227-110236. DOI： 10.1109/ACCESS.2020.3001279.

[13] LIU Shu， QI Lu， QIN Haifang， et al. Path aggregation network for instance segmentation[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. IEEE， 2018： 8759-8768. DOI： 10.1109/CVPR.2018.00913.

[14] 黃鳳榮， 李楊， 郭蘭申， 等. 基于Faster R-CNN的零件表面缺陷檢測算法[J]. 計算機輔助設計與圖形學學報， 2020， 32（6）： 883-893. DOI： 10.3724/SP.J.1089.2020.17981.

[15] LIU Wei， ANGUELOV D， ERHAN D， et al. SSD： single shot multibox detector[C]//Computer Vision–ECCV 2016. Lecture Notes in Computer Science， 2016， 9905： 21-37. DOI： 10.1007/978-3-319-46448-0_2.

[16] LI Ye， SHI Fangye， HOU Shaoqi， et al. Feature pyramid attention model and multi-label focal loss for pedestrian attribute recognition[J]. IEEE Access， 2020， 8： 164570-164579. DOI： 10.1109/ACCESS.2020.3010435.

[17] ZHU Qinfeng， ZHENG Huifeng， WANG Yuebing， et al. Study on the evaluation method of sound phase cloud maps based on an improved YOLOv4 algorithm[J]. Sensors， 2020， 20（15）： 4314. DOI： 10.3390/s20154314.

[18] LIN T Y， MAIRE M， BELONGIE S， et al. Microsoft COCO： common objects in context[C]//Computer Vision–ECCV 2014. Lecture Notes in Computer Science， 2014， 8693： 740-755. DOI： 10.1007/978-3-319-10602-1_48.

[19] 任海鵬， 馬展峰. 基于復雜網絡特性的帶鋼表面缺陷識別[J]. 自動化學報， 2011， 37（11）： 1407-1412. DOI： 10.3724/SP.J.1004.2011.01407.

[20] 徐志剛， 車艷麗， 李金龍， 等. 路面破損圖像自動處理技術研究進展[J]. 交通運輸工程學報， 2019， 19（1）： 176-194.

[21] TAN Mingxing， PANG Ruoming， LE Q V. EfficientDet： scalable and efficient object detection[C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition. IEEE， 2020： 10778-10787. DOI： 10.1109/CVPR42600.2020.01079.

（編輯 賈裙平）