基于改進YOLOv3算法的線束端子缺陷檢測方法

摘" 要： 研發了一套基于深度學習的汽車線束缺陷檢測系統。基于YOLOv3改進的Pr-YOLOv3算法來檢測線束端子接插件缺陷，將主干提取網絡替換成ResNet50，提高特征提取能力，減少參數量，吸收多尺度預測方式和特征融合方面的優勢，將主干提取網絡與FPN特征金字塔進行對接，豐富了特征的表達能力。用改進的YOLOv3模型進行訓練，準確率可達98.61%，Recall指數可達98.6%。

關鍵詞： 射線無損檢測； 線束端子缺陷檢測； 卷積神經網絡； YOLOv3

中圖分類號：TP181" " " " " 文獻標識碼：A" " "文章編號：1006-8228（2023）12-29-05

Defect detection method of wire harness terminal based on improved YOLOv3

Cheng Xiaoying1，2， Li Haisheng2， Lv Xubo3

（1. School of Mechanical Engineering， University of Electronic Science and Technology of China， Chengdu， Sichuan 611731， China;

2. School of Mechanical Engineering， Zhejiang Sci-tech University; 3. Zhejiang SIMITEK Auto-Electronics CO.， LTD）

Abstract： A deep-learning based automotive wiring harnesses defect detection system is developed. The Pr-YOLOv3 algorithm based on improved YOLOv3 is used to detect defects in wiring harness terminal connectors， and the backbone extraction network is replaced with ResNet50， which improves the feature extraction capability and reduces the number of parameters. Drawing on the advantages in multi-scale prediction methods and feature fusion， the backbone extraction network is interfaced with the FPN feature pyramid， which enriches the feature expression ability. Trained with the improved YOLOv3 model， the accuracy can reach 98.61% and the Recall index can reach 98.6%.

Key words： radiographic non-destructive testing; wire harness terminal defect detection; convolution neural network; YOLOv3

0 引言

汽車線束[1]是當今中國電子信息產業中發展最快，市場需求量最高，安裝方式最為便捷的產品之一。線束作為汽車的“中樞神經”每一個指令都必須通過線束進行傳達和實現，如今信息化[2]、電子化[3]的高速發展，已經蔓延到傳統汽車領域。然而線束端子[4]壓接過程中的缺陷問題，如壓接不良[5]，開口過大等都會影響線束接插件的裝配和導通。

隨著汽車工業的發展，社會對車燈零部件的質量要求越來越高，而目前大多數企業采用的是人工檢測方法，這很難保證產品的質量及性能。使用深度學習算法的檢測不僅提高了產品的檢測精度和速度，而且減少了人工，滿足企業高自動化和高精度檢測需求。Miao等人開源了一個X光檢測圖像的大規模數據集SIXray。Akcay[6]探討了Fast R-CNN[7]、YOLOv3等深度學習檢測網絡在X光安檢任務中的適用性，性能優異于基于滑動窗口的傳統檢測方法SW-CNN[8]。

本文在之前研究的基礎上先通過X-Ray[9]機器拍攝的線束端子缺陷照片作為神經網絡的訓練集，然后通過改進傳統的YOLOv3模型，并采用訓練集與測試集分開挖的數據集來驗證改進模型的有效性。

1 線束端子缺陷及其數據集

線束端子缺陷在本文中挑出兩類進行檢測，分別是壓接不良和開口過大，如圖1所示。為了增加對比類型，本文中引進了正常壓接和開口閉合兩種類型。端子壓接作為線束中導通和電路閉合承接的載體[1]，在線束中有著很重要的作用，壓接不良這是不允許存在的致命缺陷。

我司檢測過程中為了方便對壓接端子進行評價，按照其對線束的危害程度將壓接不良、正常壓接、開口過大、開口正常這四類命名方式命名，在Labelimg圖片標記中分別是Poorcrimping，Normalcrimping，Distortion，Closing。

本文的數據集來自浙江新寶電器有限公司的X-ray機器，經過初篩之后，每張數據都是1500X1000像素的三通道RGB圖。最終數據集包括Poorcrimping、Normalcrimping、Distortion、Closing分別是600張，600張，450張，450張。

2 YOLOv3神經網絡概況

2.1 網絡主要構成

YOLOv3整體網絡結構由特征提取網絡Darknet-53、特征金字塔（Featurepyramidnetwork，FPN）以及YOLOHead三個框架組成，其中卷積模塊（Convolutional）與殘差模塊（Residual）是其最重要的組成部分，如圖2所示。

⑴ 主干提取網絡

Darknet-53[2]是一個全部由卷積層與殘差塊組成的層級結構，在YOLOv2中，可通過最大池化操作來變換圖像尺寸，而在YOLOv3中，為了降低池化池化帶來的負面梯度效果，直接摒棄了池化層。

2.2 ResNet架構

ResNet通過在淺層網絡上加入一個恒等映射H（X）=X，既可以保證神經網絡達到更深的層數，又可以避免神經網絡的退化。圖2為ResNet的網絡結構。

ResNet網絡結構通過對每層的輸入做恒等映射H（X）=X，如圖5所示。構造殘差函數F（X）=H（X）-X。這種殘差函數能夠保證網絡達到更深的深度，而且其結構也較容易優化。表達式如下：

[F=W2σW1X]" ⑴

研究表明，從DarkNet到ResNet的神經網絡層和模塊均是按順序進行堆疊通過他們的分層精度、可轉移和可視化分析可知，更深層次的神經網絡能夠提取更多語義和全局特征。

3 YOLOv3神經網絡改進方法

本文對YOLOv3的網絡結構進行調整，首先保持FPN與YOLOHead結構不變，然后對于構建FPN的特征提取層進行替換，為了提高YOLOv3的性能，我們將其主干提取網絡由Darknet-53替換為ResNet-50，圖3為ResNet-50各個Stage的具體結構。

ResNet-50是一種深度卷積神經網絡，具有優秀的特征提取能力。我們將其預訓練權重加載到模型中，并將輸出作為YOLOv3網絡的輸入。為了使ResNet-50的輸出與YOLOv3網絡的輸入一致，我們在其輸出后添加了一個卷積層。如圖4為改進的YOLOv3模型。

4 模型性能指標和實驗

4.1 模型性能指標

準確率（Accuracy）是指分類結果中分類正確的端子缺陷數量在所有樣本中所占的比例。精確率P是指正確的預測為為某類線束端子缺陷的樣本除以預測為這一類缺陷的樣本總數。查全率R是指正確的預測為某類缺陷數除以這一類的實際缺陷數量，公式如下：

[Recall =TPTP+FN]" ⑵

4.2 實驗

為了評估YOLOv3和Pr-YOLOv3模型的缺陷檢測性能，我們根據捕獲圖像數量共標記了3180個樣本框，而后將每個缺陷圖片以8：1：1的比例隨機劃分成訓練集，驗證集和測試集。最終四個類別的訓練集，驗證集和測試集分別進行匯總，得到1680張訓練集，210張驗證集，210張測試集，如表1所示為樣本圖片和標注數量的統計。這樣得到訓練集，驗證集和測試集中的數據不會互相重疊，能夠有效地防止模型出現測試效果虛高的假象。

實驗結果表明，YOLOv3-Pr模型的各方面檢測性能優于YOLOv3，mAP值達到了98.61%。與原始YOLOv3模型相比，YOLOv3-pr模型的額mAP提高了一個百分點，且對于單類缺陷檢測結果的AP均能達到90%以上，而且在漏檢方面有很大的提高。在工業應用上對于漏檢是無法容忍的態度，這不僅損害了公司的信譽，更對汽車的健康駕駛有著不小的威脅。圖5分別為YOLOv3和YOLOv3-Pr的損失函數曲線，兩種LOSS曲線都收斂的很好，trainingloss和validationloss都已經收斂并且相差很小，而且兩者并沒有肉眼的差距，這說明兩種神經網絡的loss曲線都已經達到goodfit的目標。

YOLOv3-Pr在改進漏檢率方面也有很好的改良，YOLOv3-Pr能夠將漏檢率降低至0.1個百分點，在三項檢驗中都可以達到百分之百的檢查率，然而在壓接不良方面還存在著0.1%的漏檢率。

lt;I：＼方正飛翔7.2＼Fit202312＼圖＼程曉穎圖6.tifgt;

圖6" 部分含缺陷線束端子的檢測結果示意圖

為了進一步驗證基于ResNet的改進YOLOv3模型對于缺陷的檢測性能，隨機抽取了若干幅含有缺陷的線束端子X光圖像對訓練好的YOLOv3-Pr模型進行測試，測試結果如圖6所示，其中，“Poorcrimpin”、“Nomalcriming”、“Opening”、“Distortion”分別代表”壓接不良”、“正常壓接”、“閉合”、“扭曲變形”，矩形框的框選區域為線束端子的缺陷部位，框上方文字代表該缺陷的類別及確定概率。可以看出，經過訓練的YOLOv3-pr模型能夠準確地識別并定位線束端子的缺陷位置，并且對于每類缺陷的確定概率都較高，對于同一幅圖像中含有多類缺陷的情況也可精確檢出，充分驗證了模型的檢測能力。研究結果克服了人為主觀因素，建立了統一的缺陷判別標準，有助于提高線束端子的缺陷檢測效率。

對測試集的具體檢測結果如圖7所示，在原有的兩個神經網絡基礎上，增加了三組對照。通過使用YOLOv3、YOLOv3-Pr和EfficientDet-D1、EfficientDet-D2、改進EfficientDet-D2作為網絡的模型的mAP值分別達到95.75%、98.61%、63.19%、75.97%和91.48%。可以看出，以ResNet作為主干網絡改進YOLOv3神經網絡具有最高的檢測精度，mAP相較于原始YOLOv3提升了2.86%，此外，壓接不良、端子變形、正常壓接、開口正常四類特征各自的AP值相比改進之前均有所提升。對于漏檢的問題，使用ResNet作為主干特征提取網絡，可以很好地解決這個問題，能夠讓目標檢測達到工業的標準，如表2所示。與此同時，在改進EfficientDet網絡上，我們通過添加注意力機制和改變預訓練權重的方法，使得網絡有了一個質的飛躍。但是改進的EfficientDet網絡相較于YOLOv3還是存在一些不足和缺點，相比之下，改進YOLOv3不僅擁有較高的檢測精度同時具備較高的召回率，還解決了目標檢測網絡的漏檢問題。

5 結論

針對目前線束端子檢測方面存在的問題，為了提高檢測效率以使檢測部門能夠及時地對缺陷端子進行識別和檢出，同時建立統一的線束端子缺陷判別標準，客服人為判別的主觀因素，本文基于X光圖像與深度學習開展了線束端子的智能檢測研究，得出以下結論：

在YOLOv3目標檢測算法的基礎上，吸收多尺度預測方式和特征融合方面的優勢，保留YOLOHead和FPN特征金字塔這兩個優勢結構，只對其特征提取結構進行調整，引入去除輸出層的ResNet50網絡，將其與FPN特征金字塔對接，以步長為2的卷積輸出替代原Darknet-53輸出的三個特征層，完成線束端子缺陷智能檢測模型的構建。實驗結果表明，該方法有助于提升預測性能，mAP可達98%。同時，在提高精確度的同時，能夠將漏檢率降到最低，對企業應用有參考價值。

在以后的工作中，我們將把工作重心放在線束端子數據集增強方面，以便獲得更大量的數據集，從而提高神經網絡的檢測精度。

參考文獻（References）：

[1] 高永麗.淺析汽車線束工藝在線束加工中的應用[J].汽車

實用技術，2020，45（17）：135-7.

[2] 曾文治，王疆瑛，蔡晉輝.基于深度學習的車燈零部件缺陷

檢測系統設計[J].中國計量大學學報，2022，33（2）.

[3] 李文強，陳莉，謝旭.改進YOLOv5的X光圖像違禁品檢測

算法[J].計算機工程與應用，2023，59（16）.

[4] 黃健峰.線束端子壓接工藝的研究與可靠性分析 [D].北京：

北京郵電大學，2016.

[5] 康家晨.基于深度學習的絕緣子檢測與缺陷識別研究[D].

南昌：華東交通大學，2023（2）.

[6] Deep Learning based on CNN for Pedestrian Detection：

An Overview and Analysis; proceedings of the 9th International Symposium on Telecommunications （IST）， Iran Telecommunicat Res Ctr， Tehran， IRAN， F 2018 Dec 17-19， 2018[C].2018.

[7] MIAO? C，" L X. SIXray： A Large-scale Security Inspection

X-ray Benchmark for Prohibited Item Discovery in Overlapping Images[J].2019，

[8] SONG Y， JANG S， KIM K. Depth-Specific Variational

Scaling Method to Improve Accuracy of ResNet [J]. Journal of Korean Institute of Intelligent Systems，2021，31（4）：338-45.

[9] 盧祖文.基于X光圖像與深度學習的耐張線夾缺陷識別[D].

南昌：南昌大學，2023（2）.