基于YOLOv3的H型鋼表面缺陷檢測系統

劉亞姣 于海濤 劉寶順 張磊 紀廣勝 王江

摘要：為了提升H型鋼的表面質量和安全系數，設計了一種基于YOLOv3算法的型鋼表面缺陷檢測系統。設計的檢測系統由硬件系統和軟件系統組成：硬件系統包括八角架式圖像采集裝置、電動控制系統和通信系統;軟件系統采用YOLOv3目標檢測算法。現場測試結果表明：1）檢測系統可實時采集圖像，并根據H型鋼的規格型號能夠自動調節圖像采集裝置結構，準確快速地跟蹤被檢測目標，獲得H型鋼的高清全景圖像;2）檢測系統可對H型鋼表面缺陷進行在線檢測、分類和定位，并兼顧檢測精度與檢測速度，檢測精度為81.25%，檢測速度為30.78幀/s;3）檢測系統能夠準確識別H型鋼的結疤、凹坑、劃傷和擊傷等4類典型缺陷，滿足生產過程中表面缺陷檢測的實際需求。開發的型鋼表面缺陷檢測系統為H型鋼表面質量智能化檢測工作提供了新的選擇。

關鍵詞：計算機圖像處理; H型鋼; 表面缺陷; 檢測系統; YOLOv3算法

中圖分類號：TU392文獻標識碼：ADOI： 10.7535/hbgykj.2021yx03010

Abstract： In order to improve the surface quality and safety factor of H-beam， an H-beam surface defect detection system based on YOLOv3 （you only look once） algorithm was designed. The designed detection system was composed of hardware system and software system. Octagonal frame image acquisition device， electric control system and communication system were included in the hardware system. The YOLOv3 target detection algorithm was used in the software system. The field test results show that： 1） the detection system can capture the surface image of H-beam in real time， and automatically adjust the structure of the image acquisition device according to the types of H-beam， accurately and quickly track the detected targets， and obtain high-definition panoramic images of H-beam; 2） the online detection， classification and location of H-beam surface defects can be carried out by the detection system， and both the detection accuracy and the detection speed are taken into account. The detection accuracy is 81.25%， and the detection speed is 30.78 frames/s; 3） the detection system can accurately identify four types of typical defects of H-beam， such as scar， pit， scratch and hit， which can meet the actual requirements of surface defect detection in the production process. The developed surface defect detection system provides a new choice for the intelligent detection of H-beam surface quality.

Keywords：computer image processing; H-beam; surface defect; detection system; YOLOv3 algorithm

H型鋼是各類基礎設施建設的重要鋼材，但在H型鋼生產過程中由于生產工藝和現場環境的復雜性，易導致鋼鐵表面出現如凹坑、結疤、劃傷、擊傷等多種類型缺陷，嚴重影響了H型鋼的品質和安全系數[1-2]。因此，對H型鋼表面缺陷進行檢測和提高型鋼表面質量是鋼鐵企業的首要任務。

鋼材表面缺陷檢測經歷了人工檢測、傳統光電檢測和機器視覺檢測3個主要發展階段[3-4]。目前，國外已經開發出實用的機器視覺鋼材表面缺陷檢測系統，如在幾何形狀較為簡單的鋼板、鋼帶、鋼管等管線材領域。美國Cognex公司研發了具有自學習分類系統的iS-2000鋼板表面缺陷檢測系統，并在LTV公司中得到推廣[5];德國Parsytec公司開發的冷軋鋼帶表面檢測系統hTS-2被成功應用在浦項制鐵生產線[6];美國OG公司研發的Hot Eye系統可對高溫狀態下的線材進行實時表面缺陷識別，在浦項、現代等鋼鐵生產線均有應用[7]。而中國相關研究起步較晚，東北大學研制的熱軋鋼帶的表面缺陷系統實現了常見缺陷類型的檢測[8];北京科技大學、天津大學等研制了冷軋鋼板表面缺陷的檢測系統[4，9]。而針對H型鋼等幾何形狀相對復雜的鋼材而言，鮮有研究。

隨著人工智能和深度學習的快速發展，利用機器視覺對表面缺陷進行精準定位與準確識別，在解決表面缺陷檢測技術問題上逐漸成熟可行[10]。一般來說，基于深度學習的缺陷檢測網絡從結構上可劃分為以Faster R-CNN[11]為代表的兩階段網絡和以YOLO[12]為代表的一階段網絡。YOLO作為一種基于CNN的目標實時檢測算法，因其優越的檢測速度在實時檢測系統中備受關注[13]。文獻[14]將最新YOLOv3（you only look once）應用于路面破損的檢測和分類中，綜合檢測準確率達到73.64%，處理速度達到0.034 7 s/張。文獻[15]基于YOLO檢測算法提出了一個端到端的實時車牌自動識別系統，在公共數據集上取得了良好的效果。上述研究在YOLO的應用拓展方面做了許多工作，驗證了該算法在實時檢測領域的有效性。

因此，本文結合H型鋼表面檢測需求，研制了基于YOLOv3的H型鋼表面缺陷檢測系統，利用八角架式圖像采集裝置，對生產過程中的不同型號H型鋼進行全表面成像;并采用先進的高實時性目標檢測算法YOLOv3，對H型鋼表面缺陷進行檢測識別。第3期劉亞姣，等： 基于YOLOv3的H型鋼表面缺陷檢測系統河北工業科技第38卷

1表面缺陷檢測硬件系統設計

根據H型鋼表面特點和表面圖像采集的難點，設計了一種八角架式H型鋼表面成像系統，如圖1所示，以獲取H型鋼的全方位高質量表面圖像。該表面成像系統通過8組線陣相機和光源分別對H型鋼上下腹板面、上下翼緣板內側面、左右翼緣板外側面進行成像。基于H型鋼的眾多規格，本系統選擇Teledyne DALSA 公司 Linea 系列黑白線陣工業相機及Kowa 公司 LM12HC 和 LM35HC鏡頭進行 H 型鋼表面缺陷檢測系統的搭建。同時，考慮H型鋼生產現場的照明條件，選擇東冠公司的 SLP 遠射型線LED 光源作為照明光源。通過該表面成像系統從不同的位置拍攝H型鋼的表面，可以滿足H型鋼全表面成像的要求。

除表面成像系統外，H型鋼表面缺陷檢測硬件系統還包括電動控制系統和通信系統。電動控制模塊通過測距傳感器，判斷H型鋼型號，進而控制電機，將圖像采集模塊運送到指定位置;通信模塊通過PLC、光電開關和速度編碼器等設備，控制工業相機的采集狀態和采集頻率，并建立圖像采集模塊和電動控制模塊之間的信息通信。圖像采集模塊、電動控制模塊和通信模塊相互配合，最終實現不同型號H型鋼全方位表面圖像的智能采集。H型鋼表面成像系統流程如圖2所示。

根據H型鋼生產線的生產實際需求，對系統相關參數如相機行頻等進行設置，使其可以解決不同型號型鋼在1.2～4 m/s高速生產過程中的全表面缺陷檢測需求，進而輔助現場操作人員及時發現缺陷、調整工藝、切割廢料。

2表面缺陷檢測算法

2.1表面缺陷數據

基于H型鋼表面缺陷檢測系統，構建了H型鋼表面缺陷數據庫，并完成了數據標記。該H型鋼表面缺陷數據集包含結疤、凹坑、劃傷和擊傷4種缺陷類型，每類缺陷400張，共計1 600張缺陷圖像，如圖3所示。從圖3中可以看出，結疤缺陷多呈弧形狀;凹坑缺陷形態類似小圓點;劃傷缺陷大多呈細長線形;擊傷缺陷形狀多樣，呈橫向分布。

在實際工業生產中，由于生產設備及生產工藝的提升，大量的缺陷樣本往往難以獲取，而深度學習模型的訓練需要大量數據作支撐，為了提高缺陷檢測的性能，以防止少量樣本訓練造成的過擬合現象，影響模型的泛化能力。本文采用亮度調整、對比度調整、噪聲擾動、翻轉變換、多角度旋轉變換等方法對數據庫缺陷數據進行增廣，從而將原數據圖像數據擴充至7倍。

2.2基于YOLOv3算法的表面缺陷檢測

YOLOv3采用基于殘差網絡的Darknet53網絡作為主干網絡，整個主干網絡共使用5個殘差模塊，在進入各殘差模塊之前，首先要進行1次卷積核大小為3×3，步長為2的卷積下采樣。每個殘差模塊分別由多個小的殘差單元順序連接。每個殘差單元包含2個卷積層和1個快捷鏈路層。通過使用殘差網絡，在層與層之間設置殘差邊，能有效地解決由于網絡加深帶來的梯度爆炸和梯度消失問題。在主干網絡提取特征后，獲得3個不同尺度的特征圖，并為每個尺度設定3種先驗框，總共利用聚類算法得到9種不同大小的先驗框。其中，在尺寸為13×13的特征圖上采用（116×90）、（156×198）、（373×326）先驗框，感受野最大，適合檢測大尺度缺陷;尺寸為26×26的特征圖采用（30×61）、（62×45）、（59×119）先驗框，具有中等尺度的感受野，適合檢測圖像中等大小的缺陷;尺寸為52×52的特征圖采用（10×13）、（16×30）、（33×23）先驗框，感受野最小，適合檢測圖像中小尺寸的缺陷。在整個網絡的中間部分，YOLOv3通過上采樣和特征圖堆疊，構造特征金字塔網絡結構融合大中小3個尺度的特征圖信息，進行多尺度預測，加強目標檢測能力。整個網絡的具體結構如圖4所示。

從圖4可以看到，原始H型鋼缺陷圖像經過特征提取網絡，得到3種不同尺寸的特征圖。低尺寸的特征圖包含著更多大面積缺陷，比如劃傷、擊傷的隱含特征，高尺寸的特征圖包含更多小尺寸缺陷，如凹坑、結疤的隱含特征。

3實驗與分析

3.1實驗參數與評價

實驗數據集包含11 200張圖像，每類缺陷各2 800張。圖像按4∶1隨機分為訓練集和測試集。實驗采用批次迭代訓練法，批次大小設置為8，訓練輪數設置為100次，權重衰減率為0.000 5，學習率設置為0.000 1，使用隨機梯度下降算法（SGD）優化。實驗在PC機上進行，使用Intel Xeon Silver 4110 CPU，2080Ti GPU 和 64 GB 內存。

實驗選用平均準確率均值（mean average precision，mAP）和每秒幀數（frames per second， FPS）作為模型評價指標。

1）平均準確率均值（mean average precision， mAP）：查準率-召回率（precision-recall，P-R）曲線用于表征檢測算法在準確率和召回率之間的平衡。針對每一類表面缺陷，該類別的平均準確率AP定義為P-R曲線的面積;平均準確率均值mAP是所有型鋼表面缺陷AP的均值。計算公式為

AP=∫10P（R）dR，mAP=∑Ni=1APi/N。（1）

2）每秒幀數（frames per second， FPS）：每秒幀數用于描述檢測算法每秒鐘能夠檢測的圖像數量，FPS值越大，算法檢測速度越快。

3.2不同檢測算法對比分析

為準確評估YOLOv3檢測算法的性能，除所使用的YOLOv3算法外，另外使用2種經典目標檢測算法Faster R-CNN，SSD作為橫向對比算法，檢測結果如表1和圖5所示。

從表1的數據可以看到，Faster R-CNN與 SSD 和YOLOv3兩種橫向模型相比，在對型鋼表面缺陷數據集進行訓練時，Faster R-CNN取得了更高的檢測準確率，其檢測精度達到了90.13%，但由于其算法

首先需要實現感興趣區域的生成，再進行精細的缺陷檢測，導致檢測速度較慢，FPS僅為8.12，平均檢測1張圖像需要耗時123.15 ms，難以滿足在線檢測系統實時性要求。而SSD算法通過單階段網絡實現表面缺陷的檢測，平均每張圖像檢測時間為36.71 ms，FPS為27.24，相對于兩階段Faster R-CNN算法，檢測速度提升了約3倍，滿足了系統實時性的要求。然而，SDD算法雖然檢測速度很快，但其檢測精度有了明顯的下降，僅為70.57%mAP，檢測精度達不到要求。本文所采用的YOLOv3算法是至今為止較為優秀的目標檢測算法，在型鋼缺陷檢測的所有算法中表現出了最快的檢測速度，檢測FPS為30.78。相比SSD算法，YOLOv3算法在保持速度優勢的前提下，檢測精度大幅提升，達到81.25%，雖與Faster R-CNN算法之間還略有差距，但檢測速度比Faster R-CNN算法快了近4倍，可以滿足實時檢測的需求。圖5為3種檢測算法在部分缺陷圖像中的檢測效果，該圖側面反映了表1的檢測結果。針對小尺度凹坑缺陷，Faster R-CNN算法準確檢測出了全部小尺度缺陷目標，YOLOv3算法檢測出較大尺度凹坑，忽略了較小尺度缺陷，而SSD算法未能檢測出2個小尺度的凹坑，效果最差。針對劃傷、擊傷和結疤3種其他類型缺陷，3種算法均能準確檢測出目標。

因此，YOLOv3是兼具檢測精度和檢測速度的表面缺陷檢測算法。

4結語

為提高H型鋼快速生產過程中表面缺陷檢測的自動化程度，研制了一種基于YOLOv3算法的H型鋼表面缺陷檢測系統。針對H型鋼生產過程中，H型鋼不同型號全表面動態采集的需求，系統采用了八角架式可調節相機陣列對不同型號H型鋼表面進行全覆蓋成像。同時，根據型鋼表面缺陷特征，采用YOLOv3算法實現H型鋼表面缺陷的在線檢測，相比其他算法，YOLOv3算法具有81.25%的檢測精度和30.78幀/s的檢測速度，實驗證明所采用的YOLOv3算法對缺陷的檢測精度高，且可達到實時的檢測效率。因此，本文所設計的系統完全能夠滿足H型鋼生產過程中表面缺陷檢測的效率與精度，有利于鋼材表面缺陷檢測向智能化發展。

由于實際型鋼生產過程中表面缺陷較難獲取，目前只對結疤、凹坑、劃傷和擊傷4類缺陷進行了檢測，下一步將繼續擴充表面缺陷數據集，實現對更多缺陷類型的檢測。

參考文獻/References：

[1]李碩， 徐樹成， 陳金龍. 國內熱軋H型鋼發展現狀綜述[J]. 科技創新與應用， 2012（30）： 86.

[2]李寧. 冷軋帶鋼表面自動監測系統的研究[J]. 電子測試， 2017（13）： 7-8.

LI Ning. Research of automatic monitoring system of cold rolled strip steel surface[J]. Electronic Test， 2017（13）： 7-8.

[3]WANG Anna， HU Chao， XUE Changliang， et al. Recognition and classification of hot strip surface defect based on binary tree SVM[J]. Advanced Materials Research， 2012， 538/539/540/541： 427-430.

[4]韓芳芳. 表面缺陷視覺在線檢測關鍵技術研究[D]. 天津： 天津大學， 2011.

HAN Fangfang. Key Techniques for Surface Defects Online Detection Based on Machine Vision[D]. Tianjin： Tianjin University， 2011.

[5]XIAO Jun， WANG Minjuan， WANG Lamei， et al. Design and implementation of C-iLearning：A cloud-based intelligent learning system[J]. International Journal of Distance Education Technologies， 2013， 11（3）： 79-97.

[6]王阿力. 基于數字圖像處理的表面缺損檢測研究[D]. 哈爾濱： 哈爾濱工業大學， 2014.

WANG Ali. Research of Surface Error Detection Based on Digital Image Processing[D]. Harbin： Harbin Institute of Technology， 2014.

[7]郗雄濤， 趙亮， 趙江， 等. 熱眼在線表面檢測系統在高速線材生產中的應用[J]. 河北冶金， 2019（7）： 56-60.

XI Xiongtao， ZHAO Liang， ZHAO Jiang， et al. Application of hot-eye on-line surface detection in high speed wire rod production[J]. Hebei Metallurgy， 2019（7）： 56-60.

[8]SONG Kechen， HU Shaopeng， YAN Yunhui. Automatic recognition of surface defects on hot-rolled steel strip using scattering convolution network[J]. Journal of Computational Information Systems， 2014， 10（7）： 3049-3055.

[9]田思洋. 板帶鋼表面缺陷目標檢測與分類算法研究[D]. 北京： 北京科技大學， 2019.

TIAN Siyang. Research on Object Detection and Classification Algorithms for Surface Defects of Steel Plates and Strips[D]. Beijing： University of Science and Technology Beijing， 2019.

[10]SUN Xiaohong， GU Jinan， TANG Shixi， et al. Research progress of visual inspection technology of steel Products—A review[J]. Applied Sciences， 2018.DOI：10.3390/app8112195.

[11]REN S Q， HE K M， GIRSHICK R， et al. Faster R-CNN： Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137-1149.

[12]REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： Unified， real-time object detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Las Vegas： IEEE， 2016.http：//sci-hub.mksa.top/10.1109/CVPR.2016.91

[13]REDMON J， FARHADI A. YOLOv3： An incremental improvement[EB/OL]. https：//arxiv.org/abs/1804.02767，2019-04-08.

[14]DU Yuchuan， PAN Ning， XU Zihao， et al. Pavement distress detection and classification based on YOLO network[J/OL]. International Journal of Pavement Engineering，2020.http：//sci-hub.mksa.top/10.1080/10298436.2020.171407.

[15]江金洪， 鮑勝利， 史文旭，等. 基于YOLOv3算法改進的交通標志識別算法[J]. 計算機應用， 2020， 40（8）： 2472-2478.

JIANG Jinhong， BAO Shengli， SHI Wenxu， et al. Improved traffic sign recognition algorithm based on YOLOv3 algorithm[J]. Journal of Computer Applications， 2020， 40（8）： 2472-2478.