基于改進的YOLOv4-tiny 鋼卷端面缺陷檢測

吳 奎， 向 峰， 周 順， 張雪榮， 李紅軍， 張 馳

（1 武漢科技大學冶金裝備及其控制教育部重點實驗室，武漢 430081；2 武漢科技大學 機械傳動與制造工程湖北省重點實驗室，武漢 430081； 3 武鋼有限技術中心， 武漢 430083；4 武漢紡織大學 機械自動化學院， 武漢 430200）

0 引 言

熱軋帶鋼在卷取過程中由于受軋制工藝及系統控制等因素的影響，鋼卷兩側端面存在缺損和拉絲缺陷。 端面缺陷不僅會影響鋼卷的美觀，還會降低鋼卷的成材率和性能，影響下游企業加工使用。 傳統的帶鋼缺陷檢測方法一般可分為兩種，一種是基于邊緣檢測的方法；另一種是基于形態學的方法。例如：基于Canny 的檢測器，基于Sobel 算子和LoG算子的邊緣檢測方法。 然而，這些方法都需要提取特征因子，再對缺陷進行分類，檢測過程不僅復雜，而且速度較慢，在檢測精度和實時性等方面不能很好的滿足實際生產需求。

近年來，隨著機器視覺、深度學習技術的不斷發展，深度神經網絡已逐漸成為工業生產中檢測產品缺陷的主要方法。 深度神經網絡能夠自動從圖像中提取特征，避免了手工提取特征可能存在的主觀性錯誤，在目標檢測與分類問題中得到了廣泛的運用。 目前，帶鋼缺陷檢測利用卷積神經網絡提取缺陷特征并進行分類，例如：HE 等人使用對抗神經網絡獲得大量的未標注數據后再進行缺陷分類，解決了缺陷樣本不足導致網絡難以訓練的問題；FU等人提出的一種端到端的卷積神經網絡，實現了帶鋼缺陷的高精度分類。 但這些檢測模型只是解決了帶鋼缺陷分類問題，并不能解決缺陷定位問題，HE使用Defect Detection Network（DDN）實現了端到端的帶鋼缺陷檢測，并取得了80%的準確率，這一方法雖然取得了較好的檢測精度，但檢測速度較慢，無法達到工業生產實時檢測的要求。

缺陷檢測的目的是找出圖像中所有感興趣的目標，確定目標的位置、大小以及類別等信息。 目前，基于深度學習的缺陷檢測方法逐步取代了傳統的檢測方法。 現有的深度學習目標檢測算法主要分為兩類，一類是以Faster R-CNN、Mask R-CNN 為代表的兩階式檢測算法；另一類是以YOLO、SSD 為代表的one-stage 檢測算法。 兩階式檢測算法的檢測過程分為兩個階段，第一階段使用區域候選網絡（RPN）產生候選區域，然后使用檢測網絡確定候選區域的類別、位置，這種檢測算法有較高的準確度，但檢測速度稍慢。 單階式檢測算法可以直接得到檢測結果，不需要產生候選區域階段，所以檢測速度較快，但檢測準確度較低。 本文采用YOLOv4 算法的輕量化版本YOLOv4-tiny，減少了模型參數和計算量，檢測精度在滿足要求的同時擁有更高的檢測速度。 同時，YOLOv4-tiny 還具有占用內存小、易部署的特點，非常適合實際生產過程中的鋼卷端面缺陷檢測。

為了提高YOLOv4-tiny 的檢測精度，本文對其進行了改進，提出了一種改進后的YOLOv4-tiny 算法。 實驗結果表明，改進后的YOLOv4-tiny 算法在鋼卷數據集上平均精度均值為78.8%，檢測速度達到了94 fps，滿足了帶鋼生產實時檢測的要求。

1 YOLOv4-tiny 算法

YOLOv4-tiny 是在YOLOv4 的基礎上改進而來的，是YOLOv4 的輕量化版本，適用于嵌入式平臺的輕量級實時檢測。 與YOLOv4 相比，檢測精度有所下降，但在實現了模型壓縮，提高了模型檢測速度。YOLOv4-tiny 由骨干網絡（CSP Darknet53-Tiny）、特征金字塔（Feature Pyramid Network，FPN）和YOLO檢測頭（YOLO Head）組成。 其骨干網絡主要包括CSP（ Cross Stage Partial）結構和下采樣CBL（Conv+Bn+Leaky-relu 組成）結構，CSP 結構將低層的特征映射劃分為兩部分，通過跨層連接將其合并，使卷積神經網絡有了更強的學習能力，減少了計算量的同時也保證了檢測的準確率；下采樣CBL 結構中，每個卷積核大小為3×3，步長為2，主要對圖像進行下采樣處理。 FPN 結構可以融合不同網絡層之間的特征，既可以保證深層網絡豐富的語義信息，又可以獲得低層網絡的特征細節信息，以此來加強對特征的提取能力。YOLO Head 利用得到的特征信息進行最后的預測，最終形成13×13 和26×26 兩個預測尺度。

2 YOLOv4-tiny 算法的改進

2.1 網絡結構的改進

在原始主干網絡中，殘差網絡模塊使用3×3 卷積核提取特征，其感受野大小也是3×3。 較小的感受野雖然可以提取更多的局部信息，但丟失了全局信息，影響了目標檢測的準確性。 為了提取更多的全局特征，使用兩個連續的相同的3×3 卷積來獲得輔助殘差網絡塊中的5×5 感受野。 輔助網絡將提取的全局信息傳輸到主干網絡，主干網絡結合較大感受野獲得的全局信息和較小感受野獲得的局部信息，以獲得更多的目標信息。 此外，隨著網絡深度的增加，語義信息也變得更加高級。 注意機制可以集中處理和傳遞有效特征，通道抑制無效特征。 因此，本文在輔助網絡模塊中引入了通道注意力模塊和空間注意力模塊，以獲取更有效的特征信息。 卷積塊注意模塊（Convolutional Block Attention Module ，CBAM）將通道注意力模塊和空間注意力模塊串聯結合組成的注意力模塊，直接使用CBAM 來同時實現通道注意和空間注意。

通道注意力模塊分別通過最大池化層（Max-Pooling）和平均池化層（Average-Pooling）對輸入特征圖的空間維度進行壓縮，輸出兩個特征描述符，將兩個特征描述符發送到一個共享網絡，使用元素求和來合并輸出特征向量。 最后， 通過函數激活特征向量，得到通道注意圖。 通道注意力模塊結構如圖1 所示。

圖1 通道注意力模塊結構圖Fig. 1 Channel attention module structure

空間注意力模塊對輸入特征圖進行平均池化和最大池化操作，將其連接起來生成一個有效的特征描述符， 應用兩個卷積層來強調描述符區域，再由函數進行激活，得到空間注意力圖。 空間注意力模塊結構如圖2 所示。

圖2 空間注意力模塊結構圖Fig. 2 Spatial attention module structure

卷積塊注意模塊（CBAM）是將通道注意力模塊和空間注意力模塊串聯相結合組成的注意力模塊，CBAM 的表達式如式（1）和式（2）所示，其組成的輔助網絡結構如圖3 所示。

圖3 輔助網絡結構圖Fig. 3 Auxiliary network structure

其中，∈R表示輸入特征圖；“ ?”表示元素式乘法；為最終輸出特征圖；M（） 和M（）分別為通道注意力圖和空間注意力圖。

M（） 的計算公式（3）為：

其中，（） 和Max（） 分別表示平均池化操作和最大池化操作；（）表示多層感知器網絡；（） 是函數。

其中，表示一個濾波器大小為7×7 的卷積運算，“ ；[ ] ”表示連接操作。

在YOLOv4-tiny 中，利用FPN 結構對輸出的兩個有效特征層進行簡單的特征融合。 其過程如下：對最后一個有效特征層進行卷積，然后上采樣，一方面通過yolo_head 處理輸出特征尺度為13×13 的預測結果，另一方面與前一個輸出的有效特征層進行疊加，通過yolo_head 處理輸出特征尺度為26×26 的預測結果。 YOLOv4-tiny 網絡輸出的13×13 和26×26 兩個預測尺度，對被檢測圖像中的大目標的檢測效果較好，對小目標而言檢測效果較差。 為了提高網絡對小目標的檢測能力，在原網絡結構上增加了上采樣2，在通道維度上連接了CPSBlock 層和上采樣2，并增加了檢測尺度。 特征金字塔網絡由原來的13×13 和26×26 兩個預測尺度增加為13×13、26×26 和52×52 3 個預測尺度，有助于提高檢測網絡對小目標的檢測精度。 改進的YOLOv4-tiny 網絡結構如圖4 所示。

圖4 改進的YOLOv4-tiny 網絡結構圖Fig. 4 Improved Yolov4-tiny network structure diagram

2.2 損失函數的改進

YOLOv4-tiny 的損失函數由邊界框回歸損失、置信度損失和分類損失3 部分組成。 邊界框回歸損失函數采用函數，置信度損失和分類損失采用與YOLOv4 相同的交叉熵函數。 Rezatofighi 等提出損失，在損失基礎上增加了包含檢測框和真實框的最小矩形框的檢測框，解決了檢測框和真實框不重疊的問題，但是當真實框和檢測框之間出現包含關系的時候，和效果相同；Zheng 等針對這一問題，提出損失，將預測框和真實框都包含進檢測框，但是計算的不是框之間的交并，而是計算每個檢測框之間的歐氏距離。損失考慮了中心點距離、長寬比和重疊面積，在損失的基礎上加入長寬比的懲罰項，這樣預測框就會更加的接近真實框。損失的計算公式（5）公式（8）：

其中，為預測框；B為真實框；和b分別表示預測框和真實框的中心點；和為預測框的寬和高；w和h為真實框的寬和高；表示預測框和真實框的最小外界矩形的對角線距離；（） 表示歐式距離；是用于協調比例的參數；用來衡量長寬比的一致性。

為了增強模型對缺損檢測的能力，使用Focal損失函數替換置信度和分類的二分交叉熵損失函數。損失是針對分類過程中存在正負類樣本分布不均衡問題提出的，通過減少易分類樣本的權重，使模型在訓練時更注意難以分類的樣本。損失計算公式（9）：

其中，為真實樣本的標簽；y為經過的預測輸出，在［0，1］之間取值；的作用是減少易分類樣本的損失，使損失函數更加關注難以分類和誤分類的樣本；為平衡因子，其作用是平衡正負樣本的不均勻比例，防止易分類類別的損失函數過小。和共同調節達到相對平衡。

2.3 先驗框的改進

為了適應鋼卷端面缺陷的尺寸，還需要對數據集進行聚類，得到合適的先驗框。 合適的先驗框不僅能降低模型最后的損失值，還可以加快模型的收斂速度。 網絡原有的先驗框是在VOC 數據集上聚類得到的，而VOC 數據集包含的種類較多，情況復雜。 對鋼卷端面缺陷檢測而言，只包含端面缺損與端面拉絲兩個主要缺陷目標，和VOC 數據集相比差異較大，直接使用網絡原有的先驗框不能很好地滿足識別要求，所以利用加權K-means 聚類算法對鋼卷端面缺陷數據集的寬和高進行聚類，得到新的先驗框。 加權K-means 聚類算法使用聚類中心與樣本之間的最大交并比來評價聚類結果，其目標函數如式（10）所示：

其中，box為樣本的實際長、寬；cen為第個聚類中心；為樣本數；為選取的聚類中心個數；ω為第個樣本與第個聚類中心的權重；為聚類中心所屬的中心點。

加權K-means 算法具體實現步驟如下：

（1）分析數據集中的樣本，隨機劃分個聚類中心；

（2）求出每一個樣本與中心點之間的距離，距離計算公式如式（11）所示：

其中，C（1） 、C（2） 為第個中心點的橫、縱坐標，box（1）、box（2） 為第個樣本的橫、縱坐標；

（3）求權重矩陣，即每個樣本所對應的聚類中心的權重，屬于同一個中心點的聚類中心擁有相同的權重。 權重是樣本到聚類中心距離標準化后的相反數，距離較遠的樣本權重為0，降低不平衡樣本的干擾。 式（12）為所有樣本到某一中心點距離的均值，式（13）為權重的計算公式。

（4）迭代更新所有的聚類中心，直到聚類中心不再發生改變。

對于鋼卷端面數據集，運用上述方法重新進行聚類分析后，得到的先驗框見表1。

表1 鋼卷端面數據集的先驗框值Tab. 1 The prior box values of the data set of steel coil end faces

3 實驗結果與分析

本文所有的實驗均在Windows10 系統下進行，硬件環境：CPU 為Intel i5-11400F 8G；GPU 為NVIDIA GTX1080Ti；開發環境：Tensorflow-gpu2.2.0；CUDA 版本號為CUDA10.1；OpenCV3.4；Python3.6。

3.1 實驗數據集

本文數據集是通過某熱軋廠生產現場采集得到，共采集缺陷圖片1 000張。 為了豐富數據集，獲得更優的訓練效果，使用隨機轉換的方式增強數據集，包括圖像順時針旋轉、逆時針旋轉、鏡像翻轉、尺度變換等對數據集進行擴充，由原來的1 000 張圖像擴充到5 000張。 根據VOC2007 數據集的格式制作標準的鋼卷端面數據集，使用LabelImg 缺陷標注軟件對圖片中的缺陷進行標注。 得到缺陷區域的邊界框以及缺陷的類別標簽，并生成對應的XML 文件，完成VOC2007 數據集格式的轉換，之后將數據集按8：2 的比例隨機生成了訓練驗證集和測試集，再進行模型訓練及測試。

3.2 算法評價指標

為了更加合理有效地對最后的檢測結果進行判別，根據檢測速度和檢測精度要求，本文采用精準率（） 和召回率（） 作為缺陷識別的評價指標，精準率是所有被正確識別的缺陷占所有被識別到的缺陷的比例；而召回率指的是所有被正確識別的缺陷占所有應該被識別到的缺陷的比例，式（14）和式（15）。 為了同時考慮精準率和召回率，權衡兩者之間的平衡關系引入了1 值，計算公式（16）。

其中，為成功預測的缺陷目標；為被模型誤判為缺陷的非缺陷目標；表示被模型錯誤預測為非缺陷的缺陷目標。

由于精確率和召回率受到置信度的影響，單獨采用精確率與召回率作為評價指標會有局限性，所以，在實驗中加入平均精度均值（mean Average Precision，） 和檢測速度作為評價指標。 平均精度（Average Precision，） 為不同召回率下精確率的平均值，用來評價某一缺陷的檢測精度，mAP是所有缺陷類別檢測精度的均值，一般用來評價網絡模型的整體檢測性能，計算公式如式（17）所示。目標檢測算法的另一個重要性能指標是檢測速度，評估檢測速度的常用指標是每秒幀率（frame per second，）， 即網絡模型每秒能夠檢測的圖片數量，計算公式如式（18）所示。

其中，（） 為某一類的檢測精度；為類別數；為檢測圖片總數；為檢測總時間。

3.3 實驗結果分析

本文實驗中訓練網絡模型的參數設置為：每次迭代訓練樣本數為64，分16 個批次，動量因子設置為0.949，權重衰減系數為0.000 5，最大選代次數為5 000，學習率為0.001；訓練代次數達到3 000 和4 000時，將學習率分別降至初始學習率的0.1 和0.01。

本文以相同的實驗數據分別使用YOLOv3、YOLOv3-tiny、YOLOv4、YOLOv4-tiny 與本文改進后的YOLOv4-tiny 模型進行訓練，在相同測試集下進行測試對比，測試其在和中的性能。 對比結果見表2。

表2 模型實驗結果對比Tab. 2 Comparison of model experiment results

從表2 中可以看出，YOLOv3 和YOLOv4 模型的數值高于其他模型，但這兩個模型的檢測速度卻遠遠小于其他模型。 因為YOLOv3 和YOLOv4 檢測網絡結構復雜，參數較多，使得其相較輕量化的模型可以取得更好的檢測精度，但檢測速度相應的會低于輕量化的模型。 YOLOv3-tiny、YOLOv4-tiny 和本文改進的YOLOv4-tiny 方法屬于輕量級深度學習方法，其網絡結構相對簡單，參數較少，因此在檢測速度上表現的更好。 本文改進后的YOLOv4-tiny 方法相較YOLOv3-tiny 和YOLOv4-tiny，在數值上分別提升了13.4%和4.6%。 由于改進后的YOLOv4-tiny 在檢測網絡中加入注意模塊和一個上采樣，增加了網絡的參數，檢測速度較YOLOv4-tiny 稍慢一些，但可以滿足實際生產的檢測需求。 表明本文改進后的YOLOv4-tiny 檢測精度提升的同時又保證了檢測的速度。

由于YOLOv3-tiny、YOLOv4-tiny 和本文改進后的YOLOv4-tiny 方法都屬于輕量級深度學習方法，所以采用本文改進后的YOLOv4-tiny 方法、YOLOv3-tiny 和YOLOv4-tiny 方法，分別對缺陷檢測后的精準率、召回率、1 值進行比較，模型的實驗結果對比如圖5 所示。 改進后的YOLOv4-tiny 實驗檢測效果如圖6 所示。

由圖5 可以看出，本文改進后的YOLOv4-tiny對缺損的檢測精準率和召回率比YOLOv3-tiny提升12.3%和3.3%，比YOLOv4-tiny 提升8.2%和1.5%，體現模型綜合性能的1 值分別高出9%和5.6%；對拉絲的檢測精準率和召回率比YOLOv3-tiny 提升5.5%和5.8%，比YOLOv4-tiny 提升4.3%和2.1%，1 值分別高出6.5%和3.5%；對缺損+拉絲的檢測精準率和召回率比YOLOv3-tiny 提升5.5%和5.8%，比YOLOv4-tiny 提升4.3%和2.1%，1 值分別高出6.5%和3.5%。 本文改進后的YOLOv4-tiny 方法綜合性能得到一定的提升。

圖5 模型實驗結果對比Fig. 5 Comparison of model experiment results

圖6 改進后的YOLOv4-tiny 檢測效果圖Fig. 6 Improved detection effect of Yolov4-Tiny

4 結束語

針對帶鋼生產過程中鋼卷端面出現的端面缺損和拉絲缺陷，本文提出了一種改進的YOLOv4-tiny檢測方法。 首先，在骨干網絡中加入了注意模塊，增強了檢測模型對缺陷特征的表達和對缺陷區域的聚焦能力；同時又增加了一個上采樣層，優化了深度特征和淺層特征的特征融合，改善了感興趣區域的特征表達；改進模型的損失函數，使用損失函數替換置信度和分類的二分交叉熵損失函數，解決分類過程中存在正負類樣本分布不均衡問題；最后，利用加權K-means 聚類算法對鋼卷端面缺陷數據集的寬和高進行聚類，得到新的先驗框，以適應鋼卷端面缺陷的尺寸。 改進的YOLOv4-tiny 網絡模型通過實驗結果驗證與分析可知，相比較改進前的YOLOv4-tiny 網絡模型，檢測速度接近，提升了4.6%，保證檢測速度的同時檢測能力得到了一定的提高，滿足了帶鋼生產的端面缺陷檢測要求。