基于改進YOLOv3 算法的布匹瑕疵檢測研究

蘇茂錦，曹 民

（上海理工大學 光電信息與計算機工程學院，上海 200093）

0 引言

紡織業作為中國傳統經濟的支柱產業，其發展備受國家重視。目前，國內紡織業的總產量在國際上處于領先地位，但紡織企業在維持高產量的同時也不可避免會生產很多帶瑕疵的布匹，這些瑕疵布匹會讓企業利潤蒙受大量損失。因此紡織廠會要求員工檢查布匹中存在的各種復雜瑕疵，但是人工檢查布匹的速度一般為10～20 m/min，效率低下，同時人工成本較大，且人工檢測布匹瑕疵檢出率約為70%，這在一定程度上也會限制布匹的生產。因此，高效率、低成本的自動化布匹瑕疵檢測已經成為計算機、智能化等領域的研究熱點。

傳統的機器視覺布匹瑕疵檢測的方法有頻譜分析方法、模型方法等。其中，頻譜分析方法比較依賴濾波器組的選擇，模型方法計算量較大。這些機器視覺檢測方法都需要對圖像的特征進行提取，面料不同，圖像的提取特征可能也是不同的，常常需要對算法進行重新設計，模型的可遷移性不高，在面對具有復雜背景環境、布匹瑕疵大小差異懸殊、大分辨率的圖片時，亟需研發出一種更具一般性、且低訓練成本的檢測辦法。

目前，卷積神經網絡（Convolutional Neural Network，CNN）在圖像識別領域占據重要地位，不僅對圖像中的特征有著強大的提取能力，而且在圖像變換不變性的條件下仍然有著很強的分類和泛化能力。因此，CNN 漸漸取代了傳統目標檢測算法，現已成為目標檢測領域的主要方法。

研究可知，基于卷積神經網絡的目標檢測算法主要分為一步式檢測和兩步式檢測。總地說來，兩步式檢測預先生成可能包含待檢測物體的候選框，然后進行細粒度物體檢測。兩步式目標檢測算法檢測精度較高，但很難滿足實時需求，代表算法有：RCNN，Fast-RCNN。而一步式檢測算法則直接在網絡中提取目標特征，并生成預測物體的種類和位置信息。一步式目標檢測算法端到端地生成預測信息，在保證精度的同時大幅度地提升了檢測速度，代表算法有：YOLO 系列和SSD 系列。尤需指出的是，YOLO 系列里第三代算法（YOLOV3）的提出使得目標檢測在工業應用上、包括人臉識別、工業零件計數、工業缺陷檢測等等方面都有了很大的進步。

本次研究根據布匹瑕疵大小差異較大、各瑕疵數量不平均導致的訓練結果具有偏向性、負樣本過多等問題在YOLOv3 的基礎上進行改進：在YOLOv3 的FPN 特征金字塔中加入通道注意力機制（SENet 模塊），提升網絡對重要特征的選擇能力。使用深度可分離卷積替代FPN 中的3×3 卷積，降低網絡參數量，提升算法檢測速度。使用損失函數替換YOLOv3 中的分類損失函數，降低樣本類別不平衡產生的影響。

1 YOLOv3 介紹

1.1 YOLOv3 算法原理

YOLOv3將圖片劃分為個柵格，每個柵格有個邊界框（bounding box），如果待檢測目標中心落到某個柵格中，則該目標由這個柵格中的邊界框進行預測，每個邊界框包含3 類信息，分別是：位置信息（，，，）、置信度（）以及個類別的概率（），因此最終輸出維度為（4＋1＋）。由預測框的位置信息獲取真實框位置信息的計算公式如下：

其中， b，b，b，b為真實框的中心位置以及寬、高信息；p，p為預設錨框的寬、高；c，c為預測框所屬柵格左上角的坐標。

置信度信息代表當前邊界框是否有對象的概率（Object）以及當邊界框有對象時，能夠預測的box 與物體真實box 的值。其公式如下：

其中，（）表示柵格是否包含真實對象：假設柵格包含物體，則取1，否則取0；表示真實框與預測框的交并比，也就是真實框和預測框交集面積與并集面積的比值。

1.2 YOLOv3 網絡結構

YOLOv3 的網絡結構如圖1 所示。結構中采用DarkNet53 作為特征提取主干網絡，相對于YOLO2的DarkNet19 引入了殘差塊，此結構由連續的1×1卷積和3×3 卷積構成，后又通過將殘差塊的輸入與連續卷積后的結果進行跳躍連接得到最終輸出。分析可知，該結構特點就是通過加深網絡的深度、從而提高網絡預測的準確性，同時也緩解了隨著網絡深度的增加而出現的梯度消失問題。

圖1 YOLOv3 結構圖Fig.1 YOLOv3 structure

YOLOv3 完成對輸入圖片的特征提取后會生成3 個特征層，3 個特征層位于主干網絡DarkNet53 的不同部分。接下來，利用3 個特征層構建FPN 特征金字塔，將3 個特征層進行特征融合，既利用了深層特征較強的語義信息，又利用了淺層特征的高分辨率信息。

2 基于YOLOv3 的改進算法

2.1 深度可分離卷積

傳統的標準卷積在運算過程中會考慮所有的通道數，因此會產生大量參數和計算。假設輸入特征圖的尺寸為D×D×，卷積核尺寸為D×D×，輸出特征圖尺寸為D×D×，則標準卷積的參數量為(×D×）×。標準卷積過程示意見圖2。

圖2 標準卷積過程Fig.2 Standard convolution procedure

深度可分離卷積（Depthwise separable convolution）過程如圖3、圖4 所示。由圖3、圖4 可知，這一過程可分為2 步。第一步是深度卷積，用于濾波，尺寸為D×D× 1，共個，參數量為( D×D×1）×，作用在輸入的每個通道上，改變特征圖的寬、高；第二步是逐點卷積，用于轉換通道，尺寸為1×1×，共個，參數量為（1×1×）×，作用在深度卷積的輸出特征映射上。兩者合起來就是深度可分離卷積。總參數量等于2 個部分之和：

圖3 深度卷積Fig.3 Depthwise convolution

圖4 逐點卷積Fig.4 Pointwise convolution

由此可見，使用深度可分離卷積可有效降低網絡計算量，提高網絡預測速度，本文中將FPN 中的3×3卷積全部替換成深度可分離卷積，降低YOLOv3檢測頭的參數量，同時也不影響主干網絡的遷移訓練。

2.2 嵌入SENet

SENet是由胡杰團隊于2017 年提出的網絡結構，相對于傳統卷積只是進行特征的提取，SENet 通過給每個通道進行加權，使每個通道能夠獲得一個常數權重，從而得到占有更大權重的重要特征。模型可以通過學習的方式自動獲取每個特征通道的重要程度，使模型更加關注對當前任務有效的特征、抑制對任務無效的特征。

SENet 的結構如圖5 所示。由圖5 可知，主要包含2 個過程：以及。對此擬展開分述如下。

圖5 SENet 網絡結構Fig.5 SENet structure

（1）：SENet 將輸入的特征圖進行一次全局平均池化（global average pool），將一個通道上的整個空間特征編碼作為一個全局特征得到一個標量，個通道則會獲取到個標量，該過程輸出的維度為1× 1×，計算公式如下：

（2）：經過操作后網絡得到了全局特征，又通過2 層全連接構成微型神經網絡模塊自學習通道權重（FC-Relu-FC-Sigmoid），得到個0～1 之間的標量作為通道的權重，再將原來輸出特征的各個通道進行加權，數學計算公式如下：

其中，×表示全連接過程，表示ReLu 層。

由此得到的結果再與做全連接，得到的輸出就是各個通道的權重，最后將權重與輸入特征圖進行加權就是整個SENet 的輸出。

本文通過將SENet 與深度可分離卷積引入到YOLOv3 的特征金字塔，實現對網絡的優化，使模型更加關注有效特征、抑制無效特征對輸出結果產生的干擾，降低網絡參數量以提升算法運行速度。由此文中得到的改進算法的網絡結構如圖6 所示。

圖6 改進后算法結構圖Fig.6 Improved algorithm structure diagram

2.3 損失函數改進

YOLOv3 的損失函數主要分為3 類：回歸損失、置信度損失以及分類損失，其中分類損失采用的是二分類交叉熵，本文用替代YOLOv3 的分類損失。

是由何凱明團隊于2017 年提出的損失函數。函數主要是為了提升一步式目標檢測的準確度，研究中認為一步式目標檢測算法的準確度往往不如兩步式目標檢測算法的主要原因就在于樣本的類別不平衡。

樣本的類別不平衡主要分為2 個方面。一是正、負樣本不平衡；二是難、易樣本不平衡。實際情況中，易分樣本占總體樣本比例較高，由此產生的損失函數將主導著總體損失，但是這部分樣本本身就能被模型很好地識別出來，如此一來，在整體背景下的損失函數對參數的更新并不會改善模型的預測能力，模型應該關注難分的樣本。因此函數的思想是：對于正負樣本不均衡，可使用權重來進行平衡，對于難分樣本和易分樣本，可將易分樣本的損失進行一個冪函數降低，具體公式如下：

其中，是平衡因子，主要用于平衡正、負樣本之間的數量比例不均；是縮放系數，用于對易分樣本產生的損失進行縮放，使模型更關注難分類樣本，保證模型不會因為太多易分類而產生偏移。對于布匹瑕疵檢測來說，瑕疵與背景區分不明顯、難分樣本較少，使用會對模型性能提升有很好的效果。

3 實驗結果與分析

3.1 實驗數據及環境配置

實驗數據來源于阿里云天池數據大賽平臺，一張圖片的分辨率為1000 px×2446 px，且一張圖片中可能存在多種缺陷類型，同時缺陷類型大小差異過大、小目標過多，因而具有較大的識別難度。典型樣例如圖7 所示。

圖7 數據集圖片樣例Fig.7 Samples of data set images

本文選取生產中常見的5 種布匹瑕疵、如三絲、破洞、粗經、結頭、整經結來建立布匹瑕疵數據集，圖片數量共1544 張，取其中90%作為訓練集，10%作為測試集，最后用于訓練的圖片共有1389 張，測試集為155 張。表1 為各個樣本的分布情況。

表1 樣本分布情況Tab.1 Samples distribution

實驗運行環境：CPU 為Intel（R）Core（TM）i5-10300H，內存為16 GB，GPU 為NVDIA GeForce GTX 1660Ti 6 GB，程序代碼使用Windows 環境下的Pytorch 進行實現。

3.2 實驗結果與分析

為了驗證文中提出的模型性能，將改進算法與YOLOv3 進行性能測試對比，分別計算YOLOv3 與改進網絡對目標的召回率（）以及準確率（）、平均精準度（）的結果運算數值。

目標召回率（）和檢測準確率（）可分別由如下公式計算得出：

其中，X表示正確檢測出來的目標數；X表示被錯誤檢測出來的目標數； X表示未被檢測出來的目標數。

另據研究分析指出，平均精準度是從召回率和準確率兩個角度來衡量檢測算法的準確性，可以用來評價單個目標的檢測效果。

對測試集中的目標進行測試，分別獲取YOLOv3 與改進算法的性能指標。

不同算法目標檢測結果（、）的對比見表2，不同算法檢測結果（、）的對比見表3，不同算法檢測效率對比見表4。通過表2、表3、表4 對比后可以發現，改進算法對目標的檢測準確率較YOLOv3 提高了37.78%，召回率提高了5.12%，針對粗經、整經結這類難識別、難分類的指標分別提升了12.42%、22.33%，雖然破洞的指標降低了14.51%，但是改進算法的指標提升了4.9%，表明改進算法在全部類別中檢測的綜合性能更好。在檢測效率上，改進算法的指標較YOLOv3 提升了2.14（7%）。

表2 不同算法目標檢測結果的對比Tab.2 Comparison of target detection results of different algorithms %

表3 不同算法檢測結果的對比Tab.3 Comparison of target detection results of different algorithms %

表4 不同算法檢測效率對比Tab.4 Comparison of detection efficiency of different algorithms

改進算法與YOLOv3 檢測結果如圖8、圖9 所示。

圖8 YOLOv3 檢測結果Fig.8 YOLOv3 detection results

圖9 改進算法檢測結果Fig.9 Improved algorithm detection results

4 結束語

本文提出了一種針對布匹瑕疵檢測的檢測方法，首先將YOLOv3 中FPN 里的3×3 卷積替換成深度可分離卷積，提高了模型的檢測速度，將SENet 融入到FPN 以及使用了損失函數替代原來的二分類交叉熵函數，有效提升了模型對難檢測、難分類瑕疵的檢測性能。實驗結果表明，該方法具有更好的魯棒性，相對于YOLOv3 算法，指標提升了4.9%，對于難識別物體的準確率也均獲得提升，檢測耗時更短，提高了模型的檢測性能。