改進YOLOv7的紙張表面缺陷檢測研究

陳鈺枚 李兆飛，2，3，* 侯 勁，2 趙 俊，2

（1.四川輕化工大學自動化與信息工程學院，四川宜賓，643002；2.人工智能四川省重點實驗室，四川宜賓，644002；3.企業信息化與物聯網測控技術四川省高校重點實驗室，四川宜賓，643002）

在紙張的生產過程中，受生產工藝及現場環境等影響，紙張表面容易出現裂縫、孔洞、黑斑、線條、褶皺等缺陷或異常。本課題將超出預期模式范圍數據的紙張表面缺陷統稱為紙病[1]。在造紙過程中，要對紙張表面的紙病信息進行實時檢測、處理，才能提高成紙的品質和質量，帶來更大的生產利潤。隨著現代高速紙機的普遍應用，基于機器視覺的紙張表面缺陷檢測方法已逐步取代人工檢測方法[2]。卷積神經網絡（Convolutional Neural Network，CNN）表面缺陷檢測適用性廣，可以在兼顧質量和效率的同時，實現智能化在線缺陷檢測，克服傳統紙病檢測算法實時性低、精度不高等問題。趙曉等人[3]利用紙病區域為簡單連通圖像的特點，通過提取優化的連通區域標記和形狀特征值，提高了紙病檢測的準確率及效率；雷揚博等人[4]通過Markov 隨機場理論對紙病圖像紋理進行分析，得到紋理特征參數，對紙病區域進行分割，提高了分割的準確度；魏曉艷[5]利用BP神經網絡，建立紙病分類器，對各種紙病進行識別；張璐[6]利用改進后的鄰域均值濾波處理法，進行了紙病動態識別；高樂樂等人[7]提出基于CNN 的辨識方法，并對紙張進行紙病檢測；馮雨[8]采用MSER 分割算法對圖像進行預處理，并利用CNN 對紙病進行檢測，但預處理技術會增加算法的運行成本，檢測速度較低；曲蘊慧等人[9]結合遷移學習，改進CNN 網絡，設計了一種適用于紙病圖像的小樣本深度CNN 分類器，但是對于實際紙機生產環境，遷移學習的適應性不強；毛艷玲等人[10]提出了輕量化的Mobilenetv3-YOLOv4 紙病檢測網絡，但其需要對紙病進行預處理，降低了算法速度，檢測精度也較低；張開生等人[11]采用基于YOLOv5的算法，對紙病進行檢測，但其檢測速度不高，不適用于在線監測。目前，紙機生產速度快、幅寬長，產生紙病數量也會大概率增加，尤其是對于寬幅紙張的小目標紙病，常會出現漏檢情況，嚴重影響成紙的品質，造成原料的浪費和企業生產效率的下降。利用CNN 提取圖像特征時，隨著卷積層數的加深，特征圖分辨率逐漸減小，局部感受野能感知到原圖像的范圍不斷擴大，越接近頂層的特征圖越傾向于關注圖像的全局信息，所以深層神經網絡提取的深層特征非常不利于小目標紙病檢測。王欣等人[12]在YOLOv3-Tiny 加入注意力模塊（Convolutional Block Attention Module，CBAM）；秦強強等人[13]將通道注意力（CA）模塊和空間注意力（SA）模塊相結合，均可以提升小目標紙病檢測精度。

為了在保障一定速度的情況下，提高小目標紙病檢測精確率，本課題在研究YOLO 系列[14]目標檢測網絡的基礎上，借鑒前人的研究成果，選用精度更高、速度更快的YOLOv7 網絡作為紙病檢測算法，提出一種改進YOLOv7 的紙病檢測方法。該方法的主干網絡用于特征提取，通過引入注意力機制模塊CBAM，提高紙病檢測的精確性和算法穩定性；再將空洞空間卷積池化金字塔（Atrous Spatial Pyramid Pooling，ASPP）加入主干網絡的空間金字塔池化（Spatial Pyramid Pooling，SPP） 中，在SSP 中加入ASPP 空洞卷積，可以在不丟失圖像分辨率的情況下擴大特征圖的感受野，高分辨率可以精確定位目標，有利于紙病缺陷目標提取，而不同的感受野可以感受不同的尺度信息，從而實現不同大小紙病缺陷的目標檢測及分類目的。

1 YOLOv7網絡模型

在COCO 公開數據集上5～160 幀/s的FPS范圍內，YOLOv7 深度學習目標檢測算法的檢測精度和檢測速度均超過了目前所有的目標檢測算法[15]。所以本課題選用YOLOv7作為檢測模型。

YOLO 系列網絡均基本由3 個部分組成[16]，YOLOv7 包括Backbone、FPN 以及YOLO Head 3 個部分，其網絡模型如圖1 所示。Backbone 是YOLOv7 的主干特征提取網絡，輸入的圖片首先會在主干網絡獲得3 個有效特征層進行特征提取。FPN 是YOLOv7 的加強特征提取網絡，3 個有效特征層會在這一部分進行特征融合，目的是結合不同尺度的特征信息，提高檢測精度。YOLO Head 是YOLOv7 的分類器與回歸器，其輸入是3 個加強過的有效特征層，每1 個特征層都有寬度、高度和通道數，每個特征點上有3 個先驗框，每1個先驗框都有通道數個特征，以判斷是否有物體與其對應。YOLOv7 所用解耦頭可使分類和回歸在一個1×1卷積里實現。

圖1 YOLOv7模型結構圖Fig.1 Structure of YOLOv7 model

2 改進YOLOv7算法

正常的卷積對圖片中的物體提取特征時，并不特別關注部分重要的信息，而是把所有的信息當成相同權重進行處理，導致許多重要信息的損失。為了提升YOLOv7 對于小目標紙病的檢測能力，在YOLOv7 的主干網絡特征提取部分，將注意力機制模塊CBAM 加入其中，再將ASPP空洞卷積加入主干網絡的SPP中，能在不丟失圖像分辨率的情況下擴大特征圖的感受野，提高分辨率，進而精確定位紙病目標，有利于紙病缺陷目標的提取，而不同的感受野可以感受不同的尺度信息，實現不同大小紙病缺陷目標檢測及識別。

2.1 引入CBAM

加入注意力機制能夠抑制無關信息的干擾，保留待檢測目標的更多關鍵特征，使網絡關注到更多小目標紙病，提高檢測精度。利用空間注意力機制有助于明確小目標位置，利用通道注意力機制可建模特征通道的重要程度，CBAM 同時關注了空間和通道維度特征，對于小目標紙病缺陷檢測效果更佳[17]。

給定一個中間特征圖后，CBAM 模塊會沿著2 個獨立的維度（通道和空間）依次推斷注意力圖，然后將注意力圖乘以輸入特征圖以進行自適應特征修飾。通道上，將輸入的特征圖F（H×W×C）分別經過基于寬度、高度的全局最大池化和全局平均池化，得到2 個1×1×C的特征圖；再將其分別送入1 個2 層的神經網絡（MLP），第1 層神經元個數為C/r（r為減少率），激活函數為ReLu，第2層神經元個數為C，這個2 層的神經網絡是共享的；而后，將MLP 輸出的特征進行加和操作，再經過激活函數，生成最終的通道特征，即Mc；最后，將輸出Mc的和輸入特征圖F相乘，生成空間特征模塊需要的輸入特征。空間上，將通道特征模塊輸出的特征圖F作為本模塊的輸入特征圖。首先設置1個基于通道的全局最大池化和全局平均池化，得到2 個H×W×1 的特征圖，將這2 個特征圖基于通道做通道拼接；然后經過一個7×7 卷積，降維為1 個通道，即H×W×1；再經過激活函數生成空間特征，即Ms；最后將該特征和該模塊的輸入特征做乘法，得到最終生成的特征。通道上模塊具體計算如式(1)～式(4)所示，CBAM 具體計算如圖2所示。

圖2 CBAM結構圖Fig.2 Structure of CBAM

式 中，σ為 激 活 函 數Sigmoid；W0∈RC/r·C，W1∈RC·C/r；f7×7為7×7的卷積。

2.2 引入ASPP

利用CNN 提取圖像特征時，隨著卷積層數的加深，特征圖分辨率逐漸減小，局部感受野能感知到原圖像的范圍不斷擴大，且越接近頂層的特征圖越傾向于關注圖像的全局信息，所以深層神經網絡提取的深層特征非常不利于小目標檢測。引入ASPP 可以進一步擴大感受野[18]，使較小目標紙病的特征信息在網絡傳遞時得到保留，有利于小目標紙病的提取，進而提高網絡性能。ASPP由2部分并聯組成：第1部分包含1 個1×1 卷積層和3 個3×3 的采樣率為Rate={6,12,18}的空洞卷積層，卷積核數量為256，包含批標準化層；第2部分是圖像級特征表示，具體操作是應用全局平均池化之后接著1 個卷積核為256 的1×1 的卷積層，最后再進行雙線性上采樣操作，得到所需的空間維度。ASPP 結構里存在4 種不同采樣率的空洞卷積并行采樣，空洞卷積能在不丟失圖像分辨率的情況下，擴大特征圖的感受野，分辨率高，可以精確定位紙病目標，而不同的感受野可以感受不同的尺度信息，通過并行組合不同采樣率，可以獲得多個不同尺寸的感受野，實現對任意大小紙病目標的分類目的。ASPP結構如圖3所示。

圖3 ASPP結構圖Fig.3 Structure of ASPP

2.3 改進后的YOLOv7網絡結構

改進后的YOLOv7 主干網路部分，在第1、2、3個Conv2D+BN+SiLU 模塊和第1 個Multi_Concat_Block模塊后面分別添加1 個CBAM 模塊。前2 個CBAM 是在淺層網絡加入，可以提升網絡對于小目標紙病缺陷特征提取能力。第3 個CBAM 模塊作用是在進行下一次特征融合之前，先對特征圖進行特征加強操作。通過該改進，能使網絡忽略無關紙病信息的干擾，著重關注關鍵紙病特征，并將相對重要的特征加以融合，使融合后的特征圖包含更多有效紙病信息，提高小目標紙病定位精度。特征提取部分CBAM 從空間和通道2 方面加強了關鍵紙病信息的檢測，保障算法穩定性。

在主干網路里面加入ASPP 可以進一步擴大感受野，使較小目標紙病的特征信息在網絡傳遞時得到保留，進而提高網絡性能。有利于小目標紙病的識別。改進后YOLOv7 網絡如圖4 所示，紅色橢圓形為新加入的模塊。

圖4 改進YOLOv7算法結構Fig.4 Improved YOLOv7 algorithm structure

3 實驗與結果分析

3.1 實驗環境與評價標準

本課題所有模型實驗環境為Linux 系統，ubuntu118.04，anconda4.12.0 & python3.8，CUDA11.6；軟件采用Pycharm2022.1.1；框架pytorch1.12。GPU 為24 GB顯存的NVIDIA GeForce RTX 3090，CPU為Gold 5218R。

2017年3月31日，財政部修訂發布了《企業會計準則第22號——金融工具確認和計量》、《企業會計準則第23號——金融資產轉移》和《企業會計準則第24號——套期會計》等三項金融工具會計準則。此次更新即是趨同國際會計準則，結合我國實際情況和需要進行的修訂。本次修訂也是金融工具相關準則自2006年發布后的首次修訂。

精確率（P）、召回率（R）、平均精確率（AP）及平均精確率均值（mAP）作為網絡的性能評判指標。在工廠檢測紙張表面缺陷需要滿足實時性，使用單張圖片平均推斷時間作為評價指標。在檢測準確性評價指標方面，本課題選擇在目標檢測領域中常用mAP 0.5 和mAP 0.5：0.95 指 標，mAP 計 算 如 式(5)所示。

其中，AP 為精確率-召回率（P-R）曲線的曲線下面積。在計算P的過程中，首先設定預測框與真實框交并比（Intersection of Union，IoU）閾值，然后繪制預測框的P-R曲線，計算AP 值。mAP 0.5 指IoU 閾值取50%時的mAP 值。此外，將閾值從50%開始，以5%為步長逐漸升高至95%，得到不同IoU 閾值下的mAP，mAP 0.5：0.95即為所有mAP的平均值。

3.2 紙病數據集構建

3.2.1 紙病圖像采集

研究中采用2 種方式采集紙病圖像，分別從包裝紙生產車間生產線上采集實際遇到的紙病和從實驗室中通過實驗室設備采集的紙張紙病。包裝紙生產車間生產線上收集到的紙病圖像是紙病診斷系統經過裁剪處理后的圖像，實驗室采集到的紙病圖像是相機拍攝的原圖，這些紙病圖像大部分圖片的長度和寬度不一樣，為了統一圖片尺寸大小并防止圖片失真，采用背景插值法和圖像外接矩形區域法對圖片進行縮放。本課題紙病數據集一共有3500 張圖片，包含了黑斑、亮斑、孔洞、折皺、裂縫5類紙病，部分原始紙病圖像數據如圖5所示。

圖5 原始紙病圖像數據Fig.5 Paper disease image data

3.2.2 紙病圖像標注

所有采集的圖像首先進行了圖像縮放、翻轉、長寬扭曲等數據處理，以增加訓練樣本的多樣性、擴大紙病數據集規模；然后用labelimg 軟件標注出目標區域及類別，紙病類別一共有5 類，分別為黑斑、白斑、孔洞、裂口、褶子。通過執行Python 腳本課題件把數據集按數量比8∶2 劃分生成訓練集和驗證集。執行完結果在VOCdevkit/VOC2007 目錄下生成文件夾YOLOLabels，存放的文件是圖像的YOLO 格式的標注文件，在VOCdevkit 目錄下生成images 和labels 文件夾，images 文件夾里有train 和val 文件夾，分別放置訓練集和測試集圖片；labels 文件夾有train 和val 文件夾，分別放置訓練集和測試集標簽（YOLO 格式），在YOLOvX 下生成了2 個文件YOLOvX_train.txt 和YOLOvX_val.txt。YOLOvX_train.txt 和YOLOvX_val.txt 是分別存放的訓練圖片文件和測試圖片文件的列表，含有每個圖片的路徑和文件名。

3.3 對比實驗

為方便比較，設計了消融實驗來驗證改進效果，改進后的YOLOv7 消融實驗結果如表1 所示。由表1可知，引入CBAM 和ASPP 均不同程度地提升了網絡性能；添加CBAM 模塊可以加強小目標的特征信息提取，使模型的mAP 提升了1.4 個百分點；通過加入ASPP 模塊，擴大感受野，模型的mAP 0.5 提升了0.9 個百分點。雖然加入的模塊會降低網絡的檢測速度，但由表1可知，其對于速度影響較小，改進后的YOLOv7網絡仍能保證紙病缺陷的實時檢測。

表1 消融實驗結果Table 1 Ablation experiment results

為了證明改進后的算法性能，表2 顯示了改進后的YOLOv7 算法模型在本課題紙病數據集里面的性能指標對比。由表2 可知，改進后的YOLOv7 算法P比YOLOv7提高了1.5個百分點，R比YOLOv7提高了2.3 個百分點，mAP 0.5 比YOLOv7 提升了2.1 個百分點，mAP 0.5:0.95 提升了3.2%。對于本課題的紙病數據集來說，改進后的算法在保障了一定速度的情況下提升了P和R等指標精度。

表2 對比實驗結果Table 2 Comparative experimental results

為了更好地驗證所提出的改進YOLOv7算法的檢測性能，采用檢測準確率與檢測時間2項指標，將本課題的改進YOLO 算法同現有基于CNN 的紙病分類算法與其余主流目標檢測網絡模型SSD、YOLOv5在自建數據集上的訓練結果進行評估與對比，對比實驗的結果如表3所示。由表3可以看出，本課題所提出的改進算法相較于基于SSD 的紙病類算法的mAP 0.5高3.5個百分點，速度快38.1幀/s，相較于YOLOv5提升了3.1個百分點，速度提升了38.2 幀/s，相較于YOLOv7，提高了2.1個百分點，且檢測速度差異較小。

表3 傳統算法對比實驗結果Table 3 Traditional algorithm compares the experimental results

通過紙病數據集對改進YOLOv7 模型進行訓練，紙病數據集訓練結果圖如圖6 所示。圖6 中從左到右前6個是訓練的損失函數，分別為Box框的損失函數、不含目標類別的損失函數、類別的損失函數，后4個是指標變化圖。由圖6 可知，改進后的YOLOv7 算法loss 值不斷下降并且收斂，訓練精度不斷上升，網絡模型具有較好的收斂能力和學習能力。

圖6 紙病數據集訓練結果圖Fig.6 Training result graphs for paper detect dataset

改進后的YOLOv7 算法檢測結果如圖7 所示，圖片為經過Mosaic 增強拼接后的訓練結果。其中0～4分別代表裂痕、孔洞、黑斑、亮斑、折皺5 種紙病類別。從圖7 可以看出，改進后的YOLOv7 的速度比YOLOv5 快，精度也比YOLOv5 和YOLOv7 高，提升了紙病檢測的效率和質量，提升了造紙機的出紙品質和效率，是一種有效的紙機紙病在線實時檢測的有效算法。

圖7 改進后的YOLOv7 算法檢測結果Fig.7 Detection results of the improved YOLOv7 algorithm

4 結 論

本課題通過在YOLOv7 網絡中加入注意力機制CA 和BAM 及空洞空間卷積池化金字塔ASPP，提升了網絡對紙病檢測的精度，其平均精確率均值mAP 0.5提升了2.1個百分點，檢測速度超過78幀/s，且模型具有較好的魯棒性，具有較高的紙病缺陷在線檢測應用價值。研究中只檢測了常見的5類紙病，后期可增加更多紙病類型；由于沒有開源的紙病數據集，紙病數據集數量僅3500 張左右，導致訓練模型的泛化性能不高，后期可采集更多的紙病圖像，豐富數據集的規模；同時，可以考慮通過遷移學習策略提高紙病特征學習及檢測效率；并對紙病進行預處理，放大小目標圖像，進一步提高檢測效率。