煙支激光打孔異常檢測的技術研究

摘要：提出了一種利用深度學習算法結合工業相機的煙支激光打孔異常檢測方法。針對該檢測過程中的難點，包括圖像采集困難、檢測響應時間要求和抗干擾性等問題，作者選擇了彩色工業相機進行圖像采集，并采用YOLOv3目標檢測算法進行煙支打孔點位的定位和分類。詳細介紹了YOLOv3檢測算法的實現流程，包括數據標記、模型訓練、調整置信度和非極大抑制等步驟。此外，為了提高圖像清晰度和檢測速度，提出了圖像增強和使用圖像金字塔變換的方法。經過實際測試，該方法在煙支激光打孔異常檢測中取得了很好的效果，具有高準確率、強抗干擾性和實時性等優點。

關鍵詞：工業相機成像；目標檢測；YOLOv3；伽馬圖像增強；圖像金字塔

一、前言

目前對煙支激光打孔異常的檢測存在以下難點：取圖，煙支出口輪輸出的煙支在輸送帶上呈層次排列，高低不平，相互遮擋，受光照影響大，且呈移動狀態，采圖困難；檢測響應時間，對煙支打孔處檢測有時間要求，需要及時得到檢測結果用于報警；抗干擾性，卷煙生產現場有粉塵、震動等不利因素干擾相機采集數據以及檢測。對于上述難點，本文提出了一種利用深度學習算法結合工業相機的解決方法。

二、取圖

為了適應現場惡劣的環境（震動、粉塵）以及得到最佳的取圖效果，選擇工業相機可以達到最佳的取圖效果。根據目前煙支激光打孔點的成像范圍，相機應選擇500萬像素，為獲得更好的目標點位特征應選擇彩色相機。

目前的檢測環境實現清晰取圖主要受兩個因素影響，第一點是檢測對象處于快速運動狀態，成像會有拖影現象。第二點是檢測對象表面高低不平，需要解決成像深度的問題。

（一）非靜止運動速度快的對象

對于非靜止且運動速度較快的對象，拍攝時需要解決的問題是拖影，即在工業相機曝光時，取圖對象與工業相機之間存在相對運動。這種運動會使圖像不斷發生變化，從而使每個像元受到來自對象各個部分的干擾，最終形成一個不斷改變的圖像空間，致使圖像疊加、變得模糊。

為了解決該問題需要給拍攝對象增加光源并調整相機合適的曝光時間，曝光時間太長會有拖影產生，曝光時間太短則無法對檢測目標成像[1]。為達到最佳的成像效果需對曝光時間進行計算，如下公式為最佳曝光時間的計算方法。假設運動物體速度V=100mm/s，相機分辨率R=1/100（mm/pixel），那么我們得到的最大曝光時間為0.1ms。

如果成像圖片允許5個像素的偏差，那么最大曝光時間T計算公式為：

（二）檢測對象表面高低不平

當物體處于對焦點平坦時，感光芯片會捕捉到清晰的影像，而在對焦點平坦前方到后面的區域內，能捕捉到清晰圖像的區域被稱為景深。如果拍攝對象有高低不平的現象，則需要加大取圖景深，從而獲得需要檢測對象的清晰圖像。

如下所示不同的景深成像示意圖。

通過上述方程，能夠得出光圈越小，景深就越深；拍攝距離越遠，景深就越深的結論。為了獲得更深的景深，需要在取圖對象上加入光源，從而可以調小光圈，調大拍攝距離。

三、檢測算法的選擇

本文所述檢測環境為生產現場，其檢測對象受設備振動、表面的煙絲影響，且檢測對象高低左右不平，檢測目標較小，用傳統的視覺方法難以對檢測點位進行定位，因此引入了深度學習的算法，利用深度學習的算法可對檢測目標進行實時跟蹤并分類。目前，比較主流的目標檢測框架有YOLOv3、Fast R-CNN、SSD。下面將對這三個檢測算法進行比較，以便從中選出合適的檢測框架。

SSD，即Single Shot MultiBox Detector，它的速率優點突出，也具有一定的檢測準確度。但是由于該檢測框架使用了低層網絡特征信息預測小物體，對小目標的識別效果不佳。本文所述煙支的激光打孔檢測點位為小目標特征，所以該檢測框架并不適合。

Faster R-CNN由R-CNN和Fast R-CNN發展而來，Faster R-CNN雖然有一定的檢測精度，但其訓練步驟復雜，檢測模型需要分多個階段訓練，對開發人員技術要求比較高，占用磁盤空間達一千張的訓練圖片會產生上百GB的特征圖像且預測延時高。經過測試，在使用GPU加速的情況下處理一張1000×1000像素大小的圖片仍然需要3s的響應時間，本文所述目標檢測為實時檢測，因此該檢測框架并不合適。

YOLOv3，YOLO是“You Only Look Once”的簡稱，它是一種具有目標跟蹤識別功能的檢測框架。YOLOv3借鑒了YOLOv1和YOLOv2的思想，既可以實現大目標的檢測，也可以檢測小目標，盡管不是最精確的算法，但它在檢測精度、檢測速度和檢測模型的健壯性方面都表現出色，因此，它可以滿足對檢測時間有要求的場景。

四、YOLOv3目標檢測實現流程

YOLOv3實現目標檢測的流程需要四個步驟，分別是標記數據、訓練模型、調用模型進行驗證、實現檢測。

（一）數據標記

為了實現本文所述場景下的檢測，需要對不同的特征點進行標記，將正常的煙支打孔分為一類。只露出一半的打孔煙支分為一類，打孔不好的分為一類，沒有打上孔的分為一類，有異物的分為一類，通過對以上特征進行分類標記并對檢測模型進行訓練后，可實現對煙支正常激光打孔的識別、煙支異常激光打孔的識別、煙支無激光打孔的識別，同時識別出煙絲以及其他非正常現象而產生的誤檢驗。

（二）YOLOv3檢測模型的模型訓練

1.影響訓練的模型的幾個關鍵參數及調整

一次性的數據輸入量，Batch Size 是每一次輸入訓練模型的數據量。如果不使用Batch Size，則需要一次把訓練數據全部輸入到訓練模型中。該方法會使GPU產生數據大爆炸，無法完成訓練。使用Batch Size可有效減小輸入模型的數據量，減少對訓練顯卡的性能要求，但同時Batch Size的大小又對模型的訓練效果產生影響，所以在具體實踐中應該根據硬件的性能進行設置。設置BatchSize要注意以下幾點：Batch Size設置過小可能會導致檢測模型無法進行穩定的收斂，達不到預期的檢測效果，尤其是當網絡結構較為復雜時；設置的Batch Size太小導致GPU無法發揮最佳性能，影響訓練速度；當Batch Size過大時，網絡很容易陷入局部最優解，從而降低檢測模型的健壯性。GPU對2的冪次的Batch Size可以發揮更優的性能[2]，因此將Batch Size設置為4、8、16……可以取得更優的檢測效果。

2.學習率的選擇

學習率是模型訓練中一個非常關鍵的技術參數，它能夠影響loss值的收斂速率，SGD、RMSprop、Adam等優化算法都會考慮到學習率對模型收斂的影響。如果學習率過低，模型收斂會變得緩慢，而如果學習率太高[3]，則或許會造成模型震蕩區間太大，錯過最優解，從而使模型無法達到最佳檢測效果。從訓練結果的檢測效果看，學習率設置為0.5、0.1、0.05、0.01、0.005，0.005、0.0001、0.00001幾個數值訓練效果最佳，但具體需結合模型訓練的情況做判斷對比，小的學習率收斂慢，但一般能得到好的訓練結果。

3.檢測模型的選擇

如圖1所示，根據模型的訓練結果，可以得出當loss處于A點，模型處于欠擬合狀態，模型處于欠擬合狀態，將無法達到需要的檢測準確率。當val loss處于B點、train loss處于C點，模型處于過擬合狀態，對訓練圖片會有很好的測試效果，但模型的健壯性較差，只會對訓練的圖片有較好的檢測效果，將其部署到實際的檢測場景將無法達到檢測要求。所以，在選擇訓練模型的時候要綜合考慮val loss和train loss，以使模型達到最佳檢測效果。此處的模型可以選擇D1或者D2點作為檢測模型，具體效果需要根據實際使用情況做調整。

4.置信度與非極大抑制調整

如圖2所示，當訓練完成對目標檢測，但置信度跟非極大抑制沒有調整好，會出現很多重復的檢測框及錯誤的檢測框，此時需要對置信度跟非極大抑制進行調整。

置信度的調整：置信度是衡量檢測準確度的一個指標，具體體現在檢測框位置的準確度、檢測類別的準確度。在實際運用中可將其設置為一個閾值過濾掉那些低置信度的檢測目標，以達到檢測的準確性，具體設置為多少需要根據實際的檢測情況進行調整。

非極大抑制：檢測模型檢測到目標后會生成多個檢測框，但只需要一個較準確的檢測框，此時對檢測框進行過濾留下檢測位置較準確的檢測框，非極大抑制就是尋找局部最優，過濾掉重復檢測框，該值設置越大留下的檢測框越少，具體設置為多少需根據實際的檢測情況進行調整。

五、圖像增強

如果要對圖片進行準確地檢測，需要一張清晰的圖片。然而，由于光源、設備振動和現場環境的影響，往往無法獲得滿足要求的圖片。此時，圖像增強就顯得尤為重要，常見的圖像增強方法有：

經典的銳化算法：如Sobel算子、Laplacian算子等。這些算法都是通過對圖像進行微分或二階微分，來提取圖像的邊緣信息，從而達到增強圖像清晰度的目的。這種方法是比較經典和常用的，但是對于噪聲有一定的敏感性。并不適用于本項目場景。

基于卷積神經網絡（CNN）的方法：利用CNN可以有效地學習和提取圖像中的特征信息，在圖像增強方面也有很好的應用前景。比如使用圖像超分辨率方法使得圖像細節更加清晰。這種方法能夠對模糊圖像進行有效地處理，但是可能需要耗費較多的計算時間。并不適用于本項目場景。

伽馬圖像增強（Gamma Image Enhancement）是一種基于灰度非線性變換的圖像增強方法。它通過將原始圖像的像素進行冪次變換，來提高圖像的對比度和清晰度。該方法是一種既簡單又有效的圖像增強方法，能夠提高圖像的清晰度和對比度，而且處理時間通常很短。對于500萬像素的圖片，使用伽馬增強可以在60ms內完成處理。所以，相對于其他提高圖像清晰度的方法，伽馬圖像增強比較適合于本項目場景。

六、檢測速度提升

本文討論的是一種實時檢測方法，對檢測速度有一定的要求，為了在實時檢測中提高檢測速度，通常需要對圖像進行縮小操作。然而，直接縮小圖像往往會導致一些問題，例如丟失目標特征點、降低檢測準確度等。為解決這些問題，可以使用圖像金字塔變換來處理圖像。圖像金字塔是一種用于圖像尺度空間分析的方法。它通過對原始圖像進行連續采樣得到一系列不同尺度的子圖，這些子圖的大小不同，但保留了原始圖像的主要特征。具體來說，圖像金字塔一般由多層圖像組成，每層圖像的分辨率比前一層低，但其相對于前一層有2倍的線性比例尺度差異。這樣，在縮小圖像的同時仍然可以有效地保留圖像的主要特征點，避免因圖像變形造成的檢測誤差。

在實時檢測中，使用圖像金字塔變換可以快速地對多尺度圖像進行處理，提高圖像處理和目標檢測的效率和準確性。通過使用圖像金字塔，可以有效地解決圖像縮小后丟失特征點的問題，同時保留圖像的主要特征，從而提高檢測準確度[3]。通過圖像金字塔對圖片的壓縮處理，在檢測精度不變的情況下，檢測速度由原來的0.14s秒提高到0.07s，速度提高了一倍。

七、結論

將深度神經網絡算法結合工業相機應用到卷煙的產品外觀缺陷檢測具有很好的檢測效果，具有以下特點：檢測準確率高，在生產現場的測試對連續性的煙支激光打孔異常具有99%的檢出率；抗干擾性強可以應對復雜環境下的檢測需求；具有跟蹤識別功能，不受特征點位置限制；深度學習算法具有迭代訓練功能，可以通過不斷擴大訓練集數據對檢測模型進行迭代和訓練，使其具備更強的檢測功能，提高檢測精度。在實際應用中，隨著數據量的增大，檢測精度將會進一步提升。

本文所述方法不僅可以應用于煙支激光打孔的檢測，在煙草行業的其他復雜場景，也有很好的應用前景。

參考文獻

[1]陶徐.機器視覺在煙盒包裝檢測中的應用[D].昆明：昆明理工大學，2017.

[2]Redmon J ， Farhadi A .YOLOv3： An Incremental Improvement[J].arXiv e-prints，2018.

[3]李立宗.OpenCV輕松入門面向Python[M].北京：電子工業出版社，2019：215-225.

作者單位：廣西中煙工業有限責任公司柳州卷煙廠

■ 責任編輯：尚丹