基于無監督深度神經網絡的卷煙小包拉線缺陷視覺智能檢測方法

朱立明，王偉，范霞萍，王文博，徐鑫，許小雙

基于無監督深度神經網絡的卷煙小包拉線缺陷視覺智能檢測方法

朱立明，王偉，范霞萍，王文博，徐鑫，許小雙

（浙江中煙工業有限責任公司，杭州 310024）

為減少ZB47包裝機小包拉線缺陷投訴，基于無監督深度神經網絡構建一種小包拉線缺陷視覺智能檢測方法。首先，在ZB47包裝機CH轉塔部位設計并加裝小包圖像采集裝置，獲得實時高清晰度小包圖像。其次，將小包圖像根據拉線位置進行固定位置的裁剪，從而減輕不同工況的環境背景影響并且加快檢測速度。然后，構建自編碼器–編碼器結構的主干網絡，同時疊加生成對抗網絡中的判別器模塊組成缺陷判別模型，并綜合采用圖像間、圖像隱空間以及圖像特征間的信息構建模型的損失函數。最后，使用裁剪后的正常小包拉線圖像對構建的缺陷判別模型進行訓練，并基于所有的正常小包圖像得到異常閾值。實際驗證階段，待檢測圖像的得分大于異常閾值即判斷為異常圖像，觸發CH轉塔部位的小包剔除裝置將該缺陷小包剔除。生產現場測試表明，所提方法可以對典型小包缺陷進行快速準確檢測，缺陷檢測準確率為99.99%。該方法能夠滿足生產現場卷煙小包拉線缺陷檢測的準確性和實時性要求。

卷煙小包拉線；生成對抗網絡；自編碼器；視覺智能檢測

卷煙制造環節中，相較于人工缺陷檢查，采用機器視覺的缺陷智能檢測方法具有檢測速度快、檢測準確性高等優點。機器視覺的缺陷智能檢測方法已逐步在煙梗切絲質量檢測[1]、爆珠缺陷檢測[2-4]、濾棒數量檢測[5]、煙支接裝質量檢測[6]、中速包裝機小包透明紙缺陷檢測[7-8]、條盒缺陷檢測[9-11]、煙箱缺條檢測[12-13]、煙草品牌檢測[14]等多個場景進行了成功應用。國產ZB47是一種生產速度為550包/分鐘的高速包裝機，是“十三五”期間煙草期間行業重大技術裝備，目前已在19家中煙工業公司廣泛使用。該機型已有小包外觀檢測、條盒外觀檢測等成功應用，但是小包外觀檢測主要利用模板匹配方法對未包裝透明紙的小包進行缺陷檢測，包裝好透明紙的小包外觀檢測仍處于在線監控盲區，實際生產過程會出現無拉線、拉線高/低等小包拉線質量缺陷和投訴。由于安裝圖像采集裝置物理空間制約，以及檢測算法極高的實時性和準確率要求，針對ZB47高速包裝機包裝好透明紙的小包拉線缺陷檢測未見相關研究和成功應用的報道。針對僅有極少量缺陷樣本，以及極高的檢測實時性和準確率要求的ZB47高速包裝機小包拉線在線檢測場景，亟需研發一套基于無監督深度學習的小包拉線缺陷智能檢測裝置，實現小包拉線缺陷的實時檢測和聯動剔除。

1 小包圖像采集裝置設計

為了保證含有拉線缺陷的小包能被及時發現并剔除，需要在剔除裝置之前進行小包圖像采集和缺陷檢測。ZB47高速包裝機CH轉塔部位位置狹小且處于半封閉空間，該處小包已經包好透明紙及拉線，但還未經過整容器進一步燙平美容，CH轉塔部位的剔除位置位于轉輪轉盤正中位置，需要在前一個工位進行小包圖像采集裝置的設計和安裝，并完成小包圖像的采集和缺陷檢測。CH轉塔部位的工位見圖1。

圖中1號工位為檢測位，實現小包圖像采集和缺陷檢測，并給出剔除反饋；2號工位為剔除位，實現缺陷小包的及時剔除；3號工位為整容器入口位置。

由于CH轉塔部位位置狹小且屬于半封閉空間，沒有足夠的物理空間安裝支架、工業相機和光源，最終安裝位置選取在轉輪外部臺階上。此時工業相機到小包的直線距離為380 mm左右，通過多次現場測試最終選用130萬像素彩色工業相機、25 mm工業鏡頭和定制光斑直徑為60 mm的LED聚光光源（光源采用低角度打光），安裝位置見圖2。

圖1 CH轉塔部位的工位示意圖

小包在轉塔部位轉盤的位置狀態可以分為2種：工位處和工位之間運動處。當CH轉盤將煙包輸送到1號工位時，會有一個短暫停留，利用該時間進行小包圖像采集，采集的圖像發送至系統后臺，并由缺陷視覺智能檢測方法進行缺陷檢測，對于有缺陷的小包，系統將剔除信號發送給包裝機ZB47電控系統。

2 小包圖像缺陷檢測算法設計

ZB47高速包裝機其生產速度550包/分鐘，煙包在CH轉盤上每轉動一個工位的時間周期約為200 ms。該時間內需要執行工業相機觸發拍照、圖像缺陷檢測算法模型運算、給電控系統輸出剔除信號等。采用相機千兆網GigE接口傳輸圖片時，各個操作預估耗時見表1。

ZB47高速包裝機小包實際生產過程中，因前期未進行小包拉線圖像采集，通過上述設計的小包圖像采集裝置，實現了小包拉線圖像的數字化表征和存儲，但收集的圖像數據主要為正常小包拉線圖像樣本，缺陷小包拉線圖像樣本主要靠市場投訴積累，數量極少。同時由于包裝機生產速度快，在對缺小陷小包進行實時檢測和剔除時，需要缺陷檢測算法具有很高的實時性（小于50 ms）。ZB47高速包裝機小包拉線缺陷檢測需要解決缺陷圖像樣本少和缺陷檢測實時性高等問題。

圖2 CH轉塔部位的圖像采集裝置示意圖

表1 轉盤單個轉動周期內各個操作的預估耗時表

Tab.1 Estimated time consumption of each operation in a single rotation cycle of the turntable

有監督缺陷檢測算法的網絡結構較深，使得其檢測速率較慢，很難滿足工業生產場景較高的實時性需求。對于僅有極少量缺陷樣本的快速缺陷檢測場景，無監督缺陷檢測算法能夠很好地解決缺陷圖像樣本少和缺陷檢測實時性高的問題[15]。文中提出一種只使用小包正常圖像樣本的無監督深度學習缺陷檢測算法，實現了卷煙制造過程小包拉線缺陷的精準實時檢測和定位。

2.1 基于生成對抗網絡和自編碼器的缺陷檢測模型

文中提出的無監督深度神經網絡小包拉線缺陷檢測算法結構（見圖3）包括自編碼器（AE）和生成對抗網絡（GAN）2部分。所提小包拉線缺陷檢測算法由3個子網絡組成，第1個子網是自編碼器網絡，由1個編碼器和1個解碼器組成，用來學習正常卷煙小包圖像的分布。編碼器e讀取輸入的小包原始圖像，通過計算得到對應的隱空間值，之后通過解碼器d得到其重構后的圖像；第2個子網是一個編碼網絡，由1個編碼器組成，將重構的圖像輸入到編碼器中得到其對應的隱空間值（和具有相同的維度），從隱空間的層面上判別缺陷，大大降低數據維度從而能夠提高判別的效率和準確率；第3個子網是一個鑒別網絡，由1個標準GAN網絡結構的判別器組成，通過判別器區分原始圖像和重構圖像的差異，通過對抗訓練來使得自編碼器能夠較好地擬合正常卷煙小包的分布。

圖3 無監督深度神經網絡的小包拉線缺陷檢測算法結構

無監督深度學習小包缺陷檢測模型采用3個損失函數來進行綜合訓練。首先基于輸入圖像和重構圖像的差異定義圖像間的重構損失函數，保證了自編碼器能夠學習到輸入圖像的語義信息，其定義如下：

(1)

(2)

最后基于第3個子網的判別器定義對抗損失函數。不同于原始GAN中通過判別器的輸出值來更新編碼器G，采用根據判別器中的內部特征表示更新編碼器G，以增強對卷煙小包特征的提取。由于神經網絡越靠后的層所提取的特征越能代表圖像的高維屬性，采用判別器倒數第2層特征之間的差異來組成損失函數，公式為：

(3)

式中：()為輸入圖像在判別器倒數第2層的特征表征；()為重構圖像在判別器倒數第2層的特征表征。由于判別器的網絡結構較為復雜，從特征層面上定義損失函數以增強模型的魯棒性。

基于這3個損失函數便組成了小包缺陷檢測算法模型的綜合損失函數：

(4)

式中：1、2和3用來調整各個損失對于模型訓練的影響，需要在實際的工況條件下進行調整。

在訓練的第1階段，第3個子網的判別器被凍結，第1個子網的自編碼器和第2個子網的編碼器首先尋找正常數據和異常數據出現差異的最佳隱空間，從而可以根據圖像間對應隱空間的不同來判斷是否有缺陷。在第2個訓練階段，固定第1個子網的自編碼器和第2個子網的編碼器參數，第3個子網的判別器利用原始圖像和生成圖像之間的差異進行缺陷區域定位。無監督深度學習小包缺陷檢測算法整體框架見圖4。

圖4 無監督深度神經網絡的小包缺陷檢測算法總體框架

2.2 小包圖像處理與缺陷檢測

對于采集到的卷煙小包圖像，由于生產環境的不同，其圖像中包含著大量的背景因素。這些與檢測主體無關的背景因素不僅會增加模型的運算量，同時也會干擾模型的檢測，從而導致模型的準確度下降。

卷煙小包生產過程中，采集到的圖像中卷煙小包的位置是相對固定的。采取固定裁剪框將缺陷可能存在的拉線區域裁剪下來，從而較好地消除環境因素的干擾，并使得模型集中在缺陷可能存在的主體區域。基于裁剪后的有效區域正常卷煙小包圖像構建訓練集，進行上述缺陷檢測模型的訓練，并根據所有正常卷煙小包圖像的異常分數值綜合制定正常圖像的異常分數閾值。在檢測階段，根據上述異常分數的定義，計算待檢測圖像的異常分數，將異常分數值與制定的異常分數閾值相比較，如果超過了異常分數閾值則待檢測圖像存在缺陷，向包裝機電控系統發出剔除信號。小包拉線缺陷檢測流程見圖5。

3 數據驗證與結果分析

3.1 試驗數據準備

選取某卷煙廠ZB47高速包裝機采集的卷煙小包圖像進行缺陷檢測方法有效性驗證。通過數據甄別，選取200張正常的卷煙小包圖像構成訓練集，500張含有正常及異常卷煙小包圖像構成測試集（其中正常小包圖像454張、異常小包圖像46張）。正常和異常卷煙小包圖像見圖6，其像素大小為1 280×1 024×3。

圖5 小包拉線缺陷檢測流程

3.2 模型離線訓練

小包拉線缺陷智能檢測模型訓練100輪，訓練樣本的數量batchsize取為64，采用Adam作為深度學習優化器，Adam中學習率，動量、。式（4）中、和分別為50、1和1。在隱空間上定義異常分數，隱空間的維度為128維。模型使用Python中的Pytorch框架實現，Python版本為3.6，Pytorch版本為1.6。模型在RTX 2080Ti GPU下進行訓練，檢測一張圖像的平均時間為3.18 ms，異常分數閾值為0.25。

隨著訓練輪次的增加，缺陷智能檢測模型的重構能力逐漸增強、重構的圖像逐漸清晰，當訓練到100輪時，重構圖像與原始圖像已經非常接近，幾乎能夠達到以假亂真的效果。各個訓練輪次模型對原圖的重構效果見圖7。

圖6 正常與異常卷煙小包圖像

3.3 模型離線測試

利用500張小包圖像（其中正常小包圖像454張、異常小包圖像46張）的測試數據進行缺陷智能檢測模型離線驗證，模型的準確率、誤報率、漏報率等指標定義如下。

P為圖像實際無雜物，且檢測算法判斷無雜物。P為圖像實際有雜物，但檢測算法卻沒報警，即漏報。N為圖像實際無雜物，但檢測算法卻報警，即誤報。N為圖像實際有雜物，且檢測算法正確報警。

模型準確率，即檢測正確的圖像樣本數與總圖像樣本數的比值，計算見式（5）。

(5)

漏報率（負樣本），即漏報的有雜物圖像樣本數與實際有雜物圖像樣本數的比值，計算見式（6）。

(6)

圖7 模型訓練過程中模型對于原圖的重構圖

圖8 小包拉線缺陷檢測模型訓練過程的損失函數進化曲線

誤報率（正樣本），即誤報的無雜物圖像樣本數與實際無雜物圖像樣本數的比值，計算見式（7）。

(7)

小包拉線缺陷智能檢測模型的各個評價指標見表2。

表2 小包拉線缺陷智能檢測模型的評價結果

Tab.2 Evaluation result of cigarette packet tear tape defect detection model

從離線測試結果可以得出，缺陷智能檢測模型的漏報率和誤報率都較低，分別為0%和0.66%，模型的準確率維持在一個較高的水平，達到了99.4%，能夠滿足實際生產的檢測要求。

3.4 生產現場應用

在生產現場工控機（帶RTX 1050Ti GPU）進行小包拉線缺陷智能檢測模型的部署，并開發了具備實時監控、歷史查詢、模型訓練、系統設置等功能的小包缺陷檢測系統，軟件界面見圖9。無拉線、拉線偏移、透明紙破、包裝紙破、軋包等典型缺陷見圖10。

圖9 小包缺陷檢測系統界面

經過3個月的現場測試，系統對7 697 402張樣本圖像進行了在線檢測，共檢出了4 433張缺陷樣本圖像，通過工藝專家核對，僅發現21張誤報缺陷樣本圖像。誤報集中在拉線偏移缺陷，說明算法對拉線微小偏移的檢測仍有進一步優化空間。

現場測試共產生769萬多張判斷為正常的小包圖像，如此大量的小包圖像數據無法直接進行人工核對，只能通過產品流向市場后的投訴追溯來間接反映是否存在漏報。通過綜合市場投訴的追溯分析，未發現該機臺檢測區域有不合格小包流向市場。

圖10 檢測出的典型小包缺陷圖像

綜上所述，在文中算法的現場測試期間，共完成7 697 402張樣本圖像的在線檢測，僅發生21次誤報，且未發生對應機臺待檢區域不合格小包的市場投訴。構建的小包拉線缺陷檢測系統可以對無拉線、拉線偏移、透明紙破、包裝紙破、軋包等典型小包缺陷進行及時準確檢測，有效彌補了小包透明紙拉線外觀檢測的在線監控盲區。

4 結語

針對卷煙小包拉線缺陷視覺檢測問題，提出一種基于生成對抗網絡和自編碼器的智能檢測方法。該模型僅需要正常卷煙小包圖像，避免了模型訓練對大量缺陷圖片數據的需求。通過自編碼器子網絡對原圖像進行重構，并通過一個單獨的編碼器網絡將圖像映射到低維空間。綜合采用圖像間、圖像隱空間和圖像特征間的信息對模型進行訓練，能夠從多個角度對卷煙小包存在的異常情況進行準確判別。經過生產現場實驗驗證，該方法能夠在極短的檢測時間內準確地對卷煙小包拉線缺陷進行檢測，滿足卷煙生產現場對小包缺陷檢測準確度和檢測速度的雙重要求。

[1] 張超凡, 董浩, 劉勇, 等. 基于視覺形態特征檢測的煙梗切絲質量分析[J]. 煙草科技, 2017, 50(1): 67-73.

ZHANG Chao-fan, DONG Hao, LIU Yong, et al. Analysis of Stem Cutting Quality Based on Visual Morphological Feature Detection[J]. Tobacco Science & Technology, 2017, 50(1): 67-73.

[2] 李巧靈, 黃勝翰, 張廷貴, 等. 爆珠滴制在線視覺檢測設備的設計及應用[J]. 煙草科技, 2020, 53(7): 92-101.

LI Qiao-ling, HUANG Sheng-han, ZHANG Ting-gui, et al. Design and Application of On-Line Inspection Device for Flavored Capsule Formation Process Based on Machine Vision Technology[J]. Tobacco Science & Technology, 2020, 53(7): 92-101.

[3] 徐龍泉, 王澍, 董浩, 等. 面向卷煙爆珠放行檢驗的氣泡缺陷檢測方法[J]. 煙草科技, 2020(10): 96-102.

XU Long-quan, WANG Shu, DONG Hao, et al. Method for Release Inspection of Cigarette Capsules with Bubble Defects[J]. Tobacco Science & Technology, 2020(10): 96-102.

[4] 王澍, 徐龍泉, 董浩, 等. 卷煙爆珠拖尾缺陷檢測方法[J]. 煙草科技, 2021, 53(1): 77-84.

WANG Shu, XU Long-quan, DONG Hao, et al. Method for Detection of Tailed Capsules[J]. Tobacco Science & Technology, 2021, 53(1): 77-84.

[5] 曹維林, 李捷, 孫順凱, 等. 基于Canny算子的濾棒數量檢測方法[J]. 煙草科技, 2020, 53(1): 96-102.

CAO Wei-lin, LI Jie, SUN Shun-kai, et al. Counting Method for Filter Rods Based on Canny Operator[J]. Tobacco Science & Technology, 2020, 53(1): 96-102.

[6] 李捷, 陸海華, 王翔, 等. 基于機器視覺的煙支接裝質量在線檢測系統[J]. 煙草科技, 2019, 52(9): 109-114.

LI Jie, LU Hai-hua, WANG Xiang, et al. Online cigarette appearance inspection system based on machine vision[J]. Tobacco Science & Technology, 2019, 52(9): 109-114.

[7] 李力, 黃玉彥, 喬茜華, 等. 基于疑似目標區域判定方法的卷煙透明包裝缺陷檢測[J]. 鄭州輕工業學院學報(自然科學版), 2014, 29(2): 35-37.

LI Li, HUANG Yu-yan, QIAO Xi-hua, et al. Detection of Cigarette Transparent Packaging Defect Based on Judgment Method of Suspected Target Region[J]. Journal of Zhengzhou University of Light Industry(Natural Science Ediion), 2014, 29(2): 35-37.

[8] 蔡培良, 何邦貴, 楊劍鋒, 等. GDX1小盒軟包透明紙熱封缺陷的視覺檢測系統[J]. 包裝工程, 2017, 38(5): 92-95.

CAI Pei-liang, HE Bang-gui, YANG Jian-feng, et al. Visual Inspection System of GDX1 Box Soft Transparent Paper Heat-sealing Defects[J]. Packaging Engineering, 2017, 38(5): 92-95.

[9] 吳偉, 劉愛蓮, 王永剛. 條煙外包裝透明紙缺陷的視覺檢測方法研究[J]. 云南大學學報(自然科學版), 2009, 31(S2): 116-119.

WU Wei, LIU Ai-lian, WANG Yong-gang. A Research Used Visual Detection Method in the Defects of Article Cigarette Packaging Cellophane[J]. Journal of Yunnan University (Natural Sciences Edition), 2009, 31(S2): 116-119.

[10] 蔡培良, 何邦貴, 楊劍鋒, 等. GDX1小盒軟包透明紙熱封缺陷的視覺檢測系統[J]. 包裝工程, 2017, 38(5): 92-95.

CAI Pei-liang, HE Bang-gui, YANG Jian-feng, et al. Visual Inspection System of GDX1 Box Soft Transparent Paper Heat-Sealing Defects[J]. Packaging Engineering, 2017, 38(5): 92-95.

[11] 蔡培良, 楊劍鋒, 李明, 等. C800-BV包裝機條盒紙膠點視覺檢測系統的設計[J]. 煙草科技, 2017, 50(9): 92-96.

CAI Pei-liang, YANG Jian-feng, LI Ming, et al. Design of Visual Detection System for Glue Points on Carton Blank for C800? BV Cartoner[J]. Tobacco Science & Technology, 2017, 50(9): 92-96.

[12] 蔡培良, 何邦貴, 華衛, 等. BV包裝機條煙外觀質量檢測裝置的設計[J]. 包裝工程, 2018, 40(3): 143-150.

CAI Pei-liang, HE Bang-gui, HUA Wei, et al. Design of Inspection Device for the Appearance Quality of Cigarette in BV Packaging Machine[J]. Packaging Engineering, 2018, 40(23): 143-150.

[13] 吳忠云, 鄧春寧. 機器視覺檢測技術在煙箱缺條檢測方面的運用[J]. 機械制造與自動化, 2014, 43(6): 188-190.

WU Zhong-yun, DENG Chun-ning. Application of Machine Vision Technology in Box Lack Detection[J]. Machine Building & Automation, 2014, 43(6): 188-190.

[14] 王偉, 朱立明, 章強, 等. 基于相似性分析和閾值自校正的煙箱缺條智能檢測方法[J]. 煙草科技, 2019(1): 91-97.

WANG Wei, ZHU Li-ming, ZHANG Qiang, et al. Method for Intelligent Detection of Carton Missing in Cigarette Case Based on Similarity Analysis and Threshold Self-Correction[J]. Tobacco Science & Technology, 2019(1): 91-97.

[15] 王鵬. 煙箱品牌視覺檢測分揀系統的設計應用[J]. 煙草科技, 2014(4): 35-38.

WANG Peng. Design and Application of Visual Case Inspection and Sorting System[J]. Tobacco Science & Technology, 2014(4): 35-38.

[16] 陶顯, 侯偉, 徐德. 基于深度學習的表面缺陷檢測方法綜述[J]. 自動化學報, 2021, 47(5): 1017-1034.

TAO Xian, HOU Wei, XU De. A Survey of Surface Defect Detection Methods Based on Deep Learning[J]. Acta Automatica Sinica, 2021, 47(5): 1017-1034.

Vision Intelligent Detection Method of Cigarette Packet Tear Tape Defects Based on Unsupervised Deep Neural Network

ZHU Li-ming, WANG Wei, FAN Xia-ping, WANG Wen-bo, XU Xin,XU Xiao-shuang

(China Tobacco Zhejiang Industrial Co., Ltd., Hangzhou 310024, China)

The work aims to construct a vision intelligent detection method for cigarette packet tear tape defects based on the unsupervised deep neural network to reduce the complaints of cigarette packet tear tape defects for the ZB47 packaging machine. First, the cigarette packet image acquisition hardware acquisition device at the CH turret position of the ZB47 packaging machine was designed and installed to obtain real-time high-precision small packet images. Second, the cigarette packet image was cropped at a fixed position according to the position of the tear tape, thereby reducing the effects of the environmental background of different working conditions and speeding up the detection speed. Then, the backbone network of the autoencoder-encoder structure was constructed, and the discriminator module in the generative adversarial networks was added to form the defect detection module. The loss function of the model was constructed according to the information between the images, the latent space and the features of the images. Finally, the cropped normal cigarette packet transparent paper images were used to train the constructed defect detection model, and the abnormal score threshold was obtained based on all normal cigarette packet images. In the actual verification stage, if the score of the detected image was greater than the abnormal score threshold, it is judged to be an abnormal image, and the cigarette packet removal device at the CH turret position was triggered to remove the defective cigarette packet. The test at production site showed that the proposed method could quickly and accurately detect the cigarette packet tear tape defects with an accuracy rate of 99.99%. The method can meet the dual requirements of the actual production process for detection accuracy and detection speed of cigarette packet tear tape defects.

cigarette packet tear tape; generative adversarial networks; autoencoder; vision intelligent detection

TS433

A

1001-3563(2022)17-0273-09

10.19554/j.cnki.1001-3563.2022.17.036

2021–11–18

中國煙草總公司科技項目（110202102006）

朱立明（1972—），男，本科，高級工程師，主要研究方向為卷煙智能制造和工業大數據分析。

責任編輯：曾鈺嬋