深度學習算法在卷煙外觀質量檢測中的應用

焦 俊，郝靜烈，冷曉飛，劉 婭，楊彤瑤

(紅云紅河煙草（集團）有限責任公司昆明卷煙廠，云南昆明 650000)

中國煙草十四五規劃中提出了按照“形成強大國內市場，構建新發展格局”的總體部署，中式卷煙知名品牌既要在暢通國內大循環、促進國內國際雙循環和優化供給結構、改善供給質量中承擔更大責任、發揮更大作用，也要通過技術創新、品牌創新、產品創新來更好地滿足人民群眾日益增長的物質文化需求。行業深入實施“三品”戰略，增品種、提品質、創品牌，尋找新的增長點。品牌卷煙成品的任何包裝質量問題都會影響企業品牌形象，失去企業的信譽度，如何保證包裝生產的穩定質量，減少和杜絕不合格的卷煙產品流入市場，是各卷煙企業在全面質量控制中的一個關鍵環節。目前，中國煙草品牌優勢隨著卷煙設備自動化程度的不斷提高以及生產效率的提升，對卷煙產品質量檢測和工藝環節中的質量控制提出了新的要求，針對香煙包裝質量檢測的研究也逐步被付諸實踐，在新出廠的卷煙機和包裝機中，基于傳統機器視覺相機的在線外觀質量檢測模塊逐漸成為標準配置，然而，作為煙草企業品牌質量的管控者，煙草企業三級站仍然在采用人工抽檢和人工目檢方式，隨著企業產量和卷煙制品品種的增加，對卷煙產品質量檢測和工藝環節中的質量控制提出了新的要求，人工抽檢方式已經無法滿足現代化實際生產中的需求。通過機器視覺檢測，克服了人工檢測存在的問題，提高了檢測效率和檢測質量，從而保證了產品品質的需求，在國內煙草企業變得越來越具備普遍性和必要性。

現在國際國內的煙草煙支和小包裝外觀質量的檢測出現了很多針對包裝質量檢測的算法，其中最主要的是圖像匹配算法，圖像匹配是指通過一定的匹配算法在兩幅或多幅圖像之間識別同名點?，F行國際國內的煙草煙支和小包裝外觀質量檢測裝置主要就是基于工業相機，其理論基礎就是固化在工業相機內部的圖像匹配算法。

圖1是現行小包在線檢測的安裝方式。基本工作原理就是通過固化在工業相機內部的圖像匹配算法，工業相機內部的處理器對圖像信息進行處理。通常采用的模板匹配是基于像素的匹配，用來在一副大圖中搜尋查找模版圖像位置的方法。與 2D 卷積一樣，它也是用模板圖像在輸入圖像（大圖）上滑動，并在每一個位置對模板圖像和與其對應的輸入圖像的子區域進行比較。通過諸如平方差匹配法、相關匹配法、相關系數匹配法、歸一化平方差匹配法、歸一化相關匹配法、歸一化相關系數匹配法等匹配算法找最大匹配的點，設置一個匹配閾值來匹配多個物體。

圖1 現行小包在線檢測安裝方式

模板匹配算法從自身的數學基礎而言，具有自身的局限性，主要表現在它只能進行平行移動，若原圖像中的匹配目標發生旋轉或大小變化，該算法會失準。

而受限于機器視覺相機本身處理器的處理能力，在加載多種瑕疵的模式匹配算法會顯得力不從心。

較新的機器視覺相機也逐步引入了特征匹配算法以應對檢測目標的旋轉，移動以及視場光線變化，通過特征提取、匹配器和單應性匹配以實現更靈活的瑕疵檢測。

SIFT 特征提取分析通過尺度空間濾波器構建尺度空間，模擬圖像數據的多尺度特征。使用具有不同方差值的高斯拉普拉斯算子（LoG）對圖像進行卷積。LoG 的計算量非常大，為了有效地在尺度空間檢測到穩定的關鍵點，所以SIFT 算法使用高斯差分算子（DoG）來對LoG 做近似，利用不同尺度的高斯差分核與圖像卷積生成。在傳統機器視覺相機中，完成大數據量的計算非常困難，也就導致傳統機器視覺相機出現算力瓶頸，極大影響了瑕疵檢測能力的提升。

隨著深度學習理論的日益發展，卷積神經網絡算法獲得越來越復雜的圖像特征并進行學習。2014年以來，研究人員將這些網絡應用于特征提取的步驟，而不是使用SIFT 或類似算法。2016 年，DeTone 等發表了Deep Image Homography Estimation，提出了HomographyNet 回歸網絡，這是一種VGG 風格模型，可以學習兩幅相關圖像的單應性。該算法具有以端到端的方式同時學習單應性和CNN 模型參數的優勢。HomographyNet 回歸網絡產生八個數值作為輸出。以監督的方式進行訓練，并計算輸出和真實單應性之間的歐幾里德損失。該單應性估計方法需要有標記數據。雖然很容易獲得真實圖像的單應性，但會消耗極大的實際算力。而以無監督的方式進行訓練與傳統的基于特征的方法相比，這種無監督方法具有相當或更高的準確率和魯棒性，并且具有更快的執行速度。此外，與有監督方法相比，它具有更好的適應性和性能。同時來源于醫學圖像配準的強化學習方法可以用于更復雜的轉換。Krebs 等使用人工代理優化變形模型參數。該方法對醫學MRI 圖像的配準進行實驗，在2-D 和3-D中表現出了較好的結果。

1 深度學習檢測技術可以顯著簡化瑕疵檢測和缺陷檢查

該技術可以自主學習特定缺陷特征，從而可以識別特定的問題類別。如果用戶使用預訓練的深度學習網絡，例如MVTec 的圖像處理軟件Halcon 的那些網絡，則基于樣本圖像，算法可以訓練各種各樣的瑕疵和缺陷類型，然后可靠地識別它們。

采用深度學習技術進行瑕疵檢測大致可以分為如下幾個步驟（圖2）。

圖2 瑕疵檢測步驟

1.1 圖像采集

通過采用西門子伺服系統控制的送檢皮帶和翻轉機構，可以準確地將送檢樣本停留在預先標定位置，從而觸發對應檢測位置的工業相機，獲得清晰可靠的樣本圖像。

1.2 樣本識別

采用卷積神經網絡（Convolutional Neural Network，CNN）和循環神經網絡（Recurrent Neural Network，RNN）相結合完成瑕疵檢測的識別分類。

相比于傳統的圖像處理算法，卷積神經網絡CNN 避免了對圖像進行復雜的前期處理（即大量的人工圖像特征提取工作），也就是說，CNN 能夠直接從原始圖像出發，經過非常少的預處理，就能從圖像中找出視覺規律，進而完成識別分類任務，其實這就是端到端（end-end）的含義。CNN 的基本結構包括以下兩層。

（1）特征提取層。每個神經元的輸入與前一層的局部接受域相連，并提取該局部的特征。一旦該局部特征被提取后，它與其他特征間的位置關系也隨之確定。

（2）特征映射層。網絡的每個計算層由多個特征映射組成，每個特征映射是一個平面，平面上所有神經元的權值相等。特征映射結構采用影響函數核小的sigmoid 函數作為卷積網絡的激活函數，使得特征映射具有位移不變性。此外，由于一個映射面上的神經元共享權值，因而減少了網絡自由參數的個數。卷積神經網絡中的每一個卷積層都緊跟著一個用來求局部平均與二次提取的計算層，這種特有的兩次特征提取結構減小了特征分辨率。

如圖3所示，CNN 的核心在于卷積（Convolution）、池化（Poling）和非線性處理（ReLU）。

圖3 CNN模型步驟

二維圖像的卷積公式如下：

針對不同的瑕疵類型，選用不同的卷積核可以挖掘出更多的圖像特征，例如，采用如下的高斯-拉普拉斯算子，可以得到圖像的邊緣，從而使瑕疵的特征更為突出。

CNN 主要用來識別位移、縮放及其他形式扭曲不變性的二維圖形，該部分功能主要由池化層（Poling）實現。①由于CNN 的特征檢測層通過訓練數據進行學習，所以在使用CNN 時，避免了顯式的特征抽取，而隱式地從訓練數據中進行學習；②由于同一特征映射面上的神經元權值相同，所以網絡可以并行學習，這也是卷積網絡相對于神經元彼此相連網絡的一大優勢。卷積神經網絡以其局部權值共享的特殊結構在圖像處理方面有著獨特的優越性，其布局更接近于實際的生物神經網絡，權值共享降低了網絡的復雜性，特別是多維輸入向量的圖像可以直接輸入網絡這一特點避免了特征提取和分類過程中數據重建的復雜度。

在煙草瑕疵檢測中，采用了一種新的級聯自動編碼器（CASAE）結構（圖4），用于缺陷的分割和定位。級聯網絡將輸入的缺陷圖像轉化為基于語義分割的像素級預測掩模。利用壓縮卷積神經網絡（CNN）將分割結果的缺陷區域劃分為特定的類。分割網絡定位像素級別的缺陷位置，然后通過分類網絡對缺陷進行識別。

圖4 CASAE結構

在剛開始檢測一個新的項目，只需要采集幾百到一千的圖像數據，在這些圖像數據上面標記缺陷種類，然后進行一輪訓練。訓練過后再放進一批新的樣品圖，會發現檢測率相當高，一開始就可以保持在95%～98%。在訓練次數越多的情況下，檢測率是可以無限接近100%。

CNN 模型框圖，如圖5所示。

圖5 CNN模型

卷積神經網絡CNN 無法利用歷史數據的時間依賴關系，從而導致CNN 的預測和分類出現偏差或加大計算資源的耗散。

由于煙草成品具備一定的時間關聯性，例如同一品牌的外包裝具有極強的一致性，包裝和瑕疵圖像數據同樣也具有較強的依賴性，即在煙草瑕疵檢測的應用中，數據之間存在相互依賴關系。充分利用這些數據間的依賴性以及歷史數據的時間依賴關系，是在煙草瑕疵檢測中使用時間遞歸神經網絡（recurrent neural network）的重要基礎。

圖6 為Elman RNN 網絡模型。Elman RNN 網絡模型中，X向量表示輸入層的值，O向量表示輸出層的值，一共就有三類參數值，分別是U、V和W。假設輸入層神經元個數為n個，隱層的神經元個數為m個，輸出層的神經元個數為r，那么U是輸入層到隱藏層的權重矩陣，大小為（n×m）維；V是隱層到輸出層的權重矩陣，大小為（m×r）維。RNN 中隱層s（t）的值，不僅取決于當前輸入x，還取決于上一次隱層的值s（t-1）。W表示的是隱藏層上一次輸出值而作為本次輸入的權重矩陣，大小為（m×m）維。

圖6 Elman RNN網絡模型

在理論上，這個模型可以擴展到無限維，也就是可以支撐無限的時間序列，但實際應用中，考慮到歷史數據的相關性和時效，如下列公式所示。

將過去的所有序列作為輸入，從而生成當前的狀態，其中θ 表示激活函數σ 中所有的參數集合。表示序列中的第t時刻或第t時間步的輸入數據，它通常也是一個向量；向量，表示隱層的值。

都可以看到，第t時間的記憶信息是由前（t-1）個時間步累計而成的結果和s（t-1）當前的輸出X（t）。

由于傳統的RNN 存在梯度彌散問題或梯度爆炸問題，導致第一代RNN 基本上很難把層數提上去，因此其表征能力也非常有限，應用上性能也有所欠缺，在煙草成品外觀檢測的應用中，具體表現為算法收斂性不強，不利于提取外觀質量瑕疵特征值，因此會導致在保證外觀瑕疵被檢出的前提下，需要大量的訓練樣本和建立龐大的外觀質量瑕疵，從而導致系統資源耗散過快，使系統過于龐大和復雜。

根據胡伯提出的LSTM 改進算法，通過改造神經元，添加了遺忘門、輸入門和輸出門等結構，讓梯度能夠長時間地在路徑上流動，從而有效提升深度RNN 的性能。

在RNN 算法中引入梯度截斷（圖7）有助于處理爆炸的梯度。為了解決消失的梯度和更好地捕獲長期依賴，一種方法是使用LSTM 以及其他自循環和門控機制；另一個想法是正則化或約束參數，以引導信息流。LSTM 通過引入巧妙的可控自循環，以產生讓梯度能夠得以長時間可持續流動的路徑避免長期依賴問題，而GRU 它將忘記門和輸入門合成了一個單一的更新門。同樣還混合了細胞狀態和隱藏狀態，及其他一些改動。

圖7 RNN中的梯度截斷

自主瑕疵檢測。在通過訓練獲得瑕疵特征庫后，即可進入自主瑕疵檢測。當待檢測樣品通過送檢皮帶進入后，通過工業相機獲得的樣本圖像進入模型，自動得出檢測結果，同時，RNN 模型可以充分利用檢測的歷史數據，使整個瑕疵檢測系統具備了記憶學習的功能，提升了系統智能程度，減少了樣本訓練時間。

通過優化的深度學習算法，利用采樣圖片進行訓練，從而得出各個品牌卷煙的瑕疵特征庫，訓練圖片如圖8所示。

圖8 訓練圖片

對于實時采集的樣品圖像及時進行研判，研判圖片如圖9所示。

圖9 訓練過程中對圖片研判

可以清晰標定瑕疵部位的瑕疵類型，瑕疵面積和瑕疵擬合度。

實施前：

（1）僅能采用人工方式進行外觀質量評價，結論受個人習慣、外部因素影響較大，難以準確化。

（2）人工檢測方式需要有經驗的檢測人員，工作量大。

（3）檢測人員不能跟班生產。

實施后：

（1）采用設備對外觀質量進行測試，不受個人與外部環境因素的影響，測試結果客觀準確。

（2）按照設備的使用操作規程，可以制定標準化的檢測流程，按步驟進行測試，檢測過程得以標準化。

（3）節約人力物力，結果清晰可見，耗用時間短。

（4）使用了外觀檢測裝置進行檢測后，隨著深度學習算法的逐步完善，以及AI 在學習足量的樣本數后越來越聰明，具備了深度學習和人工智能所帶來的種種優勢，為后續的質量管理工作提供了便利，使原來采用定性描述的指標得以定量評價。

2 結語

煙草制品外觀質量檢測對于企業品質管理具有重大意義，本項目開發的目的為研制一套具有國際國內領先水平的外觀質量檢測。實現基于深度學習算法的品質檢測研究和探索，對于卷煙生產上的眾多外觀質量檢測裝置具有重大的指導意義，同樣深度學習的視覺檢測算法也具備極強的應用外延，可以為煙草生產分析，智能化水平提升提供較強的理論基礎和實踐探索經驗。