切片機煙包切層霉變及雜物視覺識別系統

蘇偉東，伍穎翔，程棉昌，張釗毅，馮志斌

（廣東中煙工業有限責任公司廣州卷煙廠，廣東 廣州 510385）

0 引言

制絲車間現有霉變煙和雜物的檢測方式是人工觀察。雖對員工進行了檢測標準的培訓上崗，但標準的執行過程中存在因人而異，無法統一現象，且檢測效率會隨著檢測人員的工作時長而下降，容易出現漏檢現象。所以這種人工觀察方式較落后，不利于規范化管理。

因此，探索研制一套適應切片機煙包切層霉變及雜物視覺識別系統，以智能技術方式檢測霉變煙和雜物，提高制絲生產線的自動化控制水平，穩定煙草產品內在質量，實現企業生產自動化、智能化，提升卷煙生產水平。

1 整體方案設計

1.1 系統硬件設計

系統結構見圖1，主要包括煙包切層霉斑和雜物硬件檢測平臺和煙包切層霉斑和雜物軟件檢測系統。煙包切層霉斑和雜物硬件檢測平臺主要包括光源、CCD工業相機、固定裝置等。檢測系統通過網絡與相機相連，實時獲取煙包的切面圖像，按煙包批次信息保存圖像，并快速地進行霉斑和雜物檢測，如果檢測到當前切層有霉斑和雜物，則立刻報警。煙包在推送裝置的作用下向前位移，進入待切割區域后停止推送。切割完成后，煙包切割系統（或中控系統）將控制信號傳給檢測系統，檢測系統控制工業相機獲取煙包圖像，并檢測是否存在霉斑和雜物，如果檢測系統發現有霉斑或雜物，則檢測系統發出聲光報警，通知現場操作人員進行查驗。操作人員對每條報警記錄進行查驗，查驗后確認有霉變或雜物的通過按鈕確認。

圖1 系統結構示意圖

1.2 光學系統的設計

光學系統主要包括工業相機和光源。工業相機的分辨率應該根據所要檢測的物體的大小和要求的檢測精度來確定，由于檢測的煙包切面大小約為（1000×1000）mm，檢測的雜物面積最小為（20×20）mm，為增加系統穩定性不會只用一個像素單位對應一個測量精度值，故單向分辨率至少為50×20，由于相機并非正對煙包切面，要保證煙包處于視野范圍內，故假設煙包占整個相機視野范圍的一半，要求分辨率應至少為200萬像素。在此方案中工業相機應用在切割煙包的過程中，在相機曝光時間內煙包不發生位移，所以應該采用CCD芯片的面陣工業相機，由于對系統對采集速度沒有太大要求，取參考幀率為20～30fps。由于工業相機距離工控機距離較遠，故選擇的通信接口形式為GigE接口。綜合以上考慮，本方案選擇大恒圖像生產的CCD工業相機MER-201-25GC，相機的相關參數如下圖所示，滿足本項目要求。相機安裝位置距離煙包切面中心約為1200mm，結合相機的靶面大小，選擇大恒圖像的9mm定焦鏡頭，型號為HN-0914-2M-C2/3X。

機器視覺中的光源主要起到以下三個作用：

（1）照亮目標，提高亮度。

（2）形成有利于圖像處理的成像效果，降低系統的復雜性和對圖像處理算法的要求。

（3）克服環境光干擾，保證圖像穩定性，提高系統的精度、效率。

LED（發光二極管）光源以其形狀自由度高，使用壽命長、響應速度快、單色性好、顏色多樣、綜合性價比高等特點在機器視覺行業內廣泛應用。因此本方案選擇LED光源作為視覺檢測系統的光源。LED光源按形狀可以分為環形光源、背光源、條形光源等。其中條形光源是較大方形結構被測物的首選光源，顏色可根據需求搭配，自由組合，照射角度與安裝隨意可調，因此在此方案中首選條形光源。同時由于煙包的霉變和異物多為白色或相近顏色，故首選白色光源對異物有較好的反射效果。綜上，本方案選擇大恒圖像生產的DHK-L系列的白色條形光源對檢測目標進行照明。

1.3 安裝方案的設計

如圖2所示，拍攝前方的工業相機通過工業相機支撐架固定在煙包切片機機架上的壓板導軌側面，工業相機支撐架可上下或者左右調節工業相機的拍攝方向，光源通過光源固定架固定在壓板兩側的煙包切片機機架立柱上。拍攝下方的工業相機通過工業相機支撐架固定在傳送帶上方的煙包切片機機架上，工業相機支撐架可上下或者左右調節工業相機的拍攝方向，光源通過光源固定架固定在工業相機下方。

圖2 工業相機和光源的安裝位置示意圖

如圖3所示，工業相機支撐架包括工業相機連接角碼、光軸、立式光軸支撐座、十字光軸固定夾和菱形光軸支撐座。工業相機通過螺釘與工業相機連接角碼固定。工業相機連接角碼通過螺栓與立式光軸支撐座固定。光軸與立式光軸支撐座上的孔配合，立式光軸支撐座可在光軸上滑動，可通過緊定螺釘將光軸與立式光軸支撐座固定。光軸與十字光軸固定上的孔配合，十字光軸固定夾可在光軸上滑動，可通過緊定螺釘將光軸與十字光軸固定夾固定。光軸與十字光軸固定夾上的孔配合，十字光軸固定夾可在光軸上滑動，可通過緊定螺釘將光軸與十字光軸固定夾固定。光軸與菱形光軸支撐座上的孔配合，可通過緊定螺釘將光軸與菱形光軸支撐座固定。菱形光軸支撐座通過螺釘固定在煙包切片機機架上。

圖3 工業相機支撐架結構示意圖

1.4 檢測算法設計

本方案使用傳統的計算機視覺技術對煙包對切層進行霉變和雜物的檢測。檢測算法采用C++作為主要開發語言，利用開源計算機視覺庫OpenCV實現相關功能，分別對兩個相機采集的圖像進行計算。相機檢測算法流程見圖4。

圖4 側邊相機檢測算法流程

由于側邊相機安裝位置傾斜，故需要對圖片進行透視變換，從而將切面圖片進行矯正。將透視變換矩陣保存至配置文件，處理時直接讀取，針對第一面和后面的切面分別設置了兩個不同的變換矩陣。

由于光照原因，圖像中煙包范圍亮度不均勻，部分過暗，因此需要對圖片進行亮度的調整。首先采用伽瑪變換的方法對圖像整體進行調節，消除過亮和過暗的區域，對圖像進行漸變疊加的亮度調整。

檢測區域分割。為了正確識別出煙包切面的霉變情況，需要分割出煙包區域的范圍，本課題采用傳統機器視覺的分水嶺分割算法，根據先驗圖像將圖像分割為兩個部分：煙包區域部分和背景部分。

對上述檢測區域進行處理，獲取異常的圖像部位。這里首先采用Galbar濾波的方法取sigma值為3.3，分別對0°、45°和90°三個方向進行處理，并將三個結果進行疊加，得到結果二值圖。在結果二值圖中去除檢測區域輪廓的影響，然后對二值圖進行形態學操作，去除獨立的小點，將距離相近點合并，

對結果二值圖進行輪廓查找操作，并得到外接矩形，將面積較小的忽略，將面積較大的部分外界矩形繪制并輸出，同時輸出繪制的外接矩形個數。

輸入圖像是在RGB顏色空間的圖像，但是人眼對于這三種顏色分量的敏感程度是不一樣的，RGB顏色空間是一種均勻性較差的顏色空間。在圖像處理中使用較多的是HSV顏色空間，它比RGB更接近人們對彩色的感知經驗。非常直觀地表達顏色的色調、鮮艷程度和明暗程度，方便進行顏色的對比。因此首先將圖像轉化到HSV顏色空間，見圖5。

圖5 圖像在HSV顏色空間的顯示

將煙包的正常顏色范圍和傳送帶顏色進行選擇并在二值圖中像素置0（黑色），其他顏色位置設為255（白色）。

由于傳送帶的兩側存在兩條固定的白色線條會對檢測結果造成影響，故本方案將其輪廓存儲至配置文件，算法運行時會生成如圖6所示的掩膜圖像，在處理上述生成的二值圖時會將掩膜白色部分進行忽略，然后執行形態學開操作去除獨立的小白點，然后輪廓查找操作，并得到外接矩形，將面積較小的忽略，將面積較大的部分外接矩形繪制到輸入原圖上并輸出如圖7所示，同時輸出繪制的外接矩形個數。

圖6 傳送帶白邊的掩膜

圖7 輸出圖像

2 系統功能

上位機軟件運行在工控機Windows系統上，基于C#語言開發，主要完成相機的采集、圖像的顯示、與中控的通訊等功能，將上述檢測算法封裝為動態鏈接庫dll，上位機軟件通過調用該庫實現圖像的處理。

檢測程序界面布局如圖8所示，總體分為兩行三列，最上方顯示當前的生產信息：生產批次、煙牌編碼和煙牌名稱，最左側一列顯示側邊相機的采集和處理結果，上面顯示實時視頻，下面顯示處理后的圖片和當前煙包信息；工控機采集切片機狀態信號并自動抓拍切面圖像，上方的【手動抓拍】按鈕可選擇手動抓拍圖像并進行處理。中間一列的垂直相機的采集和處理顯示同左列相同。

最右側一列為歷史記錄信息，上方的歷史數據表中在當前生產批次中所有抓拍并處理的結果和時間戳，下方結果視圖顯示處理的圖片和檢測結果，【原圖】按鈕用于調出當前處理結果的原始圖片。最上方的三個按鈕【刷新】、【上一張】、【下一張】用于歷史記錄表的遍歷和結果視圖的顯示刷新，【報警確認】按鈕用于當系統發生報警時，解除警報，見圖8。

圖8 檢測程序界面

3 成果應用分析

本系統通過視覺識別技術，研制出切片機煙包切層霉變及雜物視覺識別系統，實現了如下功能：

（1）在切片機中加裝兩套工業攝像機，其中側面相機用于采集分切前、分切后第一面、第二面的圖像，垂直相機采集分切后第三面的圖像。按當前切片機3刀4片的設置，系統與切片機PLC通信，實現共4個煙包截面的圖像采集。

（2）與上位管理系統實現通信，讀取當前牌批號信息，同一牌批次的煙包截圖，存放于一個文件夾內，供后續查閱歷史檢測記錄。

（3）通過使用計算機視覺技術實現樣本圖像煙包邊緣識別，將煙包區域的圖像保留，背景進行去除。區分出煙包圖像后，再對圖像進行處理。通過采集正常煙包、常見雜物、霉變煙的信息。分析出煙包切面上的正常煙包、常見雜物、霉變煙在顏色、灰度和紋理上的差別，以OpenCV中的相關算法為基礎，統計圖像的顏色和紋理分布，再采用不同的理論和方案，提取圖像特征，從而實現對圖像中的霉斑和雜物進行識別和標記。

（4）系統運行界面分區顯示，分別有：生產信息區，側邊相機區，垂直相機區和記錄信息區，具體顯示及功能如下圖。側邊相機區，垂直相機區的設置是為了便于操作人員觀察實時的煙包切面情況。記錄信息區提供本批歷史所有煙包切面截圖查閱，還可通過檢測結果快速定位系統報異常的煙包進行翻查，確認本批次的煙包是否有夾雜雜物或存在霉變現象。

（5）當識別出煙包切面上有霉斑或雜物時，通過現場報警燈，向現場操作人員發送報警指令，提醒操作人員檢查相關煙包。

4 結束語

采用機器視覺設計了一種基于機器視覺的切片機煙包切層霉變及雜物視覺識別系統，通過在切片機上安裝側邊相機和垂直相機來進行切片在不同角度的雜物識別，采用圖像生產的DHK-L系列的白色條形光源對檢測目標進行照明拍攝，以此減少克服環境光干擾，保證圖像穩定性，提高系統的精度、效率。利用開源計算機視覺庫OpenCV實現相關功能，分別對兩個相機采集的圖像進行計算。通過對相機拍攝到的切片圖片進行分析并存儲，通過切片機煙包切層霉變及雜物視覺識別系統具有可靠性高、響應速度快和可操作性強等優點，以達到自動檢測，自動報警的要求。