基于視覺深度學習的煙支缺陷特征識別系統設計

河南中煙工業有限責任公司安陽卷煙廠 丁怡 付威 靳毅 胡鴻宣 于光偉

隨著數字化技術的發展，視覺中圖像信息分析方法對計算機視覺的研究極為重要。而煙支作為卷煙成型的關鍵工藝加工產品，通過構建缺陷識別系統用于改善質量也顯得尤為重要。而計算機算法的改善與圖像數據識別效率的提升，能夠獲得較高的圖像檢索質量，而通過新一代技術的整合與設計，可以滿足新形勢下卷煙制造關鍵環節對新裝備、新體系、新模式的場景化應用。

國內煙支外觀質量檢測領域，目前主要采用的是機器視覺技術，在煙支缺陷特征識別應用和發展中仍存在諸多問題。首先是檢測成效低，在達到高分辨率的前提下，機器視覺拍攝及分析處理的速度不能完全滿足高速卷煙機的要求，不能達到“應檢盡檢”；其次是現階段檢測視覺設備智能化程度比較低，大多數的檢測都是以明顯的特征點的數量來做判定，煙支檢測物沒有固定的特征，不能識別隨機變化的、形狀松散的形態，其能力僅相當于許多只傳感器的集合，沒有充分發揮視覺技術深度學習的能力，此外，現有模式需要加大計算設備自身算力，改造高速網絡環境，存在增加生產制造過程與運營成本的不利因素，因此，需要構建新型機器視覺檢測控制方法體系，加速新型復雜智能視覺深度學習系統開發[1]。

通過前期技術調研，研發視覺深度學習的煙支缺陷特征識別系統，系統設計思路整體按照缺陷標準自學習算法研發，視覺裝備一體化設備研發，主要由檢測傳感器與配套裝置、嵌入式控制器、IO 高速超采樣模塊、工控機等組成，以及煙支缺陷監測軟件開發三個體系進行論證設計。

1 缺陷標準自學習算法設計

1.1 編碼與圖像差異雙向缺陷檢測

設計深度學習下圖像缺陷檢測系統，首先需要構建圖像標準化識別分級體系，構建圖像分級化處理編碼體系，能夠分級化高效處理，形成穩定的圖像處理流程；其次利用視覺識別設備對圖像的數據信息進行單項識別，獲取與標準庫對應的差異數據信息，通過編碼驗證存在的缺陷不同，再確定圖像的實際參數，并標記缺陷區域，在不同的分割層級區塊中提取缺陷檢測單相幀數，劃定具體的分割范圍，將求得的規則化卷積值作為缺陷檢測層級分割標準，構建分割的對應區塊，在原始的改進的區域卷積神經網絡（Faster Region Convolutional Neural Networks，Faster R-CNN）下，使用視覺幾何群（Visual Geometry Group，VGG）16 指令[2]，在不同的分割層級區塊中提取缺陷檢測單相幀數，劃定具體的分割范圍，實現雙向缺陷檢測。

1.2 缺陷特征基準數據庫設計

根據國家GB 5606-2005 卷煙系列標準，構建標準監測庫的同時，參照發現瑕疵表現類型各種各樣，出現位置不確定、瑕疵大小不穩定狀態，并利用原有機器剔除系統所剔除的典型樣本，集合工廠調研與商業終端反饋的不良煙支圖片，構建圖像缺陷特征基準數據庫，要根據圖像格式執行識別檢測流程，通過系統預設的檢測指令識別圖像，基于深度學習視覺自學習算法，在標準缺陷采集過程中，切割目標圖像，通過人工輔助與機器自學習標注圖像缺陷，標注超限、越界色差等圖像參數，并計算預測轉換比在系統控制區域中，劃定具體的轉換范圍，并構建擬合環境，再結合深度學習技術，調整執行協議，在數據庫中存入可擴展標記語言（eXtensible Markup Language，XML）分化文件，融入上述構建的泛化模塊，最后從色調、飽和度以及明度等方面變換目標圖像[3]。

2 視覺裝備一體化設備研發

2.1 設備研發選型

傳統視覺分機器內部識別與剔除、機器內部傳感器增設、機器外部獨立裝置三種形式，國家對煙草專用機械設備有相應的監管措施，對煙機設備目錄以外的裝備制造企業有相應的政策法規約束，對煙機拆裝有著更為嚴格的管理條例，并且卷接機現在向中高速機發展，機身內部更為緊湊，增設滿足需求的相關傳感器與供電、控制通信線纜存在不確定性，因此在煙機外部增設相應設備成為主流趨勢，既滿足煙機無損拆裝又可滿足系統產品化和功能性升級迭代的空間。外置式成型缺陷系統樣機機械裝置示意圖如圖1 所示。

2.2 設備研發關鍵部件設計

成型缺陷存在多因素問題，因此應選用多通道視覺產品進行一體化監測，對尺寸超限、外觀色差、面積狀態等視覺能夠判定的參數進行分析，分別采用高速但不同的色彩、分辨度工業彩色相機，具備抗干擾能力，無光斑及波紋；具備配套光源，或者攝光一體化模塊單元，高亮、高聚光能夠控制陰影以及外界光的影響，光路有自清潔功能為主導設計思路。

獨立箱體具備抗屏蔽、承載量大、可擴展性強，還電器件布局合理、方便維修更換等特點，還能夠提供控制觸摸屏幕的輸入組件；電控能夠滿足IO 控制板、RS232 口和各類通信通訊；工業以太網接口，可配合客戶所需輸送系統的數據集成，通訊協議；主控芯片單片機易于采購與升級替換，滿足自主可控的基本需求。

3 煙支缺陷監測軟件開發設計

3.1 軟件需求分析與產品化設計

軟件設計首先按照需求導向，調研現有卷煙視覺識別基本情況，結合現行煙支關鍵工序的實際問題，對煙支缺陷監測軟件分為三個領域進行設計。

3.1.1 深度學習和感知算法圖像標簽

首先要設計深度學習和感知算法圖像檢索系統，解決缺陷多樣性數據分層與編碼檢索的回溯效率，通過深度學習預先進行有限訓練，在圖像缺陷特征檢測數據庫中提取目標圖像的特征，并采用圖像標簽化賦碼，交互圖像的基礎數據與信息，從而完成圖像缺陷的檢測；利用深度學習技術構建多層級的深度學習缺陷檢測框架，構建穩定的圖像處理架構，并根據圖像屬性在深度學習庫中匹配標簽，獲取符合特征的標簽分類集[4]。通過新型計算架構與算法改善，滿足現階段常規卷接成型設備7000-12000 支/分的圖像識別效率，解決傳統圖像檢索算法手工標注的缺陷。

3.1.2 缺陷特征數據標簽化檢索方法

構建廠級與產品缺陷特征檢測數據庫，提取目標圖像的特征，并且能夠賦予相應的檢索標簽，可以與實物圖像進行算法編碼驗證，并采用數據遍歷指令獲取圖像的基礎數據與信息，在數據庫方面使用此圖像數據集來做相似度檢索，從而完成圖像缺陷的編碼標簽化檢測，而不再進行傳統的圖像比對[5]。特征數據標簽化流轉示意圖如圖2 所示。

圖2 特征數據標簽化流轉示意圖Fig.2 Schematic diagram of characteristic data labeling flow

3.1.3 動態特征提取網絡框架設計

軟件需要高速連續高可靠性的網絡模型支撐，傳統的RANSAC（隨機抽樣一致）算法計算微差異，但當動態物體與多點差異圖像中占比較大時，就難以支撐大規模迸發式數據模型，而煙支成型過程存在粉塵、碎片化干擾差異化數據較大，因此需要新型網絡模型融合到特征點檢測階段，獲取圖像的動態特征點存在區域[6]；目前利用卷積神經網絡自動提取圖像特征，由于網絡結構構建具有不確定性，過于復雜的網絡容易出現過擬合現象，而簡單的網絡結構特征表征能力不夠，無法充分發揮深度網絡學習能力。

結合缺陷特征數據標簽化檢索方法，將標簽化異步網絡模型應用到圖像檢索任務中，訓練得到適合圖像的模型數據，能夠很大程度減少不正確識別，從而提升系統新模式識別，減少對計算機算力的依賴與改善圖像全面域識別效率。

3.1.4 私有云圖像識別本地化部署架構

煙草行業因為其特殊性及行業監管的要求，企業生產制造相關數據無法適應傳統視覺識別的公有云架構，需要依托企業自有數據中心，經過優化以在本地提供服務和計算能力（基礎設施不與第三方共享），視覺圖像經過計算傳輸速率接近240MB/S，加大了企業現有生產控制網絡荷載，通過分析將在設備部署私有云節點，能夠自動處理容量配置，負載平衡，自動擴展存儲與程序健康監測。

先期將構建缺陷庫，大量圖像中識別重復和差異之處，分架構執行操作:

1-N 比較-將一幅圖像與數據集中的所有圖像進行比較；

N-N 比較-將數據集中的所有圖像進行相互比較；

N-1 比較-將數據集中的唯一缺陷代碼相互比較。

將由數據流量和數據庫操作造成的過量工作負載分散到多個工作框架，分散計算機運算與GPU 圖像壓力，結合軟件架構算法生成一組特征向量，利用開源的ORB（Oriented FAST and Rotated BRIEF）-基于FAST 關鍵點檢測器和視覺描述符的局部特征檢測器[7]，用于在較大的圖像中找到較小的圖像部分，快速地縮小圖像識別區域與差異特征進行模板化匹配，從而實現私有云圖像識別本地化部署架構的合理性。

3.2 軟件功能設計

3.2.1 系統模塊化配置

對系統權限、管理、應用、升級進行模塊化配置，能夠配置遷移煙支被檢測的產品基準庫，算法庫能夠進行升級和支撐網絡環境。

3.2.2 功能應用開發設計

涵蓋在線質量監測與預警，以三維可視化交互式的方式在線監測生產計劃數據、產量數據、質量數據、設備狀態數據，實現生產過程的全面實時監控，同時可以實現與車間視頻監控系統的集成。

缺陷識別檢測，不局限于圖案定位檢測、線定位檢測、圖案匹配檢測、線長度檢測、表面缺陷檢測、表面灰度檢測等[8]。

3.2.3 圖像缺陷庫

分為人工與自動兩種形式，首先通過人工上傳圖像缺陷，作為企業經驗數據的累積，其次是機器視覺算法反復發現識別的圖形數據庫，經過計數與審核提取圖片的元數據，并將元數據發送至元數據缺陷存儲數據庫進行數據更新，能夠作為識別代碼進行后續可持續管理。

業務流程與評價應用，根據設置實時監測的數據，在積累的數據基礎上建立可靠的模型算法，用于自動觸發報警并推送到相應的生產管理人員，實現數據驅動流程、流程驅動工作以及生產質量的閉環管理，簡化質量問題追溯流程，提高生產效率，生產制造大數據驅動生產在線預警，動態考核當班生產質量。

4 結語

通過對基于視覺深度學習的煙支缺陷特征識別系統設計，可以得出整體系統綜合利用了光學、機械、電子、控制和自動化各領域技術，涉及工業數據集成、圖像識別、高階算法、人工智能。傳統視覺架構與產品處理起來相對復雜，且穩定性難以實現，依托近年來技術發展算法的深度學習架構的改善，領域已經開始新的一輪技術變革，但是作為系統工程最終導向，是為了支撐煙支制造與質量多因素追溯體系，提升卷接包現有追溯業務單一系統數據價值，最終形成新型管理體系，構建新型生產模式，依托技術進步高質量改善與解決行業問題。