基于電子樣稿的柔印首件“粗-精”檢測方法

肖 盼 燕舒樂② 龍進良② 肖 盟② 蔡 念*② 陳新度

①(廣東工業大學省部共建精密電子制造技術與裝備國家重點實驗室 廣州 510006)

②(廣東工業大學信息工程學院 廣州 510006)

1 引言

柔印工藝由于印刷質量好、適用性廣、水墨毒性小、生產效率高且生產操作維護簡便等特性[1]，被廣泛應用于包裝、標簽和裝潢印刷等領域。在柔印標簽批量生產前，工人每次換班、換產以及設備裝調后，都必須經歷柔印首檢工藝，即印刷的第1件或前幾件柔印產品都必須與電子樣稿比對檢查，以盡早發現印刷質量問題。當前柔印首檢采用人工3檢制：自檢、互檢和專檢。可是，柔印標簽上的印刷內容涉及世界各地語言(超過5000多種文字)，且印刷字符內容眾多，平均每個標簽超過200多個字符。這導致人工質檢勞動強度大，耗時耗力，極易漏檢，從而造成柔印標簽成批超差、返修、報廢，引起嚴重的經濟損失。因此，高精度的柔印首件自動檢測方法對于柔印工藝具有重要的現實意義。

雖然機器視覺已被廣泛應用于織物印刷內容檢測[2]，但是以往研究更多以印刷正品為模板，檢查批量印刷過程中所產生的印刷缺陷[3–8]。Qayum等人[3]采用窗口滑動思想分別提取參考樣品圖像子塊及待檢測樣品圖像子塊，采用歸一化互相關系數分析兩幅圖像各子塊之間的相關性，最終實現紡織輪轉印花圖像缺陷檢測。Alam等人[4]調用Halcon軟件里已有的圖像處理函數，經過圖像分割、連通域提取、直方圖列和面積等特征分析、區域像素點數目計算等步驟完成印花織物缺陷檢測。Jing等人[5]通過RGB累積平均法求取計算印花織物的最小周期，以最小周期為滑動窗口對模板圖像和待測圖像構造高斯金字塔。通過互相關系數和固定閾值設置對印刷品疵點進行定位，并使用拉普拉斯金字塔重建原始圖像，得到實際缺陷位置。Ng等人[6]通過直方圖均衡對規則紋理的織物圖像進行預處理，再以無缺陷的正品織物為參照將預處理后的待測織物圖分解為織物紋理圖像和缺陷圖像，最后通過硬閾值分割缺陷圖像完成檢測。Kang等人[7]提出了兩種檢驗印花織物的方法。一種使用無缺陷織物圖像與Gabor濾波器重建后的圖像差異為目標函數，通過遺傳算法獲取目標函數最小值時的Gabor濾波器參數，無缺陷圖和待測圖分別使用濾波器進行處理，若待測圖灰度值大于無缺陷圖對應7×7滑塊內的最大值或小于最小值，即為疵點。另一種方法采用梯度下降的思想，通過距離匹配函數求取周期距離，得到印刷織物圖像的圖案單元，再使用規則條帶提取織物單元的特征，實現織物疵點分割。上述方法都是檢測重復性高、對稱性強的印花類圖案，顯然難以適用于檢測印刷字符種類繁多、重復性低、數目多的柔印首件標簽。柔印首件檢測無法提供印刷正品，因此這些以標準印刷產品作為對照模板的檢測方法必然無法生效。

近年來，因為機器學習可規避人工啟發提取特征，已有研究將其應用于織物缺陷檢測[9–12]。Hu等人[9]將測試圖像分割成若干個尺寸大小相同的圖像子塊，輸入到卷積去噪自編碼器網絡和哈希編碼器中，獲得特征向量和哈希碼，與樣本數據庫的哈希碼集比較以確定參考圖像在原始樣本圖像中的位置，再使用尺度不變特征變換(Scale-Invariant Feature Transform, SIFT)特征進行匹配，通過灰度標準化、圖像差分以及計算Tsallis熵進行閾值分割的方法完成缺陷檢測。Chakraborty等人[10]開發了印花織物數據庫并使用深度卷積神經網絡解決斑點缺陷檢測和印刷配準問題。Zhao等人[11]采用Inception-Resnet-V2網絡對輸入織物圖像進行分類，根據分類結果確定待檢測區域尺寸和位置，采用Faster R-CNN對待檢測區域進行檢測，最后得到織物缺陷檢測結果。Huang等人[12]首先將織物數據訓練SegNet分割網絡，然后將其輸出作為決策網絡DecNet的輸入，從而得到織物缺陷檢測結果。為了確保模型泛化能力，機器學習方法需構建樣本數量眾多且正負樣本分布均衡的織物圖像數據集。但是，柔印首件檢測工藝僅能提供1個或幾個柔印樣品，根本無法構建數據集。

針對上述問題，本文提出一種基于電子樣稿的柔印首件“粗-精”檢測方法，主要包括粗匹配、精匹配和缺陷檢測3個階段。在粗匹配階段，為了解決電子樣稿與柔印首件內容粗細不一、灰度特性差異大的問題，采用SuperPoint[13]構建圖像特征，以潛在凸顯兩者之間的相似性；然后，采用Super-Glue[14]方法解決兩者在匹配時存在的柔印內容重復率高、誤匹配點對多的難題。在精匹配階段，為了解決柔印過程中因版材伸縮、彎曲引發柔印內容局部偏移而導致錯檢的現象，基于粗匹配結果采用歸一化互相關法[15](Normalized Cross Correlation,NCC)對電子樣稿的字符或圖案進行位置微調尋優。在缺陷檢測階段，以電子樣稿分割結果為約束條件，提出約束聚類方法將缺陷檢測問題轉化為電子樣稿與柔印首件差異最小化的優化問題，優化求解后即實現柔印首件自適應檢測。

2 本文提出的方法

2.1 算法框架

本文所提柔印首件“粗-精”檢測算法框架如圖1所示，主要包括粗匹配、精匹配、缺陷檢測3個階段。在粗匹配階段，采用SuperPoint分別檢測電子樣稿和柔印首件的超點特征。然后，采用Super-Glue匹配電子樣稿和柔印首件的豐富超點。接著，設計基于NCC匹配方法微調電子樣稿，實現電子樣稿和柔印首件的精匹配。之后，以微調后電子樣稿的閾值化結果為約束條件，提出約束聚類方法將缺陷檢測問題轉化為電子樣稿與柔印首件差異最小化的問題，求解優化問題即可實現柔印首件缺陷自適應檢測。

圖1 本文算法框架

2.2 粗匹配

由于首件檢驗的特性，不存在印刷正品實物作為標準圖像，只能以電子樣稿作為參照模板。為了將電子樣稿與待測柔印首件匹配對齊，采用Super-Point 檢測提取興趣點，再采用強力匹配方法計算最優匹配矩陣。

2.2.1 SuperPoint

由于電子樣稿與柔印首件內容粗細不一、灰度特性差異大，傳統方法提取的特征無法準確描述電子樣稿和柔印首件。而SuperPoint采用深度學習網絡、以位姿計算損失函數，所以能夠更好地表征兩幅圖像之間的共性特征，并且SuperPoint網絡輸入圖片尺寸無需歸一化或者分塊，即可處理不同尺寸的輸入圖像。因此，采用SuperPoint自監督網絡提取電子樣稿和柔印首件的超點。為了提高泛化能力，在訓練階段對圖片進行了隨機的縮放和旋轉，以進行數據增強。SuperPoint自監督網絡訓練共分為3個步驟(圖2)：

圖2 SuperPoint訓練步驟

(1) 基礎檢測器預訓練。因為虛擬幾何形狀的角點是可人工標注的，將以標注的集合形狀數據集(HPatches[16])作為監督數據訓練基礎檢測器。采用文獻[13]的訓練策略，以類VGG16[17]作為基礎檢測器，訓練網絡參數提取幾何形狀角點。

(2) 興趣點標注。采用步驟(1)中預訓練的基礎檢測網絡分別提取柔印首件和電子樣稿的角點，進行興趣點標注。

(3) 聯合訓練。

(a)為了增強網絡的泛化能力，對步驟(2)中的柔印首件和電子樣稿分別進行N次單應性變換，并通過基礎檢測器分別標注變換后各圖像的興趣點，構建CN2組已知單應性變換關系的圖像對，聯合訓練的初始權重采用在MS-COCO[18]數據集上預訓練過的模型參數。

(b)聯合訓練。隨機取CN2次圖像對，每次由抽取的兩種不同姿態的興趣點構建損失函數，以其中一種姿態的興趣點自標注作為真值，另一種姿態作為觀察結果，構建出興趣點損失函數和描述子損失函數，訓練目標需使得匹配點距離小，非匹配點距離大。聯合訓練后得到SuperPoint檢測網絡。

最終的損失函數為

2.2.2 SuperGlue

由于電子樣稿和柔印首件之間存在大量重復的內容信息，而傳統匹配方法僅依據各組特征描述子的相似度進行匹配，因此可能造成大量的匹配冗余。因為SuperGlue使用圖神經網絡和注意力機制并結合分配優化求解方式可以解決復雜的特征匹配問題，所以本文采用SuperGlue方法對電子樣稿和柔印首件進行匹配。

如圖3所示，SuperGlue采用端到端的訓練方式經過以下步驟完成匹配。

圖3 SuperGlue網絡

(3)最佳匹配層：創建一個M×N初始分配矩陣，增加一層垃圾箱通道，即分配矩陣尺寸變為(M+1)×(N+1)，為了過濾出錯誤的匹配點，將不匹配的關鍵點分配給垃圾箱這個通道。通過Sinkhorn[19]算法迭代求解分配優化問題，得到最優的分配矩陣，再根據分配矩陣每列最大值橫、縱坐標對應的特征點對作為匹配點對，采用隨機抽樣一致性(RANdom SAmple Consensus, RANSAC)方法求仿射變換矩陣，對柔印首件圖進行對應仿射變換，完成電子樣稿和柔印首件的粗匹配。

2.3 精匹配

粗匹配后的電子樣稿與柔印首件圖像已基本對齊。但由于柔印過程中版材會發生局部相對偏移，導致柔印首件內容與電子樣稿始終存在局部偏差，造成全局仿射變換或透視變換難以實現內容完全對齊。因此，提出一種精匹配策略，通過微調子內容塊的位置消除柔印首件內容局部偏差帶來的影響，實現兩者圖像內容的完全對齊。

電子樣稿內容清晰、黑白分明，采用固定閾值(閾值為128)即可提取電子樣稿的不同文字或圖案的子內容塊Fs， 設子內容塊的中心點坐標為(Xs,Ys)，尺寸為(Ws,Hs)。 以Fs為模板圖，在柔印首件圖像R中對應的區域內進行NCC搜索匹配。設變量δ為搜索擴展基數(δ與Fs無 關，本文δ=30)，則每個搜索點(x,y)對應的NCC計算為

將Fs平 移?P，所有子塊按照式(14)—式(19)操作即可完成柔印首件與電子樣稿之間的精匹配。

2.4 缺陷檢測

2.4.1 約束聚類

織物版材的色彩、厚度不一會產生透底現象，導致柔印首件內容分割可能存在錯誤，因此以微調后的電子樣稿閾值化結果為約束條件，提出一種約束聚類方法精準提取柔印首件內容。

將柔印首件圖像分割問題轉換為與樣稿文件分割圖差異最小的優化問題，即

其中，F和R分別為“粗-精”匹配后的電子樣稿和柔印首件圖像，求解滿足式(20)的聚類圖像Rt即為柔印首件的最佳分割結果。為了減少優化算法的求解時間，采用K均值聚類法(此處K=2)得到聚類中心c1,c2，完成柔印首件圖像分割的初始化，并且將(c1+c2)/2作為遺傳算法初始化的種子之一，采用遺傳算法[20]求解優化問題式(20)。

2.4.2 缺陷評估

柔印首件可能因內容筆畫斷開或油墨局部擴散凸起造成毛刺現象，約束聚類分割難以抑制這種誤差，影響后續缺陷檢測，因此提出距離變換法進行缺陷評估。

定義邊緣距離函數為

3 實驗和結果

3.1 數據集采集和實驗平臺

在實際工業生產中，本文僅需使用佳能LIDE400掃描儀柔印首件圖像，與電子樣稿進行比對即可完成柔印首檢工作。視覺采集系統要求低，共采集了400張不同產品的柔印首件，其中黑底樣本40張，白底樣本360張，圖像尺寸范圍為191×595～2480×3570；正常樣品290張，印錯40張(錯碼錯字符)，印多40張(字符模糊和臟污)，印缺30張(字符缺失部分)。實驗在以下平臺進行：Windows10 64位旗艦操作系統，6核Intel(R) Core(TM) i5-11400H @ 2.70 GHz@3.50 GHz, 16 G內存，GPU:NVIDIA GeForce GTX 1650，以Python3為編程語言。

采用漏檢率、誤檢率、平均Dice系數、平均檢測時間(待測樣本檢測過程的平均用時)等4個指標評價算法性能。為計算漏檢率與誤檢率，定義IoU大于0.5即為檢測成功，否則檢測失敗。

3.2 搜索擴展基數δ的影響

搜索擴展基數δ影響著NCC匹配的搜索區域大小，進而影響柔印首檢性能。如表1所示，隨著δ增大，檢測效果首先有所提升，當δ=30時達到最佳檢測效果，但是之后反而下降，而且檢測時間也隨δ增大而增大。這可能是因為柔印首件各子內容的水平間距大致30個像素而垂直間距則遠大于30個像素。因此，綜合考慮檢測效果和時間，本文選擇δ=30。

表1 搜索擴展基數δ對檢測性能的影響

3.3 評估閾值參數Td的影響

由式(11)和式(12)可以看出，Td對本文方法的檢測性能有較大影響。如表2所示，誤檢率隨Td增大快速下降且趨向于0，而漏檢率隨Td增大而增加，Dice系數隨Td增大先快速增大又略微減低。綜合來看，當Td為1.0時，檢測性能最佳。與實際印刷工藝中柔印首件與電子樣稿的內容粗細差異約為一個像素點基本一致。

表2 評估閾值參數Td對缺陷檢測結果的影響

3.4 消融實驗

從表3可以看出，僅有粗匹配時，誤檢率高達63.4%，漏檢率為28.1%，Dice系數為0.192。因為全局的粗匹配未能解決柔印版材伸縮、彎曲引發的內容局部偏移問題。采用“粗-精”匹配時，漏檢率和誤檢率降低為16.8%和5.5%，Dice系數為0.328，這說明精匹配已經較好地解決了偏移問題。可是，柔印首件透底或背景與字符內容接近可能會導致較多的誤檢，甚至一定程度的漏檢。為此，在融入約束聚類后，本文方法在增加極少檢測時間的前提下檢測性能大幅度地提升，漏檢率甚至降至0。

表3 消融實驗

3.5 與其他檢測方法的對比

為了驗證本文方法的有效性，將本文方法與4種織物缺陷檢測方法[21,22,11,12]進行對比(表4)。其中，Faster R-CNN[11]和Seg+DecNet[12]按照訓練集為130組、測試集270組進行了數據集的拆分，并且重新進行訓練。

文獻[19]采用的Surf匹配方法無法解決柔印版材伸縮、彎曲引發柔印內容局部偏移的問題，而且采用的差分法對灰度變換及噪聲較為敏感，因此該方法極易引起大量漏檢、誤檢。而結構相似度(Multi-Scale Structural SIMilarity Index, MSSSIM)方法其匹配環節僅有全局匹配，也無法解決局部偏移問題，且檢測尺度過粗，細微缺陷無法檢出。因此也仍然存在大量誤檢。文獻[11]采用級聯的Faster R-CNN 網絡進行缺陷檢測，目標檢測方法的骨干網絡無法避免會經過下采樣處理，而柔印首件缺陷尺寸細微，因此小目標的感受野映射回原圖時會偏移缺陷的真實區域，造成一定程度的漏檢。在圖4中，臟污和印錯類標簽出現大面積檢測為缺陷，這是由于電子樣稿設計文檔沒有邊框線，人工框選電子樣稿時截取邊距不一致，導致電子樣稿與柔印首件的邊距存在偏差。經過“粗-精”匹配后，電子樣稿與柔印首件內容已完全對齊，但四周仍存在不同顏色的填充像素。經過此類樣本訓練的網絡，容易出現大面積檢測為缺陷的檢測效果。實驗結果也表明，該方法誤檢率極高，且存在漏檢。文獻[12]因為采用了兩階段檢測，所以取得了優于Faster R-CNN的效果，但其仍舊無法解決局部偏移及柔印首件和電子樣稿的表征差異問題，其誤檢率為62.3%，漏檢率為29.3%，Dice系數為0.443。最后，本文在SuperGlue匹配基礎上進行了精匹配微調電子樣稿，抑制了局部偏移的影響，同時約束聚類使得本文方法能夠在電子樣稿的先驗分割前提下獲得最優的柔印首件缺陷檢測效果。而且，本文方法檢測時間也僅為2.761 s/pcs。

圖4展示了4種典型柔印首件檢測效果示例。其中，紅色標記為檢測出的缺陷。在實際操作過程中，為了便于工人快速定位到紅色標記的缺陷，本文方法額外添加了黃色提示框。圖4的展示情況與表4中的指標評價是一致的。

圖4 檢測效果對比

表4 不同缺陷檢測方法對比

4 結束語

由于柔印首件產品數量極少，且作為參照物的電子樣稿與之具有較大的差異性，因此目前人工三檢制耗時耗力且極易造成誤檢、漏檢。本文提出一種柔印首件“粗-精”檢測方法，采用Super-Point和SuperGlue將電子樣稿和柔印首件進行粗匹配，基于NCC對電子樣稿進行微調以抑制局部偏移影響，以微調后電子樣稿二值圖為約束條件提出約束聚類方法對柔性首件進行最優分割，最后以距離變換法進行缺陷檢測。對比實驗表明，本文方法能夠在合理的時間內高質量地完成柔印首件檢測，檢測性能高達漏檢率為0、誤檢率1.3%、平均Dice系數為0.941，且檢測時間僅為2.761 s/pcs，滿足實際工程需求。

但是，本文的柔印首件檢測方法依賴于灰度和邊緣特征等時間及空間差異，由于柔印首件和電子樣稿差異大，仍舊不可避免的存在一定誤檢，未來的工作將主要針對降低誤檢率展開，考慮缺陷檢測部分采用深度學習網絡學習偽缺陷與真實缺件之間內在模式差異，區分偽缺陷，減少誤檢，從而進一步提升檢測性能。