基于比例特征的區域分割算法在藥板缺陷檢測中的研究

顏培鑫，黃海龍*，冷奎，楊澤宇

基于比例特征的區域分割算法在藥板缺陷檢測中的研究

顏培鑫1，黃海龍1*，冷奎2，楊澤宇1

（1.遼寧工業大學 機械工程與自動化學院，遼寧 錦州 121000； 2.錦州礦山機械集團有限公司，遼寧 錦州 121000）

為解決鋁塑泡罩藥板圖像ROI區域定位慢、精度差等問題，本文提出一種基于比例特征的泡罩區域分割算法，該算法可以快速定位并分割泡罩ROI區域，結合圖像相關性特征算法對鋁塑泡罩藥板進行缺陷檢測。首先通過工業相機采集藥品包裝生產線上的藥板原始圖像，接著使用Blob分析從原始圖片中分離出鋁塑泡罩主體部分，然后通過仿射變換將圖像放置在中心區域，并使用比例特征分割算法對泡罩區域進行分割，最后通過金字塔加速的NCC算法完成缺陷檢測。實驗結果表明，基于比例特征分割后的圖像平均NCC匹配時間為9 ms，在缺陷樣本占比20%的實驗中誤檢率為0.167%，漏檢率為0.556%。通過比例特征分割出精準的泡罩ROI區域結合改進的NCC算法，在擁有較高準確率的同時大幅減少了缺陷檢測時圖像匹配的時間，能較好地完成鋁塑泡罩藥板的缺陷檢測任務。

鋁塑泡罩藥板；比例特征；缺陷檢測；歸一化互相關

鋁塑泡罩包裝是當前藥企主流的一種藥品包裝方式[1]，其具有安全可靠、攜帶輕便、低生產成本等諸多優勢。在藥企自動化生產過程中難免存在漏裝、藥品破裂、泡罩破損等[2]生產缺陷產生，所以在藥品出廠前對封裝好的鋁塑泡罩藥板的質量檢測是現在藥品包裝企業重要的一步[3]。隨著機器視覺在工業應用的普及，效率低、成本高、漏檢率居高不下的人工質檢[4]逐步被工業機器視覺質檢取代。在藥品包裝檢測方面，機器視覺正在發揮越來越重要的作用。在鋁塑泡罩缺陷檢測領域有很多學者進行了研究。為解決鋁塑泡罩打光時光照反射產生復雜的干擾，張中然等[5]提出了一種在一般光照條件下采用機器視覺設計的一套鋁塑泡罩的檢測方法。為解決藥板人工檢測的效率低等缺點，方文星等[6]提出一種SURF、BOW以及單分類支持向量機組成的鋁塑泡罩缺陷檢測算法，該算法有效提高了機器視覺在包裝檢測中的準確性和穩定性。王俊等[7]提出一種基于改進NCC算法，該算法在鋁塑泡罩板包裝缺陷檢測中具有較好的速度與準確率。趙寶水等[8]針對膠囊類型的藥品提出了一種分塊Otsu的方法對膠囊進行分割，在去噪后通過判斷灰度值與面積特征分辨藥品好壞的檢測方法。楊欣等[9]提出了基于U-Net的神經網絡架構的鋁塑泡罩的檢測方法，缺陷檢測分類種類較多，準確率高。現在大多方法都是基于模板匹配的缺陷檢測，存在計算量大，實時性差的缺點；而基于深度學習的缺陷檢測需要大量的樣本數據，在實際藥企生產中很難獲得大量缺陷樣本數據。在藥板的缺陷檢測中，非泡罩區域占據了整個藥板50%左右的面積，因此精準分割出泡罩區域是檢測任務中重要的一步。本文提出一種基于圖像比例特征的泡罩區域分割算法可以快速定位分割泡罩區域，在進行下一階段的缺陷檢測任務前，減少了檢測區域接近一半的面積，使得計算時間大幅減少。完成區域分割后，結合圖像金字塔加速[10]的NCC匹配算法，在保證準確率的同時進一步減少了匹配時間。實驗表明本方法適用于存在光照變化、位置放置不嚴格的鋁塑泡罩藥板的檢測現場。

1 基于比例特征的ROI區域分割

在進行鋁塑泡罩缺陷檢測前分割出感興趣區域（Region of Interest, ROI）是關鍵的一步。選擇一個適合的ROI區域可以大幅減少算法的運行時間。一般鋁塑泡罩藥板的ROI區域分割有閾值分割[11]與模板匹配2種。閾值分割方法具有運行穩定、響應速度快等優點，不過其受光線的變換的影響較大，對噪聲比較敏感，一般很難完成準確分割的要求。模板匹配分割ROI區域，對光線的變換不敏感，但其計算量較大，很難滿足工業現場實時性的要求。本文提出一種全新的鋁塑泡罩分割方法——基于比例特征的ROI區域分割算法。同一批次的鋁塑泡罩藥板中泡罩通常是按照一定的排列方式，在藥板上按照一定比例均勻分布，這些分布特征包含著泡罩在藥板上的分布規律。本算法的核心思路就是將實際藥板包含的比例特征信息映射到工業相機采集的圖像上從而實現泡罩區域的分割。本文提出的區域分割算法適用于不同大小的鋁塑裝泡罩藥板（膠囊）的分割，藥板特征信息以變量表示，不針對特定型號，具有普適性。本部分實現方法如圖1a所示。

1.1 Blob分析

Blob（Binary Large Object）指圖像中具有相似特征所構成的一塊連通區域，Blob分析是圖像處理領域一種常見的技術[12]，廣泛適用于各種情況下的二值圖像連通區域的分割與計算。本文將工業相機采集的原始圖像以PNG格式讀入計算機，然后對原始圖像進行高斯濾波，增強圖像平滑性。考慮到灰度圖像保留了圖像全部信息且降低了圖像維度可以很大程度提高程序的運行速度，因此本文對高斯濾波后的圖像進行灰度化處理。

在灰度化處理后對其進行Blob分析找出泡罩主體區域。如圖1中Blob分析部分所示，首先通過全局閾值分割找出背景板上的較亮區域；然后將連通區域分割，對每一個獨立的連通區域先做膨脹處理再填充，選取出其中的最大的區域即藥板的區域；再通過形狀將藥板轉換為凸性區域；最后通過區域信息提取算子得出藥板面積、中心點等信息。

1.2 仿射變換

仿射變換，又稱仿射映射。在圖像領域，圖像就相當于一個二維向量空間，對圖像做仿射變換就是對一個向量空間首先進行線性變換再接上一次平移，變換為另一個向量空間[13]。仿射變換公式如下：

圖1 實現流程

Fig.1 Implementation flowchart

圖2 灰度化處理后的鋁塑泡罩藥板圖像

式中：、為原始向量的坐標；'、'是仿射變換后的向量坐標；11、12、21、22為線性變換矩陣的系數；t、t為平移向量的坐標。

通過仿射變換可以將缺陷檢測現場沒有嚴格整齊擺放的鋁塑泡罩藥板變換到圖像的中心區域，保證了泡罩區域分割的規范性。對處理完的圖像進行仿射變換得到圖3的效果。

1.3 區域分割

1.3.1 定位泡罩區域中心

為了將實際藥板包含的比例特征信息映射到工業相機采集的圖像，首先需要確定一個映射的基點，藥板圖像的其他點的坐標都將由基點來確定。考慮到鋁塑泡罩藥板類矩形具有中心對稱和軸對稱的特點，本算法將12個泡罩所構成的矩形區域定義為泡罩區域（非某單個泡罩），將該區域的中心點作為實際藥板的基點，將圖像中心點作為圖像的基點，兩者構成映射的基點。

通過Blob分析與仿射變換可以得到仿射后圖像的信息，包括面積大小、長邊距離、短邊距離、圖像中心的坐標。但在藥企生產時由于印刷相關信息的需要，藥板上下兩邊的空白區域是不等長的，這就導致泡罩區域中心與藥板中心存在一定的誤差。所以本算法需要通過藥板的信息計算出泡罩區域的中心點坐標。本小節的算法思路是將藥板長邊的印字區域部分構成的誤差補償給泡罩區域的中心，本文給出如下計算公式。

圖3 圖像的仿射變換

式中：1為矩形藥板區域對應長邊的像素長度；2為藥板長邊的實際長度；、為泡罩區域中心的坐標、坐標；1、1為藥板圖像中心坐標、坐標；為藥板印字區域邊緣到其最近泡罩的垂直距離；為藥板非印字區域邊緣到其最近泡罩的垂直距離。

1.3.2 定位膠囊中心

在確定映射基點后，需要確定膠囊的中心點。以圖2為例，已知泡罩區域中心點坐標，計算左起第3行第1列的膠囊中心坐標，需對泡罩區域中心點坐標進行轉換再乘以相應的倍率。第3行第1列的膠囊中心坐標計算式如下：

式中：為2個泡罩中心縱向的實際距離；1為矩形藥板區域對應短邊的像素長度；2為藥板短邊的實際長度。

為方便計算其他膠囊的坐標，本文定義：

結合式（4）、式（5）可知，各個膠囊的中心坐標可以表示為：

通過R和C的排列組合即可計算各個膠囊的中心點坐標。

1.3.3 生成區域選擇框

膠囊包裝鋁塑泡罩的二維映射類似矩形，且已知膠囊中心點坐標，采用矩形框作為選擇框是本算法的最優解。在本算法中將膠囊中心作為選擇框的中心后，只需確定矩陣的長寬即可確定矩形選擇框在圖像中的位置，按照比例特征的算法思路給出矩形選擇框的長與寬，見式（10）～（11）。

式中：為單個泡罩長邊的實際長度；為單個泡罩短邊的實際長度。

通過以上基于藥板比例特征的區域分割方法可以得到如圖4所示的分割效果。

圖4 泡罩區域分割

2 基于圖像相關性特征的缺陷檢測

在完成膠囊泡罩區域的分割任務后，本節提出一種基于圖像相關性的泡罩區域缺陷的檢測方法。該方法擁有較高的準確性與較快的檢測速度。本部分實現方法如圖1b所示。

2.1 NCC匹配

模板匹配算法是一種常用的圖像處理算法，它通過提取創建的模板的特征，用這些特征在目標圖像中查找目標模板的位置。簡單來說，該算法會將模板區域/圖像與目標區域/圖像進行一系列的對比，從而找到目標區域/圖像中與模板最相似的部分，最后輸出該區域的一些信息。模板匹配有基于相關性、相似性、梯度方向直方圖以及特征點的幾類，他們在不同場合都有著良好的應用。其中基于圖像相關性的NCC（Normalized Cross-Correlation）是模板匹配中效果較好的圖像互相關計算方法。NCC算法公式如下：

式中：(,)為原圖像；(,)為模板圖像；為模板中像素的個數。

NCC算法可以適應圖像的尺寸和灰度（一般受光照影響）發生變換的場合[14]，因為它將目標圖像和模板都進行了歸一化處理，使得他們的均值一直為0，標準差為1，所以NCC算法不受圖像尺寸的影響，對不同光線照射產生的灰度值變換不敏感。此外，由式（12）可見NCC算法實現容易，但涉及方差的計算，因此計算的復雜度較高，計算成本較大，不適合大規模的圖像進行匹配使用。前文提出的基于比例特征的ROI區域分割算法，有效減少了匹配過程中圖像的規模，避免了NCC算法的缺陷。

2.2 金字塔加速

為進一步提升模板匹配的速度，本文引入金字塔加速的方法，如圖5所示。圖片下采樣可以提取圖像的特征使圖像的尺寸變小，經過多次下采樣操作可以得到一組逐漸變小的圖像，從而形成類型金字塔形態的圖像金字塔。本方法，可以對分辨率最小的圖像進行模板匹配，從而確定出現相似性區域的大致方位，再從小到大逐層精確，從而極大提高匹配效率。經歷一次下采樣，圖像的長寬都減少了50%，面積就變為之前的四分之一[15]。但下采樣的次數越多，丟失的信息就越多，選取合適的金字塔層數可以有效減少模板匹配時間。經過實驗發現，本文所研究的鋁塑泡罩藥板選擇4層金字塔的加速效果最佳。

圖5 金字塔搜索示意圖

本文將12粒裝鋁塑泡罩分割成12個大小均勻的ROI區域，以完整無缺的泡罩區域作為模板進行逐一匹配得出匹配分值。分值范圍為0～1，分值越高表明與模板圖像相關性越。

3 實驗結果

本實驗在Window10操作系統下進行，處理器為Intel(R) Xeon(R) CPU E5-2680 v3 @ 2.50 GHz（2個處理器）。采用工業相機采集膠囊泡罩的原始圖片，其型號為MV-U130RC，30萬像素三彩，最大分辨率為1 280×960，最快可達22幀/s。打光采用白色LED環形光源，考慮到鋁塑藥板鏡面反射效果明顯，光源在采集的時候調整得較暗。

本實驗共采集600張同種鋁塑泡罩藥板樣本圖片，其中無缺陷無瑕疵樣本480張，有缺陷瑕疵樣本120張。為獲得較為準確的檢測率，本實驗將600張圖片通過旋轉、平移等操作將圖像進行擴充到1 800張，其中包括1 440張完好的藥板圖片，140張缺粒圖像，150張破損程度不同的膠囊圖像，30張凹陷缺陷的圖像，40張人為涂鴉（模擬污染）的圖像。

為衡量本文算法的準確性，針對1 800張樣本圖片中缺粒、破損、凹陷等情況，采用2個指標——誤檢率、漏檢率進行評價。評價分值設置為0.85與0.87，獲得如表1、2、3所示的實驗結果。為評價算法對匹配速度的改進，采用匹配時間作為速度評價指標，與現有算法進行對比獲得表4的實驗結果。

對本文中檢測結果進行顯示時，不對漏粒、擠壓、漏粉等具體缺陷做逐一特別標注，統一視為缺陷樣本。部分缺陷樣本顯示結果如圖6所示。

圖6 部分缺陷樣本

表1 評價分值為0.85時實驗結果

Tab.1 Experimental results with an evaluation score of 0.85

表2 評價分值為0.87時實驗結果

Tab.2 Experimental results with an evaluation score of 0.87

表3 檢測結果匯總

Tab.3 Summary of detection results

表4 模板匹配時間

Tab.4 Template matching time

實驗結果表明，不同的評價分值影響正常樣本的誤檢率與缺陷樣本的漏檢率。當設置NCC匹配分值為0.85時，誤檢率為0.111%，漏檢率為0.944%；當評價分值為0.87時，誤檢率為0.167%，漏檢率為0.556%。考慮到藥企生成過程中缺陷樣本的漏檢危害比正常樣品的誤檢更嚴重，本文最終選取NCC評價分值為0.87。

4 結果分析

通過實驗數據可以發現膠囊在泡罩的位置不同（泡罩區域略大于膠囊體積會造成膠囊在泡罩的位置不同）對檢測結果無影響，因此本方法擁有較高的準確性。分析發現本實驗正常樣本誤檢是由于樣本采集時藍色膠囊殼反光過多造成的藍色區域出現過多白斑，導致算法給此區域的評分較低，研究發現可以通過降低光照有效降低此類誤檢。根據實驗漏檢樣本的研究發現NCC算法對微小缺陷的檢測能力較弱，即使提高評價分值也導致了150個損壞樣本中有6個微小缺陷出現了漏檢。分析發現較小的損壞所引起的圖像相關性變化不大，因此評價分值設置較小時會將微小的損壞缺陷當作正常樣本處理。同時實驗還發現凹陷出現在水平于藥板方向時，導致圖像灰度特征很難有過大的改變；當人工制作的污染區域出現在藍色膠囊殼時，灰度的變化也不明顯，本算法也很難準確檢測出。

匹配實驗結果表明，采用比例特征提取后的區域進行模板匹配所消耗的時間大大減少，本方法匹配時間計算方法如下：一個泡罩的匹配時間為0.7～0.8 ms，本樣品共12個泡罩，取每個泡罩匹配的時間均值為0.75 ms，故整個藥板的匹配時間為9 ms。對同一尺寸的圖像，本方法的匹配時間相較傳統NCC算法有巨大的提升。文獻[7]對1 920×1 200圖像的匹配時間為21 ms，本方法對1 280×960圖像的匹配時間為9 ms，通過匹配面積折算可知，本方法相較文獻[7]的算法速度提升了19.64%，具有較大的速度優勢。

5 結語

本文提出一種基于比例特征的ROI區域分割算法，該算法計算量小、性能優異，可以快速精準定位泡罩區域，為鋁塑泡罩藥板ROI區域分割提供了新的解決方案，并結合金字塔加速的NCC算法完成了一套對鋁塑泡罩藥板缺陷檢測的方案。實驗結果顯示，本方法在評價分值為0.87時，在缺陷樣本占比20%的實驗中誤檢率為0.167%，漏檢率為0.556%。考慮到此缺陷樣本占比遠高于實際藥企包裝生產現場的缺陷樣本，故檢測現場漏檢率會遠低于實驗數據，因此，本檢測方法精度滿足在線檢測精度要求。本方法對1 280×960圖像匹配的平均時間為9 ms，滿足生產線速度要求。但本方法對微小缺陷的檢測效果較差，還需進一步提升其準確率。

[1] 陳軼楠, 葛斌, 王俊, 等. 基于集成分類器的泡罩包裝藥品缺陷識別[J]. 包裝工程, 2021, 42(1): 250-259.

CHEN Y N, GE B, WANG J, et al. Defect Identification of Blister Packaging Medicine Based on Integrated Classifier[J]. Packaging Engineering, 2021, 42(1): 250-259.

[2] 疏義桂. 基于機器視覺的鋁塑泡罩包裝藥品缺陷檢測[D]. 武漢: 華中科技大學, 2013: 1-6.

SHU Y G. Defect Detection of Aluminum-Plastic Blister Packaging Drugs Based on Machine Vision[D]. Wuhan: Huazhong University of Science and Technology, 2013: 1-6.

[3] 谷紫穎. 鋁塑泡罩藥品缺陷檢測技術的研究[D]. 濟南: 山東大學, 2020: 1-3.

GU Z Y. Research on Defect Detection Technology of Aluminum-Plastic Blister Drugs[D]. Jinan: Shandong University, 2020: 1-3.

[4] LI J L, WU S Q, CHANG K, et al. Research on Registration Accuracy Detection Method Based on Machine Vision[J]. Journal of Physics Conference Series, 2023, 2437(1): 012113.

[5] 張中然, 焦波, 孫志勇, 等. 一般光照條件下鋁塑泡罩藥品包裝檢測系統[J]. 哈爾濱理工大學學報, 2017, 22(5): 65-69.

ZHANG Z R, JIAO B, SUN Z Y, et al. Detecting System for Pharmaceutical Aluminum-Plastic Blister Packaging under Common Lighting Conditions[J]. Journal of Harbin University of Science and Technology, 2017, 22(5): 65-69.

[6] 方文星, 王野. 一種鋁塑泡罩藥品包裝缺陷檢測方法[J]. 包裝工程, 2019, 40(1): 133-139.

FANG W X, WANG Y. Defect Detection Method for Drug Packaging with Aluminum Plastic Bubble Cap[J]. Packaging Engineering, 2019, 40(1): 133-139.

[7] 王俊, 葛斌, 陳軼楠, 等. 改進NCC算法在鋁塑藥板包裝缺陷檢測中的應用[J]. 包裝工程, 2020, 41(17): 196-201.

WANG J, GE B, CHEN Y N, et al. Application of Improved NCC Matching Algorithm in the Detection of Packaging Defects of Aluminum Plastic Blisters[J]. Packaging Engineering, 2020, 41(17): 196-201.

[8] 趙寶水. 基于機器視覺的藥品包裝檢測關鍵技術的研究[D]. 錦州: 遼寧工業大學, 2021: 1-2.

ZHAO B S. Research on Key Technologies of Drug Packaging Inspection Based on Machine Vision[D]. Jinzhou: Liaoning University of Technology, 2021: 1-2.

[9] 楊欣, 寧茜, 李貼, 等. 藥品泡罩包裝缺陷智能檢測系統[J]. 國外電子測量技術, 2022, 41(8): 174-180.

YANG X, NING Q, LI T, et al. Intelligent Detection System for Drug Blister Packaging Defects[J]. Foreign Electronic Measurement Technology, 2022, 41(8): 174-180.

[10] JING J F, REN H H. Defect Detection of Printed Fabric Based on RGBAAM and Image Pyramid[J]. Autex Research Journal, 2020, 21(2): 135-141.

[11] LI J W, LIAO G P, JIN J, et al. Method of Potato External Defects Detection Based on Fast Gray Intercept Threshold Segmentation Algorithm and Ten-Color Mode[J]. Journal of Agricultural Engineering, 2010, 26(10): 236-242.

[12] ADAL K M, SIDIBé D, ALI S, et al. Automated Detection of Microaneurysms Using Scale-Adapted Blob Analysis and Semi-Supervised Learning[J]. Computer Methods and Programs in Biomedicine, 2014, 114(1): 1-10.

[13] 曾文鋒, 李樹山, 王江安. 基于仿射變換模型的圖像配準中的平移、旋轉和縮放[J]. 紅外與激光工程, 2001, 30(1): 18-20.

ZENG W F, LI S S, WANG J A. Translation, Rotation and Scaling Changes in Image Registration Based Affine Transformation Model[J]. Infrared and Laser Engineering, 2001, 30(1): 18-20.

[14] FAN J Y, HE Y, WANG P H, et al. Interplane Bulk Motion Analysis and Removal Based on Normalized Cross-Correlation in Optical Coherence Tomography Angiography[J]. Journal of Biophotonics, 2020, 13(7): 202000046.

[15] 張一梵. 基于灰度相關的快速模板匹配算法研究[D]. 廣州: 廣州大學, 2022: 17-22.

ZHANG Y F. Research on Fast Template Matching Algorithm Based on Grayscale Correlation[D]. Guangzhou: Guangzhou University, 2022: 17-22.

Region Segmentation Algorithm Based on Proportional Features for Defect Detection of Aluminum Plastic Blister Medicine Plates

YAN Peixin1, HUANG Hailong1*, LENG Kui2, YANG Zeyu1

(1. School of Mechanical Engineering and Automation, Liaoning University of Technology, Liaoning Jinzhou 121000, China; 2. Jinzhou Mining Machinery Group Co., Ltd., Liaoning Jinzhou 121000, China)

The work aims to propose a blister area segmentation algorithm based on proportional features to quickly locate and segment the blister ROI, and detect defects in aluminum plastic blister medicine plates in combination with the image correlation feature algorithm, so as to solve the problems of slow localization and poor accuracy of ROI in images of aluminum plastic blister medicine plates. Firstly, original images of medicine plates in the packaging production line were collected through an industrial camera. Then, Blob analysis was used to separate the main part of the aluminum plastic blister from the original image. Then, the image was placed in the center area through affine changes and the blister area was segmented according to the proportional feature segmentation algorithm. Finally, defect detection was completed according to the pyramid accelerated NCC algorithm. The experimental results showed that the average NCC matching time of the image based on proportional feature segmentation was 9 ms. In the experiment with 20% defect samples, the false detection rate was 0.167% and the missed detection rate was 0.556%. By the segmenting precise blister ROI through proportional features and combining them with an improved NCC algorithm, the image matching time during defect detection is significantly reduced, which can effectively complete the defect detection task of aluminum plastic blister medicine plates.

aluminum plastic blister medicine plates; proportional characteristics; defect detection; normalized cross correlation (NCC)

TB487

A

1001-3563(2024)01-0208-07

10.19554/j.cnki.1001-3563.2024.01.024

2023-05-15

遼寧省“揭榜掛帥”科技計劃重點項目（2021JH1/10400074）