小樣本藥用玻璃瓶缺陷生成方法及應用

陳宏彩，程煜，任亞恒

自動化與智能化技術

小樣本藥用玻璃瓶缺陷生成方法及應用

陳宏彩1,2*，程煜1,2，任亞恒1,2

（1.河北省科學院應用數學研究所，石家莊 050081； 2.河北省信息安全認證技術創新中心，石家莊 050081）

為了克服藥包玻璃瓶缺陷樣本不足帶來的缺陷檢測模型精度不準的問題，提出改進StyleGAN2-ADA的缺陷樣本生成方法，提升模型魯棒性。首先，基于StyleGAN2-ADA算法，在無缺陷圖像集上訓練網絡模型并作為骨干。其次，在骨干網絡上添加缺陷感知殘差塊，生成缺陷掩碼，在少量的缺陷圖像數據集上訓練網絡模型操縱掩碼區域的特征，模擬缺陷圖像生成過程，合成缺陷圖像。最后，采用YOLOv7檢測網絡驗證該樣本生成方法的效果。實驗結果表明，該方法在大量正常圖像和少量缺陷圖像基礎上生成逼真且多樣性的缺陷圖像，應用該缺陷樣本合成方法豐富數據集后，西林瓶缺陷檢測平均準確率（mAP）達到97.3%，較原始數據集合和StyleGAN2-ADA算法分別提高了33.1%和4.1%。該圖像生成方法可以在少量缺陷樣本下生成高質量的缺陷圖像，優化不均衡數據集，增強模型訓練的穩定性，提高藥用玻璃包裝產品的質量和合格率。

藥包玻璃瓶；圖像生成；StyleGAN2-ADA；缺陷檢測；YOLOv7

藥用玻璃瓶生產過程是一個多因素耦合的復雜程序，生產過程中的異常都會導致產品缺陷產生。及時識別檢測異常產品的缺陷模式是提高產品質量和生產效率的有效途徑。為保證醫藥產品質量，精準的藥用玻璃瓶缺陷檢測具有十分重要的研究意義。

早期的產品缺陷檢測方法主要通過人工設計特征提取方法進行檢測。近年來，隨著深度學習快速發展，基于神經網絡的算法在視覺檢測任務中大放異彩，已經被推廣應用到農產品檢測[1-2]、工業質檢[3-4]、醫藥產品檢測與分類[5]等多個領域。到目前為止，已經有許多基于不同網絡模型和算法的目標檢測器用于缺陷檢測。在眾多檢測算法中，YOLO（You Only Look Once，YOLO）系列算法[6-9]因其檢測速度快、精度高而被廣泛應用于產品質量檢測中，YOLOv7[8]算法在前人提出的YOLO模型基礎上進一步改進優化，采用模型結構重參數化、模型縮放、由粗到細引導標簽動態分配等策略，在精度、效率等方面更是表現出優于其他目標檢測算法。然而，與傳統的機器學習方法相比，基于深度學習的方法在缺陷識別時需要大量的數據樣本[10]。由于一些藥包玻璃產品生產線中真實的缺陷圖像的稀缺性和高昂收集成本，充分獲得大量不同缺陷圖像具有挑戰性。而基于深度學習的產品檢測方法本質是基于大數據的，缺陷樣本的缺乏會導致訓練過程過擬合、檢測精度差、檢測模型難以上線等問題[11]。

為了拓展深度學習在工業檢測領域的應用范圍和檢測性能，學者們提出了很多方法來擴增樣本數量。傳統數據增廣技術是一種性價比較高的擴增樣本的手段，包括幾何變換（例如平移、旋轉、翻轉、裁剪、縮放等）、濾波、加噪聲、圖像混疊等[12]。這些圖像處理方法能仿真缺陷的位置和一些簡單紋理變化，但無法仿真缺陷的復雜紋理和多樣性，其中濾波、加噪聲和混疊這些方法在數據大量增廣中不僅無益，有時還會出現泄漏增強等問題[13]。

樣本的稀缺性推動了圖像生成作為缺陷檢測應用數據增強的研究性工作。為了解決更復雜場景的樣本生成問題，學者們提出了一些基于生成式對抗網絡（Generative Adversarial Nets, GAN）的缺陷生成算法，比較有代表性的是由NVIDIA公司提出的基于樣式的生成對抗網絡StyleGAN（Style Generative Adversarial Nets，StyleGAN）[14]和它的進一步優化方法StyleGAN2[15]等，這些網絡模型在其自建的高清人臉數據集上取得了很好的生成效果。這很大一部分原因可歸功于樣本量大、質量高的數據集，但是有些應用場景這種高質量數據集獲取難度很高。2021年，Zhang等[16]設計了一種稱為Defect-GAN的自動缺陷合成網絡方法，通過添加和刪除缺陷前景來模擬缺陷生成和修復過程，該方法可以生成多樣化和高保真度的缺陷樣本。然而，這個工作有一定的局限性：需要大型紋理數據集；生成的缺陷缺乏隨機性。現有這些工作通常需要數百張圖像，直接在幾十張圖像上訓練生成圖像的問題尚未解決。針對這種情況，Karras等[17]在StyleGAN2的基礎上進行了優化調整，提出了一種基于樣式的自適應判別器增強生成對抗網絡方法StyleGAN2-ADA（StyleGAN2 with Adaptive Discriminator Augmentation, StyleGAN2-ADA），根據過擬合的程度在不同時間控制隨機增強概率，可以在有限數據上訓練，生成較高質量圖像。

為了克服藥包玻璃瓶缺陷樣本不足帶來的缺陷檢測模型精度不準的問題，文中結合深度學習研究成果StyleGAN2-ADA算法，設計一種改進的StyleGAN2- ADA的缺陷樣本合成方法，采用YOLOv7檢測模型測試，驗證缺陷樣本合成數據增強方法的效果。

1 藥用玻璃瓶缺陷生成方法

藥用玻璃瓶缺陷生成方法采用兩階段訓練策略，如圖1所示。首先，以StyleGAN2-ADA網絡作為主干網絡在數百個無缺陷玻璃瓶圖像上訓練，它將一個隨機編碼映射到一張無缺陷的圖像。其次，將缺陷感知的殘差塊沿著缺陷映射網絡附加到主干網絡上，并在少量缺陷圖像上訓練新的網格。生成器通過可控的缺陷區域將隨機編碼和一個缺陷編碼映射到一張圖像，生成缺陷圖像。

1.1 無缺陷藥用玻璃瓶圖像的預訓練

在第1個訓練階段，在無缺陷數據集上訓練一個生成器作為主干網絡，通過隨機采樣目標編碼生成無缺陷圖像。考慮到自適應判別器增強方法StyleGAN2- ADA[17]在小樣本上的優越性，文中采用StyleGAN- ADA作為網絡主干，生成網絡包括一個映射網絡（Mapping Network）和一個合成網絡（Synthesis Network），如圖1左側部分，映射網絡將一組隨機的向量object輸入到8層全連接層網絡中，并將其編碼為中間向量object，向量object通過仿射變換A調整合成網絡的卷積權重，將變化導入到生成圖像中。合成網絡由多個合成塊組成，每個合成塊包含具有跳越結構的卷積層、上采樣層、自適應實例規范化模塊、風格控制和噪聲組成。這一階段，在數百個無缺陷玻璃瓶圖像上訓練該網絡模型，生成無缺陷樣本圖像。

1.2 藥用玻璃瓶缺陷圖像生成網絡模型

圖1 玻璃瓶缺陷樣本生成網絡模型

根據網絡模型StyleGAN2-ADA的整個目標損失函數設置，文中設計的玻璃瓶缺陷網絡模型的整個目標損失函數表達式如式（3）所示。

式中：match為缺陷匹配判別器；StyleGan為模型StyleGAN2-ADA的原始損失函數；match為match的損失函數；ms為模式尋找損失函數；為調節參數。

2 基于YOLOv7的玻璃瓶缺陷目標檢測方法

YOLOv7[8]是目前流行的一種快速的單階段目標檢測模型，具有良好的檢測精度和魯棒性，其網絡結構包含4個部分：輸入、主干網絡、特征融合網絡和輸出。

輸入部分：主要使用Mosaic數據增強、自適應錨框計算、自適應圖片縮放等數據增強方式豐富數據集。

主干網絡部分：主要模塊是高效層聚合網絡ELAN以及擴展的E-ELAN，用于更高效的特征提取。ELAN 結構通過控制最短最長的梯度路徑，可以對更深的網絡有效地學習和控制收斂。E-ELAN模塊采用擴展、亂序、合并來實現在不破壞原有梯度路徑的情況下不斷增強網絡學習的能力[8]。

特征融合部分：采用SPPCSPC模塊。

輸出部分：使用IDetect檢測頭對目標的位置、類別和置信度信息進行輸出。

3 實驗與結果

3.1 實驗配置和評價指標

本次實驗在AMAX服務器上進行測試。實驗環境包含Ubuntu18.04系統，CUDA11.4，GPU顯卡NVIDIA Tesla V100，Python3.7和深度學習框架Pytorch1.7.1等。

從數據科學角度出發，文中采用弗雷歇初始距離（Fréchet Inception Distance）[19]作為圖像生成質量評價指標。是度量同一域內真實圖像與生成圖像的特征向量之間的距離，越小代表生成圖像的質量越好，其計算式為：

目標檢測評價標準選用準確率（Precision）、召回率（Recall）、平均準確率（mean Average Precision，mA），A是單目標類別檢測精度，mA是對所有目標類別檢測精度求均值，用來評價模型的綜合性能，具體公式如下：

式中：Tp為真正例；Fp為假正例；FN為假負例；PA為平均精度。

3.2 藥用玻璃瓶缺陷圖像生成結果及分析

藥用玻璃瓶數據集是從成都某藥品包裝公司采集的藥用西林瓶圖像。根據國家藥品監督管理局《直接接觸藥品的包裝材料和容器標準》的質量管理要求，以及藥用西林瓶的外觀質量檢測標準，文中將藥用西林瓶的外觀質量缺陷劃分為污漬、氣線、裂紋3類，并進行實驗測試，包括西林瓶缺陷圖像生成和缺陷檢測任務。原始數據集共524張圖像，包括正常西林瓶圖像419張，每類缺陷圖像35張，每張圖像的分辨率大小調整為256像素×256像素，如圖2所示。為了利用深度學習模型進行缺陷檢測，先對缺陷樣本進行數據增廣。

西林瓶缺陷生成方法采用文中第1章節設計的改進StyleGAN2-ADA（Improved StyleGAN2-ADA）方法，在第1個訓練階段，在正常西林瓶數據集上訓練一個生成器作為主干網絡；在第2階段，利用1.2節構建的玻璃瓶缺陷樣本生成網絡模型在每類缺陷圖像數據集上訓練一個缺陷模型，缺陷匹配判別器match的架構與原始styleGAN2-ADA的判別器幾乎相同，但基于判斷缺陷圖像是否與掩碼匹配比判斷其真實性更容易，減少了每層中的通道數量。match的參數為1.2×106，相比參數量為21×106的模型，要少得多，這極大程度便利了小樣本缺陷圖像的生成；最后，利用生成的缺陷模型生成對應類別的缺陷圖像。

這里，實驗中一些參數設置如下：在訓練階段，批處理大小設置為4，初始學習率=0.002 5，自適應增強概率調節因子=0.6，模式尋找損失函數調節參數=0.1，缺陷匹配判別器match中調節因子match=1.0。

為了驗證本文設計的缺陷樣本合成方法效果，本文引入StyleGAN2-ADA方法進行實驗對比，并給出定量結果。不同方法圖像生成評價指標分數測試情況如圖3所示。從圖3可以看出，隨著訓練迭代次數的增加，本文改進的StyleGAN2-ADA方法的值越來越低，但StyleGAN2-ADA方法的訓練過程較本文生成方法的訓練過程不穩定，在300次迭代點后呈現發散的情況。隨著訓練次數增大，本文改進的生成方法值逐漸收斂，表明該方法生成圖像與真實圖像越來越接近。

圖4展示了利用本文設計的改進StyleGAN2-ADA缺陷生成模型獲得的正常圖像和不同的缺陷圖像（這里為了清晰顯示圖像，對生成的圖像去掉了上下黑色邊緣，僅保留西林瓶部分）。從生成的圖像視覺效果可以定性分析出，生成的西林瓶圖像質量較高、缺陷特征較為清晰、逼真。

圖3 不同生成對抗網絡訓練的弗雷歇初始距離D的對比

圖4 西林瓶缺陷樣本生成示例

3.3 藥用玻璃瓶缺陷檢測結果及分析

為了驗證缺陷樣本數量對缺陷檢測模型的影響，本文采用YOLOv7網絡模型對西林瓶缺陷檢測測試，評價模型的相關性能。下面分別以原始數據集、StyleGAN2-ADA方法和本文改進的StyleGAN2-ADA方法進行數據增廣測試，采用不同生成方法生成每類缺陷各500張圖像，其中，圖像數據集總數量的75%用于訓練，25%用于測試，相應數據集圖像數量如表1所示。

表1 西林瓶缺陷圖像數據集

Tab.1 Date set of penicillin vial defects

表2列出了不同數據增強方法下采用YOLOv7缺陷檢測模型得到的性能指標，包括準確率（）、召回率（）、平均準確率（mA）。從表2可以看出，僅采用少量的原始數據集進行缺陷檢測時，檢測性能指標都很低，其平均準確率僅為64.2%，這表明采用深度學習模型進行缺陷檢測時，小樣本數據集容易出現過擬合的問題，檢測性能較差。而本文設計的缺陷生成方法的缺陷檢測準確率和平均準確率分別達到96.3%和97.3%，較原始數據集有較大提高，較StyleGAN2-ADA方法分別提升了4.1百分點和3.5百分點。實驗數據驗證了文中缺陷圖像生成方法在提高西林瓶缺陷檢測模型精度方面是有效的。

表2 西林瓶缺陷檢測模型性能測試結果

Tab.2 Performance test results of penicillin vial defect detection model

4 結語

針對藥用玻璃瓶缺陷樣本不足導致檢測模型精度不準、現有圖像生成模型生成圖像質量不佳等問題，文中提出了一種改進的StyleGAN2-ADA模型，通過實驗驗證了所提方法的有效性。該方法可以在大量正常圖像和少量缺陷圖像基礎上生成逼真且多樣性的西林瓶缺陷圖像，優化不均衡數據集，增強深度學習檢測模型訓練的穩定性，提升產品檢測精度。該方法已成功應用在山東、四川等多家醫藥包裝公司的玻璃瓶生產檢測流水線上，顯著提高了藥用玻璃包裝產品的質量和合格率，提升了藥包企業產品的安全性和市場競爭力。

[1] 王小榮, 許燕, 周建平, 等. 基于改進YOLOv7的復雜環境下紅花采摘識別[J]. 農業工程學報, 2023, 39(6): 169-176.

WANG X R, XU Y, ZHOU J P, et al. Safflower Picking Recognition in Complex Environments Based on an Improved YOLOv7[J]. Transactions of the Chinese Society of Agricultural Engineering, 2023, 39(6): 169-176.

[2] 苗榮慧, 李志偉, 武錦龍. 基于改進YOLO v7的輕量化櫻桃番茄成熟度檢測方法[J]. 農業機械學報, 2023, 54(10): 225-233.

MIAO R H, LI Z W, WU J L. Lightweight Maturity Detection of Cherry Tomato Based on Improved YOLO V7[J]. Transactions of the Chinese Society for Agricultural Machinery, 2023, 54(10): 225-233.

[3] 趙耀霞, 吳桐, 韓焱. 基于卷積神經網絡的復雜構件內部零件裝配正確性識別[J]. 電子學報, 2018, 46(8): 1983-1988.

ZHAO Y X, WU T, HAN Y. Identifying the Correctness of Fit of Internal Components Based on a Convolutional Neural Network[J]. Acta Electronica Sinica, 2018, 46(8): 1983-1988.

[4] 陳宏彩, 任亞恒, 郝存明, 等. 基于YOLOv3的醫藥玻璃瓶缺陷檢測方法[J]. 包裝工程, 2020, 41(7): 241-246.

CHEN H C, REN Y H, HAO C M, et al. Defect Detection Method for Medical Glass Bottles Based on YOLOv3[J]. Packaging Engineering, 2020, 41(7): 241-246.

[5] LI W Q, TANG Y Ming; YU K M, et al. SLC-GAN: An Automated Myocardial Infarction Detection Model Based on Generative Adversarial Networks and Convolutional Neural Networks with Single-lead Electrocardiogram Synthesis[J]. Information Sciences, 2022, 589: 738-750.

[6] REDMON J, FARHADI A. YOLOv3: An Incremental Improvement[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE Computer Society, 2018: 89-95.

[7] LIN T Y, DOLLAR P, GIRSHICK R, et al. Feature Pyramid Networks for Object Detection[C]// Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE Computer Society, 2017: 936-944.

[8] WANG C Y, BOCHKOVSKIY A, LIAO H Y M. YOLOv7: Trainable Bag-of-Freebies Sets New State-of- the-Art for Real-Time Object Detectors[C]// Proceedings of 2023 IEEE Conference on Computer Vision and Pattern Recognition. Vancouver: IEEE Computer Society, 2023: 7464-7475.

[9] 李松, 史濤, 井方科. 改進YOLOv8的道路損傷檢測算法[J]. 計算機工程與應用, 2023, 59(23): 165-174.

LI S, SHI T, JING F K. Improved Road Damage Detection Algorithm of YOLOv8[J]. Computer Engineering and Applications, 2023, 59(23): 165-174.

[10] 陳琨, 王安志. 卷積神經網絡的正則化方法綜述[J/OL]. 計算機應用研究: 1-11[2023-12-12]. https:// doi.org/10.19734/j.issn.1001-3695.2023.06.0347.

CHEN K, WANG A Z. Survey on Regularization Methods for Convolutional Neural Networks[J/OL]. Application Research of Computers: 1-11[2023-12-12]. https:// doi.org/ 10.19734/ j.issn.1001-3695.2023.06.0347.

[11] 孔玲爽, 閔悅, 何靜, 等. 基于脈沖神經網絡的鋼材表面缺陷識別研究[J]. 包裝工程, 2022, 43(15): 13-22.

KONG L S, MIN Y, HE J, et al. Steel Surface Defect Identification Based on Spiking Neural Network[J]. Packaging Engineering, 2022, 43(15): 13-22.

[12] 姜雨辰, 朱斌. 少樣本條件下基于生成對抗網絡的遙感圖像數據增強[J]. 激光與光電子學進展, 2021, 58(8): 0810022.

JIANG Y C, ZHU B. Data Augmentation for Remote Sensing Image Based on Generative Adversarial Networks under Condition of few Samples[J]. Laser & Optoelectronics Progress, 2021, 58(8): 0810022.

[13] 馬崠奡, 唐娉, 趙理君, 等. 深度學習圖像數據增廣方法研究綜述[J]. 中國圖象圖形學報, 2021, 26(3): 487-502.

MA D A, TANG P, ZHAO L J, et al. Review of Data Augmentation for Image in Deep Learning[J]. Journal of Image and Graphics, 2021, 26(3): 487-502.

[14] KARRAS T，LAINE S，AILA T. A Style-based Generator Architecture for Generative Adversarial Networks[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach: IEEE Computer Society, 2019: 4401-4410.

[15] KARRAS T, LAINE S, AITTALA M, et al. Analyzing and Improving the Image Quality of Stylegan[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle: IEEE, 2020: 8110-8119.

[16] ZHANG G J, CUI K W, HUNG T Y, et al. Defect-GAN: High-Fidelity Defect Synthesis for Automated Defect Inspection[C]// IEEE Winter Conference on Applications of Computer Vision, WACV2021. NewYork: IEEE, 2021: 2524-2534.

[17] KARRAS T, AITTALA M, HELLSTEN J, et al. Training Generative Adversarial Networks with Limited Data[J]. Advances in Neural Information Processing Systems, 2020, 33: 12104-12114.

[18] DUAN Y X, HONG Y, NIU L, et al. Few-Shot Defect Image Generation via Defect-Aware Feature Manipulation[C]// Proceedings of the 34th AAAI Conference on Artificial Intelligence. Washington: AAAI, 2023: 571-578.

[19] HEUSEL M, RAMSAUER H, UNTERTHINER T, et al. GANS Trained by a Two Time-scale Update Rule Converge to a Local Nash Equilibrium[J]. Advances in Neural Information Processing Systems, 2017, 30: 1-38.

Defect Generation Method and Application of Few Sample Medical Glass Bottles

CHEN Hongcai1,2, CHENG Yu1,2, REN Yaheng1,2

(1. Hebei Academy of Sciences Institute of Applied Mathematics, Shijiazhuang 050081, China; 2.Information Security Authentication Technology Innovation Center of Hebei Province, Shijiazhuang 050081, China)

The work aims to propose an improved StyleGAN2-ADA defect sample generation method to enhance model robustness, so as to overcome the problem of inaccurate defect detection models due to insufficient defective sample data. First, a network model was trained as the backbone based on the StyleGAN2-ADA algorithm on a defect-free image dataset. Then, defect perception residual blocks were added to the backbone network to generate defect masks. The network model was trained on a dataset of few defective images to manipulate the features of the masked region and simulate the generation process defective images to synthesize defective images. Finally, YOLOv7 detection network was used to validate the effectiveness of this defect sample generation method. Experimental results showed that the proposed method could generate realistic and diverse defective images based on a large number of normal images and a small number of defective images. After enriching the dataset with this defect sample generation method, the average detection accuracy of penicillin vial defects (mAP) reached 97.3%, which was 33.1% higher than the original dataset and 4.1% higher than the StyleGAN2-ADA algorithm. In conclusion, this defect image generation method can generate high-quality defective images with few defective samples, optimize imbalanced datasets, enhance the stability of model training and improve the quality and pass rate of medicinal glass packaging products.

medical glass bottles; image generation; StyleGAN2-ADA; defect detection; YOLOv7

TB487

A

1001-3563(2024)09-0135-06

10.19554/j.cnki.1001-3563.2024.09.017

2023-12-13

中央引導地方科技發展資金項目（236Z1604G）