基于少樣本學習的表面缺陷檢測方法綜述

DOI：10.13705/j.issn.1671-6841.2023239

Review of Surface Defect Detection Methods Based on Few-shot Learning

CHEN Li ^1，2，3 ， YIN Xiangting ^1，2 ， JIN Qifan ^1，2 ， JIANG Xiaoheng1.2， JIU Mingyuan ^1，2 ， XU Mingliang ^1，2 （1.School of Computer and Artificial Intelligence， Zhengzhou University， Zhengzhou 45ooo1，China ;2. National Supercomputing Zhengzhou Center， Zhengzhou 450001， China; 3. School of PhysicalEducation （Main Campus）， Zhengzhou University， Zhengzhou 45ooO1， China）

Abstract： In some industrial scenarios，insufficient defect samples and labeling time-consuming and labor-intensive defects，limit the application of machine vision methods in surface defect detection.Technologies of industrial defect detection based on few-shot learning were introduced from three aspects ： image acquisition，image processing，and defect detection.Firstly，defect detection methods were divided into traditional surface defect detection methods and few-shot deep learning based defect detection methods.The traditional surface defect detection method was based on the manually extracted features to identify defects，which could be divided into three parts： defect segmentation，artificial feature extraction and defect recognition. Few-shot deep learning based industrial defect detection methods include data enhancement，transfer learning，model fine-tuning，semi-supervised learning，weakly supervised learning，unsupervised learning methods，etc. Secondly，some commonly used defect detection datasets and evaluation criteria of detection results were introduced.Finally，the existing problems and future research directions of few-shot learning based surface defect detection were discussed.

Key words： defect detection; few-shot learning；machine vision; deep learning

0 引言

在工業生產中，缺陷檢測對于保證產品質量起著重要作用。工業品表面缺陷指工業制品與正常樣本相比存在的缺失、瑕疵等，屬于制品質量問題。常見的表面缺陷包括斑點、裂紋、凸起、劃痕、砂眼等。這些缺陷不但影響制品外觀，而且嚴重影響制品性能，降低制品使用壽命，甚至危及生命安全。表面缺陷檢測是指對工業制品表面的劃痕、異物屏蔽、顏色污染、孔洞等缺陷的檢測，以獲得制品表面缺陷的類別、輪廓、位置、尺寸等信息。目前常用的缺陷檢測方法主要為人工檢測，該方法雖具有靈活度高、技術門檻低、短期成本低等優勢，但存在如下弊端：效率低，易受檢測者主觀因素和工作經驗影響；當缺陷較小時，人眼難以識別，易發生漏檢；有些檢測環境對人體有害，不適于人工檢測。基于視覺感知的工業品表面缺陷檢測綜合利用了數據處理、計算機視覺、機器學習等技術自動檢測工件表面缺陷，具有效率高、性能穩定、不易受人眼物理條件和人類主觀因素的影響等優勢，可在復雜的生產環境中長時間工作。近年來，基于視覺感知的智能化缺陷檢測已逐漸代替人工檢測，成為工業品表面缺陷檢測中的重要方法，廣泛應用于瓷磚[1]、織物[2]、鋼板[3-4]、印制電路板[5-6]等領域。

基于視覺感知的工業品缺陷檢測可分為傳統的基于圖像處理的工業品缺陷檢測和基于深度學習的工業品缺陷檢測兩種。前者需人工設計特征，避免了使用大量數據來學習，但對環境適應性較差，檢測精度難以滿足實際生產要求。基于深度學習的工業品缺陷檢測對環境適應性強，但需從大量已標注數據中自動提取特征。然而，在現實工業場景中搜集和標注缺陷樣本較困難，這是由于缺陷樣本出現概率低，且對大量缺陷精確標注的人工花費成本較高，因此研究基于少樣本的工業品缺陷檢測顯得尤為重要。

缺陷檢測作為工業質檢的主要方法，已有許多優秀的綜述發表。Luo等[]將扁鋼表面缺陷的自動化視覺檢測方法分為基于統計的、基于光譜的、基于模型的和基于機器學習的四類，對這四類方法進行了詳細闡述。Ming等8總結了3C玻璃元件的缺陷檢測方法，對玻璃元件的缺陷進行了分類并分析缺陷產生的原因。Czimmermann等[9總結了適用于金屬、陶瓷和紡織品等多種材料的基于視覺的自動化缺陷檢測方法。并將缺陷分為可見缺陷與可觸摸缺陷兩類：可見缺陷包括劃痕、形狀誤差等；可觸摸缺陷包括裂紋、鼓包等。還描述了紋理缺陷檢測方法，包括基于統計、基于結構、無監督學習、深度學習等。羅東亮等[0]總結了工業缺陷檢測的定義、重點、難點和主流方法，并從缺陷模式已知、缺陷模式未知和少量缺陷標注三個角度出發，對各種方法進行詳細分析。陶顯等\"從表征學習、度量學習、正常樣本學習、弱監督與半監督學習等方面闡述了基于深度學習的表面缺陷檢測方法。然而，文獻[7-8]分別總結了扁鋼表面和3C玻璃元件的自動視覺缺陷檢測方法，但并未考慮表面缺陷樣本數量不足的情況。文獻[9]詳細介紹了表面缺陷檢測涉及的各種方法，并指出了采用人工神經網絡方法進行缺陷檢測的缺點是需要大量的樣本，但沒有提出解決方案。文獻［10-11]對基于深度學習的工業缺陷檢測進行了全面總結和分析，但并未提及圖像采集、圖像處理和傳統機器視覺等方法。

1圖像采集

圖像作為缺陷信息的載體，是缺陷檢測的核心要素之一。圖像采集是指通過技術手段獲取光學圖像信息并將其轉換成電子或數字信號的過程。獲取高質量的圖像是缺陷檢測能否成功的重要因素。選擇合適的光源、照明模式以及圖像采集設備來獲取圖像，能夠提高圖像的質量。

在計算機視覺中，依據光源、被測物體和圖像采集設備之間的位置關系，可將照明模式分為前向照明和后向照明。根據光源的性能特點，可將光源分為結構光照明和頻閃光照明。前向照明主要作用是照射物體的表面缺陷、表面劃痕和重要的細節特征。后向照明以實現從后方照亮自標的效果。結構光照明通過將光柵或線光源投射到被測物體上，根據它們產生的畸變，解調出被測物體的三維信息。Cao等[12]提出了線結構光的鋼軌表面缺陷檢測方法。頻閃光照明是指將高頻率的光脈沖照射到物體上，要求攝像機拍攝與光源同步。

圖像采集設備包括相機、光學鏡頭和圖像采集卡。相機可將物體的圖像轉換成數字信號，以供后續處理。光學鏡頭主要用于控制成像距離和視場，以獲得清晰的圖像。根據圖像特征選擇合適的鏡頭，并對鏡頭進行調整，可提高圖像的清晰度。圖像采集卡又稱圖像捕捉卡，可以將相機捕捉到的圖像信息轉化為數字信號，并將其以數據文件的形式存儲在硬盤中。

2圖像處理

圖像采集過程中，由于現場環境、CCD圖像光電轉換、傳輸電路、電子元件等客觀因素影響，會使圖像受噪聲干擾，降低圖像質量。低質量圖像會導致圖像分析產生偏差。為使機器更好地理解圖像并檢測工業制品缺陷，需要對圖像進行處理，其中去噪是圖像處理的主要步驟之一。常見的圖像去噪方法有中值濾波器、小波變換、Otsu分割、同態濾波、神經網絡等。

中值濾波器通過使用像素鄰域的中值來消除噪聲，簡單高效，但對離散點不敏感。因此，不適用于含有較多點、線、尖角的圖像。Noor等[13結合中值濾波器與去噪卷積神經網絡處理高斯噪聲和脈沖噪聲。該方法首先通過中值濾波器來抑制噪聲并檢測脈沖噪聲，然后通過殘差學習去噪卷積神經網絡來去除高斯噪聲。

小波變換可對噪聲和信號進行分離和處理，對紋理不敏感，對于復雜情況的處理效率較高，常用于邊界處理、時頻分析、信噪分離與提取弱信號等場景。Yang等[14]提出一種集成小波變換和非局部均值濾波的缺陷檢測方法定位缺陷區域，并用實驗表明該方法具有良好的缺陷檢測性能。

Otsu分割最早由日本學者Otsu提出，該方法的本質是最大化類間方差，主要通過閾值分割前后背景，無須人工設定閾值，且對光照較敏感。Yuan等[15]提出了一種改進的Otsu方法，稱為加權對象方差，用于檢測產品表面缺陷。并用實驗表明該方法可用于檢測污穢、木節、鋼軌表面裂紋等。

同態濾波將信號經過非線性映射轉換到可以使用線性濾波器的不同域，做運算后再映射回原始域。同態濾波能夠處理多重噪聲，增強圖像對比度。Li-ao 等[16]提出基于改進同態濾波器-高斯濾波器耦合算法的陶瓷軸承球表面缺陷檢測算法。使用高斯濾波算法去除圖像中的高斯噪聲，采用同態濾波算法增強高頻成分，壓縮低頻成分，濾除卷積噪聲和混雜信號。實驗表明使用該算法可有效增強缺陷部分的對比度。

神經網絡方法也可用于圖像去噪。神經網絡去噪方法具有較強的適應性，可以針對不同的圖像、不同的噪聲進行訓練并去噪。Shou等[17]提出一種基于SwinTransformer的深度學習模型用于去噪，并用實驗表明該方法優于卷積神經網絡方法。

3 傳統基于圖像處理的工業制品缺陷檢測

傳統基于圖像處理的工業品缺陷檢測需要根據圖像來設計特征提取方法，這類方法只需少量標注數據來訓練模型。一般分為缺陷圖像分割、人工特征提取和缺陷識別三個模塊。框架如圖1所示。

3.1 缺陷圖像分割

缺陷圖像分割是指將圖像中包含缺陷的區域與其他部分分割開來，主要方法有閾值分割、邊緣檢測、區域生長等。

3.1.1閾值分割閾值分割方法要選擇合適的閾值，通過對比圖像中的像素值與閾值，將像素區分為缺陷和非缺陷兩個類別，從而將缺陷從圖像中分割出來。該方法易理解且使用較廣。Cao等[18]采取閾值分割法對路面圖像進行分割，通過判斷圖像中每個像素點的特征屬性是否滿足閾值要求，從而確定該像素點屬于目標區域還是背景。Liang等[19]提出了基于掩模梯度響應的閾值分割方法，用于銑削鋁錠表面缺陷檢測，通過迭代閾值分割，從掩膜梯度相應圖中有效提取各種缺陷。

閾值分割通俗易懂，計算速度快，在很多基本的圖像分割任務中都能夠輕松應用。但閾值分割也存在一定的局限性，閾值分割的結果易受閾值的影響，并且對于某些較為復雜的圖像，閾值分割無法很好地完成分割任務，從而影響缺陷檢測結果。

3.1. 2 邊緣檢測 邊緣檢測通過檢測圖像中像素值出現較大變化的地方得到缺陷的輪廓信息。邊緣檢測可分為基于一階導數和基于二階導數兩類。基于一階導數的邊緣檢測有Sobel算子、Roberts算子等，基于二階導數的邊緣檢測有Log算子、Canny算子等。

Sobel算子是一種簡單高效的算子。Sobel算子根據像素點上下、左右鄰點灰度加權差，在邊緣處達到極值這一現象檢測邊緣。在精度要求不高的情況下可以采用該算子。Yang等2提出一種基于平穩小波變換的磁瓦圖像缺陷檢測方法，該方法采用So-bel算法去除不均勻的背景，將原始灰度圖像轉化為梯度圖像后再進行后續操作，并用實驗表明該方法可以成功檢測磁瓦表面不穩定光照下的各種缺陷，且具有較好的穩健性和準確性。

Roberts算子利用圖像中對角線方向相鄰像素差值、近似梯度幅值來檢測目標邊緣。Jiang等[21]提出了一種Roberts交叉算子結合數學形態學算法進行織物疵點檢測的方法。該算法旨在解決缺陷檢測算法誤報率過高的問題。

Log算子先使用高斯平滑濾波器對圖像進行平滑處理，再求其拉普拉斯二階導數，然后通過檢測濾波結果的零交叉，得到圖像邊緣，其中，零交叉像素是指該像素點的左右、上下、兩個對角處的某一處的差值的絕對值超過設定閾值的像素點。Log算子具有簡單高效、易于實現等優點，是經典的邊緣檢測算子之一。

Canny算子通過多個步驟來檢測圖像中的缺陷邊緣，包括噪聲抑制、梯度計算、非最大值抑制、雙閾值檢測和邊緣連接。Canny算子具有較高的準確性，能有效抑制圖像中的噪聲，且可以對不同的圖像選擇最合適的閾值。Zhang等[22]基于Prewitt和Canny算子進行硅板圖像缺陷檢測，并消除網格對檢測的影響。該方法可以高效直觀地檢測出微裂紋缺陷及具體位置，且提高了缺陷輪廓的純度和完整性。

3.1.3區域生長區域生長是一種以像素為單位的圖像分割方法。區域生長的原理是將具有相似性質的像素集合起來構成區域。該方法首先給每個需要分割的區域找一個種子像素，然后以種子像素為中心，將其鄰域像素中滿足生長準則的像素合并到種子像素所在區域中。將這些新像素當做新的種子像素重復上面的步驟，直至圖像中每個點都有歸屬。Zhou等[23]針對玻璃瓶底缺陷檢測中存在的問題提出了一種表面缺陷檢測框架，該框架使用區域生長算法獲取每個片段的緊湊分割結果。

3.1.4閾值分割、邊緣檢測、區域生長對比閾值分割具有計算簡單、運行效率高、性能穩定等優點，是圖像分割中最基本、應用最廣泛的分割技術。但是由于閾值分割只考慮像素點灰度值本身的特征，不考慮空間特征，因此對噪聲較敏感，魯棒性不高。

邊緣檢測可以使物體邊界更為明晰，有助于后續的目標識別和圖像切割等步驟。圖像經過邊緣檢測處理后，只保留與物體邊緣相關的信息，因此可減少計算量和存儲空間，提高了圖像處理效率，但是邊緣檢測算法對圖像中的噪聲非常敏感，噪聲會影響檢測結果，因此采用邊緣檢測時還須對圖像進行去噪處理。邊緣檢測還容易產生多余的邊緣或者邊緣斷裂的情況。此外，邊緣檢測易受圖像的亮度和對比度的影響，當圖像的亮度和對比度較低時，容易導致邊緣檢測結果不準確。

區域生長方法簡單，不會將同一個位置作為種子重復生長，因此優化了時間空間復雜度。區域生長方法用來分割比較復雜的圖像時能取得較好的效果。但是由于區域生長方法是一種迭代方法，空間和時間開銷較大。

閾值分割、邊緣檢測和區域生長三種方法對比如表1所示。

3.2 人工特征提取

特征提取方法是從圖像像素中提取描述目標特征的信息，將不同目標之間的差異映射到低維特征空間，以幫助壓縮數據量并提高識別效率。特征提取是缺陷檢測過程中的一個重要環節。常見的特征包括紋理特征、顏色特征、形狀特征等。

3.2.1紋理特征紋理特征能夠詳細描述圖像中的紋理特性，它不依賴于顏色或亮度來反映圖像的同質現象，可用于裂紋、劃痕、斑點等檢測。紋理特征在包含多個像素點的區域中進行統計計算，紋理特征提取方法包括統計法、頻譜法、模型法等。

1）統計法。統計法根據像素點及其鄰域的灰度屬性來分析圖像的紋理特性并識別缺陷。統計法基本不受光照、噪聲的影響，有較強的穩定性。典型的方法有灰度統計法、模式統計法和梯度統計法。

灰度統計法通過統計圖像像素的灰度值來獲得圖像的紋理特征。Nand等[24]提出一種新的基于熵的缺陷檢測算法。該方法計算待檢測圖像與背景圖的局部熵的差，根據熵差的直方圖特征來識別缺陷。

模式統計法采用區域統計的方式分析紋理特征，基于圖像的灰度空間分布來描述詳細的紋理信息。常用的模式統計法有灰度共生矩陣（gray-levelco-occurrencematrices，GLCM）和局部二值模式（lo-calbinarypatterns，LBP）。GLCM對圖像上具有某種位置關系的一對像素成對出現的概率進行統計，得到GLCM，然后從GLCM中提取統計特征對紋理進行描述。Wang等[25]提出一種實體稀疏追蹤（en-titysparsitypursuit，ESP）方法來識別表面缺陷。為工業灰度圖像設計了一種直觀的受LBP啟發的特征提取器，提取出來的特征可同時分析水平、豎直與兩個對角線方向上的領域像素灰度分布，以增加辨識度。

梯度統計法通過統計局部圖像中梯度方向信息來描述圖像特征。梯度表征了圖像中像素灰度的變化，梯度幅值較大的位置為邊緣。單位區域內的邊緣數量是描述圖像紋理的一個重要特征。Shi等[26]提出了一種基于梯度信息低秩分解和結構化圖算法的織物疵點檢測方法，并用實驗表明該方法在斷端、孔洞、網狀多發、粗桿、細桿和結節檢測上表現優越。

2）頻譜法。頻譜法的基本思想是將紋理圖像從空間域變換到頻率域，提取不同頻率上的特征，以獲得在空間域不易獲得的紋理特征，根據正常紋理和缺陷紋理的不同響應實現缺陷的準確檢測。該類方法包括傅里葉變換（Fouriertransform，FT）Gabor濾波器、小波變換等

傅里葉變換將圖像的灰度變化分布函數變換為圖像的頻率分布函數，得到圖像的頻譜信息，用頻率高低來表征圖像中灰度變化劇烈程度。Zoric等[27]基于二維傅里葉功率譜提出了一種新的傅里葉譜環特征提取方法檢測餅干磚上的缺陷。

Gabor濾波器結合了時域（空間域）和頻域（頻率域）的特性，可提取圖像在各個尺度和方向上的紋理和邊緣信息，同時在一定程度上降低了圖像中光照變化和噪聲的影響，對圖像邊緣敏感，但對光照不敏感。Zhao等[28]提出了一種熱電冷卻器元件缺陷檢測方法，該方法使用Gabor濾波器提取熱電冷卻器分量圖像中的紋理信息，并將其作為分類特征。

小波變換是一種有效的時頻分析方法，其克服了傅里葉變換不具備局部化分析能力和短時傅里葉變換時頻分辨率固定不變的缺點，具有低熵性、多分辨率特性、去相關性等優點，對分析突變信號和奇異信號非常有效。Sulochan等[29]提出了一種基于多尺度小波特征和模糊聚類方法的織紋檢測方法，該方法使用模糊C均值聚類算法從多尺度小波特征中檢測編織圖案中的兩個交叉區域狀態。

3）模型法。基于模型的紋理分析方法試圖捕捉生成紋理的過程，其通過確定預定義模型中的參數對紋理進行建模。模型法既考慮了紋理局部的隨機性，又考慮了紋理整體的規律性，但模型的參數估計有一定的難度，而且計算量較大。

3.2.2顏色特征顏色特征可以提供關于缺陷區域和非缺陷區域的顏色差別、色彩分布和顏色變化等信息，常用顏色直方圖、顏色矩、顏色聚合向量等表示顏色特征。顏色特征可以與紋理特征和形狀特征組合使用，以提高缺陷檢測的效率。

1）顏色直方圖。顏色直方圖常用于描述缺陷圖像中像素顏色的數值分布情況，即不同色彩在整幅圖像中所占比例，可以反映缺陷圖像顏色的分布以及基本色調。Li等[30]提出基于視覺顯著性的缺陷檢測算法，該算法利用顯著性直方圖中提取的特征來檢測織物缺陷。

2）顏色矩。顏色矩是一種簡單高效的顏色特征提取與匹配方法。在該方法中，圖像中的顏色分布用矩表示。顏色的一階中心矩表示圖像的平均顏色，二階中心矩表示圖像的標準方差，三階中心矩表示圖像的三次根非對稱性。Bong等[31]提出了一種用于皮革表面缺陷檢測和分類的視覺檢測系統。該系統首先計算RGB圖像三個顏色通道的顏色矩，同時將RGB圖像轉換成灰度圖像得到灰度矩，然后將每個顏色通道的顏色矩和灰度矩組合在一起得到圖像的顏色矩。實驗結果表明運用該系統進行皮革缺陷檢測和分類時，可準確獲得缺陷在皮革織物表面的大小、形狀和位置。

3）顏色聚合向量。顏色聚合向量將直方圖中每一個顏色簇劃分為聚合和非聚合兩部分。如果該簇內某些像素所占據的連續區域面積大于給定的閾值，則認定該區域內的像素為聚合像素，反之則為非聚合像素。

3.2.3形狀特征形狀特征用于突出和展示缺陷的尺寸、形狀、輪廓等方面信息，形狀特征常包括面積、周長、圓度和長寬比等。形狀特征不需要經過復雜的分析和計算，同時也不受外界光照和圖像顏色等的限制和影響，可直觀感受缺陷的具體特性。常用的形狀特征提取算法有邊界特征法、傅里葉形狀描述符法、幾何參數法、形狀不變矩法等。邊界特征法是利用對邊界特征的描述來獲取圖像的形狀參數。傅里葉形狀描述符法是以物體邊界的傅里葉變換作為形狀描述，利用區域邊界的封閉性和周期性將二維問題轉換為一維問題。幾何參數法是指采用矩、面積、周長等形狀參數定量測量缺陷。幾何參數的提取以圖像分割為前提，對分割效果很差的圖像，幾何參數甚至無法提取。形狀不變矩法是指利用目標所占區域的矩作為形狀描述參數。Zhai等[32]提出基于幾何特征的輸電線路防震錘缺陷智能檢測方法，該方法基于形狀特征檢測航空圖像中的防震錘缺陷。

3.3 缺陷識別

特征被提取后，須利用機器學習算法對提取的特征進行分類，從而識別缺陷的類型。本節介紹缺陷檢測中常用的機器學習算法，如支持向量機（sup-port vector machine，SVM）、 K 近鄰（K-near neigh-bour，KNN）、聚類等。

支持向量機是一種基于最大間隔原理的機器學習方法，適合處理小樣本、高維數據，具有較好的魯棒性、泛化性和可解釋性。文獻［33]使用支持向量機和人工神經網絡（artificialneuralnetwork，ANN）搭建棗子高光譜圖像的在線表面缺陷系統，并對棗子表面缺陷進行分類。

K 近鄰算法的基本思想是給定一個訓練集，對于新輸入的樣本，在訓練集中找到與該樣本最鄰近的 K 個樣本，若這 K 個樣本中大多數都屬于某一類別，則認為該樣本也屬于這個類別。 K 近鄰算法易于實現，并且能夠根據訓練樣本數量的變化自行調整。Hoffmann等[34]提出了一種使用光度立體技術和KNN分類器檢測固體推進劑和隔熱材料之間的黏合劑層上的缺陷。

聚類是一種無監督學習方法，其根據樣本之間的相似度，把一組數據劃分成不同的類或簇，在劃分過程中力求同一簇內的數據盡可能相似，不同簇中數據的差異盡可能大。對于數值型數據，相似度度量可以使用Euclidean 距離、Manhattan 距離、Cheby-shev距離、Minkowski距離等。Jing等[35為了提高織物疵點的檢出率和織物產品質量，提出了一種基于改進的YOLOv3模型的織物疵點檢測方法。該方法采用 k -means算法對數據進行聚類，聚類產生的聚類中心作為織物疵點檢驗的先驗框架。實驗結果表明該方法能夠有效降低網絡的錯誤率。

4基于少樣本深度學習的工業制品缺陷檢測

基于深度學習的表面缺陷檢測需要大量的數據來學習特征，而在現實的工業環境中，缺陷數據不易獲取，且標注數據需要消耗大量的人力和物力。因此，本節介紹基于少樣本深度學習的表面缺陷檢測方法。

4.1 度量學習

度量學習的目標為計算兩個圖片之間的相似度，使同一類別的圖片相似度較大，不同類別的圖片相似度較小，也稱為相似度學習。深度學習中最常用的度量學習方法是孿生網絡，該網絡由兩個子網絡組成，每個子網絡接收一個輸入樣本，并輸出對應的特征。通過計算兩個特征的距離來比較兩個輸入的相似度。孿生網絡采取抽取對圖的方式，可解決缺陷類型未知和缺陷樣本不足問題。Ling等[36]設計了一種深度孿生語義分割網絡，該網絡將孿生網絡的相似性度量與用于PCB焊接缺陷檢測的編碼器-解碼器語義分割網絡相結合，可對PCB焊接小缺陷語義分割，該方法可緩解缺陷樣本不足而導致的過擬合問題。

4. 2 數據增強

數據增強通過對圖像的平移、旋轉、縮放、裁剪，或者將其他被測對象的表面缺陷移植到當前被測對象上等方法來擴充原始樣本，以彌補數據量不充足的問題。在標注數據有限的情況下，數據增強可提高樣本的多樣性，讓有限數據產生等效于更多數據的價值。

4.2.1基于數據合成的方法早期的數據合成方法是通過對現有數據進行變形、縮放、顏色空間變換、裁剪等來生成新數據。目前，已有很多更有效的數據合成方法，例如生成對抗網絡（generativeadver-sarialnetworks，GAN）、人工生成缺陷數據等。Li等[37]提出了基于隨機游走和形態學膨脹的缺陷合成算法。該方法模擬四種典型的屏幕缺陷，并利用深度學習訓練初始模型，然后利用真實缺陷樣本進行微調再訓練。

4.2.2基于特征增強的方法基于少樣本的表面缺陷檢測的關鍵是得到一個泛化性較好的特征提取器。特征增強是指在原樣本空間中增強便于分類的特征，削弱無效特征，以此來提高樣本特征的多樣性。Xie等[38]提出了一種基于特征增強YOLO（FE-YOLO）的表面缺陷檢測算法。

4.3 遷移學習

遷移學習是從相關領域中遷移數據或者知識結構，完成或改進目標領域的學習效果的方法。該方法首先在大量基準數據集上訓練得到預訓練模型，然后將預訓練模型遷移到相似任務中以解決目標任務的問題。Gong等39針對航天器復合結構X射線圖像中的缺陷尺寸非常小和訓練樣本數量較少的問題，提出了一種基于域自適應FasterR-CNN的遷移學習缺陷檢測模型，可有效檢測夾雜物和空隙這兩種難以檢測的缺陷，且適應性強。Liu等[40]提出了一種知識重用策略來訓練CNN模型，以提高缺陷檢測的準確性和魯棒性。通過引入遷移學習和數據增強將來自其他視覺任務的知識轉移到工業缺陷檢測任務中，從而在有限的訓練樣本下實現缺陷檢測的高精度。

4.4 模型微調

模型微調是指先在大規模源數據集上進行預訓練，再用少量標注的目標數據集對神經網絡模型的全連接層或者頂端幾層進行參數微調，從而得到微調后的模型。當少量標注的目標數據集與源數據集分布較類似時，模型微調的效果較好。Liu等[41]提出基于生成對抗網絡的織物缺陷檢測系統，該系統在已有的織物疵點樣本上訓練檢測模型。首先基于紋理條件來訓練GAN，以此來搜索給定缺陷的條件分布，其次基于生成對抗網絡的融合網絡將生成的缺陷融合到特定位置，最后通過已經進行過訓練的GAN來不斷更新現有的織物缺陷數據集。通過對各種代表性織物樣本進行實驗，驗證了該方法具有很好的檢測性能。

4.5 半監督學習

半監督學習是監督學習與無監督學習相結合的方法，其利用少量標注樣本和大量未標注樣本進行訓練和分類。半監督學習基本思想是利用數據分布上的模型假設建立學習器，并對未標注樣本進行標注。常用的基本假設有平滑假設、聚類假設和流形假設。代表性方法有生成式對抗網絡、自編碼器（autencoder，AE）等。GAN和AE本身屬于無監督學習，經過調整后可以作為半監督模型使用。Zhang等[42]提出具有兩個子網絡的半監督生成對抗網絡用于鋼材表面像素級缺陷分割和檢測。該方法中一個子網絡用于從標記和未標記圖像中分割缺陷，另一個子網絡是全卷積鑒別器網絡，以半監督學習的方式生成未標記圖像的信任密度圖。該方法可利用未標記圖像來增強分割性能并減輕數據標記任務。

4.6 弱監督學習

弱監督學習是使用有限的、含有噪聲的或者標注不準確的數據來訓練表面缺陷檢測模型。弱監督學習涵蓋的范圍廣泛，標注信息不完全、不確切或者不精確的標記學習都可視為弱監督學習。弱監督學習通常分為不完全監督、不確切監督和不準確監督三種類型。不完全監督是指訓練數據只有部分是帶有標簽的，大量的數據沒有被標注。不確切監督是指訓練樣本只有粗粒度的標簽。不準確監督是指給定的標簽并不總是真值。產生這種情況的原因包括標注人員自身水平有限、標注過程粗心、標注難度較大等。Zhang等[43提出類別感知對象檢測網絡弱監督學習方法。通過類別感知卷積池來探索弱圖像標注實現弱監督學習，可避免傳統弱監督學習中的迭代訓練和復雜計算，可同時實現圖像分類和缺陷定位。該方法在保持輕量級的同時還兼顧準確性和高實時性。He等[44]提出基于弱監督深度學習的紋理表面缺陷分割和定位方法。該方法設計了一個用于提取特征的編碼器和兩個用于相關任務的解碼器，兩個解碼器共享唯一的編碼器，主要任務是恢復紋理表面上的缺陷，通過比較原始圖像和恢復圖像來獲得殘差圖，通過殘差圖和ROI的融合得到更準確的識別結果。

4.7 無監督學習

無監督學習只使用無缺陷的正常數據或未標注數據訓練模型，無須人工干預來發現數據中隱藏的模式或對數據分組。深度學習中常見的無監督學習有生成對抗網絡（GAN）、自組織映射（SOM）和適應性共振理論（ART）。Dong等45提出基于圖像分割的無監督局部深度特征學習方法。該方法使用分割CNN提取的特征進行聚類來獲得偽標簽，使用偽標簽來訓練CNN以提取特征，聚類和分割步驟交替進行。實驗結果表明所提出的無監督方法的性能幾乎與以監督方式訓練的具有相同架構的CNN一樣好。He等4提出基于級聯GAN和邊緣修復特征融合的無監督缺陷檢測算法。該方法將不同形狀、大小和位置的偽缺陷引入無缺陷圖像中，然后訓練缺陷修復網絡，通過對比缺陷圖像與修復圖像之間的差別來獲取缺陷檢測結果。實驗結果表明該算法具有較好的缺陷檢測性能，特別是對復雜背景下形式豐富、位置多樣的缺陷。

5 缺陷數據集與性能評價指標

5.1 數據集

在生產過程中缺陷發生概率低、特征微弱，且不同缺陷出現的概率不同，導致缺陷數據集較難構建一組合格的數據集需要囊括各種類型和不同程度的缺陷，還要考慮樣本的多樣性、代表性、數據量等因素。本文搜集了一些公開的缺陷檢測數據集，如表2所示。

5.2分類性能評價指標

分類性能評價指標包括精確率（Precision）、召回率（Recall）、準確率（Accuracy）、真陽率（trueposi-tiverate，TPR）、假陽率（1positiverate，FPR）、ROC曲線、P-R曲線等，這些評價指標均基于混淆矩陣。混淆矩陣中TP（truepositive）表示樣本真實值和模型預測值均為正類的樣本數量，TN（true neg-ative）表示樣本真實值和模型預測值均為負類的樣本數量，FP（1positive）表示樣本真實值為負類，模型預測值為正類的樣本數量，FN（1negative）表示樣本真實值為正類，模型預測值為負類的樣本數量。

5.2.1精確率、召回率、準確率、真陽率和假陽率Precision是指被預測正確的樣本在所有被測樣本中所占比率。Recal是被預測為正樣本且實際也是正樣本的樣本在所有正樣本中的比率。Accuracy是預測正確的樣本占所有樣本中的比率。TPR是預測正確的正類樣本在實際正類樣本中的占比。FPR是預測正確的樣本中負樣本的占比。所用公式為

Precision=（TP+TN）/（TP+FP+FN+TN），

Recall=（TP）/（TP+FP），

Accuracy=（TP+TN）/（TP+FP+FN+TN）

TPR=（TP）/（TP+FP），

FPR=（TN）/（TP+TN）_c

5.2.2ROC 曲線ROC 曲線，即受試者工作特征（receiveroperatingcharacteristic）曲線。ROC曲線以真陽率（TPR）為 Y 軸，以假陽率 （FPR） 為 X 軸，通過繪制不同閾值下真陽率和假陽率之間的關系，體現分類器在不同閾值下的性能。通過不斷調整測試過程中檢測網絡的分類閾值，得到一一對應的真陽率和假陽率值并繪制ROC曲線，ROC曲線示意圖如圖2所示。在FPR值相等的情況下，TPR值越高，分類器效果越好。

5.2.3 P-R曲線 P-R曲線，即精確率-召回率（P-R）曲線，以Precision為 Y 軸，Recall為 X 軸，曲線上的每一個點都對應著不同閾值下的精確率和召回率。通常情況下，P-R曲線下的面積越大，則認為算法性能越好。但是，若兩個算法的P-R曲線有交叉，則無法直接判斷哪一個算法性能更好，因此需要通過比較平衡點（break-eventpoint，BEP）來進一步判斷。算法的P-R曲線與 P=R 這一條直線的交點稱為該算法的平衡點，當多個算法的P-R曲線有交叉時，通常認為平衡點值大的算法性能更好。P-R曲線如圖3所示。

5.3分割性能評價指標

缺陷分割的性能評價方法主要有像素準確率和交并比兩種

像素準確率表示預測結果中預測正確的像素數量在總像素數量中的占比，由預測結果中被正確分類的像素和總像素數量決定，其值為二者的比值。但像素準確率僅僅衡量了預測結果的整體像素級別的準確性，不考慮目標的準確形狀和位置信息。所用公式為

PA=（TP+TN）/（TP+FP+TN）_c

交并比是用于評估分割任務（包括語義分割和缺陷分割）性能的一種常用指標，能夠直觀簡明地展現出預測結果和真實結果交集與并集的比值。交并比的值越大，說明預測結果與真實結果之間的重疊度越高，即算法在目標定位和分割準確性方面的性能越高，所用公式為

IoU=（TP）/（TP+FP+FN）_c

6 主要問題及研究方向

目前基于少樣本深度學習的缺陷檢測已經取得了很大進展，但在實際生產應用中，仍面臨諸多挑戰，存在許多亟待解決的問題。

6.1 微小缺陷檢測問題

微小缺陷檢測中存在兩個挑戰。一個挑戰是相機如何捕捉到微小缺陷并在圖像中清晰呈現。微小缺陷特征十分微弱，常規圖像采集系統難以拍攝出缺陷，且拍攝過程中容易受灰塵或臟污影響，因此如何利用多角度、多波段光源與多相機協同配合捕捉到缺陷，并去除噪聲的影響，將缺陷清晰呈現出來是微小缺陷檢測面臨的一個挑戰。另一個挑戰是如何利用機器視覺檢測出特征十分微弱的小缺陷。弱小缺陷的信息只有幾個像素，與背景混淆的概率較大，一般的學習模型很難提取到這些目標的特征。雖然基于特征金字塔網絡的深度學習緩解了這一問題，但是不同尺度的特征耦合仍然會影響微小缺陷識別的性能。因此，微小缺陷精確檢測仍是現有缺陷檢測面臨的一個重要挑戰。

6.2傳統方法與深度學習方法結合

深度學習由于具有強大的特征提取能力和良好的性能，已成為產品表面缺陷檢測的主流方法。然而，由于深度學習是包含大量參數的“黑箱”模型，因此參數調優需要較高的硬件配置和較長的時間消耗。傳統機器視覺時間消耗少，更具可解釋性，容易找出模型存在的問題和需要改進的地方。然而，傳統方法中手工設計特征通常難以適應背景、光照等環境的變化，因此難以滿足現實工業場景應用需求。將傳統機器視覺技術和深度學習結合，融合深度學習強大的特征提取能力和傳統方法基于規則的編程技術兩方面優勢，提高模型在工業場景的適用性，也是未來要研究的課題。

7 結論

在工業品缺陷檢測中，缺陷數據不易獲取且數據標注消耗大量人力和物力，因此，基于少樣本學習的工業制品缺陷檢測就顯得尤為重要。本文從圖像采集、圖像處理、缺陷檢測三方面介紹了基于機器視覺的缺陷檢測方法，給出了常用的缺陷數據集和缺陷評價標準，并對當前基于少樣本的缺陷檢測方法存在的問題和未來的研究方向進行了討論和展望。

參考文獻：

[1]WANG，FANG H B，WANG D Z，et al. Ceramic tile surface defect detection based on deep learning[J]. Ceramics international，2022，48（8）：11085-11093.

[2]WU J，LE J， XIAO Z T，et al. Automatic fabric defect detection using a wide-and-light network[J]. Applied intelligence，2021，51（7）：4945-4961.

[3]HAO Z Q，WANG Z G，BAI D X，et al. Towards the steel plate defect detection： Multidimensional feature information extraction and fusion[J].Concurrency and computation：practice and experience，2021，33（21）： e6384.

[4]TANG B，CHEN L， SUN W，et al. Review of surface defect detection of steel products based on machine vision [J].IET image processing，2023，17（2）：303-322.

[5]CHEN I C，HWANG R C，HUANG H C. PCB defect detection based on deep learning algorithm[J]. Processes，2023，11（3）： 775.

[6]LING Q，ISA N A M. Printed circuit board defect detection methods based on image processing， machine learning and deep learning：a survey[J]. IEEE access， 2023，11： 15921-15944.

[7]LUO Q W，FANG X X，LIU L，et al. Automated visual defect detection for flat steel surface： a survey[J]. IEEE transactions on instrumentation and measurement， 2020， 69（3） ： 626-644.

[8]MING W Y，SHEN F，LI X K，et al.A comprehensive review of defect detection in 3C glass components[J]. Measurement，2020，158：107722.

[9]CZIMMERMANN T， CIUTI G，MILAZZO M， et al. Visual-based defect detection and classification approaches for industrial applications-a survey[J]. Sensors，2020， 20（5）： 1459.

［10］羅東亮，蔡雨萱，楊子豪，等．工業缺陷檢測深度學 習方法綜述[J]．中國科學：信息科學，2022，52（6）： 1002-1039. LUO D L， CAI Y X， YANG Z H， et al. Survey on industrial defect detection with deep learning[J].Scientia sinica（informationis），2022，52（6）：1002-1039.

[11］陶顯，侯偉，徐德．基于深度學習的表面缺陷檢測方 法綜述［J]．自動化學報，2021，47（5）：1017-1034. TAO X，HOU W，XU D. A survey of surface defect detection methods based on deep learning[J]. Acta automatica sinica，2021，47（5）：1017-1034.

[12]CAO X H，XIE W，AHMED S M，et al. Defect detection method for rail surface based on line-structured light [J]．Measurement，2020，159：107771.

[13]NOOR A，ZHAO Y Q，KHAN R，et al. Median filters Gaussian and impulse noises[J]. Multimedia tools and applications，2020，79（25） ： 18553-18568.

[14]YANG RF，CHEN X L，GUO C X. Automated defect detection and classification for fiber-optic coil based on wavelet transform and self-adaptive GA-SVM[J]. Applied optics，2021，60（32）：10140-10150.

[15] YUAN X C，WU L S，PENG Q J. An improved Otsu method using the weighted object variance for defect detection[J]. Applied surface science，2015，349： 472- 484.

[16]LIAO D H，CUI Z H，LI J，et al. Surface defect detection of Si₃N₄ ceramic bearing ball based on improved homomorphic filter-Gaussian filter coupling algorithm[J]. AIP advances，2022，12（2）： 025325.

[17] SHOU Q Y， ZHAO C Y，SHAO X F，et al.Transformer based deep learning denoising of single and multi-delay 3D Arterial Spin Labeling[J]．Magnetic resonance in medicine，2024，91（2） ： 803-818.

[18]CAO W M，LIU Q F，HE ZQ. Review of pavement defect detection methods[J]. IEEE access，2020，8： 14531-14544.

[19] LIANG Y， XU K， ZHOU P. Mask gradient response-based threshold segmentation for surface defect detection of milled aluminum ingot[J]. Sensors，2020，20（16）：4519.

[20]YANG C L，LIU PY，YIN GF，et al.Defect detection in magnetic tile images based on stationary wavelet transform[J].NDTamp; E international，2016，83：78-87.

[21] JIANG JL，CUIC，WANG B H，et al. A Roberts cross operator combined with mathematical morphology algorithm for fabric defect detection[C]/2022 IEEE International Conference on Dependable，Autonomic and Secure Computing，International Conference on Pervasive Intelligence and Computing，International Conference on Cloud and Big Data Computing，International Conference on Cyber Science and Technology Congress. Piscataway： IEEE Press，， 2022： 1-8.

[22] ZHANG Y F，WANG Z W，WANG Y H，et al. Research on image defect detection of silicon panel based on prewitt and canny operator[J]. Frontiers in physics， 2021，9：414.

[23] ZHOU X N， WANG Y N， ZHU Q，et al. A surface defect detection framework for glass bottle bottom using visual attention model and wavelet transform[J]． IEEE transactions on industrial informatics，2020，16（4）：2189-2201.

[24] NAND G K，NOOPUR，NEOGI N. Defect detection of steel surface using entropy segmentation[ C]/2014 Annual IEEE India Conference.Piscataway： IEEEPress， 2014：1-6.

[25]WANGJZ，LI Q Y，GAN JR，et al. Surface defect detection via entity sparsity pursuit with intrinsic priors [J].IEEE transactions on industrial informatics，2020， 16（1）：141-150.

[26]SHIBS，LIANGJZ，DI L，etal.Fabric defect detection via low-rank decomposition with gradient information and structured graph algorithm[J]. Information sciences， 2021，546：608-626.

[27] ZORIC B，MATIC T，HOCENSKI Z. Classification of biscuit tiles for defect detection using Fourier transform features[J].ISA transactions，2022，125：400-414.

[28]ZHAO M，QIU WY，WEN T X，et al. Feature extraction based on Gabor filter and Support Vector Machine classifier in defect analysis of Thermoelectric Cooler Component[J]. Computers amp; electrical engineering，2021， 92：107188.

[29] SULOCHAN H C. Fabric weave pattrn detection based on fuzzy clustering and texture orientation featuresin wavelet domain[J]. Journal of textile science amp; engineering，2018，8（6）：1000383.

[30]LI M，WAN S H，DENG Z M，et al.Fabric defect detection based on saliency histogram features[J].Computational intelligence，2019，35（3）：517-534.

[31] BONG H Q，TRUONG Q B，NGUYEN H C，et al. Vision-based inspection system for leather surface defect detection and classification[C]//2018 5th NAFOSTED Conference on Information and Computer Science.Piscataway：IEEE Press，2018：300-304.

[32]ZHAI Y J，YANG K，ZHAO ZY，et al. Geometric characteristic learning R-CNN for shockproof hammer defect detection[J]. Engineering applications of artificial intelligence，2022，116：105429.

[33]THIEN PHAM Q，LIOU N S. The development of on-line surface defect detection system for jujubes based on hyperspectral images[J]. Computers and electronics in agriculture，2022，194：106743.

[34]HOFFMANNLFS，BIZARRIAFCP，BIZARRIAJW P.Applied algorithm in the liner inspection of solid rocket motors[J].Optics and lasers in engineering，2018， 102：143-153.

[35]JING JF，ZHUO D，ZHANG H H，et al.Fabric defect detection using the improved YOLOv3 model[J]. Journal ofengineeredfibersandfabrics，2020，15： 155892502090826.

[36]LINGZG，ZHANGAR，MADX，et al.Deep Siamese semantic segmentation network for PCB welding defect detection[J]. IEEE transactions on instrumentation and measurement，2022，71：5006511.

[37]LI C S，HUANG Y J，LI H，et al. A weak supervision machine vision detection method based on artificial defect simulation[J]. Knowledge-based systems，2020，208： 106466.

[38]XIEYF，HUWT，XIESW，etal.Surface defect detection algorithm based on feature-enhanced YOLO[J]. Cognitive computation，2023，15（2）：565-579.

[39] GONG Y F，LUO J， SHAO H L，et al. A transfer learning object detection model for defects detection in X-ray images of spacecraft composite structures[J]. Composite structures，2022，284： 115136.

[40]LIU JH，GUO F，GAO H，et al.Defect detection of injection molding products on small datasets using transfer learning[J]. Journal of manufacturing processes，2021， 70： 400-413.

[41]LIU JH，WANG C Y，SU H，et al. Multistage GAN for fabric defect detection[J]．. IEEE transactions on image processing，2019，29：3388-3400.

[42] ZHANG G W，PAN Y， ZHANG L M. Semi-supervised learning with GAN for automatic defect detection from images[J]. Automation in construction，2021，128： 103764.

[43]ZHANGJB，SU H，ZOU W，et al. CADN：a weakly supervised learning-based category-aware object detection network for surface defect detection[J].Patern recognition，2021，109：107571.

[44] HE K K，LIU X T，LIU J，et al. A multitask learningbased neural network for defect detection on textured surfaces under weak supervision[J]. IEEE transactions on instrumentation and measurement，2021，70：5016914.

[45] DONG X H， TAYLOR C J，COOTES T F. Automatic aerospace weld inspection using unsupervised local deep feature learning[J]. Knowledge-based systems，2021， 221：106892.

[46]HELJ，SHI N，MALIK K，et al.Unsupervised defect inspection algorithm based on cascaded GAN with edge repair feature fusion[J].Applied intelligence，2022， 52（2）：2051-2069.