雙路高分辨率轉(zhuǎn)換網(wǎng)絡(luò)的花色布匹瑕疵檢測

李 輝，呂祥聰，申貝貝，陶 冶，王俊印

(青島科技大學(xué) 信息科學(xué)技術(shù)學(xué)院，山東 青島 266061)

0 引 言

傳統(tǒng)的布匹瑕疵檢測方法使用選擇性搜索進(jìn)行廣泛搜索找到潛在瑕疵，這種方法計(jì)算成本高、檢測效果差并且方法難以遷移[1]；相比之下，基于深度學(xué)習(xí)的瑕疵目標(biāo)檢測效果明顯提升，訓(xùn)練與遷移能力較強(qiáng)[2，3]。但目前針對復(fù)雜花色布匹瑕疵檢測還存在大量其它問題，如在紋理布匹瑕疵圖片背景復(fù)雜，瑕疵檢測難度高，導(dǎo)致檢測精度低，并且在單張圖片中存在多個不同種類瑕疵的情況下，大多檢測方法仍不能準(zhǔn)確進(jìn)行瑕疵缺陷檢測。此外基于深度學(xué)習(xí)的通用目標(biāo)檢測方法對于布匹瑕疵檢測工作來說，還存在無法檢測色調(diào)與背景十分接近的疵點(diǎn)、預(yù)定義的錨框不能滿足極端長寬比、對少數(shù)類瑕疵樣本檢測性能較差等問題[4-6]。

綜上所述，為了提高復(fù)雜花色背景干擾下瑕疵檢測準(zhǔn)確率低的問題，本文提出一種雙路高分辨率特征提取用于消除花色布匹背景的噪聲干擾，并設(shè)計(jì)了自適應(yīng)錨框生成器，使生成的邊界框更加緊密，最后采用改進(jìn)的聚焦損失降低模型對少數(shù)類瑕疵的不敏感性。

1 相關(guān)工作

自動化的布匹瑕疵缺陷檢測使用檢測算法來進(jìn)行瑕疵的特征提取、對存在的瑕疵進(jìn)行分類和定位瑕疵位置3個任務(wù)[7]。常見的布匹瑕疵檢測方法有光譜分析法、模型設(shè)計(jì)法、低秩分解法[8]。空間統(tǒng)計(jì)方法通過計(jì)算統(tǒng)計(jì)特征與周圍環(huán)境的差異來檢測缺陷，包括局部紋理分布、顏色相似性和局部同質(zhì)性。Zhang等[9]采用將布匹疵點(diǎn)圖像的RGB顏色進(jìn)行空間轉(zhuǎn)換，根據(jù)顏色相似度和相似塊之間的位置距離來度量缺陷值，但這類方法不能有效地利用圖像地全局信息，而且經(jīng)常受到噪聲地影響。光譜分析方法是在實(shí)際布匹瑕疵檢測中使用較多的一類方法，常用的主要有小波變換、Gabor濾波[10]、傅里葉變換等[11]。Chen等[12]利用改進(jìn)的混合濾波器對紋理布匹進(jìn)行降噪處理，提高了邊緣提取的質(zhì)量。Boluki等[13]首先利用優(yōu)化后的Gabor濾波器來完成對布匹瑕疵的自動檢測，其次改進(jìn)自適應(yīng)局部二值化方法，提高檢測算法的性能。然而，這些方法對復(fù)雜紋理布匹圖像地檢測性能較差，耗時較長。模型設(shè)計(jì)法使用建模和參數(shù)估計(jì)技術(shù)進(jìn)行瑕疵紋理特征提取，并利用測試圖像與正常紋理模型的相似度來進(jìn)行瑕疵的確定。模型設(shè)計(jì)法主要分為自回歸模型和馬爾科夫隨機(jī)場模型。Liu等[14]提出利用馬爾科夫隨機(jī)場的領(lǐng)域特性和模糊相似矩陣，根據(jù)圖像塊之間的差異性檢測瑕疵區(qū)域，這些方法取得了滿意的檢測性能，但是該方法的計(jì)算復(fù)雜度都很高，不能有效地檢測出較小尺寸的瑕疵。低秩分解法通過將一個特征矩陣分解為代表圖像無疵點(diǎn)區(qū)域的低秩矩陣和代表疵點(diǎn)區(qū)域的稀疏矩陣來實(shí)現(xiàn)瑕疵檢測。JI等[15]提出低秩校正分解模型，通過交替方向法優(yōu)化求解，利用閾值分割產(chǎn)生的顯著圖完成瑕疵檢測。存在計(jì)算過程繁瑣，漏檢率高和檢測精度低的問題。綜上所述，傳統(tǒng)方法存在著噪聲敏感、對復(fù)雜紋理瑕疵特征提取效果較差、錯檢率高等問題，隨著深度學(xué)習(xí)方法的不斷發(fā)展，使用深度網(wǎng)絡(luò)能夠更好地解決布匹瑕疵缺陷檢測問題[16]。

深度卷積神經(jīng)網(wǎng)絡(luò)的出現(xiàn)打破了圖像語義表達(dá)的局限，被廣泛應(yīng)用于布匹瑕疵的檢測和分類。現(xiàn)有的主流的檢測方法可以分為兩類，一類是兩階段檢測方法，主要有Faster RCN、Mask RCNN[17]和Cascade RCNN[18，19]等。Wei等[20]提出了基于快速區(qū)域卷積網(wǎng)絡(luò)方法用于布匹瑕疵檢測，引入VGG思想提升訓(xùn)練效率，減少了錨點(diǎn)數(shù)量，并使用區(qū)域建議網(wǎng)絡(luò)生成候選瑕疵錨點(diǎn)和邊界框。另一類是一階段檢測方法，主要有YOLO、YOLOv2、YOLOv3、SSD和RetinaNet等。Redmon等[21，22]提出了實(shí)時目標(biāo)檢測框架YOLO系列，YOLO將物體檢測任務(wù)視為一個回歸問題，直接從整個圖像中預(yù)測邊界框坐標(biāo)、邊界框中包含目標(biāo)的置信度以及目標(biāo)的概率。整個檢測過程端到端進(jìn)行，雖然此類方法在速度上提高了但是檢測精度較低，He等[23]提出基于特征金字塔的布匹瑕疵檢測算法，該算法對于小目標(biāo)瑕疵檢測精度較低，但訓(xùn)練速度和檢測速度很快。Lin等[24]提出了使用Focal loss損失函數(shù)的 RetinaNet算法，來解決類別不平衡的問題，降低模型對少數(shù)類樣本的不敏感性。這些研究表明深度學(xué)習(xí)方法對于解決布匹瑕疵缺陷檢測問題具有很好的適用性，但仍需要進(jìn)一步改進(jìn)。

本文所使用的布匹瑕疵數(shù)據(jù)集是從廣東省某紡織車間現(xiàn)場采集的布匹圖像，在實(shí)際的布匹生產(chǎn)過程中，布匹瑕疵的特征如下：①布匹花色背景復(fù)雜，瑕疵特征提取困難；②布匹瑕疵較小且類別較多，不同瑕疵數(shù)據(jù)類別不平衡；③布匹瑕疵尺度不均衡，難以生成緊密的邊界框。已有的目標(biāo)檢測算法對于復(fù)雜花色背景、小目標(biāo)瑕疵多、縱橫比懸殊等問題不能很好解決，檢測效果較差，如圖1所示，對于小目標(biāo)以及復(fù)雜花色背景，存在漏檢以及包圍框不準(zhǔn)確的問題。因此，針對現(xiàn)有花色布匹瑕疵檢測方法所存在的問題，本文提出了一種雙路高分辨率轉(zhuǎn)換網(wǎng)絡(luò)的花色布匹瑕疵檢測方法，完成對布匹中的瑕疵目標(biāo)高質(zhì)量檢測。

圖1 布匹瑕疵檢測問題

2 復(fù)雜花色布匹瑕疵檢測

本文提出的花色布匹瑕疵缺陷檢測方法包括以下內(nèi)容：①設(shè)計(jì)雙路高分辨率特征提取網(wǎng)絡(luò)，通過權(quán)值共享的特征提取網(wǎng)絡(luò)提取缺陷圖和模板圖特征；②在區(qū)域候選網(wǎng)絡(luò)中，設(shè)計(jì)自適應(yīng)邊框生成器，優(yōu)化錨框的生成過程，提高后續(xù)檢測與回歸的精度。③在檢測階段，采用改進(jìn)的聚焦損失函數(shù)，降低模型對少數(shù)類瑕疵樣本的敏感性，從而提升網(wǎng)絡(luò)的預(yù)測精度和泛化能力。

具體過程如下：將缺陷圖和模板圖輸入雙路的高分辨網(wǎng)絡(luò)中進(jìn)行特征提取，并合并兩個特征圖，由于布匹瑕疵中小目標(biāo)占比較多，再接入多尺度特征金字塔轉(zhuǎn)換器，更好融合深層的語義信息與淺層的位置信息，得到最終的特征圖后經(jīng)由自適應(yīng)邊框生成器指導(dǎo)RPN的錨設(shè)計(jì)，利于后續(xù)檢測框回歸，最后送入級聯(lián)的檢測器中對候選框進(jìn)行分類和回歸，逐步提升檢測模型的回歸精度。網(wǎng)絡(luò)架構(gòu)如圖2所示，其中“Ci”，“Bi”，i=1，2，3分別表示分類網(wǎng)絡(luò)和回歸網(wǎng)絡(luò)。

圖2 本文網(wǎng)絡(luò)架構(gòu)

2.1 雙路高分辨率特征提取

在布匹瑕疵檢測中，由于不同花色背景的影響，很難在多種花色布匹上取得理想的效果，為了消除這種影響，最直接的方法是原圖相減，在差分圖上進(jìn)行瑕疵檢測，但對于瑕疵圖片與模板圖片并非嚴(yán)格的像素點(diǎn)對齊的情況，直接做差不但無法消除背景，還會破壞瑕疵原本的形態(tài)。因此，為了減少噪聲的影響，本文提出雙路高分辨率網(wǎng)絡(luò)將提取到的瑕疵特征和模板特征進(jìn)行差分，在特征層將瑕疵與模板特征做差，雖然像素點(diǎn)不對齊但是區(qū)域特征是相同的，卷積核提取的特征是區(qū)域特征，在特征層上做差不僅可以保證消除同區(qū)域內(nèi)相似的背景特征，而且還可以保留瑕疵的特征。

雙路高分辨率網(wǎng)絡(luò)架構(gòu)如圖3所示。將瑕疵圖片和模板圖作為輸入，其中，模板圖中不包含任何瑕疵信息，在特征提取的過程中這兩部分是權(quán)值共享的，其提取的特征表達(dá)如式(1)所示

圖3 雙路高分辨率網(wǎng)絡(luò)架構(gòu)

f(xi)=CNNecd(xi，θencoding)

(1)

式中：xi是輸入樣本，θencoding是CNN的編碼參數(shù)，然后將提取的兩個輸出向量進(jìn)行相減并取絕對值，如式(2)所示

(2)

式中：xi表示輸入瑕疵樣本，xj表示模板樣本，它們經(jīng)過全連接層和Sigmod函數(shù)得到輸出結(jié)果，輸出表現(xiàn)如式(3)所示

P(xi，xj)=SigMod(FC(D(f(xi)，f(xj))))

(3)

輸出值歸一化至0～1之間，計(jì)算相似度得分，然后提取出整幅圖像所有相似性較低的圖像塊，通過這樣的方式可以在一定程度上抵消像素點(diǎn)不對齊帶來的影響，屏蔽背景并且保留瑕疵原有特征，從而提升模型對瑕疵特征的表達(dá)能力。

在布匹瑕疵檢測中存在背景復(fù)雜的問題，使用特征金字塔網(wǎng)絡(luò)能夠有效地融合圖像中各個維度地特征，而傳統(tǒng)的特征金字塔網(wǎng)絡(luò)未考慮全局特征信息并且以固定尺度構(gòu)建特征金字塔，會丟失部分不同層級特征之間的語義差異信息，增大瑕疵檢測的難度。為了在一定程度上消除布匹的紋理特征在空間分布上的差異，采用了多尺度特征金字塔轉(zhuǎn)換器，使特征圖可以跨空間和跨尺度進(jìn)行非局部交互，融合具有豐富語義信息的深層特征和高分辨率的淺層特征，有效提高了小目標(biāo)瑕疵檢測精度，網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 多尺度特征金字塔轉(zhuǎn)換網(wǎng)絡(luò)結(jié)構(gòu)

由雙路高分辨率網(wǎng)絡(luò)提取不同尺度的特征圖，然后經(jīng)過同層之間的交互、自上而下的交互和自下而上的交互分別去計(jì)算對應(yīng)的融合了上下文信息的特征圖，將多層語義信息進(jìn)行整合，得到跨尺度和跨空間特征交互后的特征金字塔。如上圖所示，多尺度特征金字塔轉(zhuǎn)換器主要分為3步：同層特征圖的交互(Fst)、自上而下的交互(Fgt)、自下而上的交互(Frt)，詳細(xì)過程如算法1所示。

算法1: 多尺度特征金字塔轉(zhuǎn)換網(wǎng)絡(luò)算法

輸入: C2、C3、 C4、 C5

輸出: P2、 P3、 P4、 P5

說明: Ci表示由基礎(chǔ)網(wǎng)絡(luò)提取的第2～5層特征圖; pi表示卷積轉(zhuǎn)換特征圖尺寸后得到的第2～5層特征圖; Pi表示轉(zhuǎn)換后的第2～5層特征圖; Fst():ST操作; Fgt():GT操作; Frt():RT操作

算法過程:

(1) p5=Fconv(C5) //從C5開始,先卷積轉(zhuǎn)換特征圖尺寸

(2) p4=Fconv(C4)

(3) p3=Fconv(C3)

(4) p2=Fconv(C2)

(5) s5=Fconcatenate(Fst(p5), Frt(p4,p5), Frt(p3,p5), Frt(p2,p5), p5, 1) //拼接操作

(6) s4=Fconcatenate(Fst(p4), Frt(p3,p4), Frt(p2,p4), Fgt(p5,p4), p4, 1)

(7) s3=Fconcatenate(Fst(p3), Frt(p2,p3), Fgt(p4,p3), Fgt(p5,p3), p3, 1)

(8) s2=Fconcatenate(Fst(p2), Fgt(p3,p2), Fgt(p4,p2), Fgt(p5,p2), p2, 1)

(9) P5=Fconv(s5) //卷積縮小維度, 降至原本通道數(shù)

(10) P4=Fconv(s4)

(11) P3=Fconv(s3)

(12) P2=Fconv(s2)

(13) return P2、 P3、 P4、 P5//輸出轉(zhuǎn)換后的特征圖

上述操作不會改變多層級特征的輸入和輸出的尺寸和通道數(shù)，因此多尺度特征金字塔轉(zhuǎn)換網(wǎng)絡(luò)可以直接嵌入到主干網(wǎng)絡(luò)中，達(dá)到跨尺度和跨空間非局部交互的效果，有助于提高小目標(biāo)瑕疵檢測的準(zhǔn)確率。

2.2 自適應(yīng)邊框生成器

在布匹瑕疵檢測任務(wù)中，一般會預(yù)先設(shè)置一些不同尺度不同位置的固定參考框，根據(jù)預(yù)定義的anchor，網(wǎng)絡(luò)模型可以更好了解先驗(yàn)框偏差的信息，從而得到更好的預(yù)測結(jié)果。但由于布匹疵點(diǎn)的特殊性，疵點(diǎn)中絕大多數(shù)多為小尺寸、縱橫比懸殊的目標(biāo)，導(dǎo)致檢測精度較低。因此本文設(shè)計(jì)了自適應(yīng)邊框生成器來優(yōu)化錨框，優(yōu)化過程是通過改進(jìn)K-means聚類算法來進(jìn)行的。

在聚類過程中，遠(yuǎn)離群點(diǎn)的瑕疵類對算法結(jié)果影響較大，所以不能采用一般聚類方法的歐式距離，因?yàn)閷τ跉W式距離來說，過大或過小的包圍框都會產(chǎn)生太大的損失。因此，引入新的基于IOU的度量方式，如式(4)所示，其中b是真實(shí)標(biāo)注框，c是聚類的中心點(diǎn)

d(b，c)=1-IOU(b，c)

(4)

聚類的詳細(xì)過程描述如下：

(1)聚類使用布匹瑕疵數(shù)據(jù)集訓(xùn)練集中真實(shí)標(biāo)注框的坐標(biāo)信息作為原始數(shù)據(jù)。

(2)選取初始聚類中心點(diǎn)：對于訓(xùn)練集每個類別的瑕疵，隨機(jī)選取代表一類瑕疵集簇的k個初始聚類中心點(diǎn)。

(3)計(jì)算相似度距離：計(jì)算所有瑕疵真實(shí)標(biāo)注框與每個聚類中心的相似度距離，并將各標(biāo)注框樣本歸類給相似度最近的聚類中心。

(4)重新計(jì)算聚類中心點(diǎn)：按照式(5)重新計(jì)算每個瑕疵類聚類中心點(diǎn)，以最新歸類的標(biāo)注框樣本為基準(zhǔn)點(diǎn)，計(jì)算各聚類中心點(diǎn)與基準(zhǔn)點(diǎn)的距離，選取距離最小的聚類中心點(diǎn)作為新的聚類中心點(diǎn)

(5)

(5)重復(fù)步驟(3)和步驟(4)以得到最優(yōu)的錨定框。具體過程如下所示。

算法2: 自適應(yīng)邊框生成器算法

輸入: 每類待聚類瑕疵樣本集真實(shí)邊界框: B={bi, i∈{1,2,…,n}}

初始anchor大小: A={aj, j∈{1,2,…,m}}

輸出: 最優(yōu)初始錨定框A*={aj1, j1∈{1,2,…,m}}

算法過程:

(1) Repeat

(2) 令Cj=φ, j∈{1,2,…,m}

(3) for i=1,2,…,n do

(4) dij=1-IOU(bi,aj) //計(jì)算真實(shí)邊界框和當(dāng)前anchor的距離

(5) λj=argmini∈{1,2,…,m}dij//距離最近的anchor確定的bi簇標(biāo)記

(6)Cλj=Cλj∪{bi} //將真實(shí)邊界框bi劃入相應(yīng)的簇

(7) end for

(8) A*=φ

(9) for j=1,2,…,m do

(11) A*=A*∪μj//將計(jì)算的anchor大小添加到A*中

(12) end for

(13) Until當(dāng)前anchor大小不再改變或達(dá)到最大迭代次數(shù)

2.3 級聯(lián)檢測器與改進(jìn)的聚焦損失

經(jīng)由自適應(yīng)邊框生成器指導(dǎo)RPN的錨設(shè)計(jì)，產(chǎn)生候選區(qū)域后，使用級聯(lián)的目標(biāo)檢測器完成分類和回歸。如式(6)所示

f(x，b)=fT°fT-1°…°f(x，b)

(6)

式中：T為級聯(lián)的總數(shù)，級聯(lián)中的每個回歸器ft根據(jù)對應(yīng)階段的樣本分布bt進(jìn)行優(yōu)化，逐級回歸后，使樣本分布更加精確，同時，IOU在回歸過程中被逐級提升。

本文方法的級聯(lián)數(shù)設(shè)置為3，在級聯(lián)回歸過程中，將上一級生成的預(yù)測邊界框輸出作為感興趣區(qū)域輸入下一個檢測器，最后經(jīng)過全連接層完成分類和回歸，可以精準(zhǔn)地實(shí)現(xiàn)對布匹瑕疵的分類與定位。級聯(lián)檢測器結(jié)構(gòu)如圖5所示。

圖5 級聯(lián)檢測器結(jié)構(gòu)

在此階段，訓(xùn)練階段的損失函數(shù)由邊界框回歸損失和分類損失組成，損失函數(shù)如式(7)所示

(7)

式中：N為預(yù)測框的數(shù)量，pt表示對anchor的預(yù)測置信度，G′i為預(yù)測框的位置信息，Gi為目標(biāo)框位置信息，Lreg采用smoothL1作為損失函數(shù)，如式(8)所示，參數(shù)x是預(yù)測結(jié)果與真實(shí)值的差

(8)

分類置信度損失Lcls是預(yù)測類別置信度與目標(biāo)類別的誤差，布匹瑕疵數(shù)據(jù)集存在不同瑕疵類別的樣本數(shù)量極度不平衡，導(dǎo)致樣本數(shù)較少的類別不能得到充分訓(xùn)練，造成檢測精度較低。采用Focal loss損失函數(shù)作為分類損失來緩解模型中參與訓(xùn)練的正負(fù)樣本不平衡問題，如式(9)所示

Lcls(pt)=-αt(1-pt)γlog(pt)

(9)

Lcls(pt)=-δt(1-pt)γlog(pt)

(10)

(11)

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境與數(shù)據(jù)集

本文實(shí)驗(yàn)的軟硬件環(huán)境配置見表1。

表1 實(shí)驗(yàn)環(huán)境配置

圖6 布匹瑕疵數(shù)據(jù)集

實(shí)驗(yàn)以MS COCO數(shù)據(jù)集的評價標(biāo)準(zhǔn)進(jìn)行性能評估。使用隨機(jī)梯度下降方法作為優(yōu)化器，初始學(xué)習(xí)率設(shè)置為0.0025，沖量設(shè)置為0.9，batch size設(shè)置為2，權(quán)重衰減設(shè)置為0.0001，訓(xùn)練步數(shù)設(shè)置為18 000。為了獲得理想的訓(xùn)練效果，本文對原始數(shù)據(jù)集采用了水平和垂直翻轉(zhuǎn)、對稱變化等多種數(shù)據(jù)增強(qiáng)方式進(jìn)行數(shù)據(jù)增強(qiáng)。數(shù)據(jù)增強(qiáng)后的樣本分布見表2。

表2 增強(qiáng)前后數(shù)據(jù)集中的樣本分布

3.2 訓(xùn) 練

為了驗(yàn)證本文方法對于布匹瑕疵缺陷檢測的有效性和先進(jìn)性，在花色布匹瑕疵數(shù)據(jù)集上進(jìn)行了網(wǎng)絡(luò)訓(xùn)練和結(jié)果分析，圖7為瑕疵圖和模板圖直接相減和由雙路高分辨率特征提取差分后的可視化對比，上圖為瑕疵圖和模板圖直接相減，下圖為采用雙路高分辨網(wǎng)絡(luò)將提取到的瑕疵特征和模板特征進(jìn)行差分，在特征層將瑕疵特征與模板特征做差的效果圖，通過對比發(fā)現(xiàn)，直接做差不但無法消除背景，還會破壞瑕疵原本的形態(tài)，而在特征層上做差可以保證同區(qū)域內(nèi)相似的背景特征被消除，并同時可以保留瑕疵的特征。

圖7 圖片相減與特征差分對比結(jié)果

圖8是不同網(wǎng)絡(luò)的損失曲線。隨著神經(jīng)網(wǎng)絡(luò)的迭代次數(shù)增加，損失曲線整體呈現(xiàn)下降趨勢，目標(biāo)檢測網(wǎng)絡(luò)對于花色布匹瑕疵數(shù)據(jù)的判別能力逐漸逼近訓(xùn)練數(shù)據(jù)集。這表明，本文方法能更好地收斂于布匹瑕疵缺陷數(shù)據(jù)集，并且分類與回歸任務(wù)的誤差也較低，這是由于采用雙路高分辨率特征提取在特征層差分有效剔除了無關(guān)背景信息的干擾，利用多尺度特征金字塔轉(zhuǎn)換器，充分學(xué)習(xí)瑕疵目標(biāo)的上下文信息，在RPN階段進(jìn)一步優(yōu)化錨框，利用后續(xù)檢測和回歸。最后在檢測階段，引入改進(jìn)的聚焦損失函數(shù)來緩解訓(xùn)練過程中瑕疵類別不平衡導(dǎo)致的分類精度低問題，降低模型對少數(shù)類瑕疵樣本的不敏感性，從而提高花色布匹瑕疵目標(biāo)的檢測性能。

圖8 損失變化曲線對比結(jié)果

3.3 消融實(shí)驗(yàn)

為了驗(yàn)證提出的檢測方法中各個模塊的有效性，在基礎(chǔ)網(wǎng)絡(luò)的基礎(chǔ)上，融合不同改進(jìn)點(diǎn)的消融實(shí)驗(yàn)結(jié)果見表3。

表3 消融實(shí)驗(yàn)

(1)基礎(chǔ)網(wǎng)絡(luò)(BaselineNet)。基礎(chǔ)網(wǎng)絡(luò)為未改進(jìn)之前的Cascade RCNN，由于復(fù)雜花色背景、小瑕疵目標(biāo)、尺度變化大、類別不平衡等一系列問題的影響，導(dǎo)致最終的檢測性能較差。為了更好地解決這些問題，提高花色布匹瑕疵檢測的準(zhǔn)確率和定位精度，分別針對上述不同問題進(jìn)行改進(jìn)創(chuàng)新，以下所有的改進(jìn)均是在此BaselinNet的基礎(chǔ)上進(jìn)行的。

(2)BN+雙路高分辨率網(wǎng)絡(luò)(DCF)。使用雙路高分辨率網(wǎng)絡(luò)代替BaselineNet中原始的特征提取網(wǎng)絡(luò)，由表可見，相比于基線方法，雙路高分辨率網(wǎng)絡(luò)將基線方法改進(jìn)了1.7個mAP。這說明雙路高分辨率網(wǎng)絡(luò)有效的消除復(fù)雜花色背景的影響，提取更清晰、更具有代表性的瑕疵特征，得到豐富的瑕疵特征的上下文信息，為檢測模型提供高質(zhì)量特征信息，提高算法對瑕疵的定位與判斷是否為瑕疵的能力。

(3)BN+DCF+多尺度特征金字塔轉(zhuǎn)換器(FPT)。為了進(jìn)一步提高小目標(biāo)瑕疵的準(zhǔn)確率，在雙路高分辨率網(wǎng)絡(luò)的基礎(chǔ)上添加了FPT，以此獲得更多小目標(biāo)瑕疵特征的細(xì)節(jié)信息。由表可見，相比于基線方法，多尺度特征金字塔轉(zhuǎn)換器給基線方法帶來了1.0個mAP，由于多尺度特征金字塔轉(zhuǎn)換器充分捕獲全局信息并且能更好使用高層語義信息對低層的特征進(jìn)行補(bǔ)充，從而得到語義信息更豐富的特征。

(4)BN+DCF+FPT+自適應(yīng)邊框生成器(ABG)。考慮到布匹瑕疵長寬比差異大，原RPN中錨點(diǎn)比例設(shè)計(jì)并不能滿足瑕疵長寬比過于極端的情況，因此，本文通過自適應(yīng)邊框生成器計(jì)算最優(yōu)錨定框的設(shè)計(jì)，由表可見，自適應(yīng)邊框生成器給基線方法帶來1.4個mAP，這是因?yàn)樽赃m應(yīng)邊框生成器計(jì)算得到了錨定框的尺寸適用于瑕疵極端長寬比的情況最優(yōu)錨定框，使得瑕疵的初始邊框更精確，因此檢測性能得到了提升。

(5)BN+DCF+FPT+ABG+MFL(ours)。為應(yīng)對布匹數(shù)據(jù)集中瑕疵種類不平衡對檢測結(jié)果的影響，采用改進(jìn)的聚焦損失函數(shù)時，其mAP的變化幅度1.7%。同時實(shí)驗(yàn)表明，當(dāng)γ=2、λ=0.5時，模型可取得最好的性能，這說明采用改進(jìn)的聚焦損失可以有效改善瑕疵類別不平衡對模型檢測性能的影響。

3.4 檢測性能及對比分析

提出的布匹瑕疵檢測方法與目前主流的檢測方法進(jìn)行實(shí)驗(yàn)對比，在花色布匹瑕疵數(shù)據(jù)集上的檢測結(jié)果顯示本文方法檢測性能優(yōu)于YOLOv3、RetinaNet、EfficientDet等一階段檢測方法，并且對不同大小的瑕疵檢測精度均高于Faster RCNN、Cascade RCNN、IC-RCNN和TC-RCNN等算法，mAP達(dá)到了68.5%，對比結(jié)果見表4。

表4 各算法在布匹瑕疵數(shù)據(jù)集上的結(jié)果

由表4可知，與兩階段的目標(biāo)檢測算法Faster RCNN和Cascade RCNN相比，單階段檢測算法精度方面會差一些，因此文中選擇了兩階段檢測方法，本文方法的mAP達(dá)到了68.5%，比目前先進(jìn)的檢測算法IC-RCNN和TC-RCNN分別提升了3.5%和7.1%，實(shí)現(xiàn)了對花色背景干擾下布匹瑕疵高質(zhì)量檢測。

為了更直觀評估模型分類結(jié)果的好壞，圖9為測試瑕疵分類結(jié)果歸一化混淆矩陣，在混淆矩陣中，顏色越深，識別的準(zhǔn)確性越高，圖中橫坐標(biāo)表示預(yù)測標(biāo)簽，縱坐標(biāo)表示真實(shí)標(biāo)簽，基于混淆矩陣，可以看出本文模型的總體識別準(zhǔn)確率較高，但對于漏印這類瑕疵較少的樣本其識別率還有待提升，其分類錯誤的主要原因是由于復(fù)雜紋理干擾和瑕疵形狀相似度較高造成的。

圖9 瑕疵樣本分類結(jié)果混淆矩陣

隨后，表5記錄了不同方法訓(xùn)練和測試所需時間對比結(jié)果，其中，T1為完成訓(xùn)練集所耗時間，T2為測試所有瑕疵樣本所耗時間，T3為測試單張瑕疵樣本所耗時間。從表5中可以看出，由于本文采用了雙路高分辨率特征提取，導(dǎo)致訓(xùn)練模型時耗時較長，比Cascade RCNN增加了196 min，這是由于參數(shù)量增多造成的，在測試單張瑕疵樣本時，所需時間為305.67 ms，雖然耗時較其它方法有所增加，但在保證高精度的同時基本可以滿足工廠車間實(shí)際的生產(chǎn)要求。

表5 各算法訓(xùn)練時間和測試時間對比

3.5 檢測結(jié)果呈現(xiàn)

針對布匹瑕疵數(shù)據(jù)集中的幾類問題進(jìn)行測試，例如復(fù)雜花色背景、小目標(biāo)以及縱橫比懸殊等，如圖10所示，本文改進(jìn)的方法在上述場景下取得了較高的檢測精度，并且能夠生成緊密的邊界框，這說明本文所提出的方法針對布匹瑕疵數(shù)據(jù)進(jìn)行了有效設(shè)計(jì)，達(dá)到了較好的泛化能力，對于該數(shù)據(jù)集中存在大量復(fù)雜花色背景的瑕疵圖，可以很好消除背景的影響，對于大量的小目標(biāo)瑕疵可以達(dá)到較好的檢測成功率，同時對于尺度變化大和瑕疵樣本較少的類別也能夠生成緊密的包圍框。

圖10 布匹瑕疵檢測效果

4 結(jié)束語

本文針對花色布匹瑕疵檢測存在的問題，提出了雙路高分辨率轉(zhuǎn)換網(wǎng)絡(luò)的花色布匹瑕疵檢測方法，該方法通過雙路高分辨率特征提取、優(yōu)化自適應(yīng)邊框生成和改進(jìn)聚焦損失，對花色布匹瑕疵檢測的精度有了明顯提高，并且優(yōu)于當(dāng)前主流的花色布匹瑕疵檢測方法，說明該方法更適用于布匹瑕疵缺陷檢測的情況。未來可以考慮在檢測模型輕量化上進(jìn)行改進(jìn)。