基于改進(jìn)Faster R-CNN的輪胎缺陷檢測(cè)方法

吳則舉，焦翠娟，陳 亮

（青島理工大學(xué)信息與控制工程學(xué)院，山東青島 266520）

0 引言

子午線輪胎因其相較于其他類型輪胎具有眾多優(yōu)點(diǎn)，比如安全耐用、環(huán)保舒適以及在行車過(guò)程中功能方面的優(yōu)越性等獲得用戶的普遍認(rèn)可［1］。在子午線輪胎制作過(guò)程中，因?yàn)樯a(chǎn)流程復(fù)雜，加上輪胎使用要求精度高，所以這個(gè)過(guò)程中，子午線輪胎不可避免地會(huì)出現(xiàn)質(zhì)量問(wèn)題，將會(huì)影響輪胎出廠后的使用壽命，甚至危及到人身安全，所以在出廠使用前需要對(duì)每條輪胎進(jìn)行無(wú)損檢測(cè)［2-4］，及時(shí)發(fā)現(xiàn)不合格產(chǎn)品，以此來(lái)調(diào)整輪胎的生產(chǎn)流程及機(jī)械生產(chǎn)設(shè)備，從而可以節(jié)省生產(chǎn)材料成本、提高輪胎質(zhì)量［5-6］。

目前輪胎缺陷檢測(cè)方法一般是用X射線檢測(cè)機(jī)對(duì)輪胎進(jìn)行X 光成像，然后由工人觀察獲得的X 光圖像，依據(jù)缺陷的形狀和灰度特征等來(lái)辨別輪胎是否有缺陷并對(duì)其分類［7-9］。但這種做法存在很多缺點(diǎn)：人工目測(cè)具有主觀性，檢出結(jié)果易受檢測(cè)工人敬業(yè)程度及相關(guān)知識(shí)掌握水平的影響；另一方面，負(fù)責(zé)檢測(cè)的工人容易因?yàn)槊刻斓墓ぷ魅蝿?wù)和強(qiáng)度大，出現(xiàn)檢測(cè)錯(cuò)誤和漏檢情況［10-12］。因此，如何提高出廠前輪胎缺陷檢測(cè)的效率和自動(dòng)化程度，是一項(xiàng)十分必要的研究?jī)?nèi)容。

近年來(lái)輪胎缺陷檢測(cè)問(wèn)題吸引了大量國(guó)內(nèi)研究者的關(guān)注，如Liu 等［13］在2015 年提出了基于Radon 變換的輪胎缺陷檢測(cè)算法；張斌等［14］在2016 年提出了基于圖像處理的輪胎X光圖像雜質(zhì)檢測(cè)技術(shù)，先后通過(guò)直方圖列均衡、傅里葉變換及低通濾波、二值化和閉操作四步完成，并據(jù)此識(shí)別胎圈雜質(zhì)缺陷。但上述方法只能對(duì)胎圈雜質(zhì)缺陷進(jìn)行識(shí)別。Cui 等［15］在2017年提出了基于主成分殘余信息逆變換的輪胎X射線圖像缺陷檢測(cè)方法，通過(guò)主成分分析重構(gòu)輪胎圖像的主導(dǎo)紋理，然后將原始圖像與重構(gòu)的主導(dǎo)紋理圖像相減（僅采用剩余較小的特征值及相應(yīng)的特征向量來(lái)復(fù)原缺陷及噪聲）即可找出缺陷；但是提取特征繁瑣，需要人工參與選擇。

以上輪胎缺陷檢測(cè)的方法都是基于傳統(tǒng)的機(jī)器視覺(jué)的方式，用來(lái)檢測(cè)的特征是人為選擇和設(shè)計(jì)的［15］，得到的特征參差不齊、魯棒性差。傳統(tǒng)方法雖然對(duì)于類型簡(jiǎn)單的缺陷具有較好的檢測(cè)結(jié)果，但由于輪胎缺陷類型眾多，各不相同，而且在得到的輪胎X 光圖像中目標(biāo)與缺陷的灰度值差別不明顯，所以傳統(tǒng)方法對(duì)輪胎X 光圖像的缺陷檢測(cè)結(jié)果并不理想［16-17］。Hinton 等［18］在2006 年提出的深度學(xué)習(xí)模型為復(fù)雜目標(biāo)檢測(cè)提供了一種高效方法。深度學(xué)習(xí)模型可以通過(guò)對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行學(xué)習(xí)，提取到檢測(cè)目標(biāo)的特征，并從低到高將各個(gè)卷積層的變換特征進(jìn)行整合，然后抽象出高層特征表達(dá)，使分類和定位變得更加容易。此后，基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的優(yōu)秀算法層出不窮，并在目標(biāo)檢測(cè)方面發(fā)揮了巨大作用。

本文將Faster R-CNN（Faster Region-Convolutional Neural Network）和在線難例挖掘（Online Hard Example Mining，OHEM）算法結(jié)合引入到輪胎缺陷識(shí)別與定位中，實(shí)現(xiàn)了工業(yè)中對(duì)于輪胎缺陷的自動(dòng)檢測(cè)［11］。本文主要工作如下：

1）使用訓(xùn)練好的Faster R-CNN 模型對(duì)輪胎X 光圖像缺陷進(jìn)行定位和識(shí)別。結(jié)果顯示，該模型能夠檢測(cè)到輪胎X 光圖像各個(gè)區(qū)域出現(xiàn)的缺陷，但是它只能定位出缺陷的部分區(qū)域，漏檢率和誤檢率較高。

2）對(duì)于上述Faster R-CNN 模型對(duì)輪胎X 光圖像缺陷進(jìn)行定位和識(shí)別時(shí)準(zhǔn)確度不高問(wèn)題，首先，對(duì)待檢測(cè)的X光圖像進(jìn)行預(yù)處理后再作為卷積網(wǎng)絡(luò)的輸入；其次，對(duì)該模型做了兩點(diǎn)改良，即對(duì)ZF 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)以及在RoI（Region of Interesting）pooling 層之后引入OHEM 算法；最后通過(guò)實(shí)驗(yàn)驗(yàn)證了改進(jìn)后的Faster R-CNN 模型對(duì)輪胎缺陷檢測(cè)的有效性。

3）對(duì)比分析了Faster R-CNN 模型改進(jìn)前后的實(shí)驗(yàn)結(jié)果，結(jié)果表明改進(jìn)后的模型檢測(cè)效果更好，且魯棒性強(qiáng)，檢測(cè)時(shí)間較短，可以滿足工業(yè)應(yīng)用的要求。

1 準(zhǔn)備工作

1.1 檢測(cè)網(wǎng)絡(luò)模型

Faster R-CNN 由特征提取層、區(qū)域建議網(wǎng)絡(luò)（Region Proposal Network，RPN）層、Fast R-CNN 層等三個(gè)部分構(gòu)成。其中，特征提取層利用ZF卷積神經(jīng)網(wǎng)絡(luò)提取輸入圖像的特征圖，RPN層提取初步的候選框，F(xiàn)ast R-CNN層實(shí)現(xiàn)輪胎缺陷定位和識(shí)別。具體流程如圖1所示。

圖1 基于Faster R-CNN的目標(biāo)檢測(cè)框架Fig.1 Target detection framework based on Faster R-CNN

CNN 主要負(fù)責(zé)提取要檢測(cè)目標(biāo)的具體特征，運(yùn)算操作包含卷積計(jì)算和降采樣兩部分。CNN的網(wǎng)絡(luò)模型結(jié)構(gòu)中包含了多個(gè)隱層，是仿照自然界中生物的視覺(jué)和知覺(jué)系統(tǒng)建立起來(lái)的，CNN可以進(jìn)一步分為監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督逐層學(xué)習(xí)。

CNN的結(jié)構(gòu)包含三部分，即輸入層、隱層和輸出層。輸入層的功能是接收多維數(shù)據(jù)并對(duì)其進(jìn)行處理，其中，由于CNN采用梯度下降方法進(jìn)行學(xué)習(xí)，所以輸入的輪胎缺陷特征在被送入網(wǎng)絡(luò)前要先通過(guò)歸一化處理，歸一化處理能使得網(wǎng)絡(luò)的學(xué)習(xí)效率得到提升；隱層用來(lái)提高網(wǎng)絡(luò)容量。本文中使用ZF卷積神經(jīng)網(wǎng)絡(luò)來(lái)提取輪胎X 光圖像的特征，ZF 卷積神經(jīng)網(wǎng)絡(luò)的模型如圖2所示。

圖2 ZF卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型Fig.2 ZF convolutional neural network structure model

從圖2 可以看出ZF 卷積神經(jīng)網(wǎng)絡(luò)具有五層卷積層，通過(guò)層層卷積運(yùn)算后，可以更好地得到輪胎X 光圖像的深層抽象特征；但是ZF卷積網(wǎng)絡(luò)在進(jìn)行缺陷識(shí)別時(shí)只使用最后一層的卷積結(jié)果，這就使得網(wǎng)絡(luò)在得到抽象特征的同時(shí)丟失了有關(guān)缺陷區(qū)域的細(xì)節(jié)信息，這會(huì)降低對(duì)缺陷的大小和位置的判斷敏感性。由于輪胎X光圖像的缺陷類型中的雜質(zhì)缺陷和氣泡缺陷出現(xiàn)頻率較高，這兩類缺陷的尺寸較小，檢測(cè)過(guò)程中如果只使用最后一層卷積特征信息來(lái)進(jìn)行定位和識(shí)別，檢測(cè)結(jié)果就會(huì)存在很大的誤差，假如缺陷區(qū)域面積大小為25 pixel×25 pixel，當(dāng)它在通過(guò)五層卷積層之后，提取到的卷積特征只有一個(gè)或幾個(gè)卷積特征點(diǎn)。如此少的特征信息不僅對(duì)識(shí)別定位的精度有較大影響，同時(shí)也無(wú)法準(zhǔn)確判斷出目標(biāo)類別。

針對(duì)上述情況，為了進(jìn)一步提高識(shí)別準(zhǔn)確率和定位精度，對(duì)基于Faster R-CNN 的輪胎X 光圖像缺陷檢測(cè)方法進(jìn)行了兩個(gè)方面的改進(jìn)，具體操作如下：

l）對(duì)ZF 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)。圖3 是改進(jìn)后的ZF卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型。

自R-CNN（Region-Convolutional Neural Network）之后的目標(biāo)檢測(cè)網(wǎng)絡(luò)，它們?cè)趯?duì)小目標(biāo)進(jìn)行檢測(cè)時(shí)信息損失會(huì)比較嚴(yán)重。為了解決這個(gè)問(wèn)題，借鑒語(yǔ)義分割全卷積網(wǎng)絡(luò)（Full Convolutional Network，F(xiàn)CN）結(jié)構(gòu)［19］，對(duì)Faster R-CNN 輪胎檢測(cè)模型的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了改變，將ZF卷積神經(jīng)網(wǎng)絡(luò)第三層提取到的卷積特征和第五層提取到的卷積特征進(jìn)行結(jié)合后輸出，并作為RPN層的輸入。這樣改進(jìn)的原因是：在輪胎X光圖像缺陷檢測(cè)網(wǎng)絡(luò)的特征提取部分中，局部區(qū)域的細(xì)節(jié)特征由較淺的卷積層提取到，抽象特征由較深的卷積層提取，因此如果能把多個(gè)不同層提取到的特征綜合起來(lái)后對(duì)缺陷進(jìn)行識(shí)別與檢測(cè)，這將有助于目標(biāo)檢測(cè)。在ZF 卷積神經(jīng)網(wǎng)絡(luò)中，每一層的卷積核可以提取出某些有意義的特征，其功能相當(dāng)于通過(guò)自學(xué)習(xí)得到的濾波器，例如可以提取到輪胎的邊緣、角度等信息，圖3 中待測(cè)圖像經(jīng)過(guò)ZF 卷積神經(jīng)網(wǎng)絡(luò)中第三個(gè)卷積層的256 個(gè)卷積核后的輸出如圖4（c）所示，但其性能優(yōu)于傳統(tǒng)的濾波器，原因是本文卷積核是依據(jù)輸入的數(shù)據(jù)集自學(xué)習(xí)而獲得的，能夠適應(yīng)圖像的變化，提取的特征更能表征輪胎的缺陷信息，而傳統(tǒng)的濾波器是事先由人工設(shè)計(jì)的，很難適應(yīng)缺陷信息的變化。圖4（d）是網(wǎng)絡(luò)第五個(gè)卷積層后輸出的特征圖，它提取到的是輪胎缺陷較抽象的特征，另外三層卷積層的工作原理和這兩層相同，只是不同卷積層提取的特征不同。

圖3 改進(jìn)后的ZF卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型Fig.3 Improved ZF convolutional neural network structure model

圖4 卷積輸出特征圖Fig.4 Convolution output feature graph

首先對(duì)第三層和第五層輸出的結(jié)果分別進(jìn)行響應(yīng)歸一化操作，增強(qiáng)構(gòu)造模型的泛化能力；其次在對(duì)兩層輸出進(jìn)行結(jié)合前先進(jìn)行卷積運(yùn)算，使得輸出結(jié)果圖維數(shù)相同。因?yàn)樵赯F卷積神經(jīng)網(wǎng)絡(luò)中，第三層卷積層的輸出結(jié)果是384 維，而第五層的輸出是256 維，所以先要對(duì)兩層的輸出結(jié)果進(jìn)行運(yùn)算操作，對(duì)第三層的輸出特征圖做l×l 的卷積操作，使其輸出變成256維后，再將兩層結(jié)果相加。

2）在ZF 卷積神經(jīng)網(wǎng)絡(luò)中RoI pooling 層之后引入OHEM算法。

依照數(shù)據(jù)集的損失大小可以分為：容易檢測(cè)樣本和較難檢測(cè)樣本，如果在訓(xùn)練過(guò)程中可以自動(dòng)選擇這些多樣性和高損失的較難檢測(cè)樣本，就會(huì)使得網(wǎng)絡(luò)訓(xùn)練更加高效，Shrivastava 等［20］把Fast R-CNN 結(jié)構(gòu)與OHEM 算法進(jìn)行了 結(jié)合，實(shí)現(xiàn)了數(shù)據(jù)集中正負(fù)樣本數(shù)值差異，進(jìn)一步提高了算法準(zhǔn)確性。OHEM 算法的核心要點(diǎn)為：首先依照損失大小篩選輸入數(shù)據(jù)集中的樣本，選出較難檢測(cè)到的樣本；然后將較難檢測(cè)樣本中對(duì)檢測(cè)結(jié)果影響較大的樣本，在隨機(jī)梯度下降中進(jìn)一步訓(xùn)練。

本文的具體操作步驟為：首先將每張輪胎X 光圖像得到的特征圖送入只讀的RoINetl 中，通過(guò)計(jì)算，得到原圖中所有建議框的損失；然后是依照損失的大小進(jìn)行排序，挑選出較難檢測(cè)樣本；最后把選出樣本送入RoINet2 中。在實(shí)際操作中將OHEM 算法應(yīng)用在Fast R-CNN 的網(wǎng)絡(luò)結(jié)構(gòu)中后，它將Fast R-CNN分為兩部分：Conv Network 和RoI Network，ROI Network可擴(kuò)充為兩個(gè)：RoINetl 和RoINet2，減少了顯存。RoINetl 是只讀的，只進(jìn)行前向傳播，為所有的RoI 在前向傳遞時(shí)分配空間，主要用于計(jì)算損失；RoINet2可以進(jìn)行前向和反向傳播，同時(shí)為前向和后向的RoI 分配空間，主要用于將較難檢測(cè)樣本作為輸入，計(jì)算損失并回傳梯度。在實(shí)驗(yàn)過(guò)程中，每個(gè)最小批次中圖像數(shù)目為N，生成建議框的數(shù)目為|R|，即每張要檢測(cè)的輪胎X 光圖像中建議框數(shù)目為|R|/N，經(jīng)過(guò)篩選后得到B個(gè)較難檢測(cè)樣本。為了方便計(jì)算，實(shí)驗(yàn)中通常會(huì)設(shè)置N=128，|R|=4 000，B=2。通過(guò)這種設(shè)計(jì)，一方面解決了數(shù)據(jù)的數(shù)據(jù)種類分布不均問(wèn)題；另一方面，通過(guò)樣本集合的增大，算法準(zhǔn)確率得到了提高。

通過(guò)圖3 可以看到，OHEM 算法為虛線框內(nèi)結(jié)構(gòu)。a 中的網(wǎng)絡(luò)和b 中的網(wǎng)絡(luò)是一樣的，二者共享權(quán)重。a 中RoINetl 只做前向運(yùn)算，并選擇損失較大的建議框，然后采用非極大值抑制（Non-Maximum Suppression，NMS）去除交并比（Intersectionover-Union，IoU）較大(IoU＞0.6)的建議框并傳入b 中網(wǎng)絡(luò)；在b 中RoINet2 計(jì)算梯度并回傳，最后更新整個(gè)網(wǎng)絡(luò)。把Fast R-CNN 與OHEM 算法結(jié)合后的網(wǎng)絡(luò)模型，對(duì)于數(shù)據(jù)集中的損失結(jié)果較大的小目標(biāo)缺陷的檢測(cè)精度進(jìn)一步提高，其中在訓(xùn)練過(guò)程中當(dāng)某類缺陷類型的漏檢率較高時(shí)，它相對(duì)應(yīng)的損失值就會(huì)增大，進(jìn)而使得小目標(biāo)缺陷的采樣概率增大，采樣的可能性也就進(jìn)一步增加。

圖5 是RoI Network 的輸出及輸出結(jié)果的統(tǒng)計(jì)圖，其中圖（a）中的橫坐標(biāo)表示神經(jīng)元個(gè)數(shù)即維數(shù)（4 096 維），縱坐標(biāo)是每個(gè)神經(jīng)元的響應(yīng)值；圖（b）是對(duì)圖（a）的直方圖統(tǒng)計(jì)，橫軸表示神經(jīng)元的響應(yīng)值，縱軸是每個(gè)響應(yīng)值出現(xiàn)的神經(jīng)元個(gè)數(shù)。

圖5 RoI Network的輸出及其輸出結(jié)果統(tǒng)計(jì)Fig.5 RoI Network output and statistics of its output results

1.2 區(qū)域建議網(wǎng)絡(luò)

區(qū)域建議網(wǎng)絡(luò)層在目標(biāo)檢測(cè)中被用來(lái)生成錨點(diǎn)窗口，同時(shí)依據(jù)判斷框內(nèi)圖像為目標(biāo)或背景的概率用于初步提取候選框，比傳統(tǒng)搜索選擇算法的速度更快，能提高目標(biāo)檢測(cè)速率，更加符合工業(yè)需求。

區(qū)域建議網(wǎng)絡(luò)構(gòu)造的核心步驟為：首先在通過(guò)卷積運(yùn)算得到的結(jié)果圖上，使用一個(gè)小滑動(dòng)窗口進(jìn)行依次掃描；然后將通過(guò)第一步驟后映射得到一個(gè)d維向量；最后將該向量輸入到后面兩個(gè)FC 層——邊界回歸層（reg layer）和類別判斷層（cls layer）。經(jīng)過(guò)每一次滑動(dòng)操作后，任意一個(gè)窗口位置處產(chǎn)生預(yù)測(cè)候選框的數(shù)量為k，故邊界回歸層輸出結(jié)果數(shù)目為4k，用來(lái)完成預(yù)測(cè)候選框的坐標(biāo)編碼；類別判斷層的輸出結(jié)果數(shù)目為2k，用來(lái)估算預(yù)測(cè)候選框是檢測(cè)目標(biāo)的概率。圖6 所表示的為區(qū)域建議網(wǎng)絡(luò)結(jié)構(gòu)。

圖6 區(qū)域建議網(wǎng)絡(luò)結(jié)構(gòu)Fig.6 Structure of RPN

區(qū)域建議網(wǎng)絡(luò)的損失函數(shù)定義為：

式中：x、y、w、h分別表示GT（Ground-Truth）包圍盒的中心坐標(biāo)、寬度和高度；ti表示包圍盒的4 個(gè)參數(shù)化坐標(biāo)表示正樣本所對(duì)應(yīng)的手工標(biāo)注框的坐標(biāo)向量。其中，對(duì)于魯棒損失函數(shù)

當(dāng)|x|＜1時(shí)：

當(dāng)|x|≥1時(shí)：

RPN的總體損失函數(shù)定義為：

式中：i表示輪胎X 光圖像樣本特征圖中預(yù)測(cè)候選框的索引值；Pi表示該窗口是網(wǎng)絡(luò)要檢測(cè)缺陷的預(yù)測(cè)概率，表示對(duì)應(yīng)的手工標(biāo)注框的預(yù)測(cè)概率；Ncls表示分類項(xiàng)歸一化值，即一次處理的數(shù)目為256；Nreg為回歸歸一化值；λ為權(quán)重值，用于平衡兩種損失，本文中設(shè)λ=1，即兩項(xiàng)權(quán)重大致相等。卷積網(wǎng)絡(luò)的訓(xùn)練過(guò)程中其他參數(shù)的取值如表1所示。

表1 其他參數(shù)取值Tab.1 Other parameter values

1.3 Fast R-CNN

對(duì)訓(xùn)練樣本集中手工標(biāo)注后的圖像（GT Box）的錨框進(jìn)行考察：首先找到與每個(gè)GT Box 面積交疊比例最大的錨框，記為正樣本，然后在剩下的anchors中找到與GT Box的面積交疊比例大于0.6 的也記為正樣本；如果二者面積的交疊比例小于0.2，記為負(fù)樣本；其他類型的錨框則直接舍棄處理。在訓(xùn)練過(guò)程中，采用難例挖掘的策略（Hard Negative Mining）來(lái)平衡正負(fù)類別數(shù)據(jù)集數(shù)量的比率。

在實(shí)際計(jì)算中，設(shè)置區(qū)域網(wǎng)絡(luò)提供1 000 個(gè)候選框，并從中隨機(jī)選取300個(gè)用于Fast R-CNN 訓(xùn)練［21］。對(duì)樣本進(jìn)行訓(xùn)練時(shí)，如果將RPN 生成的所有anchors 都直接用來(lái)進(jìn)行訓(xùn)練，則會(huì)因?yàn)橛写罅控?fù)樣本參加訓(xùn)練，使訓(xùn)練得到的模型對(duì)正樣本的預(yù)測(cè)準(zhǔn)確率低，因此在隨機(jī)選取每幅圖像中256 個(gè)anchors參與計(jì)算損失時(shí)，要求在這256 個(gè)anchors 中正負(fù)樣本的比例為1∶1，當(dāng)比率小于1時(shí)，則利用負(fù)樣本來(lái)補(bǔ)充正樣本的數(shù)量。使用不同的池化方式處理大小不一的預(yù)測(cè)候選框，以確保在全連接層的輸入時(shí)維度相同。根據(jù)輸出結(jié)果的不同，可以將池化層的輸入分為兩類，即區(qū)域建議網(wǎng)絡(luò)輸出的proposals 和CNN輸出的圖像的特征圖。

輪胎缺陷類別的判斷是利用池化層輸出的缺陷特征圖，通過(guò)兩個(gè)FC層的計(jì)算，可以知道檢測(cè)到的缺陷類別是胎側(cè)異物、胎冠異物、氣泡、胎冠開(kāi)根或者胎側(cè)開(kāi)根，輸出類別概率；同時(shí)利用邊界窗口回歸獲得每個(gè)缺陷的位置偏移量，提升目標(biāo)檢測(cè)框的精度。

2 輪胎X光圖像缺陷檢測(cè)

基于Faster R-CNN 模型的輪胎X 光圖像缺陷檢測(cè)流程如圖7所示。

圖7 基于Faster R-CNN的缺陷檢測(cè)流程Fig.7 Defect detection flow based on Faster R-CNN

輪胎X 光圖像中常見(jiàn)的缺陷主要有：胎側(cè)異物、胎冠異物、氣泡、胎側(cè)開(kāi)根、胎冠開(kāi)根等。常見(jiàn)的幾種輪胎缺陷在X光圖像下顯示如圖8所示。

圖8 輪胎常見(jiàn)缺陷的X光圖像Fig.8 X-ray images of common defects of tire

訓(xùn)練集的圖片數(shù)量為1 368張，每類缺陷圖片數(shù)量所占的比例與輪胎生產(chǎn)過(guò)程中出現(xiàn)該類型缺陷的概率相同。輪胎缺陷種類繁多，形狀大小各不相同，尺寸大小在50 pixel×50 pixel至200 pixel×400 pixel之間，具體構(gòu)成如表2所示。

表2 訓(xùn)練集構(gòu)成Tab.2 Composition of training set

在預(yù)處理階段使用灰度拉伸方法來(lái)增強(qiáng)數(shù)據(jù)集［22］，使圖像目標(biāo)和背景的灰度值有了明顯差異；其次，為了避免訓(xùn)練過(guò)程中出現(xiàn)嚴(yán)重的過(guò)擬合現(xiàn)象進(jìn)而影響模型對(duì)于數(shù)據(jù)集的學(xué)習(xí)，對(duì)預(yù)處理后的數(shù)據(jù)樣本集進(jìn)行了數(shù)據(jù)擴(kuò)充處理，形成了一個(gè)樣本量充足的數(shù)據(jù)圖像庫(kù)，使得構(gòu)造的檢測(cè)網(wǎng)絡(luò)模型具有較強(qiáng)的泛化能力。實(shí)驗(yàn)過(guò)程中，首先是每次從庫(kù)中隨機(jī)選取每類缺陷樣本數(shù)量的30%作為測(cè)試集進(jìn)行驗(yàn)證，其余70%的樣本用于模型的訓(xùn)練，這樣重復(fù)10 次選取樣本并對(duì)其進(jìn)行實(shí)驗(yàn)，最后計(jì)算結(jié)果的平均值作為算法的最終結(jié)果［11］。

2.1 預(yù)處理結(jié)果

直方圖均衡化是經(jīng)常使用的數(shù)據(jù)增強(qiáng)方法，它的核心思想是將待檢測(cè)目標(biāo)與背景之間的灰度值利用圖像直方圖方法進(jìn)行變換，因操作簡(jiǎn)單高效而被廣泛采用。未經(jīng)處理前圖像數(shù)據(jù)的灰度值是隨機(jī)分布的，正常圖像中的像素灰度值是隨機(jī)變化的，原始圖像的直方圖在視覺(jué)上呈現(xiàn)數(shù)值高低不相同，但經(jīng)過(guò)均衡化后，圖像像素值會(huì)變得集中分布，對(duì)比度增強(qiáng)后的圖像的直方圖在視覺(jué)上會(huì)呈現(xiàn)平緩均勻。通過(guò)直方圖均衡化對(duì)輪胎X光圖像進(jìn)行數(shù)據(jù)增強(qiáng)后結(jié)果如圖9所示。

圖9 預(yù)處理結(jié)果Fig.9 Preprocessing results

從圖9 中可以看出預(yù)處理前圖像所有像素的灰度值分布相對(duì)集中，需要檢測(cè)的目標(biāo)與背景之間的對(duì)比度不明顯，給人的視覺(jué)感受是整個(gè)圖像比較灰暗。通過(guò)預(yù)處理操作對(duì)圖像進(jìn)行灰度拉伸變換后，輪胎圖像灰度值拉伸到0～255 的整個(gè)區(qū)間，由預(yù)處理后輪胎X光圖像的直方圖可以看到，處理后輪胎X 光圖像的灰度值相對(duì)均勻地分布在整個(gè)灰度空間中，將預(yù)處理前后輪胎X 光圖像進(jìn)行對(duì)比后，發(fā)現(xiàn)變換后圖像的對(duì)比度顯然是大幅增強(qiáng)的，在視覺(jué)上更加清晰。

2.2 缺陷檢測(cè)結(jié)果

圖10是利用訓(xùn)練好的Faster R-CNN模型對(duì)輪胎X光圖像進(jìn)行缺陷檢測(cè)的結(jié)果。從圖中可以看到，使用訓(xùn)練好的Faster R-CNN 模型對(duì)輪胎X 光圖像缺陷進(jìn)行定位和識(shí)別，它只能檢測(cè)到缺陷的部分區(qū)域。在圖10（a）和圖10（b）中對(duì)輪胎缺陷檢測(cè)中只檢測(cè)到異物的局部區(qū)域；在圖10（c）氣泡的檢測(cè)結(jié)果中，將正常區(qū)域誤檢測(cè)成氣泡缺陷，氣泡缺陷真正的位置應(yīng)該是白色方框代表的區(qū)域，對(duì)于氣泡缺陷的誤檢主要是因?yàn)闅馀萑毕菰赬 光圖像中呈現(xiàn)弱邊緣性，因此很難被正確檢測(cè)出來(lái)。

待檢測(cè)圖片總數(shù)量為274，正確檢測(cè)胎側(cè)異物、胎冠異物、氣泡、胎冠開(kāi)根以及胎側(cè)開(kāi)根這五種缺陷的數(shù)量以及相應(yīng)的評(píng)價(jià)指標(biāo)見(jiàn)表3。

表3 Faster R-CNN模型檢測(cè)結(jié)果統(tǒng)計(jì)與評(píng)價(jià)指標(biāo)值Tab.3 Statistics and evaluation metric values of detection results of Faster R-CNN model

對(duì)圖10 中檢測(cè)結(jié)果中的各個(gè)矩形框的坐標(biāo)進(jìn)行統(tǒng)計(jì)，并計(jì)算它們之間的交并比（IoU），結(jié)果如表4 所示。其中，GT 項(xiàng)參數(shù)表示利用LabelMe 軟件對(duì)輪胎缺陷區(qū)域手工標(biāo)注框的坐標(biāo)；檢測(cè)坐標(biāo)項(xiàng)參數(shù)表示利用算法定位出的邊框坐標(biāo)；GT size項(xiàng)參數(shù)表示輪胎缺陷區(qū)域手工標(biāo)注的面積大小，Det size 項(xiàng)參數(shù)表示利用算法定位出輪胎缺陷區(qū)域面積的大小；IoU值代表手工標(biāo)注GT 框與算法定位出包圍框面積的交疊度，數(shù)值越大，說(shuō)明算法的定位精度越高。結(jié)合圖10 的檢測(cè)結(jié)果和表4內(nèi)IoU的數(shù)值可知，F(xiàn)aster R-CNN模型雖然能成功定位到輪胎缺陷，但是定位準(zhǔn)確率較低，不能準(zhǔn)確地實(shí)現(xiàn)輪胎X光圖像缺陷的檢測(cè)。

表4 Faster R-CNN模型檢測(cè)結(jié)果的邊框坐標(biāo)以及交并比Tab.4 Bounding box coordinates and IoU of Faster R-CNN model

圖10 Faster R-CNN模型對(duì)輪胎缺陷的檢測(cè)結(jié)果Fig.10 Tire defect detection results by Faster R-CNN model

2.3 改進(jìn)后的缺陷檢測(cè)結(jié)果

圖11 顯示了用改進(jìn)后的Faster R-CNN 模型對(duì)部分待檢測(cè)的輪胎X 光圖像進(jìn)行檢測(cè)的結(jié)果。從圖11 可以看出，改進(jìn)后的Faster R-CNN 模型可以正確檢測(cè)出輪胎常見(jiàn)的這五種缺陷，滿足工業(yè)檢測(cè)的需求。

圖11 改進(jìn)后Faster R-CNN模型對(duì)輪胎缺陷的檢測(cè)結(jié)果Fig.11 Tire defect detection results by improved Faster R-CNN model

對(duì)待檢測(cè)的274 張輪胎X 光圖像進(jìn)行判斷，統(tǒng)計(jì)出的這五種缺陷的檢測(cè)數(shù)量以及相應(yīng)的評(píng)價(jià)指標(biāo)如表5 所示。由表5可知，改進(jìn)后的Faster R-CNN 模型對(duì)輪胎X光圖像的缺陷檢測(cè)的準(zhǔn)確率較高，同時(shí)各個(gè)缺陷類型的誤檢率和漏檢率大幅降低；與未預(yù)處理之前的檢測(cè)結(jié)果相比，改進(jìn)后整體的檢測(cè)結(jié)果有了明顯的改善，大幅提升了對(duì)輪胎常見(jiàn)類型缺陷的識(shí)別準(zhǔn)確率，且算法檢測(cè)結(jié)果穩(wěn)定性好，具有一定的泛化能力。

表5 改進(jìn)后Faster R-CNN模型檢測(cè)結(jié)果統(tǒng)計(jì)與評(píng)價(jià)指標(biāo)值Tab.5 Statistics and evaluation metric values of detection results of improved Faster R-CNN model

對(duì)圖11 中檢測(cè)結(jié)果中的各個(gè)矩形框的坐標(biāo)進(jìn)行統(tǒng)計(jì)，并計(jì)算它們之間的IoU值，結(jié)果如表6所示。

表6 改進(jìn)后Faster R-CNN模型檢測(cè)結(jié)果的邊框坐標(biāo)以及交并比Tab.6 Bounding box coordinates and IoU of improved Faster R-CNN model

結(jié)合圖10的檢測(cè)結(jié)果和表4的IoU 數(shù)據(jù)可以看出：與表6中的IoU 值相比較，改進(jìn)后Faster R-CNN 模型的檢測(cè)結(jié)果的IoU值提升明顯，利用改進(jìn)后的Faster R-CNN對(duì)輪胎缺陷進(jìn)行檢測(cè)，無(wú)論是對(duì)異物缺陷、氣泡缺陷、還是開(kāi)根缺陷，都能在提升識(shí)別準(zhǔn)確率的同時(shí)提高定位精度。

2.4 檢測(cè)結(jié)果比較

將基于Faster R-CNN 的缺陷檢測(cè)方法改進(jìn)前后的檢測(cè)結(jié)果進(jìn)行比較，其中改進(jìn)后方法被記為本文方法。

1）平均檢測(cè)精度均值（mean Average Precision，mAP）。

實(shí)驗(yàn)采用mAP 作為輪胎缺陷檢測(cè)性能的精度評(píng)價(jià)指標(biāo)，mAP 值越大，則表示所使用方法檢測(cè)結(jié)果的精度越高。mAP的大小與準(zhǔn)確率（Precision）以及召回率（Recall）有關(guān)，在輪胎缺陷檢測(cè)中，對(duì)于缺陷的真實(shí)類別與模型學(xué)習(xí)器預(yù)測(cè)類別的組合劃分為：真正例TP（True Positive）、假正例FP（False Positive）、真反例TN（True Negative）以及假反例FN（False Negative）。

準(zhǔn)確率P又叫做查準(zhǔn)率，表示預(yù)測(cè)結(jié)果中正例所占的比重，如式（5）所示：

召回率R又叫做查全率，表示真實(shí)樣例中被預(yù)測(cè)正確的樣例所占的比重，如式（6）所示：

在對(duì)輪胎X 光圖像組成的數(shù)據(jù)集中，假設(shè)樣本總數(shù)為N，其中有正例M，那么就可以得到M個(gè)召回值，對(duì)于每個(gè)R值可以計(jì)算出其對(duì)應(yīng)的最大準(zhǔn)確率P，然后對(duì)這M個(gè)P值取平均即得到最后的mAP值。

平均準(zhǔn)確率mAP定義如下：

Faster R-CNN 改進(jìn)前后訓(xùn)練出的模型在輪胎缺陷圖像上的檢測(cè)結(jié)果如表7 所示。由表7 可以看出改進(jìn)前的Faster RCNN 對(duì)輪胎氣泡缺陷的定位識(shí)別效果最差，胎側(cè)開(kāi)根缺陷檢測(cè)效果也不佳，對(duì)另外三種輪胎常見(jiàn)缺陷相對(duì)好些，整體而言，改進(jìn)之前算法能夠定位到缺陷，但是總體的檢測(cè)精度較低；而本文方法對(duì)各類型缺陷檢測(cè)結(jié)果的mAP 值較高，檢測(cè)效果較好。

表7 Faster R-CNN改進(jìn)前后的mAP比 單位：%Tab.7 Comparison of mAP before and after improvement of Faster R-CNN unit：%

2）改進(jìn)前后的平均檢測(cè)時(shí)間對(duì)比。

由表8 可以看出，改進(jìn)前后平均檢測(cè)時(shí)間基本相同，本文方法較改進(jìn)前的測(cè)試時(shí)間稍有增加，但是最終的識(shí)別準(zhǔn)確率和定位精度較改進(jìn)前有很大的提升，算法的檢測(cè)性能更優(yōu)，滿足了工業(yè)對(duì)于缺陷檢測(cè)的要求。

表8 Faster R-CNN改進(jìn)前后的平均檢測(cè)時(shí)間比較 單位：hTab.8 Comparison of average detection time before and after improvement of Faster R-CNN unit：h

3 結(jié)語(yǔ)

本文基于Faster R-CNN 模型對(duì)輪胎缺陷進(jìn)行檢測(cè)，用于識(shí)別輪胎缺陷類型和標(biāo)記出缺陷位置。在預(yù)處理階段利用灰度拉伸方法對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行處理，增強(qiáng)了目標(biāo)和背景的差異；其次，對(duì)Faster R-CNN 結(jié)構(gòu)進(jìn)行了改進(jìn)，借鑒語(yǔ)義分割網(wǎng)絡(luò)的結(jié)構(gòu)，將負(fù)責(zé)特征提取的ZF卷積神經(jīng)網(wǎng)絡(luò)的第三層卷積特征和第五層卷積特征相結(jié)合，并引入OHEM算法，使得最終獲取的模型對(duì)于輪胎常見(jiàn)五種缺陷的檢測(cè)準(zhǔn)確率大幅提升，而且可以檢測(cè)較小的缺陷目標(biāo)，提升了Faster R-CNN 模型位置檢測(cè)和識(shí)別的精度；通過(guò)對(duì)比改進(jìn)前后的檢測(cè)結(jié)果，驗(yàn)證了改進(jìn)后的算法檢測(cè)效果更好，魯棒性強(qiáng)，且較短的測(cè)試時(shí)間也可以滿足工業(yè)應(yīng)用的要求。

目前，本文所采用的方法可以準(zhǔn)確地定位和判別輪胎X光圖像中的缺陷，但是對(duì)于部分邊界模糊的氣泡缺陷的檢測(cè)結(jié)果相對(duì)不佳，因此在接下來(lái)的輪胎缺陷檢測(cè)研究中，可結(jié)合多種直接、間接檢測(cè)方法，對(duì)邊界相對(duì)模糊的輪胎氣泡缺陷問(wèn)題進(jìn)行進(jìn)一步的檢測(cè)。