基于神經(jīng)網(wǎng)絡(luò)的電視顯示屏表面缺陷檢測(cè)

陳易宇

摘要：隨著工業(yè)4.0的智能化時(shí)代邁進(jìn)，為實(shí)現(xiàn)電視顯示屏表面缺陷自動(dòng)化檢測(cè)，提高提高檢測(cè)效率，該文引入基于神經(jīng)網(wǎng)絡(luò)的電視顯示屏表面缺陷檢測(cè)方法。該檢測(cè)方法在電視顯示屏圖像的預(yù)處理、模型設(shè)計(jì)、模型訓(xùn)練和檢測(cè)過(guò)程中，表現(xiàn)出優(yōu)異的特征提取能力，以及強(qiáng)大的目標(biāo)分類(lèi)性能，能夠有效完成對(duì)電視顯示屏表面缺陷的檢測(cè)，滿足實(shí)際生產(chǎn)過(guò)程中的缺陷檢測(cè)需要。

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò);電視顯示屏;缺陷檢測(cè)方法

中圖分類(lèi)號(hào)：TP393? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2021）16-0021-03

開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

1 背景

隨著人們生活水平的不斷提高，電視早已為大家日常娛樂(lè)、生活和工作的必需品。電視顯示屏的質(zhì)量直接關(guān)乎電視的整體品質(zhì)。因此，電視顯示屏外觀檢測(cè)是智能生產(chǎn)過(guò)程中不可或缺的環(huán)節(jié)。然而，當(dāng)前各大電視生產(chǎn)商大都采用肉眼檢測(cè)手機(jī)屏幕缺陷的檢測(cè)[1]。人工檢測(cè)會(huì)增加成本的投入、效率低，并且受人的主觀因素影響，檢測(cè)的準(zhǔn)確率難得到證。機(jī)器視角為實(shí)現(xiàn)電視顯示屏表面缺陷自動(dòng)檢測(cè)提供了新的方案。

運(yùn)用機(jī)器視覺(jué)相關(guān)技術(shù)實(shí)現(xiàn)表面缺陷檢測(cè)是當(dāng)前社會(huì)熱點(diǎn)。國(guó)內(nèi)外科研人員對(duì)不同情境下的表面缺陷檢測(cè)進(jìn)行了一系列研究，在一定層次上解決了表面檢測(cè)缺陷相關(guān)問(wèn)題。如，Vasilic等人提出基于直方圖的閾值選擇算法，能夠檢測(cè)出陶瓷表面的劃痕[2]。孫雪晨等人為了對(duì)表面缺陷特征進(jìn)行提取，引入領(lǐng)域加權(quán)分割的方式，有效完成對(duì)凸輪軸表面缺陷的檢測(cè)[3]。何志勇等人實(shí)現(xiàn)微小表面缺陷的快速檢測(cè)，提出了基于梯度圖像方差分布搜尋表面缺陷區(qū)域的算法[4]。這些方法能夠?yàn)閷?shí)現(xiàn)電視顯示屏缺陷檢測(cè)提供了良好的經(jīng)驗(yàn)借鑒。

電視顯示屏在生產(chǎn)過(guò)程中會(huì)產(chǎn)生亮點(diǎn)、亮度等缺陷。在傳輸?shù)倪^(guò)程中存在刺傷、劃傷等現(xiàn)象。基于神經(jīng)網(wǎng)絡(luò)的電視顯示屏表面缺乏檢測(cè)，旨在充分發(fā)揮神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)技術(shù)檢測(cè)方面的優(yōu)勢(shì)，為適應(yīng)電視大規(guī)模生產(chǎn)過(guò)程的顯示屏智能化缺陷檢測(cè)提供新思路，進(jìn)而大力推進(jìn)電視產(chǎn)業(yè)蓬勃發(fā)展。

2 缺陷檢測(cè)方法設(shè)計(jì)

2.1實(shí)施過(guò)程設(shè)計(jì)

基于神經(jīng)網(wǎng)絡(luò)的電視顯示屏表面缺陷檢測(cè)，大致可分為圖像預(yù)處理、模型設(shè)計(jì)與訓(xùn)練以及檢測(cè)三大過(guò)程，如圖1所示。數(shù)據(jù)樣本將通過(guò)高精度線陣攝像機(jī)，對(duì)實(shí)際生產(chǎn)過(guò)程中進(jìn)行圖像拍攝的方式獲得。采集的缺陷特征可分為劃痕、刮痕、刺痕、亮點(diǎn)和漏光等。數(shù)據(jù)預(yù)處理的是對(duì)圖像進(jìn)行掃描、分割和保存的過(guò)程操作。

2.2數(shù)據(jù)集缺陷特征分類(lèi)

電視顯示屏的缺陷是根據(jù)產(chǎn)生原因進(jìn)行命名。雖然缺陷特征類(lèi)型較多，但是許多不同特征的缺陷，在形態(tài)上能夠表現(xiàn)出相似性。如圖2中的圖片為劃痕或刮痕，從形態(tài)上即表現(xiàn)極為相似的線型現(xiàn)狀。如圖3中的圖片分別為亮點(diǎn)、刺傷、亮度缺陷。這三個(gè)特征在形態(tài)上均呈現(xiàn)為點(diǎn)的現(xiàn)狀，仍然表現(xiàn)為極具相似性。

經(jīng)過(guò)對(duì)采集的圖像進(jìn)行預(yù)處理，共獲得956張數(shù)據(jù)樣本。為了滿足神經(jīng)網(wǎng)絡(luò)訓(xùn)練對(duì)數(shù)據(jù)樣本集數(shù)量的需求，本文采用圖像旋轉(zhuǎn)、隨機(jī)性剪切以及調(diào)整圖像亮度等形式，將數(shù)據(jù)樣本增加至9617張。然后，按2：2：6的比例分配方式，將數(shù)據(jù)樣本劃分為測(cè)試集、驗(yàn)證集和訓(xùn)練集三類(lèi)。最后通過(guò)Tensorflow 編程將圖片數(shù)據(jù)集制作成tfrecord格式的數(shù)據(jù)，以供Tensorflow進(jìn)行讀取。

3模型設(shè)計(jì)與訓(xùn)練

3.1模型設(shè)計(jì)

當(dāng)前，主流的神經(jīng)網(wǎng)絡(luò)絕大多數(shù)據(jù)是采用 ImageNet數(shù)據(jù)集進(jìn)行設(shè)計(jì)。該設(shè)計(jì)是通過(guò)構(gòu)建巨大的網(wǎng)絡(luò)模型和設(shè)置超參數(shù)的方式，對(duì)圖像表現(xiàn)特征進(jìn)行訓(xùn)練。而電視顯示屏表面缺陷由于現(xiàn)代工藝水平的進(jìn)步，一張樣本上幾乎只有一種缺陷，并且缺陷特征較為簡(jiǎn)單，表現(xiàn)為單一性特征。因此，本文選取適中的GoogelNet進(jìn)行遷移學(xué)習(xí)，設(shè)置參數(shù)量共為24層。考慮到dropout的隨機(jī)丟棄機(jī)制可能會(huì)導(dǎo)致重要的神經(jīng)元被丟棄問(wèn)題[5]，本文去除inception-B層、inception-C層后的全連接層，使用全局平均池化層進(jìn)行替代，以防止訓(xùn)練過(guò)程出現(xiàn)的過(guò)擬合問(wèn)題（如圖4所示）。為了提升訓(xùn)練速度，本文將全連接層的高維向量降維至3維向量，進(jìn)而使得網(wǎng)絡(luò)更為輕量化。

3.2模型訓(xùn)練

本文通過(guò)搭建Tensorflow2.1框架對(duì)模型進(jìn)行訓(xùn)練，操作系統(tǒng)為Ubuntul16。鑒于訓(xùn)練的數(shù)據(jù)分布存在較大的差異，訓(xùn)練過(guò)程中有可能出現(xiàn)不收斂的現(xiàn)象。本文將數(shù)據(jù)進(jìn)行歸一化處理（歸一化函數(shù)如公式1所示）。注：Min表示訓(xùn)練數(shù)據(jù)樣本的最小值;Max表示輸入的最大值;[x]指是的得到標(biāo)準(zhǔn)化處理輸入。

[x=x-MinMax-Min]? ? ? ? ? ? ? ? ? ? ? ? ? ? （1）

本文模型訓(xùn)練過(guò)程中的網(wǎng)絡(luò)參數(shù)更新，通過(guò)引入和優(yōu)化Tensorflow既有的隨機(jī)梯度下降算法實(shí)現(xiàn)。訓(xùn)練結(jié)果的優(yōu)劣將通過(guò)學(xué)習(xí)率進(jìn)行評(píng)估。學(xué)習(xí)率是用于指導(dǎo)訓(xùn)練過(guò)程中通過(guò)觀察損失函數(shù)的梯度對(duì)網(wǎng)絡(luò)權(quán)重進(jìn)行調(diào)參。學(xué)習(xí)率的大小直接到影響到訓(xùn)練的熟練。雖然設(shè)置相對(duì)較小的學(xué)習(xí)率，在一定程度上能夠獲得網(wǎng)絡(luò)訓(xùn)練較好的優(yōu)參數(shù)，但是相應(yīng)也會(huì)延長(zhǎng)模型訓(xùn)練的時(shí)間。對(duì)此，為了盡可能找到最優(yōu)的超參數(shù)值的同時(shí)提升模型訓(xùn)練速度，本文將通過(guò)引入逐漸衰減機(jī)制（如公式2所示）。注： [base_lr]為學(xué)習(xí)率的原始值;[γ]為模型訓(xùn)練過(guò)程中變化參數(shù);[floor_iter]表示當(dāng)前訓(xùn)練更迭頻次;stepsize為學(xué)習(xí)率每次更迭頻次;最終計(jì)算結(jié)果[η]為學(xué)習(xí)率。根據(jù)公式2，本文將[base_lr]、[γ]和stepsize分別設(shè)置為0. 001、0.1、350。

[η=base_lr.γ|floor_iter||stepsize|]? ? ? ? ? ? ? ? ? ? ? ? ?（2）

4結(jié)果及分析

本文針對(duì)采集的956張圖像數(shù)據(jù)開(kāi)展了3次訓(xùn)練。測(cè)試集驗(yàn)證集和訓(xùn)練集按照既定的2：2：6的比例進(jìn)行分配，最終通過(guò)計(jì)算檢測(cè)率（公式3）和誤檢率（公式4）的方式，對(duì)模型訓(xùn)練的優(yōu)劣進(jìn)行驗(yàn)證。注：Na表示能夠正常檢測(cè)出來(lái)的樣本個(gè)數(shù);Nb，表示被檢測(cè)出來(lái)的“點(diǎn)”形狀的缺陷樣本個(gè)數(shù);Nc表示被檢測(cè)出來(lái)的“線”形狀的缺陷樣本個(gè)數(shù);Nd為指的是測(cè)試集總數(shù);[Na→b，c]表示原為正樣本被判為負(fù)樣本的個(gè)數(shù);[Nb，c→a]表示原為負(fù)樣本被誤判為正樣本的個(gè)數(shù)。訓(xùn)練結(jié)果圖表1所示。

[A=Na+Nb+NcNd]? ? ? ? ? ? ? ? ? ? ? ? ? ?（3）

[A=Na→b，c+Nb，c→aNa]? ? ? ? ? ? ? ? ? ? ? ? （4）

測(cè)試一：隨機(jī)選取2636張訓(xùn)練樣本喂入神經(jīng)網(wǎng)絡(luò)，學(xué)習(xí)率參數(shù)值為0.006，模型的驗(yàn)證率計(jì)算結(jié)果為95.52%，誤檢率計(jì)算結(jié)果為4.67%，更迭次數(shù)為600。

測(cè)試二：根據(jù)測(cè)試一的結(jié)果，考慮到喂入神經(jīng)網(wǎng)絡(luò)的樣本數(shù)量以用學(xué)習(xí)率對(duì)計(jì)算機(jī)結(jié)果有較大的影響，因此，在測(cè)試二中將數(shù)據(jù)集的數(shù)量增加到9640張，同時(shí)將學(xué)習(xí)率設(shè)置為0.01，更迭次數(shù)為1200。最終測(cè)試結(jié)果表明：驗(yàn)證率提升了8.8%，而誤檢率為下降至1.23%。

測(cè)試三：在測(cè)試二的基礎(chǔ)上，將更迭次數(shù)增加至1600時(shí)，最終計(jì)算出檢測(cè)率為98.04%，誤檢率為0.50%。

三次測(cè)試的檢測(cè)結(jié)果如表2所示。注：往后的多次測(cè)試結(jié)果顯示，在測(cè)試三的基礎(chǔ)上繼續(xù)增加更迭次數(shù)后，檢測(cè)率沒(méi)有明顯的提高，相應(yīng)的檢測(cè)時(shí)間卻延長(zhǎng)了不少。

5 結(jié)束語(yǔ)

針對(duì)電視顯示屏的外觀自動(dòng)檢測(cè)在生產(chǎn)過(guò)程中較為困難的問(wèn)題，本文設(shè)計(jì)了一種基于機(jī)器學(xué)習(xí)的電視顯示屏外觀缺陷分類(lèi)檢測(cè)方法。為了更好地適應(yīng)神經(jīng)網(wǎng)絡(luò)訓(xùn)練和缺陷檢測(cè)，該方法首先將電視顯示屏圖像樣本切割成256x256的大小規(guī)格。其次，通過(guò)圖像旋轉(zhuǎn)、隨機(jī)截取和調(diào)整圖片光照等方式，對(duì)數(shù)據(jù)樣本進(jìn)行了擴(kuò)充。然后，在Tensorflow環(huán)境下搭建神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型，并通過(guò)調(diào)整模型參數(shù)等形式對(duì)缺陷特征進(jìn)行了降維。最后，通過(guò)設(shè)置超參數(shù)、更迭次數(shù)、控制喂入神經(jīng)網(wǎng)絡(luò)樣本數(shù)量等，對(duì)訓(xùn)練模式進(jìn)行了檢測(cè)。測(cè)試結(jié)果表明，該方法能夠?qū)﹄娨曪@示屏外觀的刺傷、亮點(diǎn)、亮度、劃傷、刮傷缺陷有效檢出。

參考文獻(xiàn)：

[1] 郭亞峰.基于機(jī)器視覺(jué)的產(chǎn)品表面缺陷在線檢測(cè)系統(tǒng)的設(shè)計(jì)[D].蘇州：蘇州大學(xué)，2014.

[2] Vasilic S，Hocenski Z.The edge detecting methods in ceramic tiles defects detection[C]//2006 IEEE International Symposium on Industrial Electronics.July9-13，2006，Montreal，QC，Canada.IEEE，2006：469-472.

[3] 孫雪晨，姜肖楠，傅瑤，等.基于機(jī)器視覺(jué)的凸輪軸表面缺陷檢測(cè)系統(tǒng)[J].紅外與激光工程，2013，42（6）：1647-1653.

[4] 何志勇，孫立寧，芮延年.一種微小表面缺陷的機(jī)器視覺(jué)檢測(cè)方法[J].應(yīng)用科學(xué)學(xué)報(bào)，2012，30（5）：531-537.

[5] Srivastava N，Hinton G，Krizhevsky A，et al.Dropout：asimple way to prevent neural networks from overfitting[J].Journal of Machine Learning Research，2014（15）：1929-1958.

【通聯(lián)編輯：代影】