基于改進YOLOv3 的大尺寸導光板缺陷檢測①

胡金良, 李俊峰

(浙江理工大學 機械與自動控制學院, 杭州 310018)

1 引言

由于導光板(LGP) 具有超薄、高透明度、高反射、導光均勻且明亮等優點, 被普遍應用于手機、平板、電腦等液晶屏中. 導光板作為液晶屏背光模組中關鍵組成部分, 其質量的好壞直接影響畫面的品質效果, 然而導光板在生產過程中, 由于原材料、溫度等因素影響, 無法避免出現點傷、白污、線劃傷、暗影等缺陷, 會導致顯示異常并影響用戶使用. 因此, 對其進行缺陷檢測非常必要. 傳統機器視覺缺陷檢測[1]方法主要有支持向量機(SVM)、鄰近算法(KNN)、決策樹等[2], 這些傳統機器視覺方法需要人工提取特征, 對于每類產品甚至每種缺陷都需要編寫專門的檢測算法.而且, 容易受到光照、灰塵等環境因素干擾, 穩定性、魯棒性比較差.

近年來, 深度學習算法廣泛應用于圖像目標檢測.能在復雜背景下進行檢測的算法主要分為基于端到端的一階段目標檢測算法和基于區域的二階段目標檢測算法.

二階段目標檢測算法先生成RPN (region proposal network)候選框, 然后預測目標的位置和類別信息, 速度較慢, 不能保證檢測的實時性. 主要代表有R-CNN系列, 在此基礎上發展了Fast R-CNN[3], Faster R-CNN[4].

一階段目標檢測算法沒有生成候選框, 直接利用卷積神經網絡提取特征, 預測目標的位置和類別信息.具有更高的檢測速度, 但是對小目標檢測精度相對較低. 具有代表性的算法主要有SSD、YOLO 系列等.

深度學習方法具有強大的特征提取和自我學習能力, 可提取深層次更具有代表性的特征信息, 泛化能力更強, 檢測準確率更高. 近年來, 深度學習廣泛應用于鋼材、芯片、液晶屏、等各種缺陷檢測領域[5–8], 取得不錯的效果. 如柳鋒等人[9]結合深度學習語義分割方法進行導光板表面缺陷檢測, 該方法在簡單的背景下可進行較好的檢出缺陷, 但面對復雜的背景容易產生誤檢; Deitsch 等人[10]等通過改進VGG19 網絡結構檢測太陽能面板缺陷, 采用直連結構使得網絡參數量較大, 算法效率較低; He 等人[11]針對鋼材表面缺陷, 提出多級融合網絡融合多層次特征, 獲得更豐富的缺陷細節特征, 進一步提升檢測準確率; Ding 等人[12]提出了一種針對PCB 表面缺陷檢測網絡, 通過使用k均值聚類出合理錨框, 并將多尺度金字塔網絡引入到Fater RCNN 中, 增強來自底層特征信息的融合, 提升網絡對微小缺陷的檢測精度; 李維剛等人[13]提出的基于改進的YOLOv3 實現帶鋼表面缺陷檢測, 主要改進在于加權K-means 聚類算法, 優化先驗框參數. 融合淺層和深層的特征, 生成更大尺度檢測圖層, 在NEU-DET 數據集上平均準確率達到80%; He 等人[14]提出了混合全卷積神經網絡應用于木材缺陷檢測, 分類準確率達到了99.14%; 張廣世等人[15]在YOLOv3 網絡中引入Dense-Net 網絡用于檢測齒輪缺陷, 提高模型提取特征能力,擴展預測尺度, 提升對小尺寸目標檢測能力; 沈曉海等人[16]基于Faster RCNN 設計了一種多任務深度學習模型檢測鋁材表面缺陷, 包括區域分割、缺陷的分類和目標檢測, 有效提升檢測效率.

單邊側入式大尺寸導光板網點分散不均, 背景紋理復雜; 而且, 其缺陷種類繁多, 大小和形態各異, 主要有白點、黑點、線劃傷、白污、壓傷、暗影等數十種.根據對大尺寸導光板生產廠家調研和導光板缺陷的統計分析, 白點、輕微線劃傷等小目標缺陷占比較非常高, 特別是白點缺陷; 而且, 白點缺陷與灰塵成像特點非常接近, 僅僅是灰度與大小上存在細微差別. 基于此,本文在一階段目標檢測算法YOLOv3[17]的基礎上, 提出一種基于改進YOLOv3 算法來實現導光板缺陷的分類與定位檢測, 同時滿足高檢測精度和速度要求.

首先, 由于缺陷目標的尺度較小, 并且YOLOv3 網絡中淺層特征層的感受野較小, 通過在淺層特征層引入改進多分支RFB 模塊, 提升網絡的感受野從而提升對小目標缺陷檢測精度; 其次, 為了縮減模型大小和計算量, 提升網絡模型的運行速度, 利用深度可分離卷積替換標準卷積; 進而, 針對導光板缺陷成像特點, 為了進一步提高模型微小缺陷的檢測能力, 使用改進Kmeans 算法聚類出合適的錨框, 并對中小尺度的錨框進行線性縮放, 使之更加貼近目標, 以便獲得更高的準確率. 實驗結果表明, 本文提出的大尺寸導光板缺陷檢測算法平均精度達到98.92%.

2 改進YOLOv3 檢測算法

2.1 改進YOLOv3 網絡

YOLOv3 是基于端到端的目標檢測網絡, 使用Darknet-53 作為主干網絡進行特征提取, 并借鑒殘差網絡ResNet (residual network)[18]的思想, 在主干網絡中融入了1、2、8、8、4 個殘差模塊. 殘差結構可以緩解深層網絡訓練時候的梯度消失問題, 并且加強收斂效果; 而且, 通過上采樣充分融合小特征圖的深層語義信息和大特征圖的目標位置信息, 并進行兩次特征融合, 可以獲得更好的細粒度特征及更有意義的語義信息. 但是, 在YOLOv3 網絡中, 常規標準卷積會帶來比較大的參數量, 淺層特征層的感受野較小. 基于此, 本文提出了一種改進的YOLOv3 網絡, 結構如圖1 所示.為了擴大網絡模型的感受視野, 分別在預測層Y2 和預測層Y3 前引入改進后的RFB 感受野增強模塊.RFB 模塊多分支結構模擬人眼視覺感受野構造, 以不同尺度的卷積核增強提取特征, 并以不同膨脹率的空洞卷積提升感受野; 為了縮減模型大小和計算量, 利用深度可分離卷積替換普通卷積; 為了進一步提高模型微小缺陷的檢測能力, 使用改進K-means 算法聚類出合適的錨框, 并分別對中小尺度的錨框進行不同線性縮放.

圖1 改進后的YOLOv3 網絡結構圖

2.2 改進多分支RFB 模塊

人眼視覺系統是由多個不同的感受野組成,RFB[19]模塊的多分支結構模擬人眼視覺感受野, 能使網絡模型感受視野擴大. RFB 模塊網絡是由多種不同的不同尺寸卷積核的卷積層構成, 每個分支采用不同尺度的卷積核和不同膨脹率的空洞卷積組合, 使得各個分支的感受野以不同的程度擴大. 首先, 通過1×1 的卷積降維; 其次, 分別進行1×1、3×3 和5×5 卷積, 模擬不同尺度的感受野, 不同大小的卷積核對應連接(串聯)對應膨脹率為1、3、5 的空洞卷積; 最后, 把各個分支的輸出進行Concat 拼接, 融合不同特征, 提升網絡模型對不同尺寸缺陷目標特征表達能力. 此外, 在RFB 模塊中還采用了ResNet 中的shortcut 連接方式,可以有效減輕梯度消失, 使梯度能夠很好地傳遞到淺層, 降低網絡的復雜度, 提升網絡的訓練效果. 在保證網絡感受野的前提下, 為了進一步減少計算量, 本文采用兩個級聯的3×3 卷積代替5×5 卷積. 改進后的RFB 模塊如圖2 所示. 為了提升小目標的檢測準確率,可以在特征層和預測層之間引入RFB 模塊[20]. 本文對在網絡不同位置引入改進的RFB 模塊進行了大量的實驗. 實驗結果表明, 分別在預測層Y2 和預測層Y3 前引入改進后的RFB 模塊增強特征提取, 檢測準確率最高, 可以進一步提升網絡的檢測性能.

圖2 改進后的RFB 模塊結構圖

2.3 深度可分離卷積

MobileNet[21–23]系列網絡作為輕量級卷積神經網絡的典型代表, 普遍應用于目標檢測和圖像分割、分類等任務. 其核心是引入深度可分離卷積, 深度可分離卷積是將神經網絡中卷積層的標準卷積分離為1 個深度卷積(depthwise convolution, DW)和1 個1×1 的點卷積(pointwise convolution, PW)[24]. 深度卷積作用于每一個通道, 每個濾波器只提取單一通道的特征, 然后1×1 的點卷積用來組合深度卷積后輸出的特征圖. 在卷積操作中, 標準卷積的卷積操作是直接進行濾波組合輸出特征圖; 而深度可分離卷積則分為兩步, 一步用來濾波, 一步用來組合. 如圖3 所示, 這類分解過程可以顯著地縮減模型大小和計算量.

圖3 標準卷積和深度可分離卷積

在計算量上, 假設輸入圖片的尺寸為DP×DP, 卷積核的尺寸為DK×DK, 分別用M、N表示輸入和輸出的通道數, 若使用標準卷積, 計算量為式(1)所示:

若使用深度可分離卷積完成相同的任務, 計算量為式(2)所示:

由此可見, 使用深度可分離卷積相比于標準卷積可縮減大幅度計算量. 如果使用大小為3×3 的卷積核,與標準卷積相比, 深度可分離卷積最多可以將計算量減少至1/9, 而精度只有極少量的下降. 基于此, 為了縮減本文網絡模型大小和計算量, 利用深度可分離卷積替換普通卷積.

2.4 改進K-means 聚類算法

在YOLOv3 算法中引入了錨框(anchor box)的思想, 這些設定錨框尺寸是基于COCO 數據集, 主要面向行人、汽車和日常物品等多尺度目標, 物種尺寸多樣,與導光板缺陷目標尺寸差異過大. 因此, 利用K-means算法聚類出與導光板缺陷目標相符的錨框尺寸. 錨框的尺寸與真實框的尺寸越靠近, 則檢測效果越好. Kmeans 聚類算法是一種經典的無監督機器學習算法, 是使用距離作為數據對象相似度的評價指標, 當兩個對象相距越近, 則表明相似度越高.

K-means 具體算法流程如算法1.

算法1. K-means 聚類算法(1) 在數據中任意選擇k 個樣本, 當作初始聚類中心.x d S x(2) 然后計算余下各點到聚類中心的距離, 把各個樣本劃分到距離最近的聚類中心 所在集合.yn(3) 重新計算每個集合的聚類中心 .(4) 回到步驟(2)按照順序繼續執行, 直到所有的集合的中心點的變化趨向穩定, 則聚類結束.

在YOLOv3 中, K-means 算法中使用IOU來衡量標注框的距離關系, 如式(4)所示:

其中,IOU是真實框x和與距離最近的聚類中心錨框Sx的交并比. 當IOU的值越大, 則表明距離d越小.

聚類中心的計算公式如式(5)所示:

其中,yn是第n個聚類的中心, |Cn|是第n個集合中樣本的數量,xi是Cn集合中的第i個對象.

最終利用K-means 聚類得到9 組錨框, 按照大小分為3 組, 如表1 所示. 在13×13 特征圖上使用最大的一組, 在52×52 特征圖上使用最小的一組.

表1 錨框尺寸分配

在YOLOv3 中通過特征融合輸出3 個尺度特征圖進行預測, 在小尺度的特征圖檢測較大目標, 在中等尺度的特征圖檢測中大小目標, 在大尺度的特征圖檢測較小目標. 在導光板缺陷數據集小目標缺陷占比較高,并且尺度大小是均勻集中, 沒有體現YOLOv3 網絡多尺度預測的優勢[25]. 根據大尺寸導光板的缺陷成像特點, 對聚類得到的中小尺度的6 組錨框進行線性縮放,中心思想是使得錨框靠近真實框, 以錨框中心點對寬高以一定比例放大和縮小, 如圖4 所示, 使得小的錨框尺寸更小, 大的錨框尺寸更大. 線性縮放公式如式(6)和(7)所示:

圖4 錨框線性縮放原理圖

其中,xi、yi是原始錨框的寬和高數值,是錨框進行線性縮放后的寬和高數值. α的值為0.9, β的值為1.2.

2.5 損失函數

3 實驗與分析

3.1 實驗設備與實驗環境

導光板缺陷檢測實驗設備如圖5 所示, 整個設備主要由圖像采集部分、傳送部分和圖像處理部分構成.工業相機采集導光板圖片, 傳送到工控機判斷處理, 然后控制機械手臂將導光板放在OK 區域或NG 區域.

圖5 實驗設備圖

實驗環境配置如表2 所示, 模型的訓練與實驗均在以下環境下進行, 在訓練中采用隨機梯度下降(SGD)優化算法. 設置輸入圖片大小為416×416, 初始學習率和最終學習率為0.01 和0.0001, 動量大小為0.9, 權重衰減系數為0.0005, 批量大小16. 在網絡訓練過程中,訓練集和驗證集的loss 的變化曲線如圖6 所示.

圖6 loss 變化曲線

表2 實驗環境配置

3.2 數據集構建

數據集來自于導光板生產現場, 通過16K 線掃相機采集, 數據集總共有2236 張. 使用LabelImg 軟件按照PASCAL VOC 數據集格式對每張圖片上缺陷進行標注, 并且命名缺陷類別名, 生成XML 格式文件, 包含圖像路徑、框的坐標信息、缺陷的類別名等信息, 然后寫程序轉換成txt 文件數據集. 訓練集、驗證集和測試集的劃分為7:1:2.

3.3 算法評價指標

在本文中, 均使用準確率P(precision)、召回率R(recall)、AP(average precision)、mAP(mean average precision)、F1 值作為評價指標.TP為檢測正確, 即正確檢測出來的目標個數.FP為檢測錯誤, 即錯誤檢測出來的目標個數,FN為沒有被檢測出的目標個數. 準確率和召回率的計算公式如式(12) 和式(13) 所示:

以P為橫坐標,R為縱坐標軸組成的曲線被稱為P-R曲線, 并對其積分得到曲線下的面積即為AP. 多個類別AP的平均值就是mAP, 其值越大則表明該算法檢測準確率越高. 計算公式如式(14)和式(15)所示:

F1 值作為用來評價分類模型的一種指標, 兼顧精確率和召回率, 作為算法的綜合性能評估指標. 計算公式如式(16)所示:

3.4 實驗結果與分析

3.4.1 在不同位置引入RFB 模塊的檢測效果

在YOLOv3 網絡中引入RFB 模塊的作用主要是擴大網絡的感受野, 增強網絡的特征提取能力, 表3 為分別在不同位置引入RFB 模塊的檢測結果對比. 可見,在預測層Y1 之前加入RFB 模塊mAP沒有較大提高;在預測層Y2 之前加入RFB 模塊,mAP提高了2.29%,F1 值提高了5.04%; 在預測層Y3 之前加入RFB 模塊點缺陷準確率提高了4.98%, 線缺陷準確率提高了1.28%,mAP有較大提升, 提高了6.38%,F1 值提高了7.15%.; 在預測層Y2 和預測層Y3 之前均加入RFB 模塊,mAP提升最大, 提高了7.28%, 點缺陷、線缺陷準確率分別提高了6.01%、8.83%,F1 值提高了8.35%.在預測層Y2 和預測層Y3 前引入RFB 模塊可有效提升網絡模型的性能.

表3 不同位置引入RFB 模塊結果對比 (%)

3.4.2 改進K-means 算法的檢測結果對比

改進K-means 算法的YOLOv3 和YOLOv3 檢測結果對比如表4 所示. 可見, 點缺陷、線缺陷準確率分別提升了4.62%、2.87%,mAP提高了5.09%,F1 值提高了5.83%. 因此, 改進K-means 算法可以有效提升YOLOv3 網絡缺陷檢測的準確率, 對小目標點缺陷準確率提升效果明顯.

表4 改進K-means 算法前后檢測結果對比 (%)

3.4.3 不同算法對比

以上兩處改進均能提升準確率, 并且這些改進是互補的, 將其結合能夠進一步提升算法的性能. 為了進一步檢驗本文算法的性能, 將本文算法與Faster RCNN、SSD、YOLOv3 等檢測算法進行了比較. 以準確率、平均準確率、F1 值作為算法評估指標, 結果對比如表5 所示.

表5 不同算法結果對比

由表5 可知, 改進后的YOLOv3 算法和YOLOv3相比, 在點缺陷準確率、線缺陷準確率和F1 分別提升了7.71%、11.24%和10.76%,mAP提升了8.55%, 縮減了模型大小, 檢測速度可達71.6 fps, 與SSD、Faster R-CNN 算法相比, 本文算法具有更高的檢測精度, 實時性強. 由此說明, 在網絡中引入RFB 模塊、引入深度可分離卷積, 改進K-means 算法結合能夠有效提升檢測效果. 不同算法預測結果對比如圖7 所示.

圖7 不同算法預測結果對比

4 結論

導光板質量檢測是導光板生產過程中必要的環節,針對大尺寸導光板缺陷, 本文提出了一種基于改進YOLOv3 的檢測算法. 在YOLOv3 網絡引入多分支RFB 模塊, 提升特征提取能力; 改進K-means 算法, 對中小尺度的錨框進行線性縮放, 加快了模型收斂同時提高了平均精度. 實驗結果表明, 與原YOLOv3 相比,改進后的算法在平均準確率及和F1 值分別提升了8.55% 和10.76%, 檢測速度達到71.6 fps, 算法的mAP高達98.92%. 可滿足工業生產缺陷檢測要求, 有一定的應用前景.